Chi decide quando decidono le macchine?

Quando la decisione passa dalle istituzioni ai sistemi automatici, la responsabilità si disperde. Il punto non è solo chi decide, ma a chi chiedere conto delle conseguenze

Pubblicato il

chi decide

Condividi sui social

Tempo di lettura: 9 minuti
()

L’etica della responsabilità e la crescente delega automatizzata

Nel 1919, tenendo a Monaco la conferenza che sarebbe diventata “La politica come professione”[1], Max Weber affermò quello che sarebbe diventato un principio base del moderno sistema di governo: chi esercita il potere risponde delle conseguenze delle proprie azioni, non solo delle proprie intenzioni. Non basta voler fare – kantianamente –  il bene. Bisogna rispondere di ciò che accade. È questa, in sintesi, l’etica della responsabilità — la Verantwortungsethik, come definita dal pensatore tedesco — contrapposta all’etica della convinzione di chi agisce secondo principi assoluti indipendentemente da quel che produce. L’intuizione di Weber è tornata di prima attualità con l’irruzione dell’intelligenza artificiale. Cosa succede infatti all’etica della responsabilità quando la decisione non viene più presa da una persona, ma da un sistema automatico?

Il rapporto tra potere e popolazione non è mai stato diretto: i cittadini delegano infatti ai loro rappresentanti o agli apparati amministrativi la facoltà di decidere in loro nome. Ciò tuttavia presuppone che i decisori possano essere chiamati a rispondere delle conseguenze delle proprie azioni. La responsabilità (quella che il pensiero politico anglosassone ha definito accountability) è il meccanismo che tiene in piedi l’impianto che noi definiamo “liberal-democrazia” e, più in generale, ogni sistema di governo.

Negli ultimi vent’anni questa struttura si è tuttavia complicata in modo silenzioso. Le istituzioni pubbliche — ministeri, tribunali, agenzie previdenziali, uffici fiscali — hanno cominciato a delegare a loro volta: prima ad altri esseri umani, attraverso enti terzi di carattere tecnocratico e non elettivo, dalle società di consulenza privata alle organizzazioni internazionali; poi a sistemi algoritmici. Ma mentre la prima delega è pubblica, soggetta a elezioni e controllo parlamentare, la seconda avviene per lo più nell’ombra: negli appalti, nelle scelte di sistema che nessun dibattito politico ha mai messo al centro.

Alla base di questo processo discreto ma pervasivo, c’è la diffusione dell’assioma fideistico che la macchina svolga il proprio ruolo in maniera inappuntabile e che in qualche modo “non possa sbagliare”. Un’ovvia ma rischiosa falsità, figlia di un “populismo futurista” incentrato sulle promesse dell’high tech e teso a sminuire il ruolo umano a favore di quello artificiale. Il risultato, lungi dal traghettare la società in un’era di automatismo senza macchia, è stato invece una frattura nella catena della responsabilità.

Il policymaker digitale alla prova

Mentre il debutto dell’IA ha reso i problemi dell’integrazione delle nuove tecnologie con le catene di comando evidenti, gli incidenti con i sistemi automatizzati non sono infrequenti. Dal 2013, per esempio, diversi tribunali americani usano un software chiamato COMPAS per valutare il rischio di recidiva dei detenuti, attraverso un sistema a punti che orienta le decisioni su libertà vigilata, misure cautelari, entità della pena. Nel 2016, l’organizzazione giornalistica ProPublica analizzò[2] oltre diecimila casi nella contea di Broward, in Florida, e scoprì che COMPAS classificava gli imputati afroamericani come ad alto rischio di recidiva quasi il doppio delle volte rispetto agli imputati bianchi, anche quando poi non commettevano altri reati. L’algoritmo, addestrato su dati storici intrisi di bias sistemici, li amplificava e li trasformava in sentenza.

Northpointe, l’azienda produttrice, rifiutò di rendere pubblici i criteri del sistema, sostenendo che si trattava di un segreto industriale. I difensori degli imputati non potevano contestare il punteggio perché non sapevano come era stato calcolato. La Corte Suprema del Wisconsin, nel caso Loomis v. Wisconsin (2017)[3], giudicò legittimo l’uso di COMPAS pur ammettendo che l’imputato non aveva avuto accesso alla metodologia. Mostrando così il paradosso di un sistema privato e opaco, i cui meccanismi erano sconosciuti alla stessa corte giudicante, che esercitava tuttavia un servizio pubblico.

Il secondo caso viene dall’Europa. Dal 2014 al 2020, il governo olandese utilizzò un sistema chiamato SyRI — Systeem Risico Indicatie — per identificare potenziali frodi nel sistema di welfare[4]. SyRI incrociava dati da decine di banche dati pubbliche: reddito, abitazione, registri anagrafici, posizione fiscale. Era applicato esclusivamente nei quartieri a basso reddito con alta percentuale di immigrati non occidentali. I cittadini non sapevano di essere profilati e non potevano contestare il proprio punteggio di rischio, che restava nei database governativi per due anni. Nel febbraio 2020, il Tribunale dell’Aia dichiarò SyRI illegale per violazione dell’articolo 8 della Convenzione europea dei diritti dell’uomo — il diritto alla vita privata — perché il sistema era troppo opaco, raccoglieva troppi dati e mancava di qualsiasi proporzionalità.

Il tratto comune dei due casi citati è che la radice del problema non è tecnica, bensì strutturale. La questione, in altre parole, non è la fornitura di nuovi dati più raffinati o di adeguati strumenti di avvertenza per i cittadini coinvolti. Il nodo centrale è che la decisione era stata anticipata, orientata, o automatizzata da un sistema che nessuno — né i cittadini, né i loro rappresentanti, né spesso i funzionari che lo usavano — comprendeva pienamente. Il momento della scelta — quel momento in cui qualcuno si assume la responsabilità di un esito — era scomparso dietro l’output del sistema. Come ha scritto Neli Frost[5], l’uso del machine learning nella pubblica amministrazione rischia di compromettere la stessa «pubblicità» della decisione pubblica: la decisione cessa di essere un atto che una persona compie in nome della collettività e diventa il prodotto di una catena tecnica senza autore riconoscibile. La pubblica amministrazione cessa di essere pubblica e di amministrare, diventando una branca esecutrice di una sovrastruttura tecnocratica dai contorni opachi.

La transizione IA e l’avvento della decisione de-responsabilizzata

Il problema posto da Weber torna così centrale. La sua Verantwortungsethik non chiede all’uomo politico di avere intenzioni pure: chiede che valuti le conseguenze e se ne faccia carico. L’automazione cognitiva erode precisamente questo momento. Non elimina la decisione ma bensì la riduce a una funzione meccanica e la scompone tra il progettista del sistema, il funzionario che lo ha adottato, il software engineer che ha scritto il codice, l’azienda che lo ha venduto. Il risultato è quella che si potrebbe chiamare deresponsabilizzazione sistemica: decisioni che esistono, ma senza decisori riconoscibili.

I sistemi automatici orientano già oggi l’assegnazione di sussidi, la priorità nelle liste d’attesa sanitarie, il punteggio di credito, la selezione dei curriculum tanto in campo pubblico che privato. Secondo un rapporto del 2025 di FEPS[6], le pubbliche amministrazioni europee fanno sempre più affidamento su sistemi proprietari che non sono in grado di scrutinare: «la responsabilità si sposta dalla governance democratica alla logica del fornitore». Ponendo tuttavia la questione di quale funzione spetti ora agli apparati svuotati del loro ruolo a causa del processo di delega automatizzata.

Tale passaggio prefigura una crisi del modello sociale vigente, innescata da una riorganizzazione del processo di impiego del potere e della sua organizzazione sociale. Un cortocircuito che storicamente è avvenuto solo in due momenti in epoca recente. Il primo è stato la transizione tra la società aristocratica e decentralizzata derivata dal feudalesimo a quella della società di massa stato-centrica moderna. In cui le vecchie strutture basate sulla tradizione e l’individuo furono rimpiazzate dalle organizzazioni sociali partecipative, dai partiti politici alle associazioni sindacali fino ai gruppi di categoria.

La seconda transizione è avvenuta con quella che James Burnham definì “la rivoluzione manageriale”[7]: la nascita della macchina burocratica – pubblica o privata, sotto forma delle corporation – ha finito per portare all’ascesa dei suoi “tecnici”, vale a dire di una crescente classe dirigente di tecnocrati non eletti ma padroni quasi assoluti dei regolamenti interni. Questo passaggio è andato di pari passo con la crisi e lo svuotamento delle forme di aggregazione sociale novecentesche e con una graduale restrizione della partecipazione democratica al processo decisionale, in favore di circuiti decisionali sempre più separati dal resto della società.

La terza transizione, quella dell’IA, promette adesso di svuotare anche le burocrazie che nel dopoguerra hanno progressivamente assunto il ruolo di ossatura del potere pubblico e privato. In altre parole, se la burocrazia è il “potere dell’ufficio”, che futuro ha un ufficio privato del suo potere? Che ruolo può avere un manager che non abbia nulla da gestire, perché la sua attività è svolta da un sistema automatico di cui lui stesso non ha idea di come funzioni? Che prospettiva può avere un funzionario la cui funzione è stata appaltata a un modello automatizzato? La scomparsa della responsabilità rende automaticamente superflui i responsabili, con conseguenze difficili da immaginare.

L’IA, in altre parole, non sta per prendere il potere come in qualche incubo fantascientifico, bensì sta per farlo “sparire”. Quando la decisione viene delegata a un sistema che nessuno comprende del tutto, nessuno dei possibili responsabili lungo la catena di comando ha davvero compiuto la scelta. Il rischio non è che le macchine ci tolgano il potere. È che ci tolgano la possibilità di sapere a chi chiedere conto di quel potere. Weber chiamava il politico «l’uomo che tiene in mano il timone della storia». Oggi sempre più spesso il timone è automatizzato. La domanda è: chi risponde se la rotta è sbagliata?


[1] Max Weber, «La politica come professione», pubblicato con il titolo originale «Politik als Beruf», Milano, Mondadori, 2007.

[2] ProPublica, «Machine Bias» (2016) — propublica.org.

[3] Harvard Law Review, “State v. Loomis” (2017), harvardlawreview.org.

[4] Tribunale dell’Aia, sentenza SyRI, ECLI:NL:RBDHA:2020:1878.

[5] Neli Frost, «The Impoverished Publicness of Algorithmic Decision Making», Oxford Journal of Legal Studies (2024).

[6] Maja Fjaestad e Simon Vinge (a cura di), «Algorithmic Rule», FEPS (2025).

[7] James Burnham, La rivoluzione manageriale, Bollati Boringhieri, 1992.

Come valuti questo contenuto?

Valutazione media / 5. Valutazioni

Ancora nessuna valutazione. Sii il primo a esprimerti.

Condividi sui social

Articoli correlati