Sbagliare senza accorgersene
I modelli linguistici costruiscono il testo calcolando parola dopo parola la sequenza più probabile, senza che nulla, in quel meccanismo, leghi il risultato alla verità. Ricerca, retrieval ed esecuzione di codice[1] abbassano il tasso di errore, non cambiano la natura del procedimento. Ne nasce un errore fluente e autorevole, spesso indistinguibile dal vero. Si chiama allucinazione e non è un incidente ma il modo in cui questi sistemi funzionano.
Lo Stanford HAI AI Index 2026[2] ha rilevato su 26 modelli di punta tassi di allucinazione fra il 22% e il 94%, in un benchmark che valuta la capacità di distinguere la conoscenza dalle false credenze attribuite all’utente più che il tasso generale di errore. Più insidioso è il degrado nei processi lunghi. Uno studio di Microsoft Research[3], con il benchmark DELEGATE-52 sui lunghi workflow documentali, ha misurato che perfino modelli come Gemini 3.1 Pro, Claude 4.6 Opus e GPT 5.4 corrompono in media il 25% del contenuto, in una corruzione silenziosa fatta di errori che si accumulano senza segnalazione.
Fuori dai benchmark la faccenda non migliora, e lì l’errore ha un prezzo. Sei modelli messi alla prova con vignette cliniche contaminate da un dettaglio falso hanno ripreso quell’informazione nel 50-82% dei casi[4]. Gli strumenti legali di Lexis+ AI e Westlaw AI-Assisted Research, nelle versioni testate, hanno allucinato fino a un terzo delle risposte[5].
L’accuratezza non è tutto. Questi sistemi simulano comprensione ed empatia con il testo più adatto al contesto, e la simulazione è convincente. Ma una simulazione linguistica riuscita non è una prova di esperienza soggettiva. In un paper di interpretabilità dell’aprile 2026 Anthropic ha mostrato che le cosiddette functional emotions[6] sono rappresentazioni interne apprese dal modello, che influenzano il comportamento del modello senza implicare alcuna esperienza soggettiva. Un metodo per verificarlo esiste. Il rapporto interdisciplinare «Consciousness in Artificial Intelligence», nel 2023, ha ricavato dalle principali teorie neuroscientifiche una lista di indicatori e l’ha applicata ai sistemi di allora, che non ne soddisfacevano nessuno[7]. Butlin, Long, Bayne, Bengio e altri hanno ripreso quel lavoro su Trends in Cognitive Sciences[8]. Due studi della University of Bradford e del Rochester Institute of Technology, del 2025 e del 2026, in peer review, hanno mostrato che segnali apparentemente simili alla coscienza compaiono anche in sistemi degradati[9]. Tre anni di letteratura, gruppi e metodi diversi, la stessa risposta, gli LLM producono il linguaggio delle emozioni e nulla indica che ne vivano l’esperienza.
Capacità operativa e qualità umane stanno su piani distinti, e quanto lontano arrivi la prima si vede in Claude Mythos Preview[10]. Annunciato da Anthropic nell’aprile 2026 e reso disponibile solo in forma limitata a partner selezionati e soggetti autorizzati tramite Project Glasswing, secondo Anthropic ha individuato complessivamente migliaia di vulnerabilità zero-day[11], comprese in tutti i principali sistemi operativi e browser, molte delle quali critiche anche se non tutte. Il Frontier Red Team ha documentato che quelle capacità non erano state addestrate esplicitamente ma erano emerse da miglioramenti generali in codice, ragionamento e autonomia, con uno scaffold semplice costruito su tecniche note come il fuzzing[12]. Ridurlo a un fuzzer, però, mi pare un errore. Ha combinato tecniche esistenti su vulnerabilità in parte inedite, costruendo catene di exploit complesse[13]. Non ha inventato una nuova disciplina né tecniche fondamentali, ma ha usato conoscenze già disponibili con una scala, una velocità e una continuità difficilmente sostenibili da un singolo operatore umano.
Non sono difetti che il semplice rilascio di modelli più avanzati correggerà da sé. Possono essere mitigati, ma il miglioramento delle prestazioni non trasforma un modello in un soggetto capace di esperienza vissuta, giudizio morale e responsabilità.
Chi pone la domanda
Un sistema del genere elabora enormi quantità di dati in tempi brevissimi, ma prima qualcuno deve formulare il problema, scegliere le informazioni rilevanti e fissare obiettivi e contesto. Vincoli istituzionali, relazioni di potere, valori culturali e responsabilità legali si possono mettere nei dati. Interpretarli, legittimarli e risponderne è un altro mestiere. Un risultato può essere corretto e insieme inutile, quando la domanda era sbagliata in partenza, e quell’errore il modello lo eredita.
Qui sta anche la differenza fra generare e innovare. L’IA combina concetti e simula scenari a una velocità per noi irraggiungibile, e le possibilità che produce possono essere inedite. Ma innovare vuol dire capire qual è davvero il problema, decidere da che parte andare, stabilire quali risultati contano e poi risponderne. L’autonomia operativa non sposta quel confine, perché un sistema più autonomo percorre più strada nella direzione che qualcun altro ha scelto.
Alcuni esperimenti segnalano un effetto meno intuitivo. L’IA generativa tende ad accrescere la creatività del singolo mentre riduce la diversità complessiva degli output[14]. Senza una guida umana il risultato è soltanto più uniformità.
Decidere male, ma più in fretta
L’IA rende i processi più rapidi. Rapido però non vuol dire intelligente. Un’organizzazione che decide male, con l’IA decide male più in fretta, perché i dati errati tornano con più fluidità e con l’apparenza della competenza. L’errore arriva vestito da analisi, e per riconoscerlo serve più giudizio umano, non meno.
Lo strumento e chi lo impugna
L’IA resta uno strumento privo di una direzione morale propria, la riceve da chi decide di usarla. E chi lo progetta, lo addestra, lo distribuisce e decide chi può accedervi non compie operazioni tecniche, compie scelte.
Lo stesso sistema può individuare vulnerabilità per correggerle o sfruttarle, accelerare la ricerca o alimentare la disinformazione, migliorare i servizi pubblici o rafforzare la sorveglianza. Le capacità tecniche sono le stesse, cambiano chi le controlla e gli obiettivi che le vengono assegnati.
Gli abusi arrivano attraverso mani umane, campagne, account e infrastrutture che qualcuno ha allestito e paga. E se pochi soggetti controllano i modelli più avanzati insieme al cloud, alla capacità di calcolo, ai data center, all’energia e agli standard di accesso, l’IA non democratizza il potere, ma lo concentra.
Controllarla significa controllare anche cloud, chip, data center ed energia. Nel rapporto Energy and AI del 2025[15] l’IEA prevede che il consumo elettrico dei data center possa più che raddoppiare, dai 415 TWh del 2024 a circa 945 TWh nel 2030, con l’IA tra i principali fattori di crescita.
Il pericolo non è la macchina che decide da sola, ma pochi attori umani, Stati e grandi aziende, che usano l’IA per allargare il proprio vantaggio prima che qualcuno se ne accorga e fino al punto in cui tornare indietro costa caro. Nel 2025, secondo la classificazione dell’AI Index[16], l’industria privata ha prodotto oltre il 90% dei modelli di frontiera considerati rilevanti dal rapporto, segno di una frontiera che si sposta verso i grandi attori industriali e non verso il pubblico.
Non credo che la risposta sia bloccare lo strumento. Servono limiti che si vedano e una responsabilità che qualcuno debba portarsi addosso.
Iran e Cina, la tecnologia non basta
Il caso iraniano lo mostra per difetto. Gli Stati Uniti hanno IA integrata nei sistemi d’arma, bombardieri strategici, missili da crociera, droni e munizioni a basso costo, e non sono bastati a chiudere il conflitto, con una tregua firmata a giugno 2026 e già saltata il mese dopo[17]. L’Iran ha evitato lo scontro frontale, ha alzato i costi dell’avversario con mezzi modesti e ha spostato la partita sulla pressione nello Stretto di Hormuz. La superiorità tecnologica degrada gli arsenali, non la volontà di chi li impiega.
Il caso cinese racconta il movimento opposto. Colpita da restrizioni durissime sui chip, Pechino avrebbe dovuto rallentare, come molti analisti occidentali prevedevano, ma non è andata così. Tra il 2021 e il 2025 ha prodotto il maggior numero di paper ad alto impatto in 69 delle 74 tecnologie critiche censite dall’Australian Strategic Policy Institute[18], un dato che misura l’intensità della ricerca e non attesta di per sé una superiorità industriale o militare. Nello stesso periodo, e nonostante i controlli sulle esportazioni, DeepSeek ha sviluppato modelli competitivi. Sull’azienda pesano accuse mai verificate fino in fondo di aver messo le mani su chip sotto restrizione[19]. Il vincolo si è fatto strategia, fra efficienza algoritmica, sostituzione domestica e scala industriale. I controlli americani non hanno fermato Pechino, le hanno alzato i costi, indirizzando al tempo stesso gli investimenti verso l’autonomia domestica.
Due traiettorie opposte con la stessa morale. La tecnologia moltiplica quello che sai già fare, e a chi non sa dove sta andando non serve avere lo strumento migliore.
Gli strumenti che lavorano da soli
Nel primo libro della Politica Aristotele osserva che, se gli strumenti eseguissero da soli i loro compiti, non servirebbero più schiavi[20]. Non una profezia tecnologica, ma una domanda su che cosa resti del lavoro necessario quando gli strumenti se lo sbrigano da soli.
L’analogia va presa con le pinze. Le macchine non sono soggetti morali, non hanno coscienza né sofferenza, quindi il paragone regge solo sul piano funzionale. In ogni epoca parte del lavoro necessario è stata affidata a strumenti subordinati. L’IA porta la stessa tendenza dentro compiti finora riservati alla testa umana. Se i sistemi che fanno quel lavoro appartengono a pochi, l’automazione non libera nessuno, allarga la distanza fra chi li possiede e chi ne dipende.
Si dice che la necessità sia madre dell’invenzione. Ma quella pressione da sola non basta, perché qualcuno deve saper leggere quel vincolo e avere i mezzi per rispondere. Acemoglu[21] ha mostrato come la direzione del cambiamento tecnico risponda ai prezzi relativi e alla dimensione dei mercati, senza esserne determinata. L’innovazione non nasce dalla crisi, nasce da chi decide che cosa vale la pena costruire. Jonas non chiedeva di fermare la tecnica, ma che la portata delle sue conseguenze entrasse nel ragionamento con cui la usiamo. L’IA amplifica errori e decisioni oltre la nostra capacità di verificarli, ed è esattamente il caso che Jonas aveva in mente senza poterlo vedere. Per questo non leggo la responsabilità come un vincolo esterno imposto alla macchina. È la condizione perché l’uomo resti al centro del processo che la governa.
[1] Con retrieval si intende il recupero di documenti o dati esterni che il modello consulta prima di rispondere, invece di attingere soltanto a ciò che ha appreso in addestramento. L’esecuzione di codice gli permette di calcolare o controllare un risultato invece di formularlo per approssimazione.
[2] Stanford HAI, AI Index Report 2026. I tassi fra il 22% e il 94% si riferiscono a un benchmark sulla distinzione fra conoscenza e false credenze attribuite all’utente, non al tasso generale di errore — https://hai.stanford.edu/ai-index/2026-ai-index-report
[3] «LLMs Corrupt Your Documents When You Delegate», Microsoft Research, aprile 2026 — https://arxiv.org/abs/2604.15597
[4] Omar et al., Communications Medicine (Nature), 2025 — https://www.nature.com/articles/s43856-025-01021-3
[5] Magesh et al., «Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools», Stanford RegLab, Journal of Empirical Legal Studies, 2025. Lo studio esamina Lexis+ AI, Westlaw AI-Assisted Research e Ask Practical Law AI — https://reglab.stanford.edu/publications/hallucination-free-assessing-the-reliability-of-leading-ai-legal-research-tools/
[6] Anthropic, «Emotion Concepts and their Function in a Large Language Model», aprile 2026 — https://arxiv.org/abs/2604.07729
[7] «Consciousness in Artificial Intelligence: Insights from the Science of Consciousness», Butlin, Long, Elmoznino, Bengio et al., 2023 — https://arxiv.org/abs/2308.08708
[8] Butlin, Long, Bayne, Bengio et al., «Identifying indicators of consciousness in AI systems», Trends in Cognitive Sciences, pubblicato online nel 2025 — https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(25)00286-4
[9] Hassan Ugail (University of Bradford) e Newton Howard (Rochester Institute of Technology), due studi del 2025 e del 2026, in peer review al momento del comunicato. Il primo è «Quantifying the Dynamics of Consciousness», dicembre 2025 — https://arxiv.org/abs/2512.10972. Comunicato dell’ateneo, febbraio 2026 — https://www.bradford.ac.uk/news/archive/2026/no-ai-isnt-conscious—even-when-it-acts-like-it-is-new-study-finds.php
[10] Nicholas Carlini et al., «Assessing Claude Mythos Preview’s cybersecurity capabilities», Anthropic Frontier Red Team, 7 aprile 2026 — https://red.anthropic.com/2026/mythos-preview
[11] Una vulnerabilità zero-day è un difetto di sicurezza ancora ignoto a chi sviluppa il software, e quindi privo di correzione disponibile nel momento in cui viene scoperto.
[12] Il fuzzing consiste nel bombardare un programma con dati casuali o deformati per vedere dove si rompe, ed è una tecnica di sicurezza informatica in uso da decenni. Lo scaffold è l’impalcatura di istruzioni e strumenti che avvolge il modello e ne organizza il lavoro. Definirlo semplice significa che il risultato dipende dal modello, non dall’impalcatura.
[13] Un exploit è il codice che sfrutta concretamente una vulnerabilità. Concatenarne diversi serve a superare uno dopo l’altro i livelli di protezione di un sistema, fino a ottenere un controllo che nessuno dei singoli difetti darebbe da solo.
[14] Anil R. Doshi e Oliver P. Hauser, «Generative AI enhances individual creativity but reduces the collective diversity of novel content», Science Advances, 2024 — https://www.science.org/doi/10.1126/sciadv.adn5290
[15] IEA, Energy and AI, 2025 — https://www.iea.org/reports/energy-and-ai
[16] Stanford HAI, AI Index Report 2026 — https://hai.stanford.edu/ai-index/2026-ai-index-report
[17] «2026 Iran war», Encyclopædia Britannica, voce in aggiornamento continuo, consultata il 26 luglio 2026 — https://www.britannica.com/event/2026-Iran-war
[18] ASPI, Critical Technology Tracker, 2026 — https://www.aspi.org.au/news/aspis-critical-technology-tracker-june-2026-data-refresh/
[19] Gregory C. Allen, «DeepSeek, Huawei, Export Controls, and the Future of the U.S.–China AI Race», CSIS, marzo 2025 — https://www.csis.org/analysis/deepseek-huawei-export-controls-and-future-us-china-ai-race
[20] Aristotele, Politica, libro I, 1253b — https://www.perseus.tufts.edu/hopper/text?doc=Perseus:text:1999.01.0058:book%3D1:section%3D1253b
[21] Daron Acemoglu, «Directed Technical Change», Review of Economic Studies, vol. 69, n. 4, 2002, pp. 781-809 — https://economics.mit.edu/sites/default/files/publications/directed-technical-change.pdf
