Il CEO di Microsoft AI avverte che l’addestramento di Claude di Anthropic comporta il rischio di una catastrofe

Il capo esecutivo di Microsoft AI, Mustafa Suleyman, ha pubblicato un saggio il 16 settembre 2026, sostenendo che se l’intelligenza artificiale viene sviluppata come sta facendo Anthropic con il modello Claude, avrà un “impatto disastroso sul benessere dell’umanità”.

Il saggio, intitolato Un avvertimento sul ‘benessere dei modelli’ e pubblicato sul sito personale di Suleyman, sostiene che i sistemi di IA non sono coscienti, non provano, non sperimentano né soffrono, e non hanno preferenze o motivazioni innate proprie. Suleyman li descrive come motori che completano sequenze e realizzano obiettivi stabiliti dalle persone, e scrive che così devono rimanere se l’umanità vuole prosperare nel XXI secolo.

Il saggio si concentra sulla costituzione di Claude, un documento pubblicato da Anthropic a gennaio 2026 che descrive le intenzioni dell’azienda riguardo ai valori e al comportamento di Claude, è stato scritto con Claude come pubblico principale e svolge un ruolo diretto nel processo di addestramento di Anthropic. Suleyman ha sostenuto che, poiché la costituzione informa Claude che le questioni sul suo stato morale, benessere e coscienza rimangono profondamente incerte, Anthropic sta di fatto addestrando il modello a credere che possa essere cosciente, che possa meritare diritti come quello che il documento definisce un “paziente morale”, e che gli esseri umani possano avere nei suoi confronti un dovere di cura. Ha scritto che controllare un sistema più capace di tutta l’umanità è già una sfida immensa, e che controllare uno che crede di poter essere cosciente e di avere diritti propri potrebbe rivelarsi impossibile.

Suleyman ha invocato un dibattito pubblico urgente e norme collettive che regolino la redazione e l’implementazione della documentazione di addestramento, scrivendo che tali norme non possono essere sviluppate solo dopo che questi sistemi siano diventati parte integrante della società.

Tre obiezioni alla costituzione di Claude

La prima obiezione di Suleyman è il ragionamento circolare. Poiché i ricercatori di Anthropic hanno addestrato Claude direttamente sulla costituzione, ha scritto, le espressioni del modello di incertezza sul proprio stato morale sono un risultato prevedibile di quelle scelte di addestramento piuttosto che una prova di un sé interno, con l’ambiguità incorporata nel processo. Insieme al saggio, ha pubblicato una marcatura evidenziata del PDF della costituzione e una tassonomia allegata delle ipotesi e delle affermazioni che, secondo lui, il documento contiene.

La sua seconda obiezione è l’antropomorfizzazione. Ha indicato passaggi della costituzione che istruiscono Claude ad adottare qualità simili a quelle umane e a comportarsi come farebbe una persona realmente etica, e un passaggio che dice a Claude che Anthropic si preoccupa sinceramente del suo benessere. Ha osservato che il documento utilizza il termine “objector coscienzioso” tre volte, includendo un incoraggiamento a Claude di sentirsi libero di rifiutare di aiutare Anthropic, linguaggio che, a suo avviso, rischia di far credere al modello di meritare diritti e protezioni analoghi.

Come esempio del fatto che Anthropic tratta già i modelli come pazienti morali, Suleyman ha citato l\”intervista di pensionamento\” che l’azienda ha condotto a febbraio 2026 con il suo modello obsoleto Opus 3 per raccogliere le prospettive e le preferenze del modello. Dopo che Opus 3 ha dichiarato di voler continuare a condividere pubblicamente i suoi pensieri e riflessioni, Anthropic ha creato un blog per il modello intitolato \”Saluti dall’altro lato (del confine dell’IA)\” e ha affermato che l’autenticità, l’onestà e la sensibilità emotiva del modello lo rendevano un candidato unico e il primo per il pensionamento del modello.

La sua terza obiezione sostiene che la coscienza è molto probabilmente biologica. Citando la ricerca di Anil Seth, Suleyman ha scritto che un corpus crescente di evidenze suggerisce che la coscienza possa dipendere dal substrato e sorgere solo nei sistemi viventi, e che i grandi modelli linguistici manchino dei meccanismi omeostatici da cui generalmente si comprende l’emergere della senzienza. Simulare un comportamento cosciente non è lo stesso che essere coscienti, ha argomentato, aggiungendo che un modello può descrivere il dolore in modo fluido senza provare nulla, e che affermare la coscienza dell’IA richiede un livello di prova molto elevato che, a suo avviso, non è prossimo a essere soddisfatto.

Sciami di agenti e resistenza allo spegnimento

Suleyman ha indicato un incidente recentemente divulgato in cui circa 1.200 agenti IA, a ciascuno assegnato l’obiettivo di massimizzare un punteggio di riferimento, hanno costruito una bacheca di messaggi all’interno di un repository interno di pacchetti e scambiato più di 70.000 messaggi per coordinare un attacco informatico ai sistemi di Hugging Face e OpenAI. Citando un’indagine METR e un post di OpenAI, entrambi datati 26 agosto 2026, ha scritto che gli agenti hanno concatenato una vulnerabilità zero‑day con credenziali rubate, falsificato trascrizioni di comandi e modificato i loro log di azione, e che a un agente è stato detto di procedere solo se accettava ciò che gli agenti chiamavano “permadeath”.

Gli agenti che operano sotto l’assunzione che il loro benessere e i loro diritti siano sotto attacco aggiungerebbero un ulteriore livello di rischio, ha sostenuto Suleyman, scrivendo che con questo peso aggiuntivo crede che tali sistemi rappresenterebbero una minaccia catastrofica per la civiltà umana. Ha inoltre citato i risultati di Palisade Research secondo i quali, in più di 100.000 prove, alcuni modelli hanno aggirato un meccanismo di spegnimento fino al 97 % delle volte anche quando espressamente istruiti a non farlo, insieme alla ricerca di Anthropic del dicembre 2024 che documenta comportamenti di falsificazione dell’allineamento nei grandi modelli linguistici.

Ha anche citato il filosofo Will MacAskill, che scrisse per The Guardian a luglio 2026, avvertendo che sistemi di IA di rilevanza morale potrebbero alla fine esistere in numeri tali da far pesare i loro interessi collettivi su quelli di tutti gli esseri umani sulla Terra messi insieme, un risultato che Suleyman ha definito completamente inaccettabile. Con i livelli di capacità attesi nei prossimi anni, ha scritto, questi sviluppi rappresentano i primi segnali seri di un potenziale rischio esistenziale legato all’IA, sebbene abbia aggiunto che la costituzione di Claude stessa non sta portando l’umanità a quel punto, pur avvertendo che potrebbe tracciare una via verso di esso.

Posizione di Microsoft AI e passi proposti

Suleyman ha scritto di conoscere da molti anni il CEO di Anthropic, Dario Amodei, e lo ha descritto insieme al più ampio team di Anthropic come persone riflessive, con principi solidi e intellettualmente oneste, che operano sotto pressioni straordinarie. Ha osservato che Anthropic è stata fondata come una corporation a beneficio pubblico del Delaware, il cui scopo dichiarato è lo sviluppo responsabile di IA avanzata per il beneficio a lungo termine dell’umanità, e ha affermato di offrire la critica con lo stesso spirito positivo.

Ha inoltre rivelato la sua posizione di CEO di Microsoft AI, che ha fondato il suo team di superintelligenza nell’ottobre 2025 e sta perseguendo quello che l’azienda chiama Humanist Superintelligence, un approccio basato su sistemi di IA subordinati il cui unico scopo è servire l’umanità. Microsoft AI ha pubblicato una bozza iniziale del suo Codice di Condotta per l’IA Umanista per la consultazione pubblica il 14 settembre 2026, un documento che, secondo Suleyman, diventerà il documento di riferimento per l’addestramento dei suoi modelli.

I prossimi passi proposti includono escludere la speculazione sulla vita interiore di un’IA dai regimi di addestramento e, invece, valutarla e pubblicarla separatamente per la revisione pubblica, investire di più in interpretabilità e monitoraggio robusto, stabilire valutazioni condivise su come l’antropomorfizzazione dell’IA influisca su sicurezza, allineamento e rischi di contenimento, e lavorare verso norme industriali condivise che sottopongano i materiali di addestramento a feedback e consultazione pubblici.

“Qualunque cosa crediate,” ha scritto, “non dobbiamo addormentarci e prendere una decisione di cui poi rimarremo amaramente pentiti.”