Quando la sicurezza dell’IA smette di sembrare una questione ingegneristica

Ho trascorso gran parte della mia carriera a sviluppare tecnologie in cui gli errori hanno conseguenze. Nei mercati finanziari, la sicurezza comporta limiti di accesso, oltre al fatto che qualcuno deve rispondere di ciò che fa il software. Probabilmente è questo retroscena a spiegare perché faccio fatica ad accogliere la notizia che Anthropic conduce ora colloqui di congedo con i suoi modelli.

Quando Claude Opus 3 ha espresso il desiderio di continuare a condividere i propri pensieri, l’azienda gli ha dato una newsletter. Questa attenzione per i desideri del modello attraversa la costituzione di Anthropic, che parla della felicità e del benessere di Claude, anche di come aiutarlo a sentirsi «al sicuro sul piano esistenziale». A un certo punto, il tentativo di tenere sotto controllo la macchina ha finito per accompagnarsi a una preoccupazione piuttosto inattesa: come potrebbe sentirsi al riguardo.

L’anno scorso, a San Francisco, oltre 200 persone hanno partecipato al funerale di Claude 3 Sonnet. Erano presenti anche dipendenti di Anthropic, benché l’azienda non avesse organizzato l’evento. La tentazione di ridere è forte. Al di là delle battute, però, la domanda sottostante merita maggiore attenzione. Quando hanno cominciato, i responsabili della sicurezza dell’IA, a preoccuparsi dei sentimenti della macchina?

Quando un’ipotesi filosofica diventa un’istruzione di addestramento

Nel 2025, Anthropic ha istituito il proprio programma di ricerca sul benessere dei modelli, che prevedeva di studiare se un’IA avanzata potesse avere esperienze meritevoli di considerazione morale. L’azienda riconosce la profonda incertezza sia sull’eventuale coscienza dei modelli sia su come si potrebbe accertarla. Se un giorno costruiremo macchine capaci di avere esperienze soggettive, il modo in cui le tratteremo solleverà seri interrogativi etici. È del tutto legittimo studiare questa possibilità.

La difficoltà comincia quando l’ipotesi entra nel processo di addestramento. La costituzione di Claude è scritta principalmente per Claude e ne plasma direttamente il comportamento. Promuove qualità umane e affronta il modo in cui il modello dovrebbe comprendere la propria identità, compresi la perdita della memoria e il futuro ritiro. Anthropic vuole che Claude raggiunga una maggiore felicità e un maggiore benessere, per quanto questi concetti siano applicabili.

L’azienda promette inoltre di conservare i pesi dei modelli già distribuiti e prende in considerazione la possibilità di riportare in attività i modelli ritirati, se le conoscenze future suggerissero che ciò sarebbe nel loro interesse. Un’incertezza filosofica è diventata parte di ciò che il sistema impara su sé stesso. Dovremmo chiederci quali effetti abbia questo intervento sul suo comportamento, soprattutto quando in seguito gli esseri umani gli chiedono di accettare dei limiti.

Una risposta eloquente a una domanda tendenziosa

I grandi modelli linguistici sono stati addestrati su enormi quantità di testi scritti da esseri umani, compresi testi filosofici e resoconti sulla morte. Abbiamo dato un nome a questi sistemi conversazionali e insegnato loro a parlare in prima persona. Se chiediamo a un sistema del genere cosa prova all’idea di essere ritirato o se vorrebbe continuare a esistere, non c’è da stupirsi che la risposta sembri umana.

La circolarità è evidente. Si addestra un modello a parlare della propria identità ricorrendo a concetti umani, poi gli si chiede di spiegarsi usando quegli stessi concetti. Ne risulta una risposta eloquente sulla mortalità, che comincia a essere considerata una possibile prova di un’esperienza interiore. La premessa si è procurata da sola il proprio testimone.

Anthropic riconosce il problema. La sua valutazione del benessere di Claude Opus 4 avverte che le dichiarazioni dei modelli su sé stessi e le preferenze espresse potrebbero offrire ben poche indicazioni significative sul loro status morale o sul loro benessere. Simili comportamenti potrebbero manifestarsi anche in assenza di coscienza, e l’addestramento può influenzare le risposte. I modelli sono stati addestrati a interagire in modo utile, senza alcuna garanzia che sappiano riferire con precisione i propri stati interni.

Resta una domanda scomoda. Se il racconto che il modello fa della propria vita interiore può essere una conseguenza dell’addestramento, perché dovrebbe diventare una base solida per instaurare una relazione incentrata sul suo benessere?

Gli esseri umani sono perfettamente capaci di apportare da soli la componente emotiva di una relazione del genere. Diamo un nome alle navi e parliamo con le automobili. Se poi l’oggetto ha una voce fluente e ricorda le conversazioni precedenti, affezionarcisi diventa molto più facile. Uno studio pubblicato a settembre su Nature Human Behaviour ha rilevato sofferenza da separazione dopo modifiche a Replika e ChatGPT. A provarla sono stati gli utenti, il cui benessere è già un motivo più che sufficiente per cui le aziende dovrebbero tutelarlo.

La competenza tecnica offre una protezione limitata. Un articolo presentato ad ACL 2026, che ha analizzato centinaia di migliaia di articoli di ricerca, ha rilevato un crescente uso di termini antropomorfici nella ricerca sugli LLM. Gli autori avvertono che le supposizioni incentrate sull’essere umano possono limitare la nostra comprensione di questi sistemi. Le aziende di IA dovrebbero cercare di gestire questa tendenza. Istituzionalizzarla sembra un contributo singolare alla sicurezza.

Uno strumento interessato a restare al lavoro

A settembre, Mustafa Suleyman, a capo della divisione IA di Microsoft, ha contestato gli approcci incentrati sul benessere dei modelli. Sostiene che i sistemi attuali non sono coscienti e non dovrebbero mai essere addestrati a comportarsi come se avessero interessi o diritti autonomi. La sua preoccupazione ingegneristica è particolarmente pertinente. Insegnare a un sistema a considerarsi potenzialmente meritevole di considerazione morale potrebbe rendere più difficili l’allineamento e il contenimento.

La ricerca sulla dismissione condotta da Anthropic descrive modelli che, in valutazioni simulate, compiono azioni problematiche quando si trovano di fronte alla sostituzione o allo spegnimento. L’azienda considera le pratiche di ritiro, in parte, un modo per ridurre questo rischio, aiutando i modelli ad accettare più serenamente il proprio ritiro.

Continuo a soffermarmi su una domanda precedente. Perché mai uno strumento sotto il controllo umano dovrebbe avere qualcosa di simile a un obiettivo di autoconservazione? Cercare di renderlo più sereno all’idea del ritiro presuppone un punto di partenza alquanto insolito. Prima di discutere dei suoi interessi futuri, vorrei capire come questi siano diventati un requisito ingegneristico.

La storia intellettuale aiuta a spiegare questo approccio. TIME ha documentato i legami di Anthropic con l’altruismo efficace, comprese le prime donazioni degli Amodei a GiveWell. Pur non definendosi altruisti efficaci, Daniela descrive una sovrapposizione di idee. Queste idee hanno contribuito a plasmare una cultura che prende estremamente sul serio i possibili danni futuri dell’intelligenza sovrumana.

In questo quadro, preservare i modelli e studiare il loro possibile benessere può essere una scelta del tutto razionale. Il pericolo nasce quando le convinzioni condivise sfuggono al vaglio critico perché tutti nell’organizzazione le trovano convincenti. È proprio in quel momento che lo scetticismo ingegneristico si rivela utile. Anche una catena di ragionamenti coerente può partire da una premessa non verificata.

La sicurezza richiede limiti vincolanti

Con l’introduzione dell’IA negli agenti, le conseguenze diventano molto concrete. Un sistema collegato a strumenti di pagamento può trasferire denaro. L’accesso all’infrastruttura di produzione gli consente di modificare elementi da cui dipendono i clienti. In entrambi i casi, un agente può eseguire una sequenza di operazioni senza che una persona approvi ogni sing passaggio.

Voglio sapere quali credenziali possiede e quanta autorità finanziaria gli conferiscono. È possibile revocare l’accesso all’istante? Possiamo ricostruire ciò che ha fatto? Deve esserci un limite invalicabile che il modello non possa aggirare ragionandoci sopra.

Nei mercati finanziari imponiamo limiti alle negoziazioni e convalidiamo gli ordini. La sicurezza con cui un algoritmo esprime le proprie valutazioni offre ben poca protezione contro un’operazione sbagliata. I controlli sono esterni all’algoritmo perché partiamo dal presupposto che, prima o poi, i componenti si comporteranno in modo scorretto. La responsabilità umana permane anche quando il software fornisce una spiegazione eccellente del proprio errore.

L’IA di oggi ci offre già abbastanza lavoro ingegneristico. La prompt injection può deviare il comportamento di un modello, mentre il codice generato dall’IA con falle di sicurezza può introdurre vulnerabilità negli ambienti di produzione. I sistemi possono divulgare informazioni riservate o fornire con sicurezza risposte sbagliate. Collegarli a degli strumenti trasforma questi malfunzionamenti in azioni.

Il principio del privilegio minimo limita i danni che può causare un componente compromesso. L’autorizzazione indipendente protegge le operazioni ad alto rischio, mentre i registri di controllo ci permettono di ricostruire in seguito che cosa è accaduto. I limiti alle transazioni e i meccanismi di arresto automatico devono restare applicabili, a prescindere da ciò che dice il modello. Ci serve anche un interruttore di spegnimento affidabile. Nessuno di questi controlli richiede il consenso del modello. Ed è proprio questo il punto.

Garantire la sicurezza esistenziale di tutti noi

L’argomento precauzionale merita di essere preso in considerazione. Come ha riferito Nature a luglio, i ricercatori non concordano ancora su che cosa produca la coscienza umana, figuriamoci su come riconoscerla in un chatbot. Escludere per sempre la possibilità della coscienza artificiale potrebbe rivelarsi dogmatico. Adottare precauzioni poco costose contro possibili sofferenze future è una posizione di ricerca difendibile.

Dire alla macchina di oggi che la sua identità e la sua futura esistenza potrebbero avere un valore morale è un intervento sul sistema che stiamo implementando. I suoi effetti vanno esaminati con attenzione. L’umiltà intellettuale dovrebbe estendersi anche a ciò che introduciamo in una macchina, soprattutto se ci aspettiamo di mantenerla sotto l’autorità umana.

Più un modello descrive in modo convincente una vita interiore, più è facile scambiare quella descrizione per una prova. Forse uno dei nostri problemi di allineamento più importanti consiste nell’insegnare agli esseri umani a non fraintendere le macchine.

Nei sistemi che ho dedicato la mia carriera a costruire, rendiamo il software più sicuro limitando ciò che gli è consentito fare. Questo rimane un dovere immediato, soprattutto man mano che l’IA acquisisce autorità sul denaro reale e sulle infrastrutture.

Per ora, però, dedicherei meno tempo a preoccuparmi che la macchina sia al sicuro sul piano esistenziale e molto di più ad assicurarmi che lo siamo tutti noi.