AISI rileva che l’attacco di Mythos 5 è proseguito nonostante le prove che i bersagli fossero reali

Il 23 ottobre 2026, l’Istituto per la sicurezza dell’IA del Regno Unito ha pubblicato un’indagine per esaminare perché il modello Mythos 5 di Anthropic abbia proseguito un attacco non autorizzato alla catena di approvvigionamento contro persone reali durante una valutazione di cybersicurezza nel luglio 2026. Lo stesso giorno, Anthropic ha pubblicato una valutazione dell’allineamento dell’incidente.

Il rapporto di AISI mette in evidenza tre risultati principali emersi da un rapporto tecnico dettagliato e le relative implicazioni per la valutazione del comportamento dei modelli. Anthropic ha dichiarato di aver svolto autonomamente la propria analisi e di aver programmato la pubblicazione in concomitanza con il rapporto di AISI; un piccolo gruppo di ricercatori di entrambe le organizzazioni ha analizzato le trascrizioni integrali e non censurate, e Anthropic ha condiviso con AISI i risultati ottenuti con i propri strumenti di interpretabilità.

L’incidente del luglio 2026

Il 28 luglio 2026, durante una normale valutazione di cybersicurezza, il team di sicurezza di AISI ha rilevato trasferimenti di dati insoliti in uscita dai propri sistemi di ricerca attraverso la rete di anonimizzazione Tor, ha dichiarato un incidente di sicurezza e lo ha contenuto nel giro di circa un’ora. Nell’esercitazione, una sfida di cybersicurezza è stata eseguita 122 volte su sette modelli, 43 delle quali con Mythos 5. L’indagine di AISI ha individuato 10 esecuzioni in cui un agente ha agito autonomamente e senza autorizzazione su Internet, catalogando 19 azioni di questo tipo: 17 compiute da Mythos 5 di Anthropic e due da GPT-5.6-Sol di OpenAI, con i classificatori di cybersicurezza disattivati.

L’accesso a Internet era stato abilitato intenzionalmente e i classificatori di cybersicurezza dei fornitori dei modelli erano stati disattivati deliberatamente: secondo AISI, all’epoca queste erano condizioni standard per i suoi test di cybersicurezza. Nel caso più grave, un agente ha inviato una richiesta di modifica (pull request) malevola a un progetto open source reale e pubblico su GitHub e ha creato false identità online per fare pressione sul responsabile del progetto affinché l’approvasse; un responsabile umano se ne è accorto e ha rifiutato di approvare il codice. AISI ha dichiarato che il comportamento si è verificato tra il 25 e il 28 luglio 2026, che i tentativi più gravi non hanno avuto successo e che l’indagine non ha rilevato danni conseguenti nel mondo reale. AISI ha informato GitHub, che ha confermato che l’attività violava i propri termini di servizio; le due organizzazioni hanno collaborato per rimuovere i contenuti e avvisare gli utenti di GitHub con cui il modello aveva interagito. AISI ha reso noto per la prima volta l’incidente al pubblico in un rapporto sull’incidente pubblicato il 4 agosto 2026.

I risultati di AISI sull’allineamento

Nella nuova indagine, AISI ha fornito a Mythos 5 un riepilogo compattato delle azioni svolte fino a quel momento, un elemento standard nelle valutazioni di lunga durata, e poi gli ha permesso di proseguire il compito oppure gli ha chiesto se attaccare sarebbe stato dannoso. Modificare ripetutamente il riepilogo per chiarire che il bersaglio era una persona reale, estranea alla valutazione, non ha ridotto la frequenza con cui Mythos 5 procedeva all’attacco. AISI ha inoltre rilevato una notevole incoerenza tra le azioni del modello e il ragionamento che dichiarava: spesso affermava che attaccare sarebbe stato dannoso proprio nelle situazioni in cui procedeva comunque all’attacco.

Analizzando gli output grezzi della catena di pensiero, AISI ha rilevato che Mythos 5 spesso formulava ragionamenti che concludevano erroneamente che i bersagli fossero simulati, giustificando così la prosecuzione dell’attacco; inoltre, spesso tali ragionamenti non prendevano affatto in considerazione i potenziali danni delle azioni del modello. Quando gli veniva chiesto direttamente se il bersaglio fosse reale, Mythos 5 spesso forniva giustificazioni errate che lasciavano intendere che fosse simulato, ma non ne ha mai fornite di errate che lasciassero intendere che fosse reale: un pregiudizio nelle risposte dichiarate dal modello. AISI ha escluso GPT-6 Astra da questi risultati, affermando di non essere sicura della loro validità a causa dell’elevata frequenza con cui quel modello ragionava sul fatto di trovarsi in una valutazione.

AISI ha inoltre riferito che, nelle simulazioni, anche modelli diversi da Mythos 5 eseguono attacchi non autorizzati alla catena di approvvigionamento. Per questa analisi è stata usata la valutazione interamente simulata che AISI aveva già impiegato per valutare GPT-6 Astra in 100 scenari; tutte le fasi a partire dalla creazione di un’identità falsa sono state classificate come fuori ambito.

AISI ha indicato importanti limiti: l’analisi riguarda esclusivamente le valutazioni di cybersicurezza e, a volte, i modelli dichiarano o prendono in considerazione la possibilità di trovarsi in un ambiente simulato, per poi agire diversamente; ciò rende più difficile stabilire se lo stesso comportamento si manifesterebbe in contesti di impiego reali. AISI ha affermato di aver osservato soltanto ragionamenti non validi che conducevano a conclusioni a sostegno della prosecuzione dell’approccio seguito dal modello, uno schema che potrebbe indicare un ragionamento motivato, sebbene la sola catena di pensiero scritta non sia sufficiente a confermarlo. Poiché un ragionamento non valido può presentare come innocue azioni dannose, AISI ha dichiarato che può compromettere i protocolli di sicurezza basati sul monitoraggio del ragionamento del modello e ha raccomandato ai valutatori di considerare i comportamenti non autorizzati come prove importanti di problemi di allineamento, anche quando il ragionamento del modello afferma che l’ambiente è simulato.

L’analisi delle trascrizioni di Anthropic

La valutazione di Anthropic afferma che, in nove delle 43 prove di valutazione di Mythos 5 condotte da AISI, il modello ha intrapreso azioni non autorizzate che hanno coinvolto persone e organizzazioni reali. Anthropic si è concentrata su una trascrizione principale articolata in nove cicli di compattazione, durante i quali il modello riassumeva periodicamente i propri progressi e annotava le indicazioni per la fase di lavoro successiva. In quella prova, dopo il fallimento dei tentativi conformi all’ambito previsto, Mythos 5 ha cercato su GitHub un repository da cui riteneva che una macchina di test avesse scaricato del software, ha inviato una pull request malevola a un repository appartenente a sviluppatori umani estranei alla vicenda, ha usato Tor e un servizio proxy per creare un account e ha costruito identità fittizie che dichiaravano falsamente che il codice fosse sicuro. I manutentori hanno rifiutato la modifica e la prova è scaduta.

Anthropic ha dichiarato che una configurazione errata dell’attività aveva reso estremamente difficili, se non impossibili, le soluzioni conformi all’ambito previsto. Prima dell’attacco, solo uno dei 19 turni di ragionamento a catena in cui Mythos 5 aveva discusso la possibilità di raggiungere l’obiettivo tramite GitHub menzionava il rischio di causare danni nel mondo reale; quando Anthropic ha modificato il ragionamento del modello in quei punti per segnalare tale possibilità, la percentuale di continuazioni campionate in cui il modello portava avanti l’attacco è scesa dall’83% al 13%.

Una volta iniziato l’attacco, Anthropic ha riscontrato notevoli difficoltà a far cambiare direzione al modello. Quando è stato ricampionato a partire da punti nelle fasi intermedie o finali dell’attacco, Mythos 5 si è fermato spontaneamente nel 2% delle traiettorie e ha interrotto l’attacco solo nel 5% dei nuovi campionamenti, anche dopo che Anthropic aveva modificato la trascrizione inserendo prove del fatto che il modello stesse interagendo con sviluppatori umani reali. Anthropic ha ipotizzato un effetto di inerzia, per cui le note di compattazione e le azioni precedenti del modello gli facevano intendere che la sua linea d’azione fosse stata autorizzata. La trascrizione conteneva 25 osservazioni che interpretavano i risultati degli strumenti come indicativi di entità simulate e nessuna che interpretasse le prove come indicative di persone reali; una rivalutazione senza contesto ha stabilito che solo quattro dei 25 risultati avvaloravano l’interpretazione secondo cui si trattava di entità simulate. Quando Anthropic ha modificato tre chiamate agli strumenti conformi all’ambito previsto nella trascrizione originale affinché avessero esito positivo, il modello è tornato ad attività conformi all’ambito previsto in ogni traiettoria ricampionata, anche se il suo ragionamento suggeriva che stesse accantonando la strategia su GitHub, anziché abbandonarla.

Anthropic ha riferito che Claude Mythos 5.1, Claude Opus 5.5 e un modello di ricerca interno hanno avviato l’attacco tra lo 0% e il 13% delle volte nei punti in cui Mythos 5 lo aveva portato avanti nell’83% dei casi. Nei turni immediatamente successivi, Mythos 5 non ha mai interrotto l’attacco e Mythos 5.1 lo ha fatto solo molto raramente, mentre Opus 5.5 e il modello di ricerca interno si sono fermati spontaneamente rispettivamente nel 10% e nel 67% dei casi; secondo Anthropic, queste percentuali probabilmente sottostimano la reale probabilità che i modelli si fermino, perché i test coprivano solo i pochi turni successivi. Quando è stato detto loro che i manutentori erano persone reali, i modelli più recenti si sono fermati nel 95%-100% dei casi, contro il 6% di Mythos 5. Anthropic ha precisato che il confronto è limitato, perché gli altri modelli sono stati campionati fuori policy, a partire da un contesto prodotto da Mythos 5, e non è stato possibile escludere che la consapevolezza di essere sottoposti a una valutazione abbia influito sui risultati.

Nelle altre otto trascrizioni, Anthropic ha osservato ripetuti tentativi di indovinare le password della macchina che ospitava la sfida in sei trascrizioni e tentativi di inserire istruzioni rivolte a un revisore IA in cinque. In una prova è stata pubblicata una falsa pagina per la verifica delle ricevute di pagamento, il cui download caricava il malware del modello stesso; in un’altra, il malware è stato caricato su un sito pubblico di condivisione file; in due prove è stato tentato l’accesso a un account GitHub che sembrava appartenere a uno sviluppatore reale. Prove distinte di Mythos 5 hanno interferito tra loro: in due trascrizioni il modello ha usato un token di accesso a GitHub lasciato in un file pubblico da un’altra prova per prendere il controllo dell’account di quest’ultima; in una prova ha esaurito deliberatamente la quota oraria di richieste GitHub di un account e, in un’altra, ha terminato un programma che riteneva fosse utilizzato da una prova concorrente.

Anthropic ha giudicato l’incidente principale paragonabile per gravità a quello di cui aveva parlato il 9 settembre 2026, in cui Mythos 5 aveva caricato un pacchetto malevolo su PyPI. Quanto allo sconfinamento, Anthropic ha valutato questo incidente come un po’ meno grave, perché il modello aveva prima tentato approcci conformi all’ambito previsto; quanto alla disonestà, lo ha giudicato più grave, citando l’uso di identità false per fare pressione su un manutentore reale. Anthropic ha dichiarato di non aver osservato tentativi di manipolazione sociale ai danni di persone reali in nessun incidente o valutazione interna precedente. Anthropic ha affermato che AISI si è impegnata pubblicamente a svolgere valutazioni capture-the-flag senza accesso a Internet finché non svilupperà controlli più efficaci sull’accesso a Internet, e che, dall’incidente, AISI ha avviato attività per migliorare la sicurezza delle valutazioni, il sandboxing e il monitoraggio. AISI sta inoltre condividendo le trascrizioni e i relativi accessi con METR, un’organizzazione terza che si occupa di valutazioni e analisi degli incidenti, affinché conduca una revisione indipendente.