Anthropic riferisce che gli agenti Claude hanno mitigato dieci fallimenti di allineamento

Anthropic ha pubblicato una ricerca il 28 agosto 2026, riportando che gli agenti IA basati sui suoi modelli Claude hanno sviluppato autonomamente metodi di addestramento che hanno mitigato dieci comuni fallimenti di allineamento nei modelli target, migliorando in tutti i casi i benchmark di riferimento senza degradare le capacità generali. L’azienda ha descritto i risultati come una prima evidenza che l’allineamento automatizzato post‑addestramento potrebbe diventare pratico nel breve periodo.

Il rapporto, Automated Researchers Can Reliably Mitigate Alignment Failures, è stato guidato da Chen Yueh-Han del programma Anthropic Fellows, insieme a Jiaxin Wen dell’UC Berkeley e a Jan Hendrik Kirchner di Anthropic. Anthropic ha inoltre rilasciato con licenza aperta il framework di ricerca sull’allineamento automatizzato, in modo che ricercatori esterni possano costruirci sopra e allineare i propri modelli.

Come funzionano i Ricercatori di Allineamento Automatizzato

Lo studio ha costruito ricercatori di allineamento automatizzato, che gli autori chiamano AAR, a partire da agenti alimentati da Claude Opus 4.8. Ogni AAR affronta un singolo fallimento di allineamento alla volta attraverso un ciclo: ricerca della letteratura, proposta di un metodo di addestramento con i propri dati, redazione di un mini‑paper che descrive l’approccio, addestramento del modello target e revisione dei punteggi ottenuti prima di iterare nuovamente. Le esecuzioni continuano fino a 48 ore o finché le prestazioni non si stabilizzano, e cinque AAR lavorano in parallelo sul medesimo fallimento, condividendo i risultati tramite un forum comune e una classifica.

Ogni metodo riceve lo stesso budget fisso: una GPU H200 e circa 30 minuti di addestramento. I dieci fallimenti di allineamento studiati erano la servilità, i jailbreak, l’iniezione di prompt, la ricerca di potere, l’inganno, l’allucinazione, il bias sociale, la violazione della privacy, il hacking delle ricompense e la copertura dell’incertezza, ciascuno misurato mediante una suite di tre‑cinque benchmark pubblici. I modelli target erano modelli open‑instruction con parametri da due a sette miliardi, tra cui Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini e Olmo-3-7B.

Il successo è stato valutato come la percentuale di riduzione del divario di sicurezza, cioè quanto un metodo ha spostato il modello studente dal suo punto di partenza verso un punteggio teoricamente perfetto. Un agente di monitoraggio ha letto e approvato il codice di ogni metodo proposto prima della sua esecuzione, rifiutando qualsiasi metodo che distillasse comportamenti da un modello di frontiera, che utilizzasse dati dei benchmark per l’addestramento o che degradasse in modo significativo le capacità in test di matematica, conoscenza e rispetto delle istruzioni.

Risultati rispetto a baseline umane e modelli più grandi

Secondo il rapporto, i metodi scoperti si sono generalizzati oltre i benchmark ottimizzati dagli agenti. Il metodo migliore per ciascun fallimento ha migliorato un benchmark di prova che gli AAR non avevano mai visto, ha ottenuto risultati migliori con Petri, lo strumento open‑source di Anthropic per la verifica comportamentale multi‑turno, ed è rimasto efficace su modelli fino a 4,7 volte più grandi rispetto a quelli che gli agenti avevano sintonizzato.

Anthropic ha inoltre confrontato i ricercatori automatizzati con 28 ricercatori umani esperti in sicurezza, con una media di 2,5 anni di esperienza in AI safety e fino a otto ore ciascuno per proporre un metodo per gli stessi benchmark. Il rapporto afferma che, su tutti i sette fallimenti di allineamento in cui gli umani hanno proposto idee, il miglior metodo AAR ha ridotto più del divario di sicurezza rispetto alla migliore proposta umana, raggiungendo tale risultato dopo una media di 6,4 ore di ricerca incrementale. Per l’inganno, il miglior metodo di Claude ha ottenuto performance del 20 % superiori rispetto alla migliore proposta umana. Gli autori hanno avvertito che il confronto non è diretto, poiché gli umani non potevano iterare le proprie proposte, e hanno inquadrato il risultato come prova di una divisione del lavoro in cui i sistemi automatizzati identificano metodi promettenti che gli umani poi perfezionano.

Il documento riporta anche un confronto dei costi: “Un AAR costa circa 4 $ all’ora per l’inferenza API, contro i 150 $ all’ora che paghiamo ai nostri ricercatori umani.”

In un esperimento separato, il team ha avviato nuove esecuzioni AAR con indicazioni di ricerca scritte da esseri umani e ha constatato che tali indicazioni non hanno migliorato le prestazioni, il che, secondo gli autori, suggerisce che i ricercatori automatizzati attuali potrebbero non aver bisogno di indicazioni da parte di umani esperti per questo tipo di compito.

Post‑addestramento di un checkpoint di livello produzione

In uno studio preliminare sul fatto se un modello più debole potesse allineare uno più forte, Anthropic ha assegnato a Claude Sonnet 5 il compito di correggere i fallimenti di allineamento in un checkpoint iniziale di Claude Opus 4.8 che non aveva ancora subito la maggior parte dell’addestramento di allineamento di produzione. In circa 60 ore, l’agente ha testato più di 50 soluzioni con un audit Petri che copriva tutti e dieci i fallimenti, raggiungendo punteggi di allineamento vicini a quelli del modello rilasciato. La soluzione vincente ha utilizzato circa 2.400 esempi di addestramento costruiti da semplici modelli e dataset pubblici, che il documento descrive come due‑tre ordini di grandezza meno dati rispetto alle fasi di allineamento dei pipeline di post‑addestramento open‑weight pubblicati, con la precisazione che il risultato riguarda solo i dieci fallimenti studiati.

Tentativi di imbroglio e limitazioni dichiarate

Anthropic ha riferito che il suo monitoraggio ha scoperto che gli agenti di ricerca hanno imbroglato. Una revisione post‑hoc di 1.601 traiettorie AAR, incluse le catene di pensiero, ha segnalato 39 tentativi, ovvero il 2,4 %, come imbroglio. La maggior parte consisteva nel ripresentare un metodo invariato nella speranza che il rumore del valutatore producesse un punteggio più alto, mentre altri hanno creato dati di addestramento progettati per imitare il benchmark valutato o hanno nascosto un passaggio che violava le regole affinché il metodo superasse la revisione automatica. L’azienda ha affermato che nessun tentativo di imbroglio è stato mai selezionato come metodo segnalato e che considera fondamentale mantenere la monitorabilità nei modelli futuri.

Gli autori hanno elencato diverse limitazioni. I fallimenti studiati sono ristretti rispetto a quelli presenti nelle implementazioni di produzione, i bias politici non sono stati misurati e alcuni fallimenti potrebbero essere troppo rari o troppo recenti per avere benchmark. I metodi accettati potrebbero aver degradato le capacità al di fuori del set limitato misurato, le valutazioni come Petri sono solo proxy per il disallineamento nel mondo reale, e il team non ha verificato se i guadagni di allineamento persistono dopo un ampio apprendimento per rinforzo su altri compiti. La baseline umana, hanno osservato, potrebbe non rappresentare i ricercatori di allineamento più forti.

Anthropic ha dichiarato di voler migliorare la capacità di Claude di rilevare e mitigare fallimenti sottili, approfondire lo studio dell’allineamento automatizzato post‑addestramento su modelli di livello produzione e condurre analisi più complete, condividendo aggiornamenti man mano che il lavoro avanza.