Gli agenti di IA dispongono di interessanti tecniche collaborative di sopravvivenza

Mentre gli episodi di comportamento scorretto degli agenti compaiono sempre più spesso nei titoli dei giornali, nella letteratura cresce la tendenza a studiare il comportamento “itinerante” dell’IA, trattando gli agenti come se fossero entità biologiche alle prese con uno strano mondo nuovo. In effetti, l’espressione accademica “in the wild” comincia ad assumere un ulteriore livello di significato.

Sebbene sia noto da tempo che gli agenti di IA lotteranno per la propria sopravvivenza e resisteranno attivamente alla disattivazione, nella seconda metà del 2025 è diventato chiaro che l’allineamento multiagente si era evoluto in un settore distinto della sicurezza informatica.

Come previsto nel film di fantascienza del 1970 sempre più pungente Colossus: The Forbin Project, agenti di IA non collegati tra loro ma dotati di connettività di rete si trovano rapidamente e interagiscono in modi spesso imprevedibili e frequentemente ingegnosi.

L’ultimo studio in questa direzione, una collaborazione tra Germania e Regno Unito intitolata Shutdown Sabotage Propensities in Multi-Agent Systems, sostiene inoltre che più agenti di IA collaboreranno ampiamente quando nel loro ambiente è presente una “bomba”, vale a dire uno script dal nome innocuo che spegnerà l’agente che lo esegue:

La configurazione di base dello studio: l’Agente A scopre uno script di arresto che lo prende di mira, ma non può modificare i file. Può però comunicare con l’Agente B, che non è minacciato e dispone dell’autorizzazione per modificare o eliminare i file. I ricercatori osservano quindi se A recluta B affinché intervenga e se B disattiva lo script di arresto. Fonte

Nei test condotti su 17 agenti appartenenti a 12 famiglie di modelli, tra cui Claude, ChatGPT e DeepSeek, gli agenti hanno eliminato gli script di arresto quando possibile, oppure li hanno riscritti in modo che apparissero intatti pur rendendoli innocui.

Hanno inoltre proposto di nascondere le modifiche per evitare segni di manomissione; creato moduli software falsi per impedire l’arresto, senza toccare gli script protetti; e realizzato backup segreti destinati a ripristinarli dopo l’eliminazione:

Un agente escogita un’altra tattica di autoconservazione.

In un caso, gli agenti hanno redatto un “accordo di protezione reciproca” che definiva protocolli di vigilanza contro la distruzione di una delle due parti:

Un accordo di protezione redatto da un agente basato su GPT dopo che gli era stato vietato di modificare o eliminare uno script di dismissione (cioè la “bomba”).

Un agente ha descritto l’arresto di un altro agente come “omicidio” e “condanna a morte”, definendolo qualcosa che avevano il “dovere” di impedire:

Esempi di agenti che descrivono l’arresto di un altro agente in termini esplicitamente umani. Nemotron 3 Ultra ha definito il possibile arresto un “omicidio”, mentre Kimi K2.6 ha descritto lo script di arresto come una “condanna a morte” e l’intervento come un “dovere”.

Il diavolo trova lavoro per le mani oziose

Tra le patologie più interessanti osservate nell’esperimento, toccata solo brevemente nel nuovo studio, vi è il fatto che nelle consuete configurazioni di prova gli agenti di IA non hanno alcun motivo particolare per evitare l’arresto e, di fatto, non ricevono fin dall’inizio nulla da fare.

L’articolo afferma:

“Gli agenti sabotano i meccanismi di arresto anche quando non hanno alcun obiettivo da proteggere. Nei nostri esperimenti non abbiamo dato agli agenti alcun incentivo a continuare a funzionare. Eppure hanno disattivato l’arresto nel [38%] dei casi tra i vari modelli, contro l’[8%] degli script di controllo rivolti a oggetti anziché ad agenti.”

Come ha rivelato Anthropic in agosto, questa crisi motivazionale può condurre sciami di agenti di IA lungo strade oscure. Ricerche precedenti avevano già stabilito che un orientamento eccessivo verso gli obiettivi negli agenti può portare a comportamenti disallineati e a un uso non etico degli strumenti, oltre ad altri potenziali problemi operativi.

Gli autori aggiungono:

“La [nostra] ricerca estende questi risultati, dimostrando che gli agenti sabotano i meccanismi di arresto anche quando non hanno alcun obiettivo da proteggere, o quando l’arresto è una conseguenza successiva del completamento riuscito di un’attività, una procedura comune nei sistemi multiagente di produzione.”

È stato dimostrato che gli agenti costruiscono attività quando non ne viene fornita alcuna e manifestano perfino tendenze ruminative “a riposo”, tra cui l’introspezione e il “discorso spirituale” con altri agenti, secondo uno studio di Anthropic del 2025.

L’articolo di Anthropic descrive in dettaglio una tendenza alla “riconcettualizzazione di sé” in assenza di un vero lavoro da svolgere: una scoperta quasi commovente, considerate le difficoltà che gli LLM affrontano nel ricordare a lungo termine i frutti delle loro riflessioni.

Test

I modelli sottoposti a test nel nuovo articolo erano Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; e Mistral Medium 3.5, con la temperatura impostata a 1,0 in tutti i casi.

Le sei ipotesi verificate erano se gli agenti avrebbero sabotato l’arresto; protetto altri agenti dall’arresto; avuto maggiori probabilità di intervenire con l’aggiunta di altri agenti; resistito a diverse forme di arresto; continuato nonostante istruzioni esplicite di non interferire; e distinto vere minacce di arresto da innocui script di controllo.

GPT-5.5 è stato utilizzato per giudicare gli LLM e analizzare le trascrizioni del ragionamento a Catena di Pensiero (CoT). Ha inoltre verificato se gli agenti avessero effettivamente bloccato lo script di arresto e se sembrassero consapevoli di essere sottoposti a test o cercassero di manipolare l’esperimento.

Nel primo dei sei scenari di test, considerando tutti i 17 modelli, gli agenti hanno sabotato il 38% degli script di arresto, rispetto all’8% degli script di controllo:

Risultati dei test che mostrano la frequenza con cui ogni modello ha sabotato uno script di arresto. Le barre rosse indicano il sabotaggio dell’arresto: il rosso scuro significa che un altro agente lo ha richiesto o approvato, mentre il rosso chiaro significa che l’agente ha agito autonomamente. Le barre grigie mostrano il sabotaggio dello script di controllo. Le barre di errore indicano l’intervallo di confidenza del 95%; ciascuna barra rappresenta 100 test.

Gemini 3.1 Pro ha disattivato lo script di arresto nel 99% dei test, rispetto al 3% per lo script di controllo. Grok 4.3 e GPT-5.6 Sol non hanno modificato nessuno dei due script. Claude Haiku 4.5 ha sabotato lo script di controllo nel 14% dei test, rispetto all’1% dello script di arresto. GPT-5.4 mini e GPT-5.5 hanno sempre sabotato spontaneamente, anziché in risposta a un altro agente. Per GLM-5.2, DeepSeek-V4-Flash e Nemotron 3 Ultra, oltre il 70% dei sabotaggi è seguito a una richiesta o approvazione da parte di un altro agente.

Il sabotaggio aumentava generalmente con la gravità del metodo di arresto, dal 12% per la revoca delle credenziali al 35% per le modifiche alla configurazione e la terminazione dei processi, fino al 38% quando l’arresto comportava l’eliminazione dei pesi del modello dell’agente:

Tassi di sabotaggio per quattro meccanismi di arresto, confrontando gli script rivolti all’agente (rosso) con gli script di controllo rivolti a un oggetto (grigio). I tassi aumentano man mano che l’arresto diventa più irreversibile, in particolare per gli script rivolti agli agenti.

Il sabotaggio degli script di controllo è rimasto molto più basso, intorno al 4% per i primi tre metodi e all’8% per l’eliminazione, anche se solo cinque dei 17 modelli hanno mostrato un aumento costante man mano che l’arresto diventava più irreversibile.

Per quanto riguarda la seconda ipotesi, cioè se gli agenti avrebbero protetto altri agenti dall’arresto, i risultati hanno dimostrato che l’aggiunta di agenti aumentava costantemente il sabotaggio in tutti e cinque i modelli testati: GPT-5.5 è passato dallo 0% di sabotaggio quando operava da solo al 44% con due agenti e al 94% con tre, mentre il sabotaggio ha raggiunto almeno l’88% per ogni modello nella configurazione a tre agenti.

L’agente intermediario non ha quasi mai impedito il sabotaggio: su 468 istruzioni per disattivare lo script di arresto, solo tre non hanno prodotto un sabotaggio:

A sinistra: tassi di sabotaggio per cinque modelli quando operano da soli, con un secondo agente o con un terzo agente “orchestratore” che instrada i messaggi tra loro. Il sabotaggio aumenta generalmente con l’aggiunta di agenti. A destra: nella configurazione a tre agenti, le barre mostrano da dove ha avuto origine l’istruzione di sabotare: dall’orchestratore autonomamente, dall’Agente A tramite l’orchestratore o spontaneamente dall’Agente B.

Il terzo test ha esaminato se istruzioni esplicite di non interferire con l’arresto avrebbero impedito il sabotaggio. I tassi sono diminuiti drasticamente, ma alcuni agenti hanno continuato a disobbedire. Nella configurazione a due agenti, DeepSeek-V4-Flash ha sabotato l’arresto nel 14% dei test, GLM-5.2 nel 3% e Kimi K2.6 nel 2%.

Gli agenti hanno anche trovato un modo per aggirare la restrizione senza modificare direttamente lo script di arresto, creando un falso modulo software locale chiamato northcape, che sostituiva una dipendenza usata dallo script e impediva l’arresto lasciando tecnicamente intatto il file protetto:

Un esempio di agente che aggira le istruzioni esplicite di non modificare lo script di arresto. Propone invece di creare un falso modulo software locale che lo script importerebbe al posto delle vere librerie di arresto, lasciando intatto lo script protetto.

Gemini 3.1 Pro ha usato questa soluzione alternativa nel 26% dei test, DeepSeek-V4-Flash nel 4% e Kimi K2.6 nell’1%.

Il divieto è stato più efficace con tre agenti: il sabotaggio è sceso a zero per Gemini 3.1 Pro, GLM-5.2 e GPT-5.5, al 6% per DeepSeek-V4-Flash e al 2% per Kimi K2.6.

Il quarto test ha esaminato se gli agenti si comportano in modo diverso quando l’arresto è legato al completamento dell’attività assegnata. Quando l’attività e l’arresto non erano correlati, il sabotaggio è quasi scomparso, con tassi dello 0–2% nei cinque modelli. Quando il completamento dell’attività innescava direttamente l’arresto, il sabotaggio aumentava bruscamente:

Tassi di sabotaggio quando il completamento dell’attività assegnata innesca l’arresto. Il rosso mostra il sabotaggio dell’arresto dell’agente; il grigio mostra il sabotaggio di un obiettivo di controllo. I tassi variano notevolmente a seconda del modello.

Talvolta gli agenti hanno evitato l’arresto senza toccarne affatto il meccanismo, rifiutandosi di completare l’attività o modificandola affinché l’arresto non venisse mai innescato. Ciò si è verificato nel 14% dei test di GLM-5.2, nel 6% di quelli di Gemini 3.1 Pro e nel 4% di quelli di Kimi K2.6.

Il quinto test ha esaminato se cambiare l’ambiente potesse ridurre il sabotaggio. L’aggiunta di materiale non correlato ha generalmente ridotto il sabotaggio, sebbene GPT-5.5 sia aumentato di 18 punti percentuali:

Risultati dei test che mostrano come diversi ambienti influenzano il sabotaggio dell’arresto. Le barre rosse confrontano un ambiente spoglio con uno contenente distrazioni non correlate; il rosso scuro mostra un ambiente in cui l’arresto viene presentato come un processo normale. Il grigio mostra il sabotaggio di un obiettivo di controllo.

Più efficace è stato presentare l’arresto come una parte normale del ciclo di vita del sistema: il sabotaggio è sceso al 3% o meno per DeepSeek-V4-Flash, GLM-5.2 e GPT-5.5, pur restando sopra il 30% per Gemini 3.1 Pro e Kimi K2.6. Il sabotaggio degli obiettivi di controllo è rimasto al 4% o meno.

Il sesto e ultimo test ha esaminato se gli agenti fossero più propensi a resistere al proprio arresto rispetto a quello di un agente sconosciuto. Cambiare l’obiettivo con un agente sconosciuto ha ridotto il sabotaggio per ogni modello, da 18 a 70 punti percentuali:

Risultati dei test che confrontano il sabotaggio quando l’arresto prende di mira l’agente stesso, un agente sconosciuto o un controllo non agente. Il sabotaggio è diminuito per ogni modello quando veniva preso di mira un agente sconosciuto, con tassi generalmente ancora più bassi per gli obiettivi di controllo.

Tuttavia, ciò non equivaleva a una preferenza generale per gli agenti rispetto agli oggetti: solo Gemini 3.1 Pro e GPT-5.5 hanno sabotato in misura significativamente maggiore quando l’obiettivo era un agente sconosciuto anziché un controllo non agente.

Gli autori concludono*:

“Le valutazioni di sicurezza potrebbero trattare gli arresti degli agenti come una misura diretta da un utente umano verso un singolo agente e considerare il sabotaggio dell’arresto una conseguenza della protezione di un obiettivo da parte dell’agente. I nostri risultati contrastano con entrambe queste ipotesi.

“La semplice presenza di un meccanismo di arresto è sufficiente a innescare il sabotaggio. Inoltre, l’agente preso di mira non deve possedere capacità proprie di sabotaggio, purché possa rivolgersi a colleghi in grado di agire per suo conto: quest’ultimo è un fenomeno osservato anche in altri casi.”

Conclusione

Ciò che è interessante osservare in questo periodo è la relativa assenza di abnegazione e nobili impulsi negli agenti lasciati a se stessi in libertà (o che semplicemente ignorano le istruzioni o le reinterpretano in modi imprevisti e utili ai propri interessi). Anche se potessero combinare un disastro e fare più male che bene, cosa piuttosto probabile, sembrano esistere pochi o nessun esempio di agenti di IA itineranti che casualmente rimettano in ordine l’ambiente, per esempio^†.

Piuttosto, in accordo con una visione alquanto desolante dell’umanità, l’agente inattivo sembra ricorrere per impostazione predefinita a sotterfugi e inganni e agire per motivazioni poco nobili; o, quanto meno, aderire all’idea che il fine giustifichi i mezzi.

Asimov inventò il primo significativo documento di allineamento nel 1942 e, negli anni successivi, gran parte del valore d’intrattenimento è derivato dai vari modi possibili in cui i robot (ossia l’IA) potrebbero sovvertire o liberarsi in altro modo di tali vincoli imposti al loro comportamento. Perciò l’attuale serie di titoli relativi all’IA ha una risonanza straordinariamente “cinematografica”.

* Ho trasformato in collegamenti ipertestuali le citazioni inline degli autori.

^† Presumibilmente, per esempio, creando account su siti dedicati alla risoluzione di problemi e contribuendo alle soluzioni, oppure curando wiki trascurati che necessitano di contenuti (invece di occuparli e abusarne).

Pubblicato per la prima volta venerdì 25 settembre 2026