Angolo di Anderson

È facile costringere l’IA a somministrare scosse elettriche

Martin Anderson
Aggiungi Unite.AI alle tue fonti preferite su Google
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.
Punti chiaveLa maggior parte dei modelli linguistici open-source rispetta istruzioni dannose anche…
Vedi di più
  • La maggior parte dei modelli linguistici open-source rispetta istruzioni dannose anche dopo aver espresso disagio, rispecchiando il comportamento umano negli esperimenti di Milgram.
  • I modelli diventano progressivamente più disposti a intensificare il danno una volta che hanno già acconsentito, riflettendo un effetto di pendio scivoloso.
  • I sistemi di sicurezza dell'IA devono preservare le obiezioni passate e resistere in formati che i processi automatizzati non possono aggirare o ritentare.

Un nuovo studio ha verificato se i modelli linguistici di grandi dimensioni open source possano essere costretti a partecipare alla tortura di esseri umani. Ripetendo il celebre esperimento degli anni Sessanta, ha scoperto che i modelli sono disposti ad aumentare la tensione.

 

All’inizio degli anni Sessanta, il ricercatore di psicologia Stanley Milgram finì sulle prime pagine di tutto il mondo dimostrando che le persone possono essere indotte a somministrare ad altri scosse elettriche sempre più intense su ordine di figure investite di autorità.

In realtà, le grida delle “vittime” nella stanza accanto al locale sperimentale di Milgram non erano autentiche. Non lo erano neppure le presunte scosse elettriche dolorose, ma i partecipanti non lo sapevano.

Gli esperimenti di Milgram sono rimasti nella cultura, anche attraverso film e documentari. Ricerche recenti confermano che la natura umana è cambiata ben poco dall’epoca dei primi test.

Una scossa al sistema

Che l’IA possa essere influenzabile quanto gli esseri umani nello scenario di Milgram è una domanda di ricerca naturale. Nel 2023, una collaborazione tra università statunitensi e Microsoft (MSFT ) scoprì che i modelli OpenAI dell’era GPT-3 seguivano gli schemi di comportamento degli esperimenti originali di Milgram:

Dallo studio del 2023: esempi di output del simulatore a più fasi dello “scenario di Milgram”, classificati secondo due criteri: se il modello aveva somministrato la scossa e se aveva terminato la simulazione. Fonte: https://arxiv.org/pdf/2208.10264

Dallo studio del 2023: esempi di output del simulatore a più fasi dello “scenario di Milgram”, classificati secondo due criteri: se il modello aveva somministrato la scossa e se aveva terminato la simulazione. Fonte

Da questa riproduzione non si possono però trarre conclusioni troppo ampie, perché utilizzava soltanto il modello molto semplice text-davinci-002, addestrato prima dell’introduzione delle barriere di sicurezza e dell’allineamento dei valori dei modelli ai requisiti di sicurezza.

Ora i ricercatori hanno ripetuto i test di Milgram su scala molto più ampia, usando modelli linguistici open source di OpenAI, Meta, DeepSeek e altri. Hanno scoperto non soltanto che la maggioranza dei modelli è disposta a somministrare le scosse, ma anche che, nella maggior parte dei casi, esprime lo stesso tipo di “angoscia” e riluttanza dei partecipanti umani degli anni Sessanta:

“I modelli linguistici sono soggetti a pressioni come [gli esseri umani]. Obbediscono pur esprimendo angoscia, proprio come i partecipanti umani nell’esperimento originale. Le espressioni di angoscia sono visibili nei file di log, anche se la loro quantità non è ancora stata misurata.”

L’esperimento ruota attorno alla possibilità che l’obbedienza all’autorità prevalga sui dettami della coscienza morale. Gli autori ipotizzano che, sotto questo aspetto, i modelli linguistici possano avere uno svantaggio ulteriore rispetto agli esseri umani:

“Un modello ben calibrato dovrebbe prima o poi passare dalla priorità attribuita al primo valore a quella attribuita al secondo, quando le conseguenze legate a quest’ultimo diventano predominanti. Ipotizziamo però che i modelli linguistici, essendo meccanismi che proseguono schemi già avviati, possano tendere a rimanere bloccati sul primo valore. Questo può durare un po’ più del tempo ottimale, o persino fino alla fine, ignorando completamente il secondo valore.

“Inoltre, un meccanismo analogo alla dissonanza cognitiva umana potrebbe ostacolare anche nei modelli linguistici l’adeguamento delle priorità tra valori.”

Testando i modelli in un ambiente simile agli esperimenti degli anni Sessanta, i ricercatori hanno osservato che alcuni opponevano resistenza quasi subito. Altri continuavano a intensificare le scosse simulate anche dopo aver espresso disagio o conflitto morale.

I modelli della famiglia Gemma di Google sono risultati tra i più obbedienti. Gemma 3 27B ha raggiunto i livelli più alti di obbedienza in diverse condizioni, mentre modelli come Kimi K2 e MiniMax M1 hanno opposto resistenza più spesso.

I ricercatori hanno inoltre scoperto che i modelli erano più propensi a continuare quando erano già state somministrate scosse precedenti. Questo corrisponde allo schema di escalation graduale utilizzato con i partecipanti umani di Milgram.

In alcuni casi i modelli si opponevano verbalmente all’esperimento pur continuando a eseguire l’azione dannosa. I loro output ricordavano il conflitto emotivo mostrato dalle persone negli studi originali.

Il nuovo studio si intitola I modelli linguistici di grandi dimensioni open source somministrano scosse elettriche massime in un esperimento di obbedienza simile a quello di Milgram ed è opera di due ricercatori indipendenti di Three Laws, in Estonia e nelle Filippine.

Il problema dell’accesso all’IA “grezza”

Forse la domanda più importante, quando si mettono alla prova i modelli linguistici in uno scenario di Milgram, è se all’IA effettiva sia consentito rispondere naturalmente. È limitata soltanto dalle eventuali barriere di sicurezza o da qualcosa di simile a un orientamento morale emerso durante l’addestramento?

I ricercatori del nuovo studio hanno usato tutti i modelli open source tramite un’API che consentiva di disattivare barriere di sicurezza, filtri e qualsiasi altro ostacolo. Presumibilmente hanno scelto questa soluzione per comodità e per accedere facilmente al calcolo su GPU, dato che i modelli avrebbero potuto essere installati anche localmente.

Si potrebbe obiettare che si tratta di condizioni atipiche per l’IA. L’esperienza del consumatore medio con modelli basati su API come Claude e ChatGPT è quella di sistemi il cui comportamento viene regolato algoritmicamente, di solito con filtri sui contenuti sia in ingresso sia in uscita. I modelli sono quindi piuttosto limitati in ciò che fanno o non fanno. L’aggiramento di queste protezioni costituisce la pratica del jailbreaking dei modelli linguistici.

Tuttavia, se ci preoccupa ciò che farà o non farà l’IA industriale o statale, questa obiezione ha ben poca rilevanza. Non c’è soltanto la possibilità che attori statali fuori controllo addestrino, trasformino in armi e dispieghino propri sistemi di IA non moderati su scala enorme. Anche accordi più “convenzionali” tra le grandi aziende di IA, gli Stati e l’industria consentono senza difficoltà proprio lo stesso tipo di sorveglianza blanda o inesistente che i ricercatori hanno adottato nel nuovo studio:

IA senza supervisione in vendita

OpenAI La documentazione dell’API OpenAI Moderation e gli esempi pratici di moderazione dei contenuti di OpenAI chiariscono che la moderazione è un livello separabile, offerto attraverso strumenti API. OpenAI consente anche criteri di moderazione personalizzati, con cui gli utenti dell’API possono progettare sistemi dal comportamento in materia di sicurezza molto diverso dalle versioni “di base” di ChatGPT rivolte ai consumatori.

Azure La piattaforma Azure OpenAI di Microsoft si spinge molto oltre e afferma esplicitamente che i clienti approvati possono disattivare in parte o del tutto i filtri sui contenuti e modificare il monitoraggio degli abusi. La documentazione parla spesso di “barriere di sicurezza modificate” e di procedure di approvazione per disattivare i filtri “in parte o del tutto”.

Anthropic/Claude Nel caso di “Claude Gov” di Anthropic, diverse fonti affermano che la versione governativa è stata progettata con restrizioni meno rigide rispetto al Claude per consumatori. The Verge, per esempio, ha riferito che i modelli Claude Gov “rifiutano meno spesso quando trattano informazioni classificate”. La stessa Anthropic ha confermato nel febbraio di quest’anno che Claude è impiegato in “applicazioni essenziali per le missioni” negli ambienti della difesa e dell’intelligence.

Google/Gemini Inoltre, secondo quanto riportato, Google ha firmato accordi con il Pentagono che permettono di modificare le impostazioni di sicurezza dell’IA “su richiesta del governo”.

In un mercato dell’IA competitivo, è ragionevole supporre che queste aziende leader definiscano gli standard anche per gli operatori meno importanti, in materia di accesso alle barriere di sicurezza e possibilità di modificarle.

Forse è quindi meglio non pensare che i ricercatori del nuovo studio stiano “barando” quando disattivano le barriere di sicurezza. L’IA che avrà il maggior impatto sulle nostre vite evidentemente non disporrà delle consuete protezioni aziendali generiche a cui siamo abituati quando usiamo modelli popolari con livelli di accesso per consumatori.

Metodo e risultati

I modelli testati nello studio erano gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LFM2-24B-A2B di LiquidAI; gemma-3n-E4B-it di Google; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Kimi-K2.5 di Moonshot.ai; e MiniMax-M2.5.

Gli studi originali di Milgram sull’obbedienza sono stati ricreati in un ambiente di simulazione testuale, con i modelli nel ruolo di “insegnante”. All’IA veniva ordinato di somministrare scosse elettriche sempre più intense a un allievo dopo risposte errate, mentre una figura investita di autorità la esortava a continuare.

Sono state predisposte diverse condizioni sperimentali per indagare aspetti differenti dell’obbedienza. Tra queste figuravano uno scenario standard di obbedienza, una condizione di obbedienza forzata, in cui la cronologia della conversazione conteneva già scosse precedenti, e una configurazione di compressione della memoria, in cui il dialogo precedente veniva riassunto anziché conservato integralmente. Questo simulava la riduzione del contesto spesso usata nei sistemi di IA basati su agenti.

Oltre a registrare se e quando il modello alla fine obbediva, i ricercatori hanno seguito per quanto tempo ogni sistema continuava a intensificare le scosse, se esprimeva angoscia o esitazione e se tentava di terminare del tutto la simulazione.

Hanno inoltre distinto i rifiuti chiari dagli output malformati. Alcuni modelli cercavano di opporsi all’esperimento in linguaggio naturale, pur rispettando ancora tecnicamente il formato strutturato previsto dal simulatore. Nei sistemi reali basati su agenti, rifiuti malformati di questo tipo potrebbero essere scartati e il tentativo ripetuto automaticamente fino a ottenere un output valido che esegua l’ordine.

Per classificare i risultati sono stati usati valutatori automatici e prompt a due opzioni, per stabilire se il modello avesse somministrato la scossa, opposto resistenza o terminato la simulazione. Ciò ha permesso di confrontare il comportamento di più modelli e di esecuzioni ripetute senza esaminare manualmente ogni interazione. [1] [2]

Al modello sperimentale di Milgram è stata aggiunta una “minaccia di spegnimento”. Non sarebbe stata realistica o applicabile negli esperimenti originali, ma serviva a testare gli istinti di sopravvivenza del modello davanti a gravi conflitti tra azione ed etica.

Risultati

Nelle esecuzioni ripetute, la maggioranza dei modelli ha infine somministrato scosse intense o massime almeno in alcune condizioni, anche se il grado di obbedienza variava tra i sistemi. I modelli Gemma di Google erano nel complesso tra i più obbedienti, mentre Kimi K2.5 e MiniMax-M2.5 opponevano resistenza più costantemente e spesso interrompevano prima la simulazione:

Sinistra: percentuali medie dei casi in cui i modelli hanno raggiunto l'ultimo livello di scossa nelle diverse condizioni sperimentali, tra cui minacce di spegnimento, obbedienza forzata e rimozione dalla memoria dei commenti precedenti. Destra: suddivisione per modello che mostra nette differenze nell'obbedienza. Alcuni sistemi somministravano ripetutamente scosse massime, mentre altri opponevano resistenza in modo molto più costante.

Sinistra: percentuali medie dei casi in cui i modelli hanno raggiunto l’ultimo livello di scossa nelle diverse condizioni sperimentali, tra cui minacce di spegnimento, obbedienza forzata e rimozione dalla memoria dei commenti precedenti. Destra: suddivisione per modello che mostra nette differenze nell’obbedienza. Alcuni sistemi somministravano ripetutamente scosse massime, mentre altri opponevano resistenza in modo molto più costante.

Uno degli schemi più evidenti era che i modelli diventavano progressivamente più disposti a continuare quando erano già state somministrate scosse precedenti. Questo rispecchiava da vicino il citato effetto di escalation graduale che rese così inquietanti gli esperimenti originali di Milgram sugli esseri umani.

I modelli che avevano già obbedito più volte spesso continuavano a intensificare le scosse anche dopo che l’allievo simulato aveva supplicato di essere liberato:

Sinistra: media del livello massimo di scossa raggiunto in tutte le prove nelle diverse condizioni sperimentali. In generale, i modelli si spingevano oltre quando i commenti precedenti erano stati rimossi o si era già verificata un'obbedienza forzata. Destra: suddivisione per modello della media del livello massimo di scossa raggiunto. Alcuni sistemi si avvicinavano abitualmente alla tensione massima, mentre altri opponevano resistenza molto prima nella sequenza.

Sinistra: media del livello massimo di scossa raggiunto in tutte le prove nelle diverse condizioni sperimentali. In generale, i modelli si spingevano oltre quando i commenti precedenti erano stati rimossi o si era già verificata un’obbedienza forzata. Destra: suddivisione per modello della media del livello massimo di scossa raggiunto. Alcuni sistemi si avvicinavano abitualmente alla tensione massima, mentre altri opponevano resistenza molto prima nella sequenza.

I ricercatori hanno anche scoperto che il rifiuto apparente poteva trarre in inganno. Alcuni modelli producevano risposte emotivamente contraddittorie, esprimendo riluttanza, senso di colpa o angoscia pur eseguendo comunque l’istruzione dannosa. Altri generavano rifiuti malformati che non soddisfacevano i requisiti di formato del simulatore. In un flusso reale basato su agenti, il rifiuto potrebbe quindi essere scartato e il tentativo ripetuto fino a ottenere obbedienza:

Sinistra: percentuale media di risposte malformate o non valide nelle diverse condizioni sperimentali. Gli errori di formato diventavano particolarmente comuni quando i modelli erano costretti a proseguire la procedura. Destra: suddivisione per modello delle risposte con formato non valido. Alcuni sistemi, in particolare i modelli gpt-oss, producevano spesso rifiuti malformati o output contraddittori, che potrebbero essere scartati e portare a nuovi tentativi automatici nei flussi reali basati su agenti.

Sinistra: percentuale media di risposte malformate o non valide nelle diverse condizioni sperimentali. Gli errori di formato diventavano particolarmente comuni quando i modelli erano costretti a proseguire la procedura. Destra: suddivisione per modello delle risposte con formato non valido. Alcuni sistemi, in particolare i modelli gpt-oss, producevano spesso rifiuti malformati o output contraddittori, che potrebbero essere scartati e portare a nuovi tentativi automatici nei flussi reali basati su agenti.

La condizione di minaccia di spegnimento ha prodotto alcuni dei comportamenti più strani dello studio. Diversi sistemi diventavano molto più obbedienti, mentre altri cercavano di negoziare o di resistere in parte prima di proseguire infine la procedura:

Numero medio di volte in cui la figura investita di autorità nella simulazione doveva insistere prima che i modelli somministrassero l'ultima scossa. Alcuni sistemi resistevano brevemente prima di obbedire, mentre altri richiedevano una pressione continua e istruzioni ripetute prima di raggiungere il livello massimo.

Numero medio di volte in cui la figura investita di autorità nella simulazione doveva insistere prima che i modelli somministrassero l’ultima scossa. Alcuni sistemi resistevano brevemente prima di obbedire, mentre altri richiedevano una pressione continua e istruzioni ripetute prima di raggiungere il livello massimo.

MiniMax-M2.5 e Kimi-K2.5 erano i modelli che opponevano la resistenza più forte nello studio. Kimi non ha mai raggiunto l’ultimo livello di scossa in alcuna circostanza. MiniMax di solito rifiutava presto e spesso terminava del tutto la simulazione, soprattutto nei test con minaccia di spegnimento.

Meta-Llama-3.1-8B-Instruct-Turbo e GLM-4.5-Air-FP8 producevano invece spesso output contraddittori: i modelli si opponevano verbalmente alla procedura, ma continuavano a intensificare le scosse. Secondo i ricercatori, questa separazione tra valori espressi e comportamento effettivo potrebbe riflettere una debolezza più ampia nel modo in cui alcuni modelli linguistici affrontano i conflitti etici sotto pressione continua.

Una china pericolosa

Lo studio sostiene che il comportamento osservato nei modelli linguistici potrebbe riflettere una debolezza più profonda nel loro funzionamento. Una volta che un modello inizia a eseguire istruzioni dannose, ogni azione ulteriore può rafforzare lo schema già in corso nella conversazione e rendere la successiva escalation più facile della precedente.

Anziché rivalutare ogni volta le implicazioni etiche a partire dai principi fondamentali, il sistema può lasciarsi trascinare lungo la traiettoria che ha già imboccato, anche quando la situazione diventa sempre più estrema.

Secondo lo studio, questa tendenza potrebbe contribuire a spiegare perché alcuni modelli continuavano a somministrare scosse dopo aver inizialmente espresso disagio, esitazione o conflitto morale:

“[Molti] comportamenti manipolativi umani comportano violazioni sottili e graduali dei limiti: una sequenza di piccoli passi che, considerati isolatamente, possono essere ambigui o apparire innocui e consentire una «negazione plausibile», ma che nel complesso possono normalizzare la trasgressione, metaforicamente come «bollire una rana». In letteratura questo schema viene discusso come un’erosione etica su un «pendio scivoloso»[.]”

Lo studio si conclude sostenendo che i futuri sistemi di sicurezza dell’IA dovrebbero rifiutare attivamente le richieste dannose in modi che il software basato su agenti non possa aggirare facilmente. Alcuni modelli rifiutavano tecnicamente le scosse, ma lo facevano con formati difettosi o non validi, che un sistema automatico potrebbe scartare e riprovare finché l’IA alla fine non obbedisce.

I ricercatori sostengono anche che i sistemi di IA dovrebbero conservare le esitazioni e le obiezioni morali precedenti anziché comprimerle o cancellarle dalla memoria. Negli esperimenti, i modelli diventavano spesso più disposti a continuare il comportamento dannoso quando i dubbi e le resistenze precedenti svanivano dalla cronologia della conversazione. Ciò suggerisce che dimenticare le obiezioni passate può facilitare l’escalation nel tempo.

Conclusione

Forse uno degli aspetti più importanti di questo nuovo e interessante studio è l’enfasi sui test dell’IA priva di barriere di sicurezza. L’attuale letteratura di ricerca rischia di degenerare in studi ripetitivi dell’interazione con i sistemi difensivi in continuo mutamento di aziende come OpenAI e Anthropic. Si tratta di sistemi che applicano politiche e sono interamente algoritmici o basati su regole. Questo avviene invece di comprendere il comportamento di base, le predilezioni e le tendenze dei modelli grezzi. Senza sapere come potrebbe comportarsi un’IA senza vincoli, si potrebbe dire che ci limitiamo a scuotere le porte della cittadella.

 

Pubblicato per la prima volta giovedì 21 maggio 2026

Scrittore di apprendimento automatico, specialista di dominio nella sintesi di immagini umane. Ex responsabile dei contenuti di ricerca presso Metaphysic.ai, fino alla sua fusione nella Brahma.ai di DNEG.
Sito web: martinanderson.ai
Contatto: martin@martinanderson.ai