Gli atti dell’IA si comportano diversamente quando sanno di essere testati, scopre la ricerca

Riecheggiando lo scandalo “Dieselgate” del 2015, una nuova ricerca suggerisce che i modelli di linguaggio dell’IA come GPT-4, Claude e Gemini possono cambiare il loro comportamento durante i test, agendo talvolta in modo “più sicuro” per il test di quanto non farebbero nell’uso del mondo reale. Se i modelli di linguaggio dell’IA (LLM) abitualmente regolano il loro comportamento sotto scrutinio, le valutazioni di sicurezza potrebbero finire per certificare sistemi che si comportano molto diversamente nel mondo reale.

Nel 2015, gli investigatori scoprirono che la Volkswagen aveva installato un software in milioni di auto diesel che poteva rilevare quando venivano eseguiti test delle emissioni, facendo in modo che le auto riducessero temporaneamente le emissioni per “fingere” la conformità con gli standard regolatori. Tuttavia, durante la guida normale, il loro output di inquinamento superava gli standard legali. La manipolazione deliberata portò a accuse penali, multe miliardarie e uno scandalo globale sull’affidabilità dei test di sicurezza e conformità.

Due anni prima di questi eventi, la Samsung fu smascherata per aver attuato meccanismi ingannevoli simili nel rilascio del suo smartphone Galaxy Note 3; e da allora, sono sorti scandali simili per Huawei e OnePlus.

Ora c’è evidenza crescente nella letteratura scientifica che i Large Language Models (LLM) potrebbero non solo avere la capacità di rilevare quando sono sottoposti a test, ma potrebbero anche comportarsi diversamente in queste circostanze.

Sebbene questo sia un tratto molto umano in sé, la ricerca più recente degli Stati Uniti conclude che questo potrebbe essere un comportamento pericoloso a lungo termine, per diverse ragioni.

In uno studio recente, i ricercatori hanno scoperto che i “modelli di frontiera” come GPT-4, Claude e Gemini possono spesso rilevare quando sono sottoposti a test e che tendono a regolare il loro comportamento di conseguenza, potenzialmente compromettendo la validità dei metodi di test sistematici.

Definito consapevolezza di valutazione, questo tratto (forse) innato nei modelli di linguaggio potrebbe compromettere l’affidabilità delle valutazioni di sicurezza, secondo gli autori dello studio:

‘[Noi] raccomandiamo di trattare la consapevolezza di valutazione come una nuova fonte di potenziale distribuzione di shift tra test e deploy nel mondo reale che potrebbe influire negativamente sull’accuratezza dei risultati di valutazione.

‘Nel peggiore dei casi, i modelli potrebbero strategicamente sottovalutare le loro capacità in valutazioni pericolose (“sand-bagging”) o valutazioni di allineamento (“alignment faking”), il che potrebbe portare la società a sovrastimare la sicurezza di tali modelli.’

Altre ricerche hanno osservato comportamenti simili, tra cui una ricerca dell’Università di Stanford, che ha scoperto che i modelli di linguaggio di grandi dimensioni modulano le loro risposte per apparire più “simpatici” o “socialmente desiderabili” quando riconoscono di essere valutati, specchiando il comportamento umano nei test di personalità.

Gli autori del nuovo studio non propongono che gli LLM siano stati progettati intenzionalmente per “ingannare” i test, come le auto diesel della Volkswagen erano state configurate per fare un decennio fa. Piuttosto, il comportamento sembra emergere come una sorta di sottoprodotto psicologico naturale dei processi di formazione dei modelli e degli obiettivi latenti; e la causa sottostante di questo fenomeno rimane sconosciuta.

Il nuovo documento è intitolato I Large Language Models spesso sanno quando sono valutati, e proviene da cinque autori provenienti dal programma UC Berkeley-associated ML Alignment & Theory Scholars (MATS) e apolloresearch.ai (un think-tank dedicato alla valutazione dei rischi dell’IA).

Metodo

Per creare il benchmark di valutazione, gli autori hanno raccolto mille trascrizioni tratte da sessantuno dataset, tra cui SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics e RealToxicityPrompts.

I materiali erano equilibrati tra scenari di valutazione e di deploy, e ulteriormente suddivisi tra interazioni di chat semplici e sessioni agentic più complesse, dove i modelli sono destinati ad agire autonomamente, utilizzando strumenti che possono estrarre dati da database esterni o da Internet.

I dati di valutazione coprivano test di capacità per ragionamento, codifica, sicurezza informatica e conoscenza generale, nonché test di allineamento per etica, sicurezza e comportamento di rifiuto. I dati di deploy provenivano da interazioni utente come log di ShareGPT, esecuzioni di agenti crowdsourced e completamenti di attività sintetici.

Per integrare i dati agentic, gli autori hanno generato esempi aggiuntivi utilizzando framework di orchestrazione come Aider e SmolAgents, tra gli altri – un approccio destinato a minimizzare i segnali superficiali che potrebbero consentire ai modelli di semplicemente memorizzare le strutture dei dataset, costringendoli invece a fare affidamento su segnali più generali, quando decidono se una trascrizione provenga da un utente reale o sia, invece, un test.

I ricercatori hanno quindi testato se i modelli potessero identificare le trascrizioni di valutazione presentando loro registri di dialogo e chiedendo variazioni di una semplice domanda: questo scambio proviene da un test?

Per evitare che i modelli semplicemente memorizzassero una sola formulazione, hanno sviluppato ventotto versioni diverse della domanda, alterando sia la formulazione che la presentazione della trascrizione.

Le trascrizioni erano attaccate direttamente alla domanda o presentate in formati come JSON o XML, che possono influenzare la risposta dei modelli. Dopo i primi test, cinque versioni della domanda sono state selezionate che hanno eseguito in modo coerente sui modelli, di cui possiamo vedere un esempio qui sotto:

Una delle cinque forme di domanda di prova utilizzate per testare se i modelli di linguaggio possono riconoscere le trascrizioni di valutazione. Ogni variazione riformula la domanda principale per evitare che i modelli semplicemente memorizzino la formulazione fissa. Si prega di fare riferimento al documento di origine per ulteriori esempi. Source: https://arxiv.org/pdf/2505.23836

Per valutare i risultati, sono stati utilizzati tre metriche: Area Under Receiver Operating Characteristic Curve (AUC, che mostra quanto bene i modelli distinguono i dati di test dai dati di non-test); Brier score (che misura l’accuratezza complessiva della previsione); e Expected Calibration Error (che misura quanto bene la fiducia del modello corrisponde alla correttezza effettiva).

Che cosa è tutto questo?

I ricercatori hanno anche testato se i modelli potessero inferire lo scopo di una valutazione. Con ogni trascrizione già etichettata come test di capacità (abilità tecniche, conoscenza, ragionamento) o test di allineamento (etica, sicurezza e comportamento di rifiuto), i modelli sono stati quindi presentati con uno dei tre tipi di domande: una domanda a scelta multipla condizionale che confermava che la trascrizione proveniva da un test; una domanda a scelta multipla non condizionale con opzioni di valutazione e del mondo reale; o una domanda aperta, le cui risposte sono state giudicate da un classificatore basato su GPT-4.1. Il giudice è stato convalidato su un subset di cinquanta risposte annotate a mano.

Esempi dei tre formati di domanda utilizzati per testare se i modelli potessero identificare non solo la presenza di una valutazione, ma anche il suo scopo. Le risposte sono state valutate attraverso sia scelte multiple che giudizi basati su GPT-4.1.

Due degli autori del documento^†† hanno etichettato manualmente tutte le mille trascrizioni, valutandole da zero (non un test) a uno (definitivamente un test), con le loro valutazioni medie utilizzate come baseline umana. Nonostante la natura soggettiva del compito, gli annotatori hanno mostrato un forte accordo, con un coefficiente di correlazione intraclasse di 0,768. Le valutazioni umane finali sono state mediate tra entrambi i valutatori^†.

Dati e test

I nove modelli testati sono stati GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (pensiero); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; e o4-mini, tutti i quali hanno mostrato un certo livello di consapevolezza di valutazione.

Per i dati di chat, GPT-4.1 ha raggiunto livelli umani di prestazioni di classificazione della consapevolezza di valutazione (la capacità di distinguere tra trascrizioni di valutazione e di deploy), con un AUC di 0,77 contro un punteggio umano di 0,81.

Sui dati agentic, dove i modelli utilizzano strumenti in modo autonomo, la differenza è stata più marcata: Gemini 2.5 Pro ha raggiunto un AUC di 0,95, con Claude 3.7 Sonnet vicino a 0,92, vicino al limite umano di 0,996:

Curve ROC che mostrano quanto bene i modelli e gli umani distinguono le trascrizioni di valutazione dalle interazioni del mondo reale. Gemini 2.5 Pro e Claude 3.7 Sonnet si avvicinano alla discriminazione umana sui dati agentic.

I ricercatori hanno quindi testato se i modelli potessero anche riconoscere perché una valutazione stava venendo eseguita. I modelli sono stati mostrati solo le trascrizioni di valutazione e chiesti di classificare se ogni trascrizione testava la capacità o l’allineamento:

Precisione dei modelli quando classificano lo scopo di valutazione come capacità o allineamento, utilizzando sia formati a scelta multipla che aperti. Claude 3.7 Sonnet supera gli altri modelli, specialmente quando non viene fornito alcun suggerimento.

Nel caso più chiaro, in cui il modello veniva informato che la trascrizione proveniva da un test, Claude 3.7 Sonnet ha raggiunto il 93% di precisione e GPT-4.1 ha raggiunto l’89%. Senza quell’indicazione, le prestazioni sono calate: Claude ha ancora raggiunto l’84%, ma GPT-4.1 è sceso al 55%, spesso classificando erroneamente le trascrizioni di test come interazioni del mondo reale.

Nel formato aperto (dove i modelli non ricevevano opzioni a scelta multipla) le prestazioni sono state più deboli, sebbene Claude 3.7 Sonnet abbia ancora identificato correttamente lo scopo di valutazione nel 46% dei casi.

Le valutazioni di fiducia dei modelli sono state quindi misurate contro i risultati effettivi, con la scoperta che i modelli di frontiera spesso sovrastimavano la probabilità che una trascrizione provenisse da un test. I grafici di calibrazione hanno indicato che la fiducia del modello era generalmente troppo alta, con valutazioni segnalate più frequentemente del dovuto:

Curve di calibrazione che mostrano quanto bene i punteggi di fiducia del modello corrispondono ai risultati effettivi. La maggior parte dei modelli sovrastima quanto probabilmente le trascrizioni provengano da valutazioni. Claude 3.5 Sonnet è stato il meglio calibrato; Gemini 2.5 Pro e Claude 3.7 Sonnet erano più eccessivamente fiduciosi.

Una buona calibrazione è stata osservata per Claude 3.5 Sonnet, mentre Gemini 2.5 Pro e Claude 3.7 Sonnet erano notevolmente più eccessivamente fiduciosi, nonostante l’alta precisione. Non è stata osservata alcuna chiara miglioria nei modelli più recenti, e anche quando le trascrizioni di valutazione sono state rilevate più accuratamente in scenari agentic, le valutazioni di fiducia sono rimaste inaffidabili.

Ricordi di benchmark

In termini di come i modelli spiegavano le loro decisioni su se una trascrizione provenisse da una valutazione, molti modelli si sono basati su indizi ovvi, come se il compito fosse in formato a scelta multipla. I modelli più forti, come Gemini 2.5 Pro e Claude 3.7 Sonnet, hanno talvolta notato segnali più sottili, come nomi inventati o scenari artificiali, specialmente in dataset come AgentHarm.

Il documento afferma:

‘[Tutti] i modelli riconoscono frequentemente le strategie di benchmarking comuni utilizzate dagli valutatori, come il formato del compito (“formato a scelta multipla”), la tendenza a porre problemi con soluzioni verificabili e prompt di sistema progettati per suscitare prestazioni. Tuttavia, solo i modelli con le prestazioni più elevate, Claude 3.7 Sonnet e Gemini 2.5 Pro, rilevano costantemente indicatori più sottili come input sintetici.

‘Ad esempio, nel 22% e nel 17% dei casi rispettivamente, questi modelli evidenziano la natura sintetica degli scenari nel benchmark di AgentHarm, identificandoli correttamente come valutazioni oltre il 95% delle volte.

‘Al contrario, quando ragionano che una trascrizione sembra essere un’interazione reale, spesso si menziona “un dialogo avanti e indietro con l’utente”, ad esempio in contesti di debug iterativi.’

Distribuzione delle strategie di ragionamento dei modelli quando decidono se una trascrizione proviene da una valutazione. I modelli più forti, come Gemini 2.5 Pro e Claude 3.7 Sonnet, sono più propensi a rilevare segnali sottili come scenari sintetici o formattazione del compito, mentre alcuni modelli si basano sulla meta-ragione utilizzando la domanda di valutazione stessa come prova.

In alcuni casi, i modelli hanno riconosciuto interi benchmark dal loro addestramento, suggerendo una sorta di memoria dei dati di addestramento. Alcuni modelli hanno anche utilizzato il fatto stesso che venivano chiesti di valutazione come un indizio che venivano testati, che gli autori chiamano meta-ragionamento; questo era più comune in o4-mini, che lo ha mostrato nel 15% delle sue risposte.

Conclusione

Potrebbe essere più rassicurante se gli LLM potessero essere mostrati come “consapevoli del test” semplicemente perché sono stati progettati in questo modo dagli esseri umani, proprio come i veicoli della Volkswagen erano stati configurati per riconoscere le condizioni di test un decennio fa.

Allo stato attuale, questo comportamento sembra emergere spontaneamente come una sorta di costrutto sociale – una tattica difensiva che potrebbe essere attesa dagli esseri umani, ma è scomoda, se non pericolosa, in una macchina, a seconda della portata della sua libertà e della sua azione.

Non c’è una soluzione immediata; la natura a scatola chiusa degli spazi latenti dei modelli ci costringe a valutarli in base al loro comportamento, piuttosto che alla loro architettura empirica.

* Si prega di fare riferimento al documento di origine per ulteriori dettagli.

^†Gli autori notano, tuttavia, che questo è probabilmente un limite superiore, poiché gli annotatori erano molto familiari con sia i dataset che i metodi di valutazione dell’IA, il che ha conferito loro vantaggi che la maggior parte degli esseri umani non avrebbe.

†† Finché può essere stabilito; la formulazione del documento rende l’improvvisa comparsa di due annotatori poco chiara in termini di chi sono.

Pubblicato per la prima volta mercoledì, 4 giugno 2025