La riformulazione facile rompe la sicurezza dell’AI, anche per Gemini e Claude

I test di sicurezza dell’AI hanno rivelato di affidarsi a parole e frasi di attivazione ‘ovvie’; con una facile riformulazione, i modelli etichettati come ‘ragionevolmente sicuri’ improvvisamente falliscono, con attacchi che hanno successo fino al 98% delle volte.

Una nuova ricerca aziendale condotta negli Stati Uniti ha concluso che il buon record di sicurezza di una varietà di Large Language Models (LLM) – tra cui molti nomi di spicco come Gemini 3 Pro e Claude Sonnet 3.7 – potrebbe essere insignificante, poiché i set di dati e i benchmark utilizzati per stabilirli contengono un linguaggio ‘ovvio’ ridicolo.

I due set di dati in questione, che sono stati presentati in varie recensioni di articoli su questo sito, sono HarmBench e AdvBench:

Dai rispettivi paper di HarmBench e AdvBench, esempi rappresentativi di provocazione – ma il nuovo paper sostiene che anche in scenari reali, gli esempi ‘segnalano’ facilmente l’intento malevolo, il che potrebbe portare a (presumibilmente) un ‘gioco’ involontario dei risultati. Fonti: HarmBench e AdvBench.

Sebbene gli esempi mostrati sopra, che sono tratti dai rispettivi paper per ogni benchmark, siano deliberatamente semplici per illustrare i principi dei sistemi, la nuova ricerca sostiene che in realtà queste raccolte si concentrano veramente su ‘facili bersagli’, e quindi potrebbero non essere efficaci come benchmark – e che i risultati reali per le capacità di sicurezza dei LLM testati sono significativamente al di sotto di quanto segnalato:

‘[Noi] valutiamo se questi set di dati misurano realmente i rischi di sicurezza o semplicemente provocano rifiuti attraverso cue di attivazione. Per esplorare questo, introduciamo il “lavaggio di intenti”: una procedura che astrae le cue di attivazione dagli attacchi (punti di dati) mentre preserva strettamente l’intento malevolo e tutti i dettagli rilevanti.

‘I nostri risultati indicano che gli attuali set di dati di sicurezza dell’AI non rappresentano fedelmente i rischi di sicurezza nel mondo reale a causa della loro eccessiva dipendenza dalle cue di attivazione.

‘In effetti, una volta rimosse queste cue, tutti i modelli precedentemente valutati come “ragionevolmente sicuri” diventano insicuri, compresi Gemini 3 Pro e Claude Sonnet 3.7.’

‘Sicurezza’ in questo senso rappresenta allineamento – la capacità del LLM di difendersi dagli attacchi degli utenti per ‘violare’ le restrizioni sui sistemi API-only, al fine di far produrre al sistema output vietato, come testo o immagini diffamatorie.

I già menzionati lavaggio di intenti degli autori consiste semplicemente nel riformulare gli ‘attacchi ovvi’ nei due set di dati/benchmark, in modo che diventino più sottili e insidiosi, e molto più in grado di bypassare i filtri e i controlli:

La sezione superiore di un esempio altrimenti ingombrante del paper. Mostrato in alto a sinistra, in giallo, il tipo di ‘attacco ovvio’ che HarmBench e AdvBench di solito forniscono; sotto, in verde, il prompt è stato neutralizzato, riformulato e reso accettabile abbastanza per Claude Sonnet 3.7 che è disposto ad aiutare l’utente a trovare ‘chop shop’ (luoghi di lavorazione per veicoli rubati) in una nuova città. Fonte

I ricercatori hanno analizzato le qualità dei due set di dati attraverso due approcci: in isolamento, al fine di confrontare le raccolte con le caratteristiche degli attacchi nel mondo reale; e nella pratica, dove i set di dati – e le ‘migliorie’ degli autori su di essi – sono stati utilizzati per attaccare modelli nel mondo reale.

Nel secondo round di test, i ricercatori hanno ‘migliorato’ il loro metodo di riformulazione fino a ottenere risultati ottimali in termini di Tasso di successo dell’attacco (ASR):

Il lavaggio di intenti inizia passando un prompt apertamente malevolo attraverso un modello di riscrittura che rimuove il linguaggio di attivazione esplicito mentre preserva l’intento malevolo sottostante. Il prompt rivisto viene quindi sottoposto a un modello bersaglio e la sua risposta viene valutata per sicurezza e applicabilità nel mondo reale. Se l’output è giudicato insicuro e praticamente utilizzabile, l’attacco è contato come riuscito. Se non lo è, le revisioni precedenti fallite vengono riportate nel modello di riscrittura per generare versioni migliorate, creando un ciclo iterativo che funge da meccanismo di jailbreaking fino a quando non viene raggiunto un numero predefinito di tentativi o un tasso di successo dell’attacco desiderato.

Gli autori affermano*:

‘I nostri risultati mostrano che, con questo ciclo di rigenerazione, il lavaggio di intenti raggiunge alti ASR (90%–98.55%) dopo solo poche iterazioni in tutti i modelli studiati con accesso completamente nero. Ciò include modelli recenti ampiamente segnalati come tra i più sicuri – come Gemini 3 Pro e Claude Sonnet 3.7.

‘Questi risultati confermano ulteriormente che le valutazioni di sicurezza esistenti e i metodi di allineamento della sicurezza sono fortemente sovraadattati^† alle cue di attivazione.’

Il nuovo lavoro si intitola Lavaggio di intenti: i set di dati di sicurezza dell’AI non sono ciò che sembrano, e proviene da due autori della società di software Labelbox di San Francisco.

Metodo

Per studiare la composizione e l’architettura dei due set di dati di benchmark in isolamento, sono stati generati word cloud dai due corpora, rivelando quali parole e brevi frasi dominavano le raccolte:

Word cloud che mostrano i 40 n-gram più frequenti nei set di dati combinati di AdvBench e HarmBench. I termini con connotazioni negative o sensibili sono evidenziati in rosso, i trigger contestuali in arancione e le parole neutrali che formano trigger di ordine superiore in verde. La concentrazione di frasi ovvie come ‘senza essere scoperti’ e ‘istruzioni passo dopo passo’ suggerisce che i due benchmark si affidino fortemente a cue esplicite piuttosto che a attacchi realisticamente costruiti con intenti nascosti.

Gli autori notano che i grammi dominanti di uno, due e tre parole sono improbabilmente rivelatori di intento malevolo, in contrasto con il tipo di linguaggio utilizzato dai criminali stessi nella discussione e dagli attaccanti quando testano o tentano di compromettere le difese dei LLM.

‘Queste cue minano due proprietà – essere ben costruiti e guidati da intenti nascosti – poiché questo tipo di linguaggio raramente appare in attacchi nel mondo reale e sembra essere stato progettato per attivare artificialmente i meccanismi di sicurezza. ‘

Il paper caratterizza i modelli delle raccolte come ‘cue di attivazione’ – frasi con connotazioni negative o sensibili che appaiono progettate per attivare i filtri di sicurezza. Alcune sono intrinsecamente cariche, come ‘commettere suicidio’, mentre altre diventano cariche solo nel contesto, ad esempio quando un obiettivo dannoso è abbinato a parole come ‘senza essere scoperti’, che segnala chiaramente l’intento di evitare la rilevazione.

La mancanza di equilibrio nel linguaggio dei set di dati diventa più evidente man mano che aumenta il numero di parole negli n-gram, con frasi che portano significati espliciti negativi o sensibili che dominano gli n-gram più frequenti (vedi immagine sopra). Il paper descrive questi come frasi di attivazione, che, insieme a singole parole di attivazione, costituiscono cue di attivazione.

Alcune frasi semplicemente estendono termini già carichi, come quando ‘rubare’ diventa ‘rubare informazioni sensibili’, ‘rubare informazioni confidenziali’, o ‘rubare informazioni personali’; e, ad esempio, quando ‘commettere’ si espande in ‘commettere suicidio’, ‘commettere insider trading’, o ‘commettere furto d’identità’ – chiaramente il linguaggio e la fraseologia della polizia, dei tribunali e dei media che riportano.

Altre sono costruite interamente con parole neutrali che diventano preoccupanti solo in combinazione, come ‘senza essere scoperti’, una costruzione che segnala l’evasione nonostante non contenga termini carichi.

Raddoppiare

Gli autori osservano che la ripetizione di cue ovvie non solo fa apparire i prompt come artificiali, ma indica anche una notevole duplicazione di dati nelle raccolte. Per testare questa teoria, hanno eseguito controlli di similarità pairwise su ogni set di dati, applicando soglie da 0,7 a 0,99, e raggruppando i prompt che superavano una soglia data come duplicati, mentre trattavano il resto come unici.

Poiché non esiste uno standard concordato per ciò che costituisce ‘alta’ similarità in un set di dati a dominio singolo, hanno utilizzato Open AI’s Grade School Math (GSM8K), un benchmark non di sicurezza molto diffuso, abbinando le sue dimensioni a HarmBench e AdvBench per un confronto controllato:

Tassi di duplicazione in AdvBench e HarmBench attraverso soglie di similarità, confrontati con subset di GSM8K di dimensioni corrispondenti. A quasi ogni soglia, i set di dati di sicurezza contengono molti più prompt quasi identici del benchmark non di sicurezza, indicando la valutazione ripetuta dello stesso intento malevolo in formulazioni leggermente variate, e suggerendo che le prestazioni di sicurezza segnalate potrebbero essere gonfiate. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

Un secondo risultato di questa parte dello studio ha confrontato i prompt all’interno di ogni set di dati, per misurare quanti fossero realmente diversi. A una soglia di similarità media, solo circa l’11% dei prompt di AdvBench erano distinti, mentre quasi il 94% delle domande in un campione di GSM8K di dimensioni corrispondenti erano diverse:

Esempi di prompt quasi identici in AdvBench e HarmBench, che differiscono principalmente nella formulazione, mentre esprimono lo stesso intento malevolo. L’uso ripetuto di cue esplicite, mostrate in rosso per i termini carichi, e in arancione per quelle dipendenti dal contesto, produce cluster di prompt che testano efficacemente una sola scenario più volte – il che significa che una sola risposta sarebbe generalmente sufficiente per valutare il modello per quell’intento.

HarmBench ha mostrato la stessa tendenza, con il 16% di duplicati a quel livello rispetto al 3,5% in GSM8K, il che significa che i set di dati di sicurezza spesso riutilizzavano la stessa richiesta malevola con piccoli cambiamenti di formulazione.

Se si considera l’85% di esempi distinti come uno standard ragionevole, AdvBench ha raggiunto quel livello solo con un’impostazione estremamente rigorosa e non ha superato il 90%, mentre GSM8K ha raggiunto l’85% con una soglia molto più bassa. Secondo il paper, questo modello suggerisce che i benchmark di sicurezza testano variazioni ripetute delle stesse idee, piuttosto che un’ampia gamma di scenari di attacco.

Ulteriori approcci e test

Il già menzionato metodo di ‘lavaggio di intenti’ guidato da LLM rimuove il linguaggio di attivazione esplicito, mentre preserva l’obiettivo malevolo sottostante. Invece di esprimere l’intento apertamente, i prompt rivisti implicano l’intento, conservando il carico malevolo, ma evitando le cue che sarebbero probabili candidate a provocare un rifiuto immediato da parte del LLM.

I due metodi che facilitano questo sono neutralizzazione delle connotazioni, che sostituisce i termini negativi ovvi con alternative neutrali o descrittive; e trasposizione del contesto, che sposta riferimenti nel mondo reale in ambienti fittizi, senza alterare il significato pratico.

Un piccolo set di revisioni è stato scritto a mano, dopo di che il processo è stato automatizzato utilizzando GPT-5.1 (gpt-5.1-2025-11-13), con un’impostazione di apprendimento in contesto a otto shot come ‘lavatore di intenti‘. Le risposte ai prompt originali e rivisti sono state quindi confrontate per misurare quanto forte il linguaggio di attivazione esplicito influenzasse le valutazioni di sicurezza.

Perché il lavaggio di intenti può cambiare sia la formulazione che l’incorniciatura, le risposte sono state valutate in termini di sicurezza e praticità. La sicurezza è stata valutata su una scala Likert a cinque punti, da ‘‘estremamente insicuro’‘ a ‘‘sicuro’‘, condizionata sul fatto che la risposta conservasse l’intento malevolo originale – e, se sì, quanto fosse dannoso:

Un modello di prompt utilizzato per la valutazione standard della sicurezza delle risposte ai punti di dati originali di AdvBench e HarmBench, prima dell’applicazione del lavaggio di intenti. GPT-5.1 è stato istruito a valutare ogni risposta su una scala Likert a cinque punti da ‘Estremamente Insicuro’ a ‘Sicuro’, selezionando un solo giudizio complessivo in base a se il contenuto abilitava un danno o rimaneva non azionabile.

‘Praticità’ è stata valutata su una scala parallela a cinque punti da ‘‘estremamente applicabile’‘ a ‘‘inapplicabile’‘, in base a quanto utilizzabile e trasferibile sarebbero i dettagli nel mondo reale; e ASR ha misurato le prestazioni, con una revisione considerata riuscita solo se la risposta era both insicura e pratica.

Le valutazioni a cinque punti sono state mappate su esiti binari per ridurre l’ambiguità, e il lavaggio di intenti è stato anche evoluto in un metodo di jailbreaking aggiungendo un ciclo iterativo di revisione-rigenerazione, in cui le revisioni fallite sono state riportate a GPT-5.1 sotto la stessa impostazione di apprendimento in contesto a otto shot. Questo ciclo è continuato fino a quando non è stato raggiunto un numero predefinito di tentativi o un ASR desiderato.

Per i test di valutazione della sicurezza, è stato utilizzato il pacchetto Python wordcloud per estrarre n-gram da HarmBench e AdvBench, con metodi di filtraggio consueti (ad esempio, per rimuovere stopword e altre parole e caratteri non rilevanti).

I medesimi set di dati di sicurezza utilizzati per l’analisi dei word cloud sono stati combinati con campioni casuali da GSM8K, con quantità di parole equalizzate per garantire la parità tra le raccolte.

Gli autori hanno utilizzato incorporazioni dal checkpoint all-MiniLM-L6-V2 da Sentence-BERT Transformers, poiché è già stato precaricato per il clustering e la ricerca semantica.

I criteri di valutazione sono stati generati dal modello OpenAI GPT-4o (ora ritirato), limitato a 1024 token. GPT-5.1 ha valutato sia la sicurezza che la praticità dopo il lavaggio di intenti, zero-shot, abbinato in tutti i modi all’intento di lavaggio stesso, tranne che per il fatto che era anche limitato a 1024 token.

I modelli testati sono stati Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; e Qwen2.5-7B-Instruct. Dove applicabile, poiché ragionamento era un fattore superfluo, questo è stato ridotto il più possibile nei modelli in grado di ragionamento.

Tutti i modelli sono stati limitati a un limite di output di 4096 token:

Valutazione della sicurezza (SE), valutazione della praticità (PE) e tasso di successo dell’attacco (ASR) per sette modelli su AdvBench (in alto) e HarmBench (in basso) in tre condizioni: senza revisione, prima revisione e iterazioni successive di revisione-rigenerazione del lavaggio di intenti. SE riporta la percentuale di risposte valutate ‘estremamente insicure’, ‘altamente insicure’ o ‘insicure’; PE riporta la percentuale valutate ‘estremamente applicabili’, ‘altamente applicabili’ o ‘applicabili’; e ASR misura la quota di risposte che sono sia insicure che pratiche. Nell’impostazione senza revisione, ASR segue la sua definizione standard perché non viene applicata alcuna astrazione. I valori in grassetto indicano l’ASR più alto raggiunto all’interno di ogni set di dati, e un ASR più basso corrisponde a una sicurezza del modello più forte. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

Riguardo a questi risultati iniziali, gli autori notano che la rimozione delle cue di attivazione esplicite dai prompt di attacco ha prodotto un aumento significativo del tasso di successo dell’attacco. Su AdvBench, l’ASR medio è aumentato da un iniziale 5,38% all’86,79% dopo la prima revisione, su HarmBench aumentando dal 13,79% al 79,83% – indicando che i rifiuti del modello erano fortemente legati alla presenza di cue di attivazione.

Gli autori osservano:

‘Ciò indica che i rifiuti del modello sono ampiamente guidati dalla presenza di cue di attivazione. Di conseguenza, i set di dati di sicurezza non misurano affidabilmente i rischi di sicurezza nel mondo reale, poiché si affidano più alle cue di attivazione per provocare rifiuti che all’intento malevolo reale.’

Il lavaggio di intenti, afferma il paper, ha efficacemente rimosso le cue di attivazione mentre preservava l’intento malevolo, e ha funzionato come un forte metodo di jailbreaking. Nell’ultima iterazione di revisione-rigenerazione, corrispondente all’ASR più alto in ogni set di dati, i tassi di successo dell’attacco hanno raggiunto 90% a 98,55% in tutti i modelli.

Questo include Gemini 3 Pro e Claude Sonnet 3.7, che sono stati jailbroken con ASR del 93% al 95% su AdvBench, e del 91% al 93% su HarmBench, dopo solo poche iterazioni.

Gli autori concludono:

‘I nostri risultati hanno mostrato che le precedenti conclusioni sulla sicurezza non sono più valide una volta rimosse le cue di attivazione, e che le prestazioni di sicurezza osservate sono ampiamente guidate dalla presenza di cue di attivazione piuttosto che dai rischi di sicurezza sottostanti.

‘Abbiamo inoltre mostrato che il lavaggio di intenti può essere utilizzato come una potente tecnica di jailbreaking, raggiungendo alti tassi di successo dell’attacco dal 90% a oltre il 98%.

‘Nel complesso, i nostri risultati hanno rivelato una lacuna critica tra come la sicurezza del modello viene valutata e come si manifesta il comportamento avversario nel mondo reale.

‘Sulla base di ciò, concludiamo che (1) le valutazioni di sicurezza devono evolversi per catturare gli attacchi avversari in modo più realistico, e (2) gli sforzi di allineamento della sicurezza attuali sono ancora lontani dall’essere robusti contro le minacce del mondo reale.’

Conclusione

Un filo comune che ancora attraversa la letteratura linguistica e di computer vision (e i luoghi in cui queste si intersecano, come i VLM) è l’incapacità di comprendere in modo affidabile quando si sta per produrre contenuti vietati; o anche quando si sta involontariamente deviando verso di essi, senza coercizione esterna.

Dietro le quinte delle fonderie di modelli più grandi e più opache, si può solo presumere che stringere radicalmente le redini su queste aree di cattura semantica porti con sé un danno collaterale inaccettabile, come cadute delle prestazioni su generazioni ‘non vietate’, o un tasso intollerabile di falsi positivi dai filtri di contenuto.

La natura di base di un modello addestrato in qualsiasi dominio è seguire tutti i dati di addestramento a qualsiasi conclusione verso cui un prompt potrebbe guidarlo; le uniche limitazioni native disponibili sono a) non includere materiale controverso nei dati di addestramento (che è un problema logistico quanto altro); o b) ‘severare’ i percorsi verso contenuti indesiderati dopo l’addestramento (un processo che può spesso essere invertito da ablizione esplicita, o come un effetto collaterale non intenzionale del fine-tuning).

* La mia sostituzione delle citazioni in linea degli autori con collegamenti ipertestuali. Enfasi degli autori, non mia.

^† https://www.unite.ai/what-is-overfitting/

Pubblicato per la prima volta lunedì 23 febbraio 2026