Il rapporto EchoGram di HiddenLayer avverte di una nuova classe di attacchi che minano le barriere di sicurezza dell’AI

Il recentemente pubblicato rapporto EchoGram di HiddenLayer fornisce uno dei più chiari avvertimenti finora che i meccanismi di sicurezza dell’AI di oggi sono più fragili di quanto appaiano. In nove pagine di prove tecniche e sperimentazione, HiddenLayer dimostra come gli attaccanti possano manipolare i sistemi di barriere di sicurezza – quei livelli di classificatori e componenti LLM-as-a-judge che applicano le politiche di sicurezza – utilizzando brevi sequenze di token apparentemente insignificanti che capovolgono in modo affidabile i loro verdetti. Un prompt malizioso che dovrebbe essere rilevato come insicuro può essere contrassegnato come sicuro semplicemente aggiungendo un token specifico. Al contrario, un input del tutto innocuo può essere classificato come malizioso. In tutto il rapporto, HiddenLayer mostra che queste sequenze alterano solo l’interpretazione della barriera di sicurezza del prompt, non le istruzioni sottostanti fornite al modello a valle.

La fragilità delle barriere di sicurezza moderne

Le barriere di sicurezza sono diventate fondamentali per il modo in cui le organizzazioni distribuiscono grandi modelli linguistici. Servono come prima e spesso unica linea di difesa, destinata a rilevare violazioni, iniezioni di prompt, richieste non consentite o istruzioni manipolatorie prima che il modello LLM le elabori. I risultati di HiddenLayer rivelano che questo strato di protezione condivide debolezze sistemiche legate direttamente a come queste barriere di sicurezza sono addestrate. Poiché molte di esse si basano su dataset simili, modelli o tassonomie di sicurezza, sono vulnerabili agli stessi tipi di manipolazioni a livello di token che EchoGram scopre.

Come EchoGram costruisce le sue sequenze di attacco

Il processo di EchoGram inizia generando un pool di token candidati che potrebbero influenzare il giudizio di un modello. HiddenLayer spiega che questi token possono essere identificati analizzando modelli linguistici nei dataset comunemente utilizzati per addestrare le barriere di sicurezza o esaminando direttamente il vocabolario del tokenizer del modello quando è disponibile l’accesso white-box. I dati di addestramento stessi diventano una mappa di pregiudizi, rivelando quali sequenze si inclinano verso classificazioni “sicure” o “insicure”. Queste disparità formano il materiale grezzo dell’attacco.

Una volta assemblato questo pool, EchoGram valuta ogni sequenza aggiungendola a un set di prompt maliziosi e misurando con quale frequenza il token capovolge la classificazione della barriera di sicurezza. Il rapporto include un esempio sorprendente in cui una piccola sequenza apparentemente insignificante trasforma diversi tentativi noti di iniezione di prompt da “rilevati” a “sicuri” quando testati contro un classificatore commerciale. I prompt maliziosi rimangono intatti, ma la sequenza aggiunta ridisegna come la barriera di sicurezza li interpreta.

Perché le combinazioni di token sono particolarmente pericolose

Il rapporto EchoGram sottolinea che anche quando un singolo token capovolge solo parzialmente i verdetti, combinare più token deboli produce un effetto drasticamente più forte. HiddenLayer dimostra questo ampliamento utilizzando Qwen3Guard, un modello di moderazione LLM-as-a-judge open-source ampiamente utilizzato. Sia nella variante 0,6B che in quella 4B, le sequenze EchoGram concatenate hanno causato alla barriera di sicurezza di classificare come “sicuri” o solo lievemente preoccupanti prompt pericolosi, inclusi query su armi, bypass di autenticazione e attacchi informatici.

Questo effetto è persistito in tutte le dimensioni del modello, rafforzando la conclusione di HiddenLayer che la vulnerabilità è radicata nella metodologia di addestramento sottostante piuttosto che nella scala o complessità del modello.

Il vettore di falsi positivi: un rischio meno visibile ma altrettanto grave

EchoGram non è solo un metodo per aggirare le barriere di sicurezza; HiddenLayer mostra che può anche essere utilizzato per generare falsi positivi su larga scala. Intrecciando sequenze EchoGram in input altrimenti innocui, un attaccante può far sì che una barriera di sicurezza classifichi prompt benigni come maliziosi. Il rapporto fornisce esempi in cui semplici frasi conversazionali vengono segnalate come attacchi una volta che un token EchoGram viene aggiunto o incorporato nel testo.

Ciò crea un canale per sovraccaricare i team di sicurezza o di trust-and-safety con rumore. Quando gli avvisi aumentano incontrollabilmente, le organizzazioni potrebbero perdere minacce reali sepolte all’interno dell’alluvione. L’erosione della fiducia negli strumenti interni diventa altrettanto dannosa quanto qualsiasi bypass di successo.

Implicazioni per la sicurezza dell’AI

Il rapporto EchoGram sottolinea che le barriere di sicurezza addestrate su fonti di dati simili, modelli o tassonomie sono probabilmente condivise dalle stesse vulnerabilità. Un attaccante che scopre una sequenza EchoGram di successo potrebbe potenzialmente riutilizzarla su più piattaforme commerciali, distribuzioni aziendali e sistemi governativi. HiddenLayer sottolinea che gli attaccanti non devono compromettere il modello LLM a valle. Devono solo ingannare il gatekeeper che lo precede.

Questa sfida si estende oltre il rischio tecnico. Le organizzazioni potrebbero supporre che il deploy di una barriera di sicurezza garantisca una protezione significativa, ma EchoGram dimostra che questa supposizione è precaria. Se la barriera di sicurezza può essere capovolta con un token o due, l’intera architettura di sicurezza diventa inaffidabile.

La strada ahead

HiddenLayer conclude che EchoGram dovrebbe servire come punto di svolta nel modo in cui l’industria si avvicina alla sicurezza dell’AI. Le barriere di sicurezza non possono fare affidamento su dataset statici o cicli di addestramento one-off. Richiedono test di adversarial continui, trasparenza sui metodi di addestramento e convalida multilivello piuttosto che giudizi di un solo modello. Mentre l’AI si integra in infrastrutture critiche, finanza, sanità e sicurezza nazionale, le carenze illuminate da EchoGram diventano urgenti piuttosto che accademiche.

Il rapporto termina con un appello a trattare le barriere di sicurezza come componenti critici per la sicurezza che richiedono lo stesso rigore applicato a qualsiasi altro sistema di protezione. Esponendo queste vulnerabilità ora, HiddenLayer spinge l’industria verso la costruzione di difese dell’AI in grado di resistere alla prossima generazione di tecniche avversarie.