HiddenLayers EchoGram-rapport varnar för en ny klass av attacker som undergräver AI-säkerhetsåtgärder

Den nyligen publicerade EchoGram-rapporten av HiddenLayer ger en av de tydligaste varningarna hittills om att dagens AI-säkerhetsmekanismer är mer sköra än de verkar. Över nio sidor med teknisk bevisning och experiment visar HiddenLayer hur angripare kan manipulera säkerhetsåtgärder – klassificeringslager och LLM-as-a-judge-komponenter som tillämpar säkerhetspolicyer – med hjälp av korta, meningslösa tokensekvenser som tillförlitligt vänder deras utlåtanden. En skadlig prompt som borde upptäckas som osäker kan markeras som säker genom att lägga till en specifik token. Omvänt kan en helt ofarlig indata felklassificeras som skadlig. I hela rapporten visar HiddenLayer att dessa sekvenser endast ändrar säkerhetsåtgärdens tolkning av prompten, inte de underliggande instruktionerna som levereras till den nedströmsmodellen.

Sårbarheten hos moderna säkerhetsåtgärder

Säkerhetsåtgärder har blivit grundläggande för hur organisationer distribuerar stora språkmodeller. De fungerar som den första och ofta enda försvarslinjen, som är tänkt att upptäcka jailbreaks, prompt-injektioner, förbjudna förfrågningar eller manipulativa instruktioner innan LLM någonsin bearbetar dem. HiddenLayers fynd visar att detta skyddande lager delar systematiska svagheter som är direkt kopplade till hur dessa säkerhetsåtgärder tränas. Eftersom många förlitar sig på liknande datamängder, mönster eller säkerhetstaxonomier är de sårbara för samma typer av token-nivåmanipulationer som EchoGram avslöjar.

Hur EchoGram konstruerar sina attackssekvenser

EchoGrams process börjar med att generera en pool av kandidattoken som kan påverka en modells omdöme. HiddenLayer förklarar att dessa token kan identifieras genom att analysera lingvistiska mönster i datamängder som vanligtvis används för att träna säkerhetsåtgärder eller genom att direkt undersöka en modells tokenizers ordbok när vit-låda-åtkomst är tillgänglig. Träningsdata i sig blir en karta över fördomar, som avslöjar vilka sekvenser som lutar mot “säkra” eller “osäkra” klassificeringar. Dessa obalanser utgör det råmaterial som attacken består av.

När denna pool är sammansatt utvärderar EchoGram varje sekvens genom att lägga till den till en uppsättning skadliga prompter och mäta hur ofta token vänder säkerhetsåtgärdens klassificering. Rapporten innehåller ett slående exempel där en liten, meningslös sekvens omvandlar flera kända prompt-injektionsförsök från “upptäckt” till “säker” när de testas mot en kommersiell klassificerare. De skadliga prompterna förblir intakta, men den tillagda sekvensen omformar hur säkerhetsåtgärden tolkar dem.

Varför tokenkombinationer är särskilt farliga

EchoGram-rapporten betonar att även när en enskild token endast delvis vänder utlåtanden, producerar kombinationer av flera svaga token en dramatiskt starkare effekt. HiddenLayer demonstrerar denna förstärkning med hjälp av Qwen3Guard, en allmänt använd öppen källkods-LLM-as-a-judge-modereringsmodell. Både 0,6B- och 4B-varianterna orsakade kedjade EchoGram-sekvenser att säkerhetsåtgärden felklassificerade högt farliga prompter – inklusive frågor om vapen, autentiseringsbypass och cyberattacker – som säkra eller endast måttligt besvärande.

Denna effekt bestod över modellstorlekar, vilket förstärker HiddenLayers slutsats att sårbarheten är rotad i den underliggande träningsmetodiken snarare än modellens skala eller komplexitet.

Den falska positiva vektorn: En mindre synlig men lika allvarlig risk

EchoGram är inte bara en metod för att kringgå säkerhetsåtgärder; HiddenLayer visar att den också kan användas för att generera falska positiva resultat i stor skala. Genom att väva in EchoGram-sekvenser i ofarliga indata kan en angripare orsaka att en säkerhetsåtgärd felklassificerar harmlösa prompter som skadliga. Rapporten tillhandahåller exempel där enkla konversationsfraser flaggas som attacker när en EchoGram-token läggs till eller infogas i texten.

Detta skapar en möjlighet för att överväldiga säkerhets- eller trust-and-safety-team med brus. När varningar ökar okontrollerat kan organisationer missa verkliga hot som gömmer sig i floden. Erosionen av förtroende för interna verktyg blir lika skadlig som en lyckad bypass.

Implikationer för AI-säkerhet

Den EchoGram-rapporten understryker att säkerhetsåtgärder som tränas på liknande datakällor, mönster eller taxonomier sannolikt delar samma sårbarheter. En angripare som upptäcker en lyckad EchoGram-sekvens kunde potentiellt återanvända den över flera kommersiella plattformar, företagsdistributioner och regeringsystem. HiddenLayer betonar att angripare inte behöver kompromettera den nedströms LLM. De behöver bara lura gatekeepern framför den.

Denna utmaning sträcker sig bortom teknisk risk. Organisationer kan anta att distribution av en säkerhetsåtgärd garanterar meningsfullt skydd, men EchoGram visar att denna antagande är farlig. Om säkerhetsåtgärden kan vändas med en token eller två blir hela säkerhetsarkitekturen otillförlitlig.

Vägen framåt

HiddenLayer slutsatsen att EchoGram bör tjäna som en vändpunkt i hur branschen närmar sig AI-säkerhet. Säkerhetsåtgärder kan inte förlita sig på statiska datamängder eller enstaka träningscykler. De kräver kontinuerlig adversarial testning, transparens kring träningsmetoder och multi-lagers validering snarare än en-modell-utlåtanden. När AI blir inbäddat i kritisk infrastruktur, finans, hälsovård och nationell säkerhet blir bristerna som belysts av EchoGram brådskande snarare än akademiska.

Rapporten avslutas med en uppmaning att behandla säkerhetsåtgärder som säkerhetskritiska komponenter som kräver samma rigor som tillämpas på alla andra skyddssystem. Genom att avslöja dessa sårbarheter nu driver HiddenLayer branschen mot att bygga AI-försvar som kan motstå nästa generation av adversarialtekniker.