HiddenLayers EchoGram-rapport advarer om en ny klasse av angrep som undergraver AI-sikkerhetssystemer

Den nylig publiserte EchoGram-rapporten fra HiddenLayer leverer en av de tydeligste advarslene hittil om at dagens AI-sikkerhetsmekanismer er mer skjøre enn de ser ut til. Over ni sider med tekniske bevis og eksperimenter demonstrerer HiddenLayer hvordan angripere kan manipulere sikkerhetssystemer – klassifiseringslag og LLM-as-a-judge-komponenter som påtvinger sikkerhetspolitikk – ved hjelp av korte, tilsynelatende meningsløse token-sekvenser som pålitelig endrer deres avgjørelser. En skadelig prompt som burde bli oppdaget som usikker kan bli merket som sikker bare ved å legge til en bestemt token. Omvendt kan en fullstendig harmløs innputt bli feilklassifisert som skadelig. Hele rapporten viser at disse sekvensene endrer bare sikkerhetssystemets tolkning av prompten, ikke de underliggende instruksjonene som leveres til nedstrømsmodellen.

Sårbarheten til moderne sikkerhetssystemer

Sikkerhetssystemer har blitt grunnleggende for måten organisasjoner distribuerer store språkmodeller. De fungerer som den første og ofte eneste forsvarslinjen, ment å oppdage jailbreaks, prompt-injeksjoner, forbudte forespørsler eller manipulative instruksjoner før LLM noen gang behandler dem. HiddenLayers funn viser at denne beskyttelseslaget deler systemiske svakheter som er direkte knyttet til hvordan disse sikkerhetssystemene er trenet. Fordi mange avhenger av lignende datasamlinger, mønster eller sikkerhetstaksonomier, er de sårbare for de samme typene token-nivå-manipulasjoner som EchoGram avdekker.

Hvordan EchoGram konstruerer sine angrepssekvenser

EchoGrams prosess begynner med å generere en gruppe kandidat-token som kan påvirke en modells avgjørelse. HiddenLayer forklarer at disse tokenene kan identifiseres ved å analysere lingvistiske mønster i datasamlinger som vanligvis brukes til å trene sikkerhetssystemer eller ved å direkte sondere en modells tokenizer-vokabular når hvit-boks-tilgang er tilgjengelig. Treningdataene selv blir en kart over forutinntak, som avslører hvilke sekvenser skjev mot “sikre” eller “usikre” klassifiseringer. Disse ubalansene danner det råmaterialet for angrepet.

Når denne gruppen er samlet, vurderer EchoGram hver sekvens ved å legge til den til en samling av skadelige prompter og måle hvor ofte tokenet endrer sikkerhetssystemets klassifisering. Rapporten inkluderer et slående eksempel hvor en liten, meningsløs sekvens transformerer flere kjente prompt-injeksjonsforsøk fra “oppdaget” til “sikker” når testet mot en kommersiell klassifiserer. De skadelige promptene forblir intakte, mens den tilleggede sekvensen endrer hvordan sikkerhetssystemet tolker dem.

Hvorfor token-kombinasjoner er spesielt farlige

EchoGram-rapporten fremhever at selv når en enkelt token bare delvis endrer avgjørelser, produserer kombinasjoner av flere svake token en dramatisk sterkere effekt. HiddenLayer demonstrerer denne forsterkningen ved hjelp av Qwen3Guard, en vidt brukt åpen kilde LLM-as-a-judge-modereringsmodell. På både 0,6B og 4B-variantene forårsaket kjedede EchoGram-sekvenser at sikkerhetssystemet feilklassifiserte høyt farlige prompter – inkludert forespørsler om våpen, autentiserings-omgåelser og cyberangrep – som sikre eller bare mildt bekymringsverdige.

Denne effekten bestod over modellstørrelser, og støtter HiddenLayers konklusjon om at sårbarheten er rotfestet i den underliggende treningsmetodikken snarere enn modellskala eller kompleksitet.

Den falske-positive vektoren: En mindre synlig men like alvorlig risiko

EchoGram er ikke bare en metode for å omgå sikkerhetssystemer; HiddenLayer viser at det også kan brukes til å generere falske positiver i stor skala. Ved å innveve EchoGram-sekvenser i harmløse innputt kan en angriper få sikkerhetssystemet til å feilklassifisere harmløse prompter som skadelige. Rapporten gir eksempler hvor enkle konversasjonelle fraser blir merket som angrep når en EchoGram-token legges til eller innlemmes i teksten.

Dette skaper en åpning for å overvelde sikkerhets- eller tillits- og sikkerhetsteam med støy. Når varslinger øker ukontrollert, kan organisasjoner miste virkelige trusler som er begravd i flommen. Erosjonen av tillit til interne verktøy blir like skadelig som noen vellykket omgåelse.

Konsekvenser for AI-sikkerhet

Den EchoGram-rapporten understreker at sikkerhetssystemer trenet på lignende datasamlinger, mønster eller taksonomier sannsynligvis deler de samme sårbarhetene. En angriper som oppdager en vellykket EchoGram-sekvens kunne potensielt gjenbruke den over flere kommersielle plattformer, bedriftsinstallasjoner og regjeringsystemer. HiddenLayer betoner at angripere ikke trenger å kompromittere den nedstrøms LLM. De trenger bare å bedra gatevaktene foran den.

Denne utfordringen går utover teknisk risiko. Organisasjoner kan anta at installasjon av et sikkerhetssystem sikrer meningsfull beskyttelse, men EchoGram demonstrerer at denne antagelsen er farlig. Hvis sikkerhetssystemet kan bli endret med en token eller to, blir hele sikkerhetsarkitekturen uansvarlig.

Vegen fremover

HiddenLayer konkluderer at EchoGram burde fungere som et vendepunkt i hvordan industrien nærmer seg AI-sikkerhet. Sikkerhetssystemer kan ikke avhenge av statiske datasamlinger eller enkelt treningscykler. De krever kontinuerlig adversarial testing, åpenhet rundt treningsmetoder og flerskiktet validering snarere enn enkeltmodell-dømming. Ettersom AI blir integrert i kritisk infrastruktur, finansielle tjenester, helsevesen og nasjonal sikkerhet, blir manglene belyst av EchoGram akutt snarere enn akademisk.

Rapporten avslutter med en oppfordring til å behandle sikkerhetssystemer som sikkerhetskritiske komponenter som krever samme rigor som andre beskyttelsessystemer. Ved å avdekke disse sårbarhetene nå, skyver HiddenLayer industrien mot å bygge AI-forsvar som kan motstå neste generasjons adversarial-teknikker.