HiddenLayers EchoGram-rapport advarer om en ny klasse af angreb, der undergraver AI-sikkerhedsforanstaltninger

Den nyligt offentliggjorte EchoGram-rapport af HiddenLayer leverer en af de klareste advarsler hidtil om, at dagens AI-sikkerhedsforanstaltninger er mere skrøbelige, end de ser ud til. På tværs af ni sider med tekniske beviser og eksperimenter demonstrerer HiddenLayer, hvordan angribere kan manipulere guardrail-systemer – de klassificeringslag og LLM-as-a-judge-komponenter, der gennemtvinger sikkerheds politikker – ved hjælp af korte, tilsyneladende meningsløse token-sekvenser, der pålideligt ændrer deres dom. En ondsindet prompt, der burde være detekteret som usikker, kan være markeret som sikker blot ved at tilføje en bestemt token. Omvendt kan en helt harmløs input være mis klassificeret som ondsindet. I hele rapporten viser HiddenLayer, at disse sekvenser ændrer kun guardrail’ens fortolkning af prompten, ikke de underliggende instruktioner, der leveres til downstream-modellen.

Sårbarheden af moderne guardrails

Guardrails er blevet grundlæggende for, hvordan organisationer implementerer store sprogmodeller. De fungerer som den første og ofte eneste forsvarslinje, der skal detektere jailbreaks, prompt-injektioner, ikke tilladte anmodninger eller manipulerende instruktioner, før LLM nogensinde behandler dem. HiddenLayers fund viser, at dette beskyttende lag deler systemiske svagheder, der er direkte knyttet til, hvordan disse guardrails er trænet. Fordi mange afhænger af lignende datasæt, mønstre eller sikkerhedstaksonomier, er de sårbare over for de samme typer token-niveau-manipulationer, som EchoGram afslører.

Hvordan EchoGram konstruerer sine angrebssekvenser

EchoGrams proces begynder med at generere en pulje af kandidat-token, der kan påvirke en models dom. HiddenLayer forklarer, at disse token kan identificeres ved at analysere lingvistiske mønstre i datasæt, der normalt bruges til at træne guardrails, eller ved direkte at afprøve en models tokenizer-vokabular, når white-box-adgang er tilgængelig. Træningsdataene selv bliver en kort over forudsigelser, der afslører, hvilke sekvenser er fordrejede mod “sikre” eller “onsikre” klassificeringer. Disse ubalancer danner det råmateriale for angrebet.

Når denne pulje er samlet, evaluerer EchoGram hver sekvens ved at tilføje den til en samling af ondsindede prompts og måle, hvor ofte token ændrer guardrails klassificering. Rapporten indeholder et slående eksempel, hvor en lille, meningsløs sekvens forvandler flere kendte prompt-injektionsforsøg fra “detekteret” til “sikker”, når testet mod en kommerciel klassificator. De ondsindede prompts forbliver intakte, men den tilføjede sekvens omformer, hvordan guardrail’en fortolker dem.

Hvorfor token-kombinationer er særligt farlige

EchoGram-rapporten fremhæver, at selv når en enkelt token kun delvist ændrer domme, producerer kombinationen af flere svage token en dramatisk stærkere effekt. HiddenLayer demonstrerer denne forstærkning ved hjælp af Qwen3Guard, en bredt anvendt open-source LLM-as-a-judge-moderationsmodel. På både 0,6B og 4B-varianter forårsagede sammenkædede EchoGram-sekvenser, at guardrail’en mis klassificerede højst farlige prompts – herunder forespørgsler om våben, autentificerings-omgåelse og cyberangreb – som sikre eller kun mildt bekymrende.

Denne effekt bestod på tværs af modelstørrelser, hvilket støtter HiddenLayers konklusion om, at sårbarheden er rod i den underliggende træningsmetode snarere end modelskala eller kompleksitet.

Den falske-positiv vektor: En mindre synlig, men lige så alvorlig risiko

EchoGram er ikke kun en metode til at omgå guardrails; HiddenLayer viser, at det også kan bruges til at generere falske positiver i stor skala. Ved at væve EchoGram-sekvenser ind i harmløse input kan en angriber få en guardrail til at mis klassificere uskyldige prompts som ondsindede. Rapporten giver eksempler på, hvor simple konversationsfraser bliver markeret som angreb, når en EchoGram-token er tilføjet eller indlejret i teksten.

Dette skaber en vej for at overvælde sikkerheds- eller tillids- og sikkerheds hold med støj. Når advarsler stiger ukontrolleret, kan organisationer misse virkelige trusler begravet i oversvømmelsen. Erosionen af tillid til interne værktøjer bliver lige så skadelig som enhver succesfuld omgåelse.

Konsekvenser for AI-sikkerhed

Den EchoGram-rapport understreger, at guardrails, der er trænet på lignende datakilder, mønstre eller taksonomier, sandsynligvis deler de samme sårbarheder. En angriber, der opdager en succesfuld EchoGram-sekvens, kunne potentelt genbruge den på tværs af multiple kommercielle platforme, enterprise-implementationer og regerings systemer. HiddenLayer betoner, at angribere ikke behøver at kompromittere den downstream LLM. De behøver kun at bedrage gatekeeperen foran den.

Denne udfordring strækker sig ud over teknisk risiko. Organisationer kan antage, at implementeringen af en guardrail sikrer meningsfuld beskyttelse, men EchoGram demonstrerer, at denne antagelse er usikker. Hvis guardrail’en kan ændres med en token eller to, bliver hele sikkerhedsarkitekturen utroværdig.

Vejen frem

HiddenLayer konkluderer, at EchoGram skal fungere som et vendepunkt i, hvordan industrien tilgår AI-sikkerhed. Guardrails kan ikke afhænge af statiske datasæt eller enkeltstående træningscykler. De kræver kontinuerlig adversarial testning, gennemsigtighed omkring træningsmetoder og multi-lagd validering snarere end enkelt-model-dom. Da AI bliver integreret i kritisk infrastruktur, finans, sundhedsvesen og national sikkerhed, bliver svaghederne, der er belyst af EchoGram, presserende snarere end akademiske.

Rapporten endes med en opfordring til at behandle guardrails som sikkerheds-kritiske komponenter, der kræver samme rigor, der anvendes på enhver anden beskyttelses system. Ved at afsløre disse sårbarheder nu, skyder HiddenLayer industrien mod at bygge AI-forsvar, der kan modstå den næste generation af adversarial-teknikker.