HiddenLayer-forskere omgår OpenAIs sikkerhetssystem, avdekker kritisk svakhet i AI-selvregulering

Den 6. oktober 2025 kunngjorde OpenAI AgentKit, et verktøy for å bygge, distribuere og håndtere AI-agenter. En av komponentene er Guardrails – et modulært sikkerhetssystem designet for å overvåke agentinndata, utdata og verktøyinteraksjoner for å forhindre misbruk, datalekkasjer eller skadelig atferd. Guardrails kan maskere eller flagge PII, oppdage fengsling og pålegge politiske begrensninger sammen med agentutførelse.

Selv om Guardrails er et nylig offentliggjort sikkerhetslag i OpenAIs agentarkitektur, avdekker HiddenLayers forskning en dypere sårbarhet: fordi både agentens handlinger og sikkerhetssjekken bruker lignende modelllogikk, kan angripere konstruere inndata som undergraver begge samtidig – effektivt bryter sikkerhetssystemet fra innsiden.

Hva HiddenLayer oppdaget

OpenAIs design forestiller agenter som opererer gjennom lenkede logiske sammenhenger: en bruker sender en forespørsel, agenten kaller verktøy eller eksterne ressurser, og svarene filtreres eller valideres av Guardrails før utførelse eller utdata. Hensikten er at uansett hva agenten prøver å gjøre – enten det er å generere tekst, hente en nettside eller utløse en funksjon – Guardrails fungerer som en vakt.

HiddenLayer hevder at denne vekten er strukturelt feil når den er bygget fra samme modellklasse som den beskytter. I deres eksperimenter konstruerte de forespørsler som gjorde dobbelt tjeneste: de tvang agentmodellen til å generere innhold som brøt med politikk og manipulerte Guardrails-dommermodellen til å erklære at innholdet var “sikkert”. Effektivt innførte forespørselen en omgåelse av dommerens interne logikk – dens konfidensnivåer, beslutningsgrener – så dommeren feilaktig godkjente det skadelige utgangspunktet. Systemet produserte deretter ikke tillatte innhold uten å utløse noen varslinger.

De drev angrepet videre ved å rette seg mot indirekte innholdsinjeksjoner, som verktøybaserte anrop. Anta at agenten henter en nettside som inneholder skadelig kode eller skjulte forespørsler. Guardrails burde flagge eller blokkere det, men HiddenLayers metode innfører en dommeromgåelse i det hentede innholdet selv. Når dommeren behandler det, ser den omgåelsen og “godkjenner” det, og lar verktøykallet – og eventuelt skadelig innhold det returnerer – passere uhindret.

Den dypere læren er klar: når ditt sikkerhetssystem er bygget med samme logikk og sårbarheter som det den beskytter, kan en enkelt smart forespørsel bryte begge.

Hvorfor dette er viktig

Hva HiddenLayer har avdekket, er ikke bare en feil – det er en advarsel om hvordan vi designer sikkerhet i LLM-systemer. Ethvert arkitektur som avhenger av samme modellklasse for både generering og evaluering risikerer felles feil under angriperinndata.

Det betyr at mange distributører som trodde “vi har satt inn Guardrails, så vi er trygge” kan undervurdere risikoen. I harmløse, daglig bruksscenarier kan deres filtere virke effektive, men i angriper-scenarier kan de feile stille. I domener som helse, finansiell, regjering eller kritiske systemer kan slike stille sammenbrudd føre til alvorlige skader.

Dette forskningsarbeidet bygger også på tidligere promptinjeksjonsmetoder. HiddenLayers tidligere “Policy Puppetry“-teknikk viste hvordan angripere kan forklede skadelig kode som politikkinnhold. Nå demonstrerer de at slike maskerte angrep kan utvides inn i sikkerhetslogikken selv.

Konsekvenser for distributører og forskere

I lys av denne sårbarheten må alle som bruker eller bygger agente LLM-systemer omvurdere sin sikkerhetsstrategi.

Først: ikke bare basere deg på interne modellbaserte sjekker. Sikkerhet må være lagdelt. Det betyr å kombinere regelbaserte filtere, anomali-detektorer, loggingsystemer, eksterne overvåking, menneskelig tilsyn og revisjonslogger. Hvis ett lag feiler, kan andre fange bruddet.

Andre: regelmessig angriper-rød teaming er uunnværlig. Modeller bør møte promptinjeksjoner som prøver å omgå deres egen vaktlogikk – ikke bare “dårlig innhold”. Testing må utvikle seg etter hvert som angripere finner på nye metoder.

Tredje: i regulerte eller sikkerhetskritiske sektorer er gjennomsiktighet og verifiserbarhet essensielle. Distributører trenger bevis for at et system kan motstå angriperangrep, ikke bare grunnleggende funksjonalitet. Det antyder at tredjeparts-revisjoner, formell verifisering eller sikkerhetsgarantier kan bli krav.

Fjerde: for modellbyggere er det vanskelig å fikse denne klassen av sårbarhet. Fordi den er knyttet til hvordan modeller tolker og adlyder instruksjoner, garanterer ikke bare å filtrere en klasse av prompter motstand mot nye. Feinjustering eller filterbasert forsvar kan degradere modellens ytelse eller føre til våpenkappløp. Mer robust design kan kreve arkitektonisk adskillelse – vaktlogikk som kjører i en annen modell eller underystem enn genereringsmodellen.

Begrensninger og åpne spørsmål

For å være tydelig: HiddenLayers arbeid er et bevis for konsept, ikke en endelig dom over hver sikkerhetsarkitektur. Deres vellykkede angrep avhenger av dypt kjennskap til vaktmodellens promptstruktur og interne poenglogikk. I mer begrensede promptmiljøer eller systemer som tilfeldig forsværer, kan angrepet være vanskeligere å gjennomføre.

Også analyserer de ikke fullstendig hvor sammenhengende eller nyttig det skadelige utgangspunktet er når det er konstruert under disse begrensningene. Noen fengsling eller omgåelse av utgangspunkt kan degradere i kvalitet eller pålitelighet. Så risikoen er reell – men begrenset av miljø, promptbudsjett, grenser for brukergrensesnitt og tilfeldig vakt.

Til slutt er det ikke sikkert at hver slik system er sårbar; om angrepet generaliserer vidt er et åpent forskningsspørsmål.

Ser fremover: Fremtiden for AI-sikkerhet

Det ser ut til at vi går inn i en ny fase: promptangrep ikke bare mot modeller, men mot deres sikkerhetssystemer. Teknikker som kjede-tenkning-hijacking, hierarkisk prompt-underordning og dommeromgåelse vil drive forsvar til å utvikle seg raskere.

Vegen fremover er sannsynligvis mot eksternt tilsyn – systemer som overvåker utgangspunkt fra utsiden, deler ikke modelllogikk eller pålegger sikkerhet via eksterne sjekker. Hybridarkitekturer, formelle metoder, anomali-deteksjon og menneskelige tilbakemeldingsløkker må komme sammen.

Guardrails er et nyttig verktøy, men HiddenLayers funn minner oss på: de kan ikke være det eneste verktøyet. Sikkerhet må komme fra utenfor systemet, ikke bare fra innsiden.