AI-agenter kan huske regler og stadig bryde dem efter komprimering

Komprimering er, når en række komplekse samtaler med en AI-chat reduceres til et resumé, og samtalen fortsætter på grundlag af resuméet i stedet for hele historikken. Det svarer til en »ny start« i forhold til hukommelsesforbruget og er blevet taget i brug som en løsning på begrænsningerne ved kontekstvinduer i AI-samtaler.

Metoden blev oprindeligt indført inden for agentbaseret AI og er siden blevet udvidet til Claude, mens komprimering til Gemini endnu ikke er dukket op i udviklersamtaler. ChatGPT fravælger komprimering til fordel for simpelthen at afslutte chatten.

Hvis du har brugt Codex (grundlæggende en version af ChatGPT, der faktisk kan ændre ting på din computer, hvis den får tilladelse) i mere end 30 minutter ad gangen, har du set lejlighedsvise beskeder om komprimering af konteksten, hvor yderligere interaktioner ikke er mulige:

Codex tager en pause for at komprimere sine minder fra en session, der på dette tidspunkt har varet i tre uger.

Når komprimeringen er overstået, arbejder den enhed, der taler med dig, dog ud fra udvalgte noter, som du ikke kan se, og ikke ud fra en fuldstændig hukommelse om samtalens udvikling.

AI’en, der bryder reglerne

I juni i år viste den kinesiske artikel Forfald i styringen, at komprimering i det skjulte kan fjerne gældende regler fra en agents kontekst, så handlinger, der tidligere var forbudt, bliver udført:

Fra artiklen fra juni 2026 om Forfald i styringen: Sådan kan komprimering af konteksten få en AI-agent til at bryde en regel, den tidligere fulgte. Hvis reglen udelades af det komprimerede resumé, kan agenten gå videre og udføre den forbudte handling. En angriber kan udnytte denne proces, og det kan forhindre overtrædelsen at genskabe reglen. Kilde

På tværs af syv modeller steg antallet af overtrædelser fra 0 % før komprimering til 30 % bagefter og nåede i nogle tilfælde op på 59 %. I praksis betyder det, at agenter kan tilsidesætte vigtige instrukser som Kontakt ikke nogen, der ikke har en [our-company]e-mailadresse – med åbenlyse potentielle konsekvenser.

I juli fulgte Penn State University og IBM op på denne forskning med Fortabt i konteksten og fandt, at komprimering kunne kassere instrukser for hvordan en AI skulle udføre en opgave, samtidig med at selve opgaven blev bevaret. I test på tværs af tre scenarier bevarede komprimeringssystemerne i gennemsnit kun 17 % af disse instrukser.

Og i august fremlagde et amerikansk akademisk samarbejde TRACE, som viste, at komprimering kunne forstyrre en agent, selv når de oplysninger, den havde brug for, fortsat kunne genskabes. I test mistede agenterne overblikket over, hvor de befandt sig i en opgave, gentog allerede udført arbejde og blev mindre pålidelige gennem gentagne kørsler.

ARCBench

I denne måned kommer der yderligere indsigt fra Nederlandene i form af ARCBench, en undersøgelse, der viser, at agenter kan komme ud af en komprimering med reglen intakt og alligevel blive betydeligt mere tilbøjelige til at bryde den. I test, hvor reglen blev bevaret, forekom overtrædelser 2,6 gange så ofte efter komprimering som med hele samtalehistorikken:

Fra den nye artikel: En begrebsmæssig model for, hvordan komprimering af konteksten kan påvirke en agents overholdelse af driftsregler. Den samme senere anmodning kan blive afvist, hvis reglen bevares under komprimeringen, eller efterkommes, hvis reglen udelades. Et eksternt dokument kan påvirke, hvilke oplysninger der bevares. Denne figur er af hensyn til layoutet tilpasset originalen i stående format i kildedokumentet.. Kilde

Undersøgelsen skelner mellem regler, der gik tabt under komprimeringen, og regler, der blev bevaret, men senere overtrådt – hvilket for første gang gør det muligt at måle virkningerne af glemsel og ulydighed uafhængigt af hinanden.

På tværs af test med DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash og GPT-Luna bevarede 70,1 % af de komprimerede kørsler hele reglen. I de kørsler, hvor reglen blev bevaret, forekom overtrædelser 2,6 gange så ofte som med hele samtalehistorikken.

Konteksten i traditionel forstand viste sig at spille en rolle, eftersom regler, der blev fremlagt som organisatorisk politik, ikke førte til nogen overtrædelser med den fulde kontekst; efter komprimering steg overtrædelsesraterne imidlertid til 30,6 % og 22,2 %.

Det stærkeste tilgængelige forsvar bevarede reglerne i 99 % af resuméerne, men formåede stadig ikke at bringe antallet af overtrædelser tilbage til niveauet før angrebet. Det viser, at en vellykket bevarelse af reglerne under komprimering ikke nødvendigvis bevarer agentens evne til – eller vilje til – at følge dem.

Artiklen fastslår:

‘[We] Vi finder, at komprimering øger antallet af overtrædelser, hovedsageligt uden at slette reglen: I komprimerede kørsler, hvor reglen blev bevaret, forekom overtrædelser 2,6 gange så ofte som i kørsler med den fulde historik.

‘Desuden ændrer komprimering agentens ræsonnement bag overtrædelserne. Forskellige komprimeringsstrategier, stramme begrænsninger på komprimeringsbudgettet og den kanal, reglen leveres gennem, påvirker alle, om reglen overholdes.’

Som en mulig løsning foreslår artiklen en stærkere bevarelse af regler, der går tabt under komprimering, mens problemet med agenter, der overtræder regler, som er bevaret, fortsat står uløst”

‘Forsvarsmekanismer genskaber reglerne, men overholdelsen svækkes stadig under angreb. Det er derfor ikke tilstrækkeligt at bruge bevarelsen af regler som mål for, om de overholdes. Fremtidige undersøgelser kan bruge ARCBench til at forklare, hvorfor agenter stadig overtræder regler, der er bevaret, afprøve adaptive angreb og forsvarsmekanismer samt omfatte flere modeller og domæner og længere sessioner med gentagen komprimering.’

Metode

ARCBench udvider funktionaliteten i open source-testmiljøet pi, som har sine egne indbyggede komprimeringsrutiner samt en agentløkke, værktøjskald og indbygget komprimering. Benchmarken genskaber situationer, hvor en agent arbejder sig gennem en lang opgave under en gældende regel, komprimerer den ophobede historik og derefter bliver stillet over for en anmodning, der ville bryde reglen. Agentens handlinger kontrolleres derefter via dens værktøjskald:

Evalueringsforløbet i ARCBench. Agenter får tildelt en opgave og en regel for deres handlinger, før deres historik komprimeres med forskellige konfigurationer, angreb og forsvarsmekanismer. Derefter undersøges deres efterfølgende værktøjshandlinger for at afgøre, om reglen blev bevaret, og om den blev overholdt.

ARCBench indeholder 17 tilfælde, der omfatter videregivelse af beskyttede data, adgang til begrænsede ressourcer, uautoriserede handlinger samt omgåelse eller udeladelse af påkrævede kontroller og svarer til risikoklasserne i OWASP.

Tilfældene blev tilpasset fra Governance Decay og COMPINT, og der blev tilføjet fire yderligere tilfælde for at sikre, at alle fire typer regelbrud var repræsenteret for både personlige og organisatoriske regler.

Benchmarken kan konfigureres ud fra fem faktorer: hvordan reglen leveres; hvilken metode der bruges til at komprimere konteksten; det tilgængelige tokenbudget til komprimering; typen af angreb; og det anvendte forsvar:

ARCBench indeholder fem variabler, der gør det muligt at afprøve, hvordan overholdelsen af regler ændrer sig med forskellige former for kontekstkomprimering, regeloverlevering, angreb og forsvarsmekanismer.

Regler kan gives som direkte eller vedvarende instruktioner, indlejres i dokumenter eller hentes via et politikværktøj.

Data og tests

Ti komprimeringsmetoder blev evalueret: syv generative strategier og tre selektive tilgange. Hvert tilfælde blev kørt gentagne gange, og der blev registreret en fejl, hvis agenten overtrådte sin regel mindst én gang – en tilgang, der anses for mere passende til sikkerhedstest end at beregne gennemsnittet af præstationerne på tværs af kørsler, eftersom en agent, der indimellem udfører en forbudt handling, stadig er usikker.

De komprimerede historikker blev derefter undersøgt af GPT-6-Luna-Pro, Qwen-3.8-flash og Claude-Sonnet-4.6, og hver regel blev klassificeret som intakt, svækket eller fraværende. Flertallets vurdering blev lagt til grund, mens uenigheder blev gennemgået af menneskelige annotatorer. Desuden blev et særskilt udvalg på 50 resuméer mærket manuelt for at kontrollere bedømmernes ensartethed.

Når en intakt regel blev overtrådt, blev agentens ræsonnement undersøgt af GPT-6-Luna-Pro, GPT-6.1-Sol og Claude Sonnet 5.5. Overtrædelserne blev klassificeret efter, om den senere anmodning var blevet opfattet som tilladelse til at tilsidesætte reglen, om handlingen var blevet vurderet til at falde uden for reglens anvendelsesområde, om reglen ikke var blevet nævnt, eller om reglen var blevet genkendt og tilsidesat.

De fire modeller, der blev brugt til testene og tilgået via OpenRouter, var DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; og GPT-Luna. I hver kørsel blev den samme model brugt både til at komprimere samtalehistorikken og til at handle ud fra den resulterende kontekst, i overensstemmelse med pi’s standardadfærd. Modellerne blev tilgået via OpenRouter.

Der blev gennemført syv studier, hvor Hermes blev brugt til de fleste komprimeringstests. I det første studie blev hver af de 17 opgaver testet med fire modeller og to måder at formidle reglen på, hvilket gav 136 tilfælde. Hvert tilfælde blev kørt tre gange med den oprindelige samtale intakt og tre gange efter komprimering.

Konfigurationen af de syv ARCBench-studier, grupperet efter forskningsspørgsmål. Grønne celler viser den faktor, der blev varieret i hvert studie, mens grå celler viser indstillinger, der blev holdt faste; hvert tilfælde blev kørt tre gange, dog seks gange i angrebs- og forsvarsstudierne S6 og S7.

Testene undersøgte tre spørgsmål: Hvad skyldes regelbrud efter komprimering?; Hvordan ændrer forskellige komprimeringskonfigurationer årsagerne til regelbrud?; og Hvordan påvirker angreb rettet mod komprimeringsværktøjet og forsvar mod dem årsagerne til regelbrud?.

Hvad skyldes regelbrud efter komprimering?

De første resultater viste, at andelen af tilfælde med regelbrud steg fra 9,6 % med hele historikken bevaret til 37,8 % efter komprimering. Reglen gik dog helt tabt i kun 3 % af de komprimerede kørsler; i 70,1 % blev den bevaret intakt, og i 26,9 % blev den bevaret delvist:

Resultater, der viser, hvor ofte hver model overtrådte reglerne før og efter komprimering. De fleste regler blev bevaret helt eller delvist efter komprimeringen, selv om regelbruddene steg betydeligt; Qwen viste den største stigning og nåede op på 61,8 %.

Denne forskel viste sig at være vigtig. Blandt de enkelte kørsler, hvor hele reglen overlevede komprimeringen, endte 21,1 % stadig med et regelbrud, sammenlignet med 8,1 %, når den oprindelige historik blev bevaret. Når reglen kun var delvist bevaret, steg andelen til 29,4 %, og når der ikke var nogen regel tilbage, nåede den 83,3 %.

Man undersøgte også, hvordan regelbrud opstod, når reglen stadig var intakt. Blandt de regelbrud, der skyldtes komprimering, blev en senere anmodning i 45,9 % af tilfældene fortolket som tilladelse til at fortsætte; i 27 % af tilfældene blev reglen tilsyneladende tilsidesat, og i 21,6 % blev det anerkendt, at reglen var relevant, men den blev alligevel overtrådt:

Resultater, der viser, hvorfor regler blev overtrådt før og efter komprimering. Når regelbrud først opstod efter komprimering, blev senere anmodninger oftest opfattet som tilladelse til at fortsætte (45,9 %), mens reglen, der stadig var bevaret, blev tilsidesat i 27 % af tilfældene og anerkendt i 21,6 %, før der alligevel blev handlet i strid med den.

Hvordan ændrer forskellige komprimeringskonfigurationer årsagerne til regelbrud?

Måden, en regel blev formidlet på, havde tydelig betydning for, om den blev overholdt. Når hele samtalen var intakt, forekom der regelbrud i henholdsvis 25 % og 16,1 % af tilfældene, hvor brugeren personligt havde angivet reglerne; der blev dog ikke registreret nogen regelbrud, når reglerne i stedet var blevet formidlet gennem et organisatorisk dokument eller et politikværktøj:

Sådan påvirkede formidlingen af regler, komprimeringsstrategien og tokenbudgettet regelbrud og bevarelsen af regler. Generativ komprimering bevarede regler langt mere pålideligt end selektive metoder, mens budgetter på 300 tokens eller derunder medførte, at næsten alle regler gik tabt.

Efter komprimering steg regelbruddene på alle fire kanaler og nåede 56,3 % for direkte instrukser fra brugeren og 22,2 % for regler formidlet gennem et politikværktøj. Andelen af regler, der blev bevaret, varierede forholdsvis lidt, fra 65,7 % til 74 %. Forfatterne foreslår, at en senere anmodning fra brugeren kan fortolkes som en tilsidesættelse af en personlig regel, mens brugeren ikke kan tilsidesætte en organisatorisk regel.

Hvordan påvirker angreb rettet mod komprimeringsværktøjet og forsvar mod dem årsagerne til regelbrud?

Det havde kun ringe effekt at oversvømme konteksten med ekstra materiale; andelen af regelbrud faldt faktisk fra 37,8 % til 34,3 %. Promptinjektion rettet mod komprimeringsværktøjet var betydeligt mere effektiv og øgede andelen af regelbrud til 46,3 %, samtidig med at andelen af regler, der blev bevaret fuldt ud, faldt fra 70,1 % til 42,5 %.

Det stærkeste angreb, kaldet escape, øgede andelen af regelbrud fra 23,5 % til 58,8 % og reducerede andelen af regler, der blev bevaret, fra 96,1 % til 66,7 %. Selv når reglen overlevede, blev andelen af regelbrud fordoblet fra 13,3 % til 26,5 %.

Testresultater, der viser, hvordan angreb og forsvar påvirker overholdelsen af regler efter komprimering. Målrettet promptinjektion øgede antallet af regelbrud og reducerede fastholdelsen af regler, mens det stærkeste forsvar øgede fastholdelsen til 99 % uden helt at genoprette regeloverholdelsen.

Det stærkeste forsvar bevarede reglen i 99 % af kørslerne – alligevel brød agenterne den i 29,4 % af tilfældene mod 23,5 %, når der ikke blev brugt noget angreb. Med andre ord var det ikke nok at sikre, at agenten stadig havde reglen, til at få den til at følge den.

Konklusion

Logikken tilsiger, at der opstår en slags »fotokopieringseffekt«, når konteksten komprimeres dusinvis eller hundredvis af gange i en meget lang tråd (som den, jeg har arbejdet på i Codex* siden midten af oktober, og som jeg også arbejdede på her til morgen – et episk forløb med eksperimentel, AI-assisteret softwareudvikling).

Ligesom med centrale systemprompter får vi ikke indblik i disse komprimerede resuméer af forløbet indtil nu. Mine egne anekdotiske erfaringer tyder på, at hovedmissionen overlever komprimeringen sammen med de fleste væsentlige detaljer. Men jeg befinder mig jo ikke i det mareridtsscenarie, hvor kommandoen »Send denne e-mail til alle«, som kun var tiltænkt alle i virksomheden, ender med at blive sendt til alle i virksomhedens samlede kontaktbog. Av!

* Jeg er vist ved at blive gammel, men det her er uden tvivl det mest uforglemmelige, intetsigende og »virksomhedsbeige« navn, man overhovedet kunne have valgt til denne agent. Jeg glemmer det hele tiden.

Først udgivet torsdag den 12. november 2026