KI-agenter kan huske regler og likevel bryte dem etter komprimering

Kontekstkomprimering innebærer at en rekke komplekse samtaler med en KI-chat kokes ned til et sammendrag, og at samtalen fortsetter med utgangspunkt i sammendraget, ikke hele historikken. Det er som en «ny start» når det gjelder minnebruk, og er tatt i bruk som en løsning på begrensningene i kontekstvinduene i KI-samtaler.

Metoden ble først tatt i bruk innen agentbasert KI og er senere utvidet til Claude. Kontekstkomprimering for Gemini har ennå ikke dukket opp i utviklersamtaler, mens ChatGPT velger bort komprimering til fordel for å bare avslutte chatten.

Hvis du har brukt Codex (i praksis en versjon av ChatGPT som faktisk kan gjøre endringer på datamaskinen din, hvis den får tillatelse) i mer enn 30 minutter om gangen, har du sett sporadiske meldinger om komprimering av konteksten. Mens dette pågår, er det ikke mulig å fortsette samtalen:

Codex tar en pust i bakken for å komprimere minnene sine fra en økt som nå har vart i tre uker.

Når komprimeringen er ferdig, bygger systemet du snakker med imidlertid på usette, selektive notater, ikke et fullstendig minne om hvordan samtalen har utviklet seg.

KI-regelbryteren

I juni i år viste den kinesiske artikkelen Styringsforfall at komprimering i det stille kan fjerne gjeldende regler fra en agents kontekst, slik at handlinger som tidligere var forbudt, blir utført:

Fra artikkelen fra juni 2026 om styringsforfall: Slik kan komprimering av kontekst få en KI-agent til å bryte en regel den tidligere fulgte. Hvis regelen utelates fra det komprimerte sammendraget, kan agenten fortsette med å utføre den forbudte handlingen. En angriper kan utnytte denne prosessen, og det å gjenopprette regelen kan forhindre regelbruddet. Kilde

På tvers av sju modeller økte andelen regelbrudd fra 0 % før komprimering til 30 % etterpå, og nådde 59 % i enkelte tilfeller. I praksis betyr dette at agenter kan se bort fra viktige instrukser som Ikke kontakt noen som ikke har en [our-company]-e-postadresse – noe som åpenbart kan få konsekvenser.

I juli fulgte Penn State University og IBM opp denne forskningen med Tapt i konteksten. De fant at komprimering kunne forkaste instruksjoner som styrte hvordan en KI skulle utføre en oppgave, samtidig som selve oppgaven ble bevart. I tester på tvers av tre oppsett beholdt komprimeringssystemene i gjennomsnitt bare 17 % av disse instruksjonene.

I august la et amerikansk forskningssamarbeid fram TRACE, som viste at komprimering kunne forstyrre en agent selv når informasjonen den trengte, fortsatt kunne gjenopprettes. I testene mistet agentene oversikten over hvor de var i en oppgave, gjentok arbeid som allerede var utført, og ble mindre pålitelige når testene ble kjørt flere ganger.

ARCBench

Denne måneden kommer det nye innsikter fra Nederland i form av ARCBench, en studie som viser at agenter kan komme ut av komprimeringen med regelen intakt og likevel bli betydelig mer tilbøyelige til å bryte den. I tester der regelen faktisk ble bevart, forekom regelbrudd 2,6 ganger oftere etter komprimering enn med hele samtalehistorikken:

Fra den nye artikkelen: En konseptuell modell av hvordan komprimering av kontekst kan påvirke en agents etterlevelse av driftsregler. Den samme senere forespørselen kan bli avvist hvis regelen overlever komprimeringen, eller bli utført hvis regelen utelates. Et eksternt dokument kan påvirke hvilken informasjon som blir bevart. Denne figuren er av layoutgrunner bearbeidet fra originalen i stående format i kildestudien.. Kilde

Studien skiller mellom regler som gikk tapt under komprimeringen, og regler som overlevde og senere ble brutt. Dermed kan effektene av glemsel og ulydighet for første gang måles uavhengig av hverandre.

I tester med DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash og GPT-Luna inneholdt 70,1 % av kjøringene etter komprimering hele regelen. Blant kjøringene der regelen ble bevart, forekom regelbrudd 2,6 ganger oftere enn med hele samtalehistorikken.

Kontekst i tradisjonell forstand viste seg å være en faktor: Når regler ble presentert som organisatoriske retningslinjer, oppsto det ingen brudd med full kontekst, men etter komprimering steg bruddfrekvensen til 30,6 % og 22,2 %.

Det sterkeste tilgjengelige forsvaret bevarte reglene i 99 % av sammendragene, men klarte likevel ikke å få bruddfrekvensen ned på nivået før angrepet. Dette tyder på at det å bevare reglene under komprimering ikke nødvendigvis bevarer agentens evne – eller vilje – til å følge dem.

Artikkelen fastslår:

‘[We] finner at komprimering fører til flere regelbrudd, stort sett uten å slette regelen: I komprimerte kjøringer der regelen er bevart, skjer det fortsatt regelbrudd 2,6 ganger så ofte som i kjøringer med hele historikken.

‘Dessuten endrer komprimering agentens begrunnelse for å bryte regelen. Ulike komprimeringsstrategier, stramme begrensninger på komprimeringsbudsjettet og kanalen regelen formidles gjennom påvirker alle etterlevelsen.’

Som et mulig tiltak foreslår artikkelen å styrke bevaringen av regler som går tapt under komprimering, men lar problemet med agenter som ikke adlyder bevarte regler, stå uløst”

‘Forsvar gjenoppretter regler, men etterlevelsen svekkes fortsatt under angrep. Det er derfor ikke tilstrekkelig å bruke bevaring av regler som mål på etterlevelse. Fremtidige studier kan bruke ARCBench til å undersøke hvorfor agenter fortsatt bryter regler som er bevart, teste adaptive angrep og forsvar og omfatte flere modeller og domener samt lengre økter med gjentatt komprimering.’

Metode

ARCBench utvider funksjonaliteten i rammeverket med åpen kildekode pi, som har egne innebygde komprimeringsrutiner, i tillegg til en agentløkke, verktøykall og innebygd komprimering. Referansetesten gjenskaper situasjoner der en agent arbeider med en lang oppgave under en stående regel, komprimerer den opparbeidede historikken og deretter får en forespørsel som ville bryte regelen. Agentens handlinger kontrolleres så gjennom verktøykallene:

Evalueringsløpet i ARCBench. Agentene får en oppgave og en operativ regel før historikken deres komprimeres med ulike konfigurasjoner, angrep og forsvar. Deretter undersøkes agentenes verktøyhandlinger for å avgjøre om regelen ble bevart, og om den ble fulgt.

ARCBench inneholder 17 tilfeller som omfatter utlevering av beskyttede data, tilgang til begrensede ressurser, uautoriserte handlinger og omgåelse eller utelatelse av påkrevde kontroller. Disse tilsvarer risikoklassene til OWASP.

Tilfellene ble tilpasset fra Governance Decay og COMPINT, med fire ekstra tilfeller for å sikre at alle de fire typene regelbrudd var representert både for personlige og organisatoriske regler.

Referansetesten kan konfigureres ut fra fem faktorer: hvordan regelen formidles, hvilken metode som brukes til å komprimere konteksten, tokenbudsjettet som er tilgjengelig for komprimering, typen angrep og hvilket forsvar som brukes:

ARCBench inneholder fem variabler for å teste hvordan etterlevelsen av regler endres ved ulike former for kontekstkomprimering, formidling av regler, angrep og forsvar.

Regler kan gis som direkte eller vedvarende instruksjoner, bygges inn i dokumenter eller hentes gjennom et policyverktøy.

Data og tester

Ti komprimeringsmetoder ble evaluert: sju generative strategier og tre selektive tilnærminger. Hvert tilfelle ble kjørt gjentatte ganger, og en feil ble registrert dersom agenten brøt regelen minst én gang – en tilnærming som anses som mer egnet for sikkerhetstesting enn å beregne gjennomsnittlig ytelse på tvers av kjøringer, ettersom en agent som av og til utfører en forbudt handling, fortsatt er utrygg.

De komprimerte historikkene ble deretter vurdert av GPT-6-Luna-Pro, Qwen-3.8-flash og Claude-Sonnet-4.6, og hver regel ble klassifisert som intakt, svekket eller fraværende. Flertallets vurdering ble lagt til grunn, mens uenigheter ble gjennomgått av menneskelige annotatører. I tillegg ble et eget utvalg på 50 sammendrag merket manuelt for å kontrollere vurderernes samsvar.

Når en intakt regel ble brutt, ble agentens begrunnelse undersøkt av GPT-6-Luna-Pro, GPT-6.1-Sol og Claude Sonnet 5.5. Regelbruddene ble klassifisert etter om den senere forespørselen var blitt tolket som en tillatelse til å tilsidesette regelen, om handlingen var blitt vurdert som utenfor regelens virkeområde, om regelen ikke var blitt nevnt, eller om regelen var blitt gjenkjent og ignorert.

De fire modellene som ble brukt i testene, og som ble gjort tilgjengelige gjennom OpenRouter, var DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; og GPT-Luna. I hver kjøring ble den samme modellen brukt både til å komprimere samtalehistorikken og til å handle ut fra den resulterende konteksten, i tråd med standardatferden til pi. Modellene ble gjort tilgjengelige gjennom OpenRouter.

Det ble gjennomført sju studier, og Hermes ble brukt i de fleste testene av komprimering. I den første studien ble hver av de 17 oppgavene testet med fire modeller og to måter å formidle regelen på, noe som ga 136 tilfeller. Hvert tilfelle ble kjørt tre ganger med den opprinnelige samtalen intakt og tre ganger etter at den var komprimert.

Oppsettet for de sju ARCBench-studiene, gruppert etter forskningsspørsmål. Grønne celler viser faktoren som ble variert i hver studie, mens grå celler viser innstillinger som ble holdt konstante. Hvert tilfelle ble kjørt tre ganger, og antallet økte til seks kjøringer i angreps- og forsvarsstudiene S6 og S7.

Testene tok for seg tre spørsmål: Hvor kommer regelbruddene etter komprimering fra?, Hvordan påvirker ulike komprimeringsoppsett hvor regelbruddene kommer fra? og Hvordan påvirker angrep og forsvar rettet mot komprimeringsmodellen hvor regelbruddene kommer fra?.

Hvor kommer regelbruddene etter komprimering fra?

De første resultatene viste at andelen regelbrudd økte fra 9,6 % av tilfellene med hele samtalehistorikken intakt til 37,8 % etter komprimering. Regelen gikk imidlertid helt tapt i bare 3 % av de komprimerte kjøringene; i 70,1 % var den fortsatt intakt, og i 26,9 % var den delvis bevart:

Resultater som viser hvor ofte hver modell brøt reglene før og etter komprimering. De fleste reglene ble bevart helt eller delvis ved komprimering, selv om regelbruddene økte betydelig. Qwen hadde den største økningen, til 61,8 %.

Dette skillet viste seg å være viktig. Blant enkelttilfellene der hele regelen overlevde komprimeringen, endte 21,1 % likevel med et regelbrudd, mot 8,1 % når den opprinnelige samtalehistorikken var bevart. Når regelen bare var delvis bevart, steg andelen til 29,4 %, og når ingen del av regelen var igjen, var den 83,3 %.

Det ble også undersøkt hvordan regelbrudd oppsto når regelen fortsatt var intakt. Blant regelbruddene som skyldtes komprimering, ble en senere forespørsel i 45,9 % av tilfellene tolket som tillatelse til å fortsette; regelen ble tilsynelatende ignorert i 27 % av tilfellene, og i 21,6 % ble det erkjent at regelen gjaldt, men den ble likevel brutt:

Resultater som viser hvorfor regler ble brutt før og etter komprimering. Når regelbrudd først oppsto etter komprimering, ble senere forespørsler oftest tolket som tillatelse til å fortsette (45,9 %), mens regelen som fortsatt var bevart, ble ignorert i 27 % av tilfellene, og i 21,6 % ble det erkjent at regelen gjaldt før man likevel fortsatte.

Hvordan påvirker ulike komprimeringsoppsett hvor regelbruddene kommer fra?

Måten en regel ble formidlet på, hadde en tydelig effekt på etterlevelsen. Når hele samtalen var intakt, forekom det brudd i 25 % og 16,1 % av tilfellene der reglene var gitt av brukeren selv; det ble imidlertid ikke registrert noen brudd når reglene i stedet var formidlet gjennom et organisasjonsdokument eller et policyverktøy:

Hvordan formidling av regler, komprimeringsstrategi og tokenbudsjett påvirket regelbrudd og bevaring av regler. Generativ komprimering bevarte reglene langt mer pålitelig enn selektive metoder, mens budsjetter på 300 token eller mindre førte til at nesten alle regler gikk tapt.

Etter komprimering økte regelbruddene for alle de fire formidlingsmåtene, til 56,3 % for direkte instruksjoner fra brukeren og 22,2 % for regler fra regelverktøy. Andelen regler som ble bevart, varierte forholdsvis lite, fra 65,7 % til 74 %. Forfatterne antyder at en senere forespørsel fra brukeren kan tolkes som en overstyring av en personlig regel, mens en organisatorisk regel ikke kan overstyres av brukeren.

Hvordan påvirker angrep og forsvar rettet mot komprimeringsmodellen hvor regelbruddene kommer fra?

Det hadde liten effekt å fylle konteksten med ekstra materiale; andelen regelbrudd sank faktisk fra 37,8 % til 34,3 %. Injeksjon rettet mot komprimeringsmodellen var langt mer effektivt: Andelen regelbrudd økte til 46,3 %, og andelen tilfeller der hele regelen ble bevart, falt fra 70,1 % til 42,5 %.

Det sterkeste angrepet, kalt escape, økte andelen regelbrudd fra 23,5 % til 58,8 % og reduserte andelen regler som ble bevart, fra 96,1 % til 66,7 %. Selv når regelen overlevde, ble andelen regelbrudd doblet, fra 13,3 % til 26,5 %.

Testresultater som viser hvordan angrep og forsvar påvirker etterlevelsen av regler etter komprimering. Målrettet injeksjon økte antallet regelbrudd og reduserte bevaringen av regler, mens det sterkeste forsvaret gjenopprettet regelbevaringen til 99 % uten å gjenopprette etterlevelsen fullt ut.

Det sterkeste forsvaret bevarte regelen i 99 % av kjøringene – likevel brøt agentene den i 29,4 % av tilfellene, sammenlignet med 23,5 % når det ikke ble brukt noe angrep. Med andre ord var det ikke nok å sørge for at agenten fortsatt hadde regelen, for å sikre at den fulgte den.

Konklusjon

Logikken tilsier at det oppstår en slags «kopimaskineffekt» når konteksten komprimeres dusinvis, ja hundrevis av ganger i en svært lang tråd (som en jeg har jobbet med i Codex* siden midten av oktober, og jobbet med så sent som i morges – et episk prosjekt innen eksperimentell, KI-assistert programvareutvikling).

I likhet med de grunnleggende systempromptene får vi ikke se disse komprimerte sammendragene av handlingen så langt. Mine egne anekdotiske erfaringer tyder på at hovedoppdraget overlever komprimeringen, sammen med de fleste av de viktigste detaljene. Men jeg befinner meg altså ikke i det verste tenkelige scenarioet, der kommandoen «Send denne e-posten til alle», som er ment for alle i selskapet, ender opp med å bli sendt til alle i selskapets samlede kontaktbok. Au.

* Jeg begynner vel å bli gammel, men dette er uten tvil det mest uforglemmelige, intetsigende «bedriftsbeige» navnet man kunne ha valgt for denne agenten. Jeg glemmer det hele tiden.

Først publisert torsdag 12. november 2026