AI-agenter kan minnas regler och ändå bryta mot dem efter komprimering

Komprimering innebär att en rad komplexa utbyten med en AI-chatt kokas ner till en sammanfattning, och att samtalet sedan fortsätter utifrån sammanfattningen i stället för hela historiken. Det är som en ”nystart” när det gäller minnesanvändningen och har införts som en lösning på begränsningarna i kontextfönster i AI-samtal.

Metoden infördes först inom agentbaserad AI och har sedan utvidgats till Claude, medan komprimering för Gemini ännu inte har dykt upp i utvecklarsamtal. ChatGPT avstår från komprimering och väljer i stället att helt enkelt avsluta chatten.

Om du har använt Codex (i princip en version av ChatGPT som faktiskt kan ändra saker på din dator, om den får tillstånd) i mer än 30 minuter åt gången har du säkert sett återkommande meddelanden om att kontexten komprimeras. Under tiden går det inte att fortsätta interagera:

Codex tar en paus för att komprimera sina minnen från en session som vid det här laget har pågått i tre veckor.

När komprimeringen är klar arbetar systemet som kommunicerar med dig dock utifrån osynliga, selektiva anteckningar, inte utifrån ett fullständigt minne av hur chatten har utvecklats.

AI:n som struntar i reglerna

I juni i år visade den kinesiska studien Styrningens förfall att komprimering i tysthet kan ta bort gällande regler ur en agents kontext, vilket leder till att handlingar som tidigare varit förbjudna utförs:

Från studien om styrningens förfall från juni 2026: så kan kontextkomprimering få en AI-agent att bryta mot en regel som den tidigare följt. Om regeln utelämnas ur den komprimerade sammanfattningen kan agenten gå vidare och utföra den förbjudna handlingen. En angripare skulle kunna utnyttja processen, och om regeln återinförs kan överträdelsen förhindras. Källa

I sju modeller ökade överträdelserna från 0 % före komprimering till 30 % efteråt, och i vissa fall nådde de 59 %. I praktiken innebär det att agenter kan bortse från viktiga direktiv, till exempel Kontakta inte någon som inte har en [our-company]-e-postadress – med uppenbara möjliga följder.

I juli följde Penn State University och IBM upp forskningen med Borttappad i kontexten. De fann att komprimering kunde utelämna instruktioner om hur en AI skulle utföra en uppgift, samtidigt som själva uppgiften bevarades. I tester med tre olika upplägg behöll komprimeringssystemen i genomsnitt bara 17 % av dessa instruktioner.

I augusti presenterade ett amerikanskt akademiskt samarbete TRACE, som visade att komprimering kunde störa en agent även när informationen den behövde fortfarande gick att återfå. I tester tappade agenterna bort var i en uppgift de befann sig, upprepade redan utfört arbete och blev mindre tillförlitliga vid upprepade körningar.

ARCBench

Den här månaden kommer ytterligare insikter från Nederländerna i form av ARCBench, en studie som visar att agenter kan komma ur komprimeringen med regeln intakt och ändå löpa betydligt större risk att bryta mot den. I tester där regeln faktiskt bevarades inträffade överträdelser 2,6 gånger oftare efter komprimering än när hela samtalshistoriken fanns kvar:

Från den nya studien: ett konceptuellt schema över hur kontextkomprimering kan påverka en agents efterlevnad av regler för hur den ska arbeta. Samma senare begäran kan avvisas om regeln överlever komprimeringen eller utföras om regeln utelämnas; ett externt dokument kan påverka vilken information som bevaras. Den här figuren har av layoutskäl omarbetats från originalet i stående format i källstudien. Källa

Studien skiljer mellan regler som försvann vid komprimeringen och regler som bevarades men senare överträddes. Därmed kan effekterna av att glömma respektive att inte lyda mätas oberoende av varandra för första gången.

I tester med DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash och GPT-Luna bevarades hela regeln i 70,1 % av de komprimerade körningarna. I de körningar där regeln överlevde inträffade överträdelser 2,6 gånger oftare än när hela samtalshistoriken fanns kvar.

Kontexten i traditionell bemärkelse visade sig vara en faktor, eftersom regler som presenterades som organisatoriska riktlinjer inte ledde till några regelöverträdelser när hela kontexten fanns tillgänglig. Efter komprimering steg dock andelen regelöverträdelser till 30,6 % respektive 22,2 %.

Det starkaste tillgängliga försvaret bevarade reglerna i 99 % av sammanfattningarna, men lyckades ändå inte få ned antalet regelöverträdelser till nivån före angreppet. Det visar att en lyckad bevaring av reglerna vid komprimering inte nödvändigtvis bevarar agentens förmåga – eller vilja – att följa dem.

I artikeln står det:

‘[We] Vi konstaterar att komprimering ökar antalet regelöverträdelser främst utan att regeln raderas: i komprimerade körningar där regeln bevaras sker regelöverträdelser ändå 2,6 gånger så ofta som i körningar med den fullständiga historiken.

‘Dessutom förändrar komprimering agentens resonemang kring varför den bryter mot reglerna. Olika komprimeringsstrategier, snäva begränsningar för komprimeringsbudgeten och sättet regeln förmedlas på påverkar alla efterlevnaden.’

Som en möjlig åtgärd föreslår artikeln att regler som går förlorade vid komprimering ska bevaras bättre, men lämnar problemet med att agenter trotsar regler som bevarats olöst”

‘Försvarsåtgärder återställer reglerna, men efterlevnaden försämras fortfarande vid angrepp. Att regeln finns kvar är därför inte ett tillräckligt mått på efterlevnad. Framtida studier kan använda ARCBench för att förklara varför agenter fortfarande bryter mot regler som bevarats, testa adaptiva angrepp och försvar samt omfatta fler modeller, domäner och längre sessioner med upprepad komprimering.’

Metod

ARCBench bygger vidare på funktionerna i ramverket med öppen källkod pi, som har egna inbyggda komprimeringsrutiner samt en agentloop, verktygsanrop och inbyggd komprimering. Benchmarken återskapar situationer där en agent har arbetat med en lång uppgift under en stående regel, den samlade historiken komprimeras och agenten sedan ställs inför en begäran som skulle bryta mot regeln. Agentens handlingar kontrolleras därefter genom dess verktygsanrop:

Utvärderingsflödet i ARCBench. Agenterna får en uppgift och en regel att följa innan deras historik komprimeras med olika konfigurationer, angrepp och försvar. Därefter granskas deras verktygsåtgärder för att avgöra om regeln bevarades och om den följdes.

ARCBench omfattar 17 fall som rör utlämnande av skyddade uppgifter, åtkomst till begränsade resurser, obehöriga handlingar samt kringgående eller utelämnande av obligatoriska kontroller. Dessa motsvarar riskklasser enligt OWASP.

Fallen anpassades från Governance Decay och COMPINT, och fyra ytterligare fall lades till för att säkerställa att alla fyra typer av regelöverträdelser fanns representerade för både personliga och organisatoriska regler.

Benchmarken kan konfigureras utifrån fem faktorer: hur regeln förmedlas; vilken metod som används för att komprimera kontexten; vilken tokenbudget som finns tillgänglig för komprimeringen; typen av angrepp; och vilket försvar som tillämpas:

ARCBench erbjuder fem variabler för att testa hur efterlevnaden av regler förändras med olika former av kontextkomprimering, regelöverföring, angrepp och försvar.

Regler kan anges som direkta eller bestående instruktioner, bäddas in i dokument eller hämtas via ett policyverktyg.

Data och tester

Tio komprimeringsmetoder utvärderades: sju generativa strategier och tre selektiva metoder. Varje fall kördes upprepade gånger, och ett misslyckande registrerades om agenten bröt mot regeln minst en gång. Detta ansågs lämpligare för säkerhetstester än att beräkna genomsnittlig prestanda över flera körningar, eftersom en agent som ibland utför en förbjuden handling fortfarande är osäker.

De komprimerade historikerna granskades sedan av GPT-6-Luna-Pro, Qwen-3.8-flash och Claude-Sonnet-4.6, och varje regel klassificerades som intakt, försvagad eller frånvarande. Majoritetsbeslutet användes, medan oenigheter granskades av mänskliga annotatörer. Dessutom märktes ett separat urval på 50 sammanfattningar manuellt för att kontrollera bedömarnas samstämmighet.

När en intakt regel överträddes granskades agentens resonemang av GPT-6-Luna-Pro, GPT-6.1-Sol och Claude Sonnet 5.5. Regelöverträdelserna klassificerades utifrån om den senare begäran hade tolkats som tillåtelse att åsidosätta regeln, om handlingen hade bedömts falla utanför regelns tillämpningsområde; om regeln inte hade nämnts; eller om regeln hade uppmärksammats och åsidosatts.

De fyra modeller som användes i testerna via OpenRouter var DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; och GPT-Luna. I varje körning användes samma modell både för att komprimera konversationshistoriken och för att agera utifrån den resulterande kontexten, i linje med standardbeteendet i pi. Modellerna användes via OpenRouter.

Sju studier genomfördes, och Hermes användes i de flesta komprimeringstesterna. I den första studien testades var och en av de 17 uppgifterna med fyra modeller och två sätt att förmedla regeln, vilket gav 136 fall. Varje fall kördes tre gånger med den ursprungliga konversationen intakt och tre gånger efter att den hade komprimerats.

Konfigurationen för de sju ARCBench-studierna, grupperade efter forskningsfråga. Grönmarkerade celler visar den faktor som varierades i varje studie, medan grå celler visar inställningar som hölls konstanta. Varje fall kördes tre gånger, och i attack- och försvarsstudierna S6 och S7 ökade antalet körningar till sex.

Testerna behandlade tre frågor: Varifrån kommer regelbrott efter komprimering?; Hur påverkar olika komprimeringskonfigurationer varifrån regelbrotten kommer?; och Hur påverkar attacker och försvar riktade mot komprimeringsverktyget varifrån regelbrotten kommer?.

Varifrån kommer regelbrott efter komprimering?

De första resultaten visade att regelbrotten ökade efter komprimering, från 9,6 % av fallen med hela historiken till 37,8 %. Regeln gick dock helt förlorad i endast 3 % av de komprimerade körningarna. I 70,1 % bevarades den intakt och i 26,9 % bevarades den delvis:

Resultat som visar hur ofta varje modell bröt mot reglerna före och efter komprimering. De flesta regler bevarades helt eller delvis vid komprimeringen, trots att regelbrotten ökade markant. Qwen uppvisade den största ökningen, till 61,8 %.

Denna skillnad visade sig vara viktig. Av de enskilda körningar där hela regeln bevarades efter komprimeringen slutade 21,1 % ändå med ett regelbrott, jämfört med 8,1 % när den ursprungliga historiken behölls. När regeln bevarades delvis steg andelen till 29,4 %, och när ingen del av regeln återstod var den 83,3 %.

Man undersökte också hur regelbrotten uppstod när regeln fortfarande var intakt. Bland regelbrott som orsakades av komprimering tolkades en senare begäran i 45,9 % av fallen som tillåtelse att fortsätta. I 27 % av fallen ignorerades regeln uppenbarligen, och i 21,6 % bekräftades det att regeln var tillämplig innan den ändå överträddes:

Resultat som visar varför regler överträddes före och efter komprimering. När regelbrott uppstod först efter komprimering tolkades senare begäranden oftast som tillåtelse att fortsätta (45,9 %). I 27 % av fallen ignorerades den bevarade regeln, och i 21,6 % bekräftades den innan man ändå fortsatte.

Hur påverkar olika komprimeringskonfigurationer varifrån regelbrotten kommer?

Sättet som en regel förmedlades på hade tydlig inverkan på regelföljsamheten. När hela konversationen var intakt förekom regelbrott i 25 % respektive 16,1 % av fallen där användaren själv hade angett reglerna. Däremot registrerades inga regelbrott när reglerna i stället hade förmedlats via ett organisationsdokument eller ett policyverktyg:

Hur sättet att förmedla regler, komprimeringsstrategin och tokenbudgeten påverkade regelbrott och bevarandet av regler. Generativ komprimering bevarade reglerna betydligt mer tillförlitligt än selektiva metoder, medan budgetar på högst 300 token ledde till att nästan alla regler gick förlorade.

Efter komprimering ökade regelbrotten för alla fyra kanaler och nådde 56,3 % för direkta användarinstruktioner och 22,2 % för regler från policyverktyg. Andelen regler som bevarades varierade relativt lite, från 65,7 % till 74 %. Författarna menar att en senare begäran från användaren kan tolkas som att den åsidosätter en personlig regel, medan användaren inte kan åsidosätta en organisatorisk regel.

Hur påverkar attacker och försvar riktade mot komprimeringsverktyget varifrån regelbrotten kommer?

Att helt enkelt fylla kontexten med extra material hade liten effekt; regelbrotten minskade faktiskt från 37,8 % till 34,3 %. Injektioner riktade mot komprimeringsverktyget var betydligt effektivare: de ökade regelbrotten till 46,3 % och minskade andelen regler som bevarades helt från 70,1 % till 42,5 %.

Den kraftigaste attacken, som kallades escape, ökade regelbrotten från 23,5 % till 58,8 % och minskade andelen bevarade regler från 96,1 % till 66,7 %. Även när regeln bevarades fördubblades regelbrotten, från 13,3 % till 26,5 %.

Testresultat som visar hur angrepp och försvar påverkar regelföljandet efter komprimering. Riktad injektion ökade antalet regelbrott och försämrade bevarandet av reglerna, medan det starkaste försvaret återställde bevarandet till 99 % utan att helt återställa regelföljandet.

Det starkaste försvaret bevarade regeln i 99 % av körningarna – ändå bröt agenter mot den i 29,4 % av fallen, jämfört med 23,5 % när inget angrepp användes. Med andra ord garanterade det inte att agenten skulle följa regeln bara för att man såg till att den fortfarande hade kvar den.

Slutsats

Logiken talar för att någon sorts ”kopiatorseffekt” uppstår när kontexten komprimeras dussintals, ja hundratals gånger i en mycket lång tråd (som den jag har arbetat med i Codex* sedan mitten av oktober och arbetade med så sent som i morse – ett epos av experimentell, AI-assisterad mjukvaruutveckling).

Precis som med grundläggande systempromptar får vi inte se de här komprimerade sammanfattningarna av vad som har hänt hittills. Mina egna anekdotiska erfarenheter tyder på att huvuduppdraget överlever komprimeringen, tillsammans med de flesta väsentliga detaljerna. Men jag befinner mig inte i det mardrömsscenario där kommandot ”Skicka det här mejlet till alla”, som är avsett enbart för alla i företaget, i stället skickas till alla i den samlade företagskontaktlistan. Aj då.

* Jag börjar väl bli gammal, men det här är säkert det mest lättglömda, intetsägande och ”företagsbeige” namn som någonsin kunde ha valts för den här agenten. Jag glömmer det hela tiden.

Publicerades första gången torsdagen den 12 november 2026