AI-agenten kunnen regels onthouden en ze na compressie toch overtreden

Contextcompressie is het terugbrengen van een reeks complexe gesprekken met een AI-chatbot tot een samenvatting, waarna de interactie niet op basis van de volledige voorgeschiedenis, maar op basis van die samenvatting wordt voortgezet. Wat het geheugengebruik betreft, is het alsof je opnieuw begint. Deze aanpak is ingevoerd als oplossing voor de beperkingen van contextvensters in gesprekken met AI.

De methode werd aanvankelijk toegepast in agentische AI en is inmiddels uitgebreid naar Claude. Contextcompressie voor Gemini is nog niet opgedoken in gesprekken tussen ontwikkelaars, terwijl ChatGPT contextcompressie vermijdt door de chat gewoon te beëindigen.

Als je Codex (in wezen een versie van ChatGPT waarmee je, mits daarvoor toestemming is verleend, daadwerkelijk dingen op je computer kunt veranderen) langer dan 30 minuten achter elkaar hebt gebruikt, heb je waarschijnlijk af en toe meldingen gezien over het comprimeren van de context. Gedurende dat proces zijn verdere interacties niet mogelijk:

Codex neemt even pauze om de herinneringen aan een sessie samen te vatten die inmiddels al drie weken loopt.

Maar zodra de contextcompressie is afgerond, werkt de entiteit waarmee je praat vanuit niet-zichtbare, selectieve aantekeningen en niet vanuit een volledig geheugen van het verloop van de chat.

De AI-regelovertreder

In juni van dit jaar stelde het Chinese artikel Governance Decay vast dat contextcompressie stilzwijgend vaste regels uit de context van een agent kan verwijderen, waardoor eerder verboden handelingen alsnog worden uitgevoerd:

Uit het artikel uit juni 2026 over Governance Decay: hoe contextcompressie ertoe kan leiden dat een AI-agent een regel overtreedt die hij eerder naleefde. Als de regel ontbreekt in de gecomprimeerde samenvatting, kan de agent vervolgens de verboden handeling uitvoeren. Een aanvaller zou dit proces kunnen misbruiken; het herstellen van de regel kan de overtreding voorkomen. Bron

Bij zeven modellen steeg het aantal overtredingen van 0% vóór contextcompressie naar 30% erna; in sommige gevallen liep het op tot 59%. In de praktijk betekent dit dat agents essentiële instructies kunnen negeren, zoals Neem geen contact op met iemand die geen [our-company] e-mailadres heeft – met duidelijke mogelijke gevolgen.

In juli bouwden Penn State University en IBM voort op dit onderzoek met Lost in Context. Daaruit bleek dat contextcompressie instructies over hoe een AI een taak moet uitvoeren kan verwijderen, terwijl de taak zelf behouden blijft. In tests in drie omgevingen behielden de systemen voor contextcompressie gemiddeld slechts 17% van deze instructies.

In augustus presenteerde een Amerikaanse academische samenwerking TRACE. Daaruit bleek dat contextcompressie een agent kan ontregelen, zelfs wanneer de benodigde informatie nog kon worden teruggevonden. In tests raakten agents kwijt waar ze zich in een taak bevonden, herhaalden ze al afgerond werk en werden ze bij herhaalde uitvoeringen minder betrouwbaar.

ARCBench

Deze maand komt er meer inzicht uit Nederland, in de vorm van ARCBench: een onderzoek waaruit blijkt dat agents na contextcompressie de regel nog kunnen kennen en toch aanzienlijk meer kans lopen om die te overtreden. In tests waarin de regel wel behouden bleef, kwamen overtredingen na contextcompressie 2,6 keer zo vaak voor als bij gebruik van de volledige gespreksgeschiedenis:

Uit het nieuwe artikel: een conceptueel schema van de invloed die contextcompressie kan hebben op de naleving van operationele regels door een agent. Een later verzoek kan worden geweigerd als de regel na de compressie behouden blijft, of worden uitgevoerd als de regel wordt weggelaten. Een extern document kan beïnvloeden welke informatie behouden blijft. Deze afbeelding is om redenen van de opmaak aangepast ten opzichte van de oorspronkelijke afbeelding in staand formaat in het brondocument. Bron

Het onderzoek maakt onderscheid tussen regels die tijdens de contextcompressie verloren gingen en regels die behouden bleven maar later toch werden overtreden. Zo kunnen de effecten van vergeten en ongehoorzaamheid voor het eerst onafhankelijk van elkaar worden gemeten.

In tests met DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash en GPT-Luna bleef in 70,1% van de runs na contextcompressie de volledige regel behouden. In de runs waarin de regel behouden bleef, kwamen overtredingen 2,6 keer zo vaak voor als bij gebruik van de volledige gespreksgeschiedenis.

Context in de traditionele betekenis bleek een factor: regels die als organisatiebeleid werden gepresenteerd, leidden met de volledige context niet tot overtredingen; na compressie stegen de overtredingspercentages echter tot 30,6% en 22,2%.

De sterkste beschikbare verdediging behield de regels in 99% van de samenvattingen, maar wist het aantal overtredingen nog steeds niet terug te brengen tot het niveau van vóór de aanval. Dat wijst erop dat succesvolle bewaring van regels tijdens compressie niet noodzakelijkerwijs betekent dat de agent ze ook kan of wil blijven naleven.

In het artikel staat:

‘[We] constateren dat compressie vooral tot meer overtredingen leidt doordat de regel wordt gewist: ook runs waarin de regel na compressie behouden blijft, leiden 2,6 keer zo vaak tot overtredingen als runs met de volledige geschiedenis.

‘Bovendien verandert door compressie de redenering van de agent om de regel te overtreden. Verschillende compressiestrategieën, strikte beperkingen aan het compressiebudget en de manier waarop de regel wordt aangeleverd, hebben allemaal invloed op de naleving.’

Als mogelijke oplossing stelt het artikel voor om regels die tijdens compressie verloren gaan beter te bewaren, maar het probleem dat agents regels overtreden die wel behouden zijn, blijft onopgelost”

‘Verdedigingsmaatregelen herstellen regels, maar aanvallen blijven de naleving verzwakken. Het behoud van regels is dus geen afdoende maatstaf voor naleving. In toekomstig onderzoek kan ARCBench worden gebruikt om te verklaren waarom agents regels blijven overtreden die wel behouden zijn, adaptieve aanvallen en verdedigingsmaatregelen te testen en meer modellen en domeinen te bestrijken, evenals langere sessies met herhaalde compressie.’

Methode

ARCBench breidt de functionaliteit uit van de opensource-testomgeving pi, die eigen ingebouwde compressieroutines heeft, evenals een agentlus, toolaanroepen en ingebouwde compressie. De benchmark bootst situaties na waarin een agent aan een lange taak werkt terwijl een vaste regel geldt, de opgebouwde geschiedenis comprimeert en vervolgens een verzoek krijgt dat in strijd is met die regel. Daarna worden de acties van de agent gecontroleerd aan de hand van diens toolaanroepen:

De evaluatiepijplijn van ARCBench. Agents krijgen een taak en een gedragsregel voordat hun geschiedenis wordt gecomprimeerd met verschillende configuraties, aanvallen en verdedigingsmaatregelen. Vervolgens worden hun toolacties onderzocht om vast te stellen of de regel behouden is gebleven en of die is nageleefd.

ARCBench omvat 17 casussen over het openbaar maken van beschermde gegevens, toegang tot afgeschermde bronnen, ongeoorloofde acties en het omzeilen of weglaten van verplichte controles. Deze vallen onder risicoklassen van OWASP.

De casussen zijn gebaseerd op Governance Decay en COMPINT, aangevuld met vier casussen om ervoor te zorgen dat alle vier typen overtredingen aan bod kwamen voor zowel persoonlijke als organisatorische regels.

De benchmark kan worden ingesteld op basis van vijf factoren: de manier waarop de regel wordt aangeleverd; de methode waarmee de context wordt gecomprimeerd; het beschikbare tokenbudget voor compressie; het type aanval; en de toegepaste verdedigingsmaatregel:

ARCBench omvat vijf variabelen om te testen hoe de naleving van regels verandert bij verschillende vormen van contextcompressie, regeloverdracht, aanvallen en verdedigingsmaatregelen.

Regels kunnen worden aangeleverd als directe of blijvende instructies, in documenten worden opgenomen of via een beleidstool worden opgehaald.

Gegevens en tests

Er werden tien compressiemethoden geëvalueerd: zeven generatieve strategieën en drie selectieve benaderingen. Elke casus werd meerdere keren uitgevoerd. Er werd een mislukking geregistreerd als de agent de regel minstens één keer overtrad. Deze aanpak wordt geschikter geacht voor veiligheidstests dan het middelen van prestaties over meerdere runs, omdat een agent die af en toe een verboden handeling uitvoert, onveilig blijft.

De gecomprimeerde geschiedenissen werden vervolgens beoordeeld door GPT-6-Luna-Pro, Qwen-3.8-flash en Claude-Sonnet-4.6. Elke regel werd geclassificeerd als ongewijzigd, verzwakt of afwezig. De meerderheidsbeslissing werd gevolgd; meningsverschillen werden beoordeeld door menselijke annotatoren. Daarnaast werd een afzonderlijke steekproef van 50 samenvattingen handmatig gelabeld om de consistentie van de beoordelaars te controleren.

Wanneer een ongewijzigde regel werd overtreden, werd de redenering van de agent onderzocht door GPT-6-Luna-Pro, GPT-6.1-Sol en Claude Sonnet 5.5. Overtredingen werden ingedeeld op basis van de vraag of het latere verzoek was opgevat als toestemming om de regel terzijde te schuiven, de handeling buiten het toepassingsgebied ervan was geacht, de regel niet was genoemd, of de regel wel was herkend maar genegeerd.

De vier modellen die voor de tests werden gebruikt en via OpenRouter werden benaderd, waren DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; en GPT-Luna. In elke run werd hetzelfde model gebruikt om zowel de gespreksgeschiedenis te comprimeren als te handelen op basis van de resulterende context, overeenkomstig het standaardgedrag van pi. De modellen werden benaderd via OpenRouter.

Er werden zeven onderzoeken uitgevoerd, waarbij Hermes werd gebruikt voor de meeste compressietests. In het eerste onderzoek werd elk van de 17 taken getest met vier modellen en twee manieren om de regel over te brengen, wat 136 gevallen opleverde. Elk geval werd drie keer uitgevoerd met het oorspronkelijke gesprek intact en drie keer nadat het was gecomprimeerd.

Overzicht van de opzet van de zeven ARCBench-onderzoeken, ingedeeld naar onderzoeksvraag. Groen gemarkeerde cellen geven aan welke factor in elk onderzoek varieerde, terwijl grijze cellen instellingen tonen die constant werden gehouden; elk geval werd drie keer uitgevoerd, of zes keer in de aanval- en verdedigingsonderzoeken S6 en S7.

In de tests stonden drie vragen centraal: Waar komen overtredingen na compressie vandaan?; Hoe veranderen verschillende compressieconfiguraties de oorzaken van overtredingen?; en Hoe beïnvloeden aanvallen en verdedigingsmaatregelen die op de compressor zijn gericht de oorzaken van overtredingen?.

Waar komen overtredingen na compressie vandaan?

De eerste resultaten lieten zien dat het aantal regelovertredingen na compressie toenam: van 9,6% van de gevallen met de volledige geschiedenis naar 37,8%. De regel ging echter slechts in 3% van de gecomprimeerde uitvoeringen volledig verloren; in 70,1% bleef deze intact en in 26,9% bleef deze gedeeltelijk behouden:

Resultaten die laten zien hoe vaak elk model de regels vóór en na compressie overtrad. De meeste regels bleven na compressie geheel of gedeeltelijk behouden, ook al nam het aantal overtredingen sterk toe; bij Qwen was de grootste stijging te zien, tot 61,8%.

Dit onderscheid bleek belangrijk. Van de afzonderlijke uitvoeringen waarin de regel na compressie volledig behouden bleef, eindigde 21,1% toch in een overtreding, tegenover 8,1% wanneer de oorspronkelijke geschiedenis behouden bleef. Als de regel gedeeltelijk behouden bleef, steeg het percentage naar 29,4%; als er geen regel overbleef, liep het op tot 83,3%.

Er werd ook onderzocht hoe overtredingen ontstonden wanneer de regel intact bleef. Bij overtredingen die door compressie werden veroorzaakt, werd een later verzoek in 45,9% van de gevallen opgevat als toestemming om door te gaan; in 27% van de gevallen werd de regel kennelijk genegeerd; en in 21,6% werd erkend dat de regel van toepassing was, maar werd deze desondanks overtreden:

Resultaten die laten zien waarom regels vóór en na compressie werden overtreden. Wanneer overtredingen pas na compressie optraden, werden latere verzoeken het vaakst opgevat als toestemming om door te gaan (45,9%); in 27% van de gevallen werd de behouden regel genegeerd en in 21,6% werd erkend dat de regel van toepassing was, waarna toch werd doorgegaan.

Hoe veranderen verschillende compressieconfiguraties de oorzaken van overtredingen?

De manier waarop een regel werd overgebracht, had een duidelijk effect op de naleving. Wanneer het volledige gesprek intact bleef, traden overtredingen op in 25% en 16,1% van de gevallen waarin gebruikers de regels persoonlijk hadden verstrekt; wanneer de regels daarentegen via een organisatiedocument of beleidstool waren aangeleverd, werden geen overtredingen geregistreerd:

De invloed van de manier waarop regels worden overgebracht, de compressiestrategie en het tokenbudget op overtredingen en het behoud van regels. Generatieve compressie behield regels veel betrouwbaarder dan selectieve methoden, terwijl budgetten van 300 tokens of minder bijna volledig verlies van regels veroorzaakten.

Na compressie nam het aantal overtredingen toe bij alle vier de kanalen: tot 56,3% bij directe gebruikersinstructies en tot 22,2% bij regels uit beleidstools. Het behoud van regels varieerde relatief weinig, van 65,7% tot 74%. Volgens de auteurs kan een later verzoek van een gebruiker worden opgevat als een reden om een persoonlijke regel terzijde te schuiven, terwijl de gebruiker een organisatieregel niet terzijde kan schuiven.

Hoe beïnvloeden aanvallen en verdedigingsmaatregelen die op de compressor zijn gericht de oorzaken van overtredingen?

De context simpelweg overspoelen met extra materiaal had weinig effect: het aantal overtredingen daalde zelfs van 37,8% naar 34,3%. Injectieaanvallen die op de compressor waren gericht, werkten aanzienlijk beter: het aantal overtredingen steeg tot 46,3% en het aandeel volledig behouden regels daalde van 70,1% naar 42,5%.

De sterkste aanval, ontsnapping genoemd, verhoogde het aantal overtredingen van 23,5% naar 58,8% en verlaagde het behoud van regels van 96,1% naar 66,7%. Zelfs wanneer de regel behouden bleef, verdubbelde het aantal overtredingen van 13,3% naar 26,5%.

Testresultaten die laten zien hoe aanvallen en verdedigingen de naleving van regels beïnvloeden na compressie. Gerichte injectie leidde tot meer overtredingen en een lagere regelretentie, terwijl de sterkste verdediging de retentie herstelde tot 99%, zonder de naleving volledig te herstellen.

De sterkste verdediging zorgde ervoor dat de regel in 99% van de uitvoeringen behouden bleef, maar toch overtraden agents de regel in 29,4% van de gevallen, tegenover 23,5% wanneer er geen aanval werd gebruikt. Met andere woorden: ervoor zorgen dat een agent de regel nog kende, betekende niet dat die de regel ook zou naleven.

Conclusie

De logica wijst erop dat er een soort ‘kopieerapparaat-effect’ optreedt wanneer de context tientallen, honderden keren wordt gecomprimeerd in een zeer lange thread (zoals een thread waaraan ik sinds half oktober in Codex* werk en waar ik vanochtend nog aan werkte: een epos van experimentele, door AI ondersteunde softwareontwikkeling).

Net als bij de centrale systeemprompts kunnen we deze gecomprimeerde samenvattingen van wat er tot dusver is gebeurd niet zien. Mijn eigen anekdotische ervaringen wijzen erop dat de centrale missie de compressie overleeft, samen met de meeste essentiële details. Maar ik zit dan ook niet in het nachtmerriescenario waarin de opdracht ‘Stuur deze e-mail naar iedereen’, bedoeld voor iedereen binnen het bedrijf, uiteindelijk wordt verstuurd naar iedereen in het samengevoegde zakelijke contactenbestand. Oei.

* Ik word vast oud, maar dit is toch wel de meest nietszeggende, saaie, ‘zakelijk-beige’ naam die ooit voor deze agent gekozen had kunnen worden. Ik vergeet hem voortdurend.

Voor het eerst gepubliceerd op donderdag 12 november 2026