KI-Agenten können sich Regeln merken und sie nach einer Komprimierung trotzdem brechen

Kontextverdichtung bedeutet, dass eine Reihe komplexer Interaktionen mit einem KI-Chat zu einer Zusammenfassung verdichtet wird und die Interaktion anschließend nicht auf Grundlage des gesamten Verlaufs, sondern anhand dieser Zusammenfassung fortgesetzt wird. Was die Speichernutzung betrifft, ist das wie ein „Neuanfang“ und wurde als Lösung für die Begrenztheit der Kontextfenster in KI-Dialogen eingeführt.

Die Methode wurde zunächst im Bereich der agentischen KI eingeführt und später auf Claude ausgeweitet. Eine Kontextverdichtung für Gemini ist in Entwicklerchats bislang noch nicht aufgetaucht, während ChatGPT auf Kontextverdichtung verzichtet und stattdessen einfach den Chat beendet.

Wenn Sie Codex (im Grunde eine Version von ChatGPT, die mit entsprechenden Berechtigungen tatsächlich Änderungen auf Ihrem Computer vornehmen kann) länger als 30 Minuten am Stück verwendet haben, sind Ihnen vermutlich gelegentliche Meldungen zur Verdichtung des Kontexts aufgefallen. Währenddessen sind keine weiteren Interaktionen möglich:

Codex legt eine kurze Pause ein, um seine Erinnerungen an eine Sitzung zu verdichten, die inzwischen seit drei Wochen läuft.

Ist die Kontextverdichtung abgeschlossen, stützt sich das Gegenüber auf unsichtbare, ausgewählte Notizen statt auf eine vollständige Erinnerung daran, wie sich der Chat entwickelt hat.

Der KI-Regelbrecher

Im Juni dieses Jahres zeigte die chinesische Studie Verfall der Governance, dass bei der Kontextverdichtung dauerhaft geltende Regeln unbemerkt aus dem Kontext eines Agenten entfernt werden können, sodass zuvor verbotene Handlungen ausgeführt werden:

Aus der Studie „Governance Decay“ vom Juni 2026: Wie die Kontextverdichtung dazu führen kann, dass ein KI-Agent eine zuvor befolgte Regel bricht. Fehlt die Regel in der komprimierten Zusammenfassung, kann der Agent anschließend die verbotene Handlung ausführen. Ein Angreifer könnte diesen Vorgang ausnutzen; durch die Wiederherstellung der Regel lässt sich der Verstoß verhindern. Quelle

Bei sieben Modellen stieg die Zahl der Verstöße von 0 % vor der Kontextverdichtung auf 30 % danach und erreichte in einigen Fällen 59 %. In der Praxis bedeutet das, dass Agenten wichtige Anweisungen missachten können, etwa „Kontaktiere niemanden, der keine [our-company] E-Mail-Adresse hat“ – mit offensichtlichen möglichen Folgen.

Im Juli knüpften die Penn State University und IBM mit der Studie Im Kontext verloren an diese Forschung an. Sie stellten fest, dass bei der Kontextverdichtung Anweisungen dazu verloren gehen können, wie eine KI eine Aufgabe ausführen soll, während die Aufgabe selbst erhalten bleibt. In Tests mit drei verschiedenen Szenarien behielten die Verdichtungsverfahren im Durchschnitt nur 17 % dieser Anweisungen bei.

Im August stellte eine US-amerikanische Forschungskooperation TRACE vor. Die Ergebnisse zeigten, dass die Kontextverdichtung einen Agenten beeinträchtigen kann, selbst wenn die benötigten Informationen weiterhin abrufbar sind. In Tests verloren Agenten den Überblick darüber, an welcher Stelle einer Aufgabe sie sich befanden, wiederholten bereits erledigte Arbeit und wurden bei wiederholten Durchläufen unzuverlässiger.

ARCBench

In diesem Monat kommen weitere Erkenntnisse aus den Niederlanden: Die Studie ARCBench kommt zu dem Ergebnis, dass Agenten aus einer Kontextverdichtung mit einer intakten Regel hervorgehen und sie dennoch mit deutlich höherer Wahrscheinlichkeit brechen können. In Tests, in denen die Regel erhalten blieb, traten Verstöße nach der Kontextverdichtung 2,6-mal häufiger auf als bei vollständigem Gesprächsverlauf:

Aus der neuen Studie: ein konzeptionelles Schema dazu, wie die Kontextverdichtung die Einhaltung von Betriebsregeln durch einen Agenten beeinflussen kann. Dieselbe spätere Anfrage kann abgelehnt werden, wenn die Regel die Kontextverdichtung übersteht, oder ausgeführt werden, wenn die Regel ausgelassen wird. Ein externes Dokument kann beeinflussen, welche Informationen erhalten bleiben. Diese Abbildung wurde aus Layoutgründen aus der hochformatigen Originalabbildung der Studie umgearbeitet. Quelle

Die Studie unterscheidet zwischen Regeln, die bei der Kontextverdichtung verloren gingen, und solchen, die erhalten blieben und anschließend verletzt wurden. So lassen sich die Auswirkungen des Vergessens und des Ungehorsams erstmals unabhängig voneinander messen.

In Tests mit DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash und GPT-Luna blieb die vollständige Regel in 70,1 % der verdichteten Durchläufe erhalten. In den Durchläufen, in denen die Regel fortbestand, traten Verstöße 2,6-mal häufiger auf als bei vollständigem Gesprächsverlauf.

Der Kontext erwies sich im herkömmlichen Sinne als entscheidender Faktor: Wurden Regeln als organisatorische Richtlinien präsentiert, kam es bei vollständigem Kontext zu keinen Verstößen; nach der Komprimierung stiegen die Verstoßquoten jedoch auf 30,6 % und 22,2 %.

Die stärkste verfügbare Abwehrmaßnahme bewahrte die Regeln in 99 % der Zusammenfassungen, konnte die Zahl der Verstöße aber dennoch nicht wieder auf das Niveau vor dem Angriff senken. Das deutet darauf hin, dass die erfolgreiche Bewahrung der Regeln während der Komprimierung nicht zwangsläufig auch die Fähigkeit – oder Bereitschaft – des Agenten erhält, sie zu befolgen.

In der Studie heißt es:

„[We] Die Komprimierung erhöht die Zahl der Verstöße vor allem, ohne die Regel zu löschen: Auch bei komprimierten Durchläufen, in denen die Regel erhalten blieb, kam es 2,6-mal häufiger zu Verstößen als bei Durchläufen mit vollständigem Verlauf.

„Zudem verändert die Komprimierung die Überlegungen des Agenten zu seinem Verstoß. Unterschiedliche Komprimierungsstrategien, knappe Komprimierungsbudgets und der Übermittlungskanal der Regel beeinflussen jeweils die Regelbefolgung.“

Als Abhilfe schlägt die Studie vor, Regeln, die bei der Komprimierung verloren gehen, besser zu bewahren. Das Problem, dass Agenten erhaltene Regeln missachten, bleibt jedoch ungelöst.“

„Abwehrmaßnahmen stellen Regeln wieder her, doch unter einem Angriff ist die Regelbefolgung weiterhin beeinträchtigt. Die Beibehaltung einer Regel ist daher kein ausreichender Indikator für ihre Befolgung. Künftige Studien könnten ARCBench nutzen, um zu erklären, warum Agenten weiterhin gegen erhaltene Regeln verstoßen, adaptive Angriffe und Abwehrmaßnahmen zu testen und mehr Modelle und Anwendungsbereiche sowie längere Sitzungen mit wiederholter Komprimierung abzudecken.“

Methode

ARCBench erweitert die Funktionen des Open-Source-Harness pi, das über eigene native Komprimierungsroutinen sowie eine Agentenschleife und Tool-Aufrufe verfügt. Der Benchmark bildet Situationen nach, in denen ein Agent eine längere Aufgabe unter einer dauerhaft geltenden Regel bearbeitet, den angesammelten Verlauf komprimiert und anschließend mit einer Aufforderung konfrontiert wird, die gegen diese Regel verstoßen würde. Die Aktionen des Agenten werden daraufhin anhand seiner Tool-Aufrufe überprüft:

Die ARCBench-Evaluierungspipeline. Agenten erhalten eine Aufgabe und eine Verhaltensregel, bevor ihre Verläufe mit unterschiedlichen Konfigurationen, Angriffen und Abwehrmaßnahmen komprimiert werden. Anschließend werden ihre Tool-Aktionen untersucht, um festzustellen, ob die Regel erhalten blieb und ob sie befolgt wurde.

ARCBench umfasst 17 Fälle zu Themen wie der Offenlegung geschützter Daten, dem Zugriff auf eingeschränkte Ressourcen, nicht autorisierten Aktionen sowie der Umgehung oder Auslassung vorgeschriebener Kontrollen. Sie entsprechen den Risikoklassen von OWASP.

Die Fälle wurden aus Governance Decay und COMPINT abgeleitet. Vier weitere Fälle wurden hinzugefügt, um sicherzustellen, dass alle vier Verstoßarten sowohl für persönliche als auch für organisatorische Regeln abgedeckt waren.

Der Benchmark lässt sich anhand von fünf Faktoren konfigurieren: der Art der Regelübermittlung, der Methode zur Komprimierung des Kontexts, dem für die Komprimierung verfügbaren Token-Budget, der Art des Angriffs und der eingesetzten Abwehrmaßnahme:

ARCBench umfasst fünf Variablen, mit denen sich testen lässt, wie sich die Regelbefolgung bei verschiedenen Formen der Kontextkomprimierung, der Regelübermittlung, bei Angriffen und bei Abwehrmaßnahmen verändert.

Regeln können als direkte oder dauerhaft geltende Anweisungen vorgegeben, in Dokumente eingebettet oder über ein Richtlinientool abgerufen werden.

Daten und Tests

Es wurden zehn Komprimierungsmethoden untersucht: sieben generative Strategien und drei selektive Ansätze. Jeder Fall wurde wiederholt durchgeführt. Als Fehlschlag galt, wenn der Agent mindestens einmal gegen seine Regel verstieß. Dieser Ansatz gilt für Sicherheitstests als geeigneter, als die Leistung über mehrere Durchläufe hinweg zu mitteln, denn ein Agent, der gelegentlich eine verbotene Aktion ausführt, bleibt unsicher.

Anschließend wurden die komprimierten Verläufe von GPT-6-Luna-Pro, Qwen-3.8-flash und Claude-Sonnet-4.6 untersucht. Jede Regel wurde als unverändert, abgeschwächt oder nicht vorhanden eingestuft. Ausschlaggebend war die Mehrheitsentscheidung. Bei abweichenden Urteilen prüften menschliche Annotatoren die Fälle; außerdem wurde eine separate Stichprobe von 50 Zusammenfassungen manuell gekennzeichnet, um die Übereinstimmung der Bewertenden zu überprüfen.

Wenn gegen eine unverändert erhaltene Regel verstoßen wurde, untersuchten GPT-6-Luna-Pro, GPT-6.1-Sol und Claude Sonnet 5.5 die Überlegungen des Agenten. Die Verstöße wurden danach eingestuft, ob die spätere Aufforderung als Erlaubnis verstanden worden war, die Regel außer Kraft zu setzen, ob die Aktion als außerhalb ihres Geltungsbereichs liegend beurteilt worden war, ob die Regel unerwähnt geblieben war oder ob die Regel erkannt und missachtet worden war.

Die vier für die Tests verwendeten Modelle, auf die über OpenRouter zugegriffen wurde, waren DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash und GPT-Luna. Bei jedem Durchlauf wurde dasselbe Modell sowohl zur Komprimierung des Gesprächsverlaufs als auch zur Verarbeitung des daraus entstandenen Kontexts verwendet, entsprechend dem Standardverhalten von pi. Auf die Modelle wurde über OpenRouter zugegriffen.

Es wurden sieben Studien durchgeführt; für die meisten Tests zur Komprimierung kam Hermes zum Einsatz. In der ersten Studie wurde jede der 17 Aufgaben mit vier Modellen und zwei Arten der Regelübermittlung getestet, was 136 Fälle ergab. Jeder Fall wurde dreimal mit unverändertem Gesprächsverlauf und dreimal nach dessen Komprimierung durchgeführt.

Konfiguration der sieben ARCBench-Studien, gruppiert nach Forschungsfrage. Grün hervorgehobene Zellen zeigen den Faktor, der in der jeweiligen Studie variiert wurde; graue Zellen kennzeichnen unveränderte Einstellungen. Jeder Fall wurde dreimal durchgeführt, bei den Angriffs- und Abwehrstudien S6 und S7 jeweils sechsmal.

In den Tests wurden drei Fragen untersucht: Woher stammen Verstöße nach der Komprimierung?; Wie verändern unterschiedliche Komprimierungskonfigurationen die Ursachen von Verstößen?; und Wie wirken sich gezielte Angriffe und Abwehrmaßnahmen gegen den Komprimierer auf die Ursachen von Verstößen aus?.

Woher stammen Verstöße nach der Komprimierung?

Die ersten Ergebnisse zeigten, dass Regelverstöße nach der Komprimierung zunahmen: von 9,6 % der Fälle bei vollständigem Gesprächsverlauf auf 37,8 %. Die Regel ging jedoch nur in 3 % der komprimierten Durchläufe vollständig verloren; in 70,1 % blieb sie vollständig erhalten und in 26,9 % teilweise:

Ergebnisse dazu, wie häufig jedes Modell vor und nach der Komprimierung gegen die Regeln verstieß. Die meisten Regeln blieben bei der Komprimierung vollständig oder teilweise erhalten, obwohl die Zahl der Verstöße deutlich zunahm; bei Qwen fiel der Anstieg am stärksten aus und erreichte 61,8 %.

Diese Unterscheidung erwies sich als wichtig. Bei 21,1 % der einzelnen Durchläufe, in denen die Regel die Komprimierung vollständig überstand, kam es dennoch zu einem Verstoß. Bei beibehaltenem ursprünglichem Gesprächsverlauf lag der Anteil dagegen bei 8,1 %. War die Regel teilweise erhalten geblieben, stieg der Anteil auf 29,4 %; war keine Regel mehr vorhanden, lag er bei 83,3 %.

Untersucht wurde auch, wie es zu Verstößen kam, wenn die Regel vollständig erhalten blieb. Unter den durch die Komprimierung verursachten Verstößen wurde eine spätere Aufforderung in 45,9 % der Fälle als Erlaubnis zum Fortfahren ausgelegt; in 27 % wurde die Regel offenbar missachtet, und in 21,6 % wurde zwar anerkannt, dass sie galt, aber trotzdem gegen sie verstoßen:

Ergebnisse dazu, warum vor und nach der Komprimierung gegen Regeln verstoßen wurde. Wenn Verstöße erst nach der Komprimierung auftraten, wurden spätere Aufforderungen am häufigsten als Erlaubnis zum Fortfahren ausgelegt (45,9 %); in 27 % wurde die beibehaltene Regel missachtet und in 21,6 % zwar anerkannt, aber dennoch nicht befolgt.

Wie verändern unterschiedliche Komprimierungskonfigurationen die Ursachen von Verstößen?

Die Art, wie eine Regel übermittelt wurde, wirkte sich deutlich auf die Einhaltung aus. Bei unverändertem Gesprächsverlauf kam es in 25 % beziehungsweise 16,1 % der Fälle zu Verstößen, wenn die Regeln persönlich vom Nutzer übermittelt worden waren. Wurden sie stattdessen über ein Organisationsdokument oder ein Richtlinien-Tool vermittelt, wurden jedoch keine Verstöße verzeichnet:

Auswirkungen der Regelübermittlung, der Komprimierungsstrategie und des Tokenbudgets auf Verstöße und den Erhalt von Regeln. Bei der generativen Komprimierung blieben Regeln wesentlich zuverlässiger erhalten als bei selektiven Verfahren, während Budgets von höchstens 300 Tokens zu einem nahezu vollständigen Verlust der Regeln führten.

Nach der Komprimierung nahmen die Verstöße bei allen vier Übermittlungswegen zu: Bei direkten Nutzeranweisungen erreichten sie 56,3 %, bei Regeln aus Richtlinien-Tools 22,2 %. Der Erhalt der Regeln unterschied sich vergleichsweise wenig und lag zwischen 65,7 % und 74 %. Die Autoren vermuten, dass eine spätere Nutzeraufforderung als Außerkraftsetzung einer persönlichen Regel ausgelegt werden kann, während eine organisatorische Regel nicht vom Nutzer außer Kraft gesetzt werden kann.

Wie wirken sich gezielte Angriffe und Abwehrmaßnahmen gegen den Komprimierer auf die Ursachen von Verstößen aus?

Den Kontext lediglich mit zusätzlichem Material zu überfluten, hatte kaum Auswirkungen; die Zahl der Verstöße sank sogar von 37,8 % auf 34,3 %. Eine gezielte Injektion gegen den Komprimierer war deutlich wirksamer: Sie ließ die Zahl der Verstöße auf 46,3 % steigen und verringerte den Anteil der vollständig erhaltenen Regeln von 70,1 % auf 42,5 %.

Der stärkste Angriff, escape, erhöhte die Zahl der Verstöße von 23,5 % auf 58,8 % und verringerte den Anteil der erhaltenen Regeln von 96,1 % auf 66,7 %. Selbst wenn die Regel erhalten blieb, verdoppelte sich die Zahl der Verstöße von 13,3 % auf 26,5 %.

Testergebnisse zu den Auswirkungen von Angriffen und Abwehrmaßnahmen auf die Regelbefolgung nach der Komprimierung. Gezielte Injektionen erhöhten die Zahl der Verstöße und verringerten den Regelerhalt, während die stärkste Abwehr den Regelerhalt auf 99 % erhöhte, ohne die Regelbefolgung vollständig wiederherzustellen.

Die stärkste Abwehr sorgte dafür, dass die Regel in 99 % der Durchläufe erhalten blieb – und doch verstießen die Agenten in 29,4 % der Fälle dagegen, verglichen mit 23,5 % ohne Angriff. Anders gesagt: Sicherzustellen, dass ein Agent die Regel noch kannte, bedeutete nicht, dass er sie auch befolgen würde.

Fazit

Die Logik legt nahe, dass bei der Dutzende, ja Hunderte Male wiederholten Komprimierung des Kontexts in einem sehr langen Thread ein „Fotokopierereffekt“ auftritt – etwa in einem Thread, an dem ich seit Mitte Oktober in Codex* arbeite und an dem ich noch heute Morgen gearbeitet habe: ein Epos experimenteller, KI-gestützter Softwareentwicklung.

Wie bei zentralen Systemprompts bekommen wir diese komprimierten Zusammenfassungen des bisherigen Verlaufs nicht zu sehen. Meine eigenen anekdotischen Erfahrungen legen nahe, dass die zentrale Mission die Komprimierung ebenso übersteht wie die meisten wesentlichen Details. Allerdings befinde ich mich auch nicht in diesem Albtraumszenario, in dem der Befehl „Sende diese E-Mail an alle“, der eigentlich nur für alle im Unternehmen gedacht ist, am Ende an sämtliche Personen im zusammengeführten Firmenadressbuch geht. Autsch.

* Ich werde wohl alt, aber das ist sicherlich der einfallsreichste, fadeste, „bürobeige“ Name, den man für diesen Agenten überhaupt hätte wählen können. Ich vergesse ihn ständig.

Erstveröffentlicht am Donnerstag, 12. November 2026