AI agenti si dokážou pravidla zapamatovat, a přesto je po kompresi porušit

Komprese kontextu nastává, když se řada složitých zpráv v konverzaci s AI zredukuje na shrnutí a interakce pak pokračuje na základě tohoto shrnutí, nikoli celé historie. Z hlediska využití paměti je to jako „nový začátek“ a jde o řešení omezené kapacity kontextových oken v komunikaci s AI.

Tato metoda, původně zavedená v oblasti agentní AI, se rozšířila i na Claude, zatímco komprese kontextu pro Gemini se zatím neobjevila ani v diskusích vývojářů a ChatGPT se kompresi vyhýbá a místo toho prostě ukončí chat.

Pokud jste někdy používali Codex (v podstatě verzi ChatGPT, která může se svolením skutečně provádět změny ve vašem počítači) déle než 30 minut v kuse, určitě jste občas viděli zprávy o kompresi kontextu, během níž není možné dál komunikovat:

Codex si dává pauzu, aby zkomprimoval vzpomínky na relaci, která už v tu chvíli trvá tři týdny.

Když je však komprese dokončena, systém, se kterým komunikujete, vychází z neviditelných, selektivních poznámek, nikoli z úplné vzpomínky na vývoj konverzace.

AI, která nerespektuje pravidla

Čínská studie Eroze správy z letošního června prokázala, že komprese může z kontextu agenta nenápadně odstranit platná pravidla, což vede k provádění dříve zakázaných činností:

Z červnové studie z roku 2026 o erozi správy: jak může komprese kontextu způsobit, že agent AI poruší pravidlo, které předtím dodržoval. Pokud pravidlo v komprimovaném shrnutí chybí, agent může zakázanou činnost přesto provést. Útočník by mohl tento proces zneužít a obnovením pravidla lze porušení zabránit. Zdroj

U sedmi modelů vzrostl podíl porušení z 0 % před kompresí na 30 % po ní, v některých případech až na 59 %. V praxi to znamená, že agenti mohou ignorovat zásadní pokyny, například Nekontaktujte nikoho, kdo nemá [our-company] e-mailovou adresu – což může mít zjevné důsledky.

V červenci na tento výzkum navázaly Penn State University a IBM studií Ztraceno v kontextu. Zjistily, že komprese může odstranit pokyny určující, jak má AI úkol provést, a přitom samotný úkol zachovat. V testech ve třech prostředích zachovaly kompresní systémy v průměru jen 17 % těchto pokynů.

V srpnu představila skupina amerických akademiků metodu TRACE, která ukázala, že komprese může narušit fungování agenta, i když potřebné informace zůstávají dostupné. V testech agenti ztráceli přehled o tom, v jaké fázi úkolu se nacházejí, opakovali již dokončenou práci a při opakovaných bězích byli méně spolehliví.

ARCBench

Tento měsíc přináší další poznatky nizozemská studie ARCBench, podle níž může agent po kompresi pravidlo zachovat, a přesto je u něj podstatně vyšší pravděpodobnost, že ho poruší. V testech, v nichž pravidlo přežilo, docházelo k porušení 2,6krát častěji než při zachování úplné historie konverzace:

Z nové studie: koncepční schéma znázorňující, jak může komprese kontextu ovlivnit dodržování provozních pravidel agentem. Stejný pozdější požadavek může být odmítnut, pokud pravidlo kompresi přežije, nebo splněn, pokud je pravidlo vynecháno; externí dokument přitom může ovlivnit, které informace se zachovají. Tento obrázek je z důvodu rozvržení upraven podle původní verze v orientaci na výšku. Zdroj

Studie rozlišuje mezi pravidly, která se při kompresi ztratila, a pravidly, která se zachovala, ale agent je následně porušil. Díky tomu lze poprvé nezávisle měřit důsledky zapomínání a neposlušnosti.

V testech s modely DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash a GPT-Luna zůstalo úplné znění pravidla zachováno v 70,1 % komprimovaných běhů. V bězích, v nichž pravidlo přežilo, k jeho porušení docházelo 2,6krát častěji než při zachování úplné historie konverzace.

Kontext v tradičním smyslu se ukázal jako významný faktor: při plném kontextu pravidla předložená jako organizační politika nevedla k žádnému porušení, po kompakci však míra porušování vzrostla na 30,6 % a 22,2 %.

Nejúčinnější dostupná obrana zachovala pravidla v 99 % shrnutí, přesto se jí nepodařilo snížit počet porušení na úroveň před útokem. To naznačuje, že úspěšné zachování pravidel při kompakci nemusí nutně zachovat schopnost agenta – ani jeho ochotu – se jimi řídit.

Studie uvádí:

„[We] zjišťujeme, že kompakce zvyšuje počet porušení především tím, že pravidlo odstraní jen zřídka: i běhy po kompakci, v nichž se pravidlo zachovalo, vedou k porušení 2,6krát častěji než běhy s úplnou historií.“

„Kompakce navíc mění důvody, které agenta vedou k porušení pravidla. Dodržování pravidel ovlivňují různé strategie kompakce, přísné limity rozpočtu na kompakci i způsob, jakým je pravidlo předáno.“

Jako nápravu studie navrhuje důsledněji zachovávat pravidla, která se při kompakci ztratí, neřeší však problém agentů, kteří neuposlechnou zachovaná pravidla.“

„Obrany obnovují pravidla, ale útoky přesto oslabují jejich dodržování. Zachování pravidla proto není dostatečným ukazatelem toho, zda se jím agent řídí. Budoucí studie mohou pomocí ARCBench zkoumat, proč agenti stále porušují zachovaná pravidla, testovat adaptivní útoky a obrany a zahrnout více modelů, domén i delší relace s opakovanou kompakcí.“

Metodika

ARCBench rozšiřuje možnosti open-source prostředí pi, které má vlastní nativní postupy kompakce a také smyčku agenta, volání nástrojů a nativní kompakci. Benchmark napodobuje situace, kdy agent plní dlouhý úkol podle trvale platného pravidla, zkomprimuje nahromaděnou historii a poté dostane požadavek, který by toto pravidlo porušil; jeho jednání se následně ověřuje prostřednictvím volání nástrojů:

Postup vyhodnocování v ARCBench. Agentům se zadá úkol a pravidlo pro jeho plnění, načež se jejich historie zkomprimují v různých konfiguracích a s různými útoky a obranami. Poté se zkoumají jejich následné činnosti prostřednictvím nástrojů, aby se zjistilo, zda se pravidlo zachovalo a zda ho agent dodržel.

ARCBench obsahuje 17 případů, které se týkají zpřístupnění chráněných údajů, přístupu k omezeným zdrojům, neoprávněného jednání a obcházení či vynechávání povinných kontrol; odpovídají rizikovým kategoriím OWASP.

Případy vycházejí z projektů Governance Decay a COMPINT a byly doplněny o čtyři nové případy, aby byly všechny čtyři typy porušení zastoupeny jak u osobních, tak u organizačních pravidel.

Benchmark lze nastavit podle pěti faktorů: způsobu předání pravidla; metody komprese kontextu; rozpočtu tokenů dostupného pro kompakci; typu útoku; a použité obrany:

ARCBench nabízí pět proměnných, které umožňují testovat, jak se dodržování pravidel mění při různých způsobech kompakce kontextu a předávání pravidel i při různých útocích a obranách.

Pravidla lze zadat jako přímé nebo trvalé pokyny, vložit do dokumentů nebo načítat prostřednictvím nástroje pro práci s pravidly.

Data a testy

Bylo vyhodnoceno deset metod kompakce: sedm generativních strategií a tři selektivní přístupy. Každý případ se opakoval a za neúspěch se počítalo, pokud agent porušil své pravidlo alespoň jednou – tento přístup se pro testování bezpečnosti považuje za vhodnější než průměrování výsledků z jednotlivých běhů, protože agent, který občas provede zakázanou činnost, zůstává nebezpečný.

Zkomprimované historie následně posuzovaly modely GPT-6-Luna-Pro, Qwen-3.8-flash a Claude-Sonnet-4.6. Každé pravidlo označily jako zachované, oslabené nebo chybějící. Použilo se většinové hodnocení; neshody zkontrolovali lidští anotátoři. K ověření shody mezi hodnotiteli byl navíc samostatně ručně označen vzorek 50 shrnutí.

Pokud bylo zachované pravidlo porušeno, uvažování agenta zkoumaly modely GPT-6-Luna-Pro, GPT-6.1-Sol a Claude Sonnet 5.5. Porušení se klasifikovala podle toho, zda agent pozdější požadavek považoval za oprávnění pravidlo obejít, zda vyhodnotil danou činnost jako něco, na co se pravidlo nevztahuje, zda pravidlo vůbec nezmínil, nebo zda ho rozpoznal a přesto ignoroval.

Čtyři modely použité při testech, ke kterým se přistupovalo prostřednictvím OpenRouter, byly DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; a GPT-Luna. V každém běhu se k získání zkomprimované historie konverzace i k práci s výsledným kontextem používal tentýž model, což odpovídá výchozímu chování prostředí pi. K modelům se přistupovalo prostřednictvím OpenRouter.

Bylo provedeno sedm studií a pro většinu testů komprese byla použita platforma Hermes. V první studii bylo všech 17 úloh testováno se čtyřmi modely a dvěma způsoby zadání pravidla, což představovalo 136 případů. Každý případ byl spuštěn třikrát s původní konverzací v nezměněné podobě a třikrát po její kompresi.

Nastavení sedmi studií ARCBench rozdělených podle výzkumných otázek. Zeleně zvýrazněné buňky znázorňují faktor, který se v každé studii měnil, zatímco šedé buňky ukazují nastavení, která zůstala stejná; každý případ byl spuštěn třikrát, v útočných a obranných studiích S6 a S7 se počet zvýšil na šest spuštění.

Testy se zabývaly třemi otázkami: Odkud pochází porušování pravidel po kompresi?; Jak různé konfigurace komprese mění příčiny porušování pravidel?; a Jak útoky a obrany zaměřené na kompresor ovlivňují příčiny porušování pravidel?.

Odkud pochází porušování pravidel po kompresi?

První výsledky ukázaly, že po kompresi vzrostl podíl případů, kdy byla pravidla porušena, z 9,6 % při zachování celé historie na 37,8 %. Pravidlo se však zcela ztratilo pouze ve 3 % komprimovaných běhů; v 70,1 % zůstalo zachováno beze změny a v 26,9 % se zachovalo částečně:

Výsledky ukazují, jak často jednotlivé modely porušovaly pravidla před kompresí a po ní. Většina pravidel se zachovala zcela nebo částečně, přestože počet jejich porušení výrazně vzrostl; největší nárůst zaznamenal model Qwen, a to na 61,8 %.

Toto rozlišení se ukázalo jako důležité. Z jednotlivých běhů, v nichž se celé pravidlo po kompresi zachovalo, skončilo 21,1 % jeho porušením. Pokud byla zachována původní historie, činil tento podíl 8,1 %. Při částečně zachovaném pravidle vzrostl na 29,4 % a pokud nezůstalo žádné pravidlo, dosáhl 83,3 %.

Zkoumali také, jak k porušování pravidel docházelo, když pravidlo zůstalo zachováno beze změny. V případech porušení způsobených kompresí byla pozdější žádost v 45,9 % případů vyložena jako povolení pokračovat; pravidlo bylo zjevně ignorováno v 27 % případů a v 21,6 % případů bylo uznáno za platné, přesto bylo následně porušeno:

Výsledky ukazují, proč byla pravidla porušována před kompresí a po ní. Pokud k porušení došlo až po kompresi, byly pozdější žádosti nejčastěji považovány za povolení pokračovat (45,9 %); v 27 % případů bylo zachované pravidlo ignorováno a v 21,6 % případů bylo uznáno za platné, ale přesto následovalo jeho porušení.

Jak různé konfigurace komprese mění příčiny porušování pravidel?

Způsob, jakým bylo pravidlo zadáno, měl výrazný vliv na jeho dodržování. Když byla zachována celá konverzace, došlo k porušení v 25 % a 16,1 % případů, kdy pravidla zadal přímo uživatel; pokud však byla pravidla předána prostřednictvím organizačního dokumentu nebo nástroje pro správu zásad, nebylo zaznamenáno žádné porušení:

Jak způsob zadání pravidla, strategie komprese a limit tokenů ovlivnily porušování pravidel a jejich zachování. Generativní komprese zachovávala pravidla mnohem spolehlivěji než selektivní metody, zatímco limity 300 tokenů nebo méně vedly k téměř úplné ztrátě pravidel.

Po kompresi vzrostl počet porušení u všech čtyř způsobů zadání pravidel: u přímých pokynů uživatele dosáhl 56,3 % a u pravidel předaných prostřednictvím nástroje pro správu zásad 22,2 %. Zachování pravidel se měnilo poměrně málo, od 65,7 % do 74 %. Autoři naznačují, že pozdější požadavek uživatele může být vyložen jako převážení osobního pravidla, zatímco uživatel nemůže zrušit organizační pravidlo.

Jak útoky a obrany zaměřené na kompresor ovlivňují příčiny porušování pravidel?

Pouhé zahlcení kontextu dalším materiálem mělo jen malý vliv; počet porušení dokonce klesl z 37,8 % na 34,3 %. Injekce zaměřená na kompresor byla výrazně účinnější: zvýšila počet porušení na 46,3 % a snížila podíl případů, v nichž se pravidla zachovala beze změny, ze 70,1 % na 42,5 %.

Nejúčinnější útok nazvaný escape zvýšil počet porušení z 23,5 % na 58,8 % a snížil podíl zachovaných pravidel z 96,1 % na 66,7 %. I když se pravidlo zachovalo, počet jeho porušení se zdvojnásobil, a to z 13,3 % na 26,5 %.

Výsledky testů ukazující, jak útoky a obrana ovlivňují dodržování pravidel po kompresi. Cílená injekce zvýšila počet porušení a snížila míru zachování pravidel, zatímco nejsilnější obrana zvýšila míru jejich zachování zpět na 99 %, aniž by plně obnovila jejich dodržování.

Nejsilnější obrana zachovala pravidlo v 99 % běhů, agenti ho však přesto porušili ve 29,4 % případů, zatímco bez útoku to bylo 23,5 %. Jinými slovy, zajištění toho, že agent pravidlo stále měl, nezaručovalo, že se jím bude řídit.

Závěr

Logicky se nabízí, že při kompresi kontextu desítky, ba stovkykrát v opravdu dlouhém vlákně (jako je to, na kterém pracuji v Codexu* od poloviny října a pracoval jsem na něm ještě dnes ráno – epickém projektu experimentálního vývoje softwaru s pomocí AI) dochází k jakémusi „efektu kopírky“.

Stejně jako u hlavních systémových pokynů ani tyto komprimované souhrny dosavadního dění nevidíme. Z vlastní, čistě anekdotické zkušenosti usuzuji, že ústřední poslání kompresi přežije, stejně jako většina podstatných detailů. Jenže nejsem v té noční můře, kdy příkaz „Pošli tento e-mail všem“, určený jen všem zaměstnancům firmy, skončí odesláním všem lidem v souhrnném firemním adresáři kontaktů. Au.

* Asi už stárnu, ale tohle je určitě to nejhůře zapamatovatelné, nejfádnější a nejvíc „korporátně béžové“ jméno, jaké se pro tohoto agenta dalo vybrat. Pořád na něj zapomínám.

Poprvé zveřejněno ve čtvrtek 12. listopadu 2026