Agenci AI potrafią pamiętać zasady, a mimo to łamać je po kompresji

Kompakcja polega na tym, że ciąg złożonych wymian z czatbotem AI zostaje sprowadzony do podsumowania, a interakcja jest kontynuowana na podstawie tego podsumowania, a nie całej historii. Pod względem wykorzystania pamięci przypomina to „nowy początek” i zostało wdrożone jako rozwiązanie problemu ograniczeń okien kontekstu w komunikacji z AI.

Metodę tę początkowo stosowano w autonomicznych systemach AI, a następnie rozszerzono jej zastosowanie na Claude. Kompakcja w Gemini jeszcze nie wyszła poza rozmowy deweloperów, a ChatGPT zamiast kompakcji wybiera po prostu zakończenie czatu.

Jeśli korzystasz z Codex (zasadniczo wersji ChatGPT, która za odpowiednimi uprawnieniami może faktycznie wprowadzać zmiany na komputerze) przez ponad 30 minut bez przerwy, z pewnością zobaczysz od czasu do czasu komunikaty o kompakcji kontekstu. W tym czasie nie można kontynuować interakcji:

Codex robi sobie przerwę, by skompresować wspomnienia z sesji, która trwa już od trzech tygodni.

Jednak po zakończeniu kompakcji rozmawiający z tobą podmiot opiera się na niewidocznych, wybiórczych notatkach, a nie na pełnej pamięci o przebiegu czatu.

AI łamiąca zasady

W czerwcu tego roku chińska publikacja Rozpad nadzoru wykazała, że kompakcja może po cichu usuwać z kontekstu agenta obowiązujące zasady, prowadząc do wykonania działań, które wcześniej były zabronione:

Z czerwcowej publikacji z 2026 roku na temat rozpadu nadzoru: jak kompakcja kontekstu może sprawić, że agent AI złamie zasadę, której wcześniej przestrzegał. Jeśli zasada zostanie pominięta w skompresowanym podsumowaniu, agent może następnie wykonać zabronione działanie. Atakujący mógłby wykorzystać ten proces, a przywrócenie zasady może zapobiec naruszeniu. Źródło

W przypadku siedmiu modeli odsetek naruszeń wzrósł z 0% przed kompakcją do 30% po niej, a w niektórych przypadkach sięgnął 59%. W praktyce oznacza to, że agenci mogą ignorować istotne dyrektywy, takie jak Nie kontaktuj się z nikim, kto nie ma adresu [our-company] e-mail – co może mieć oczywiste konsekwencje.

W lipcu Uniwersytet Stanowy Pensylwanii i IBM kontynuowały te badania w publikacji Zagubieni w kontekście. Wykazały, że kompakcja może usuwać instrukcje określające, jak AI ma wykonać zadanie, zachowując samo zadanie. W testach przeprowadzonych w trzech środowiskach mechanizmy kompresujące zachowywały średnio zaledwie 17% tych instrukcji.

W sierpniu amerykański zespół akademicki przedstawił TRACE, pokazując, że kompakcja może zakłócić działanie agenta nawet wtedy, gdy potrzebne mu informacje nadal można odzyskać. W testach agenci tracili orientację w tym, na jakim etapie zadania się znajdują, powtarzali już wykonaną pracę i działali mniej niezawodnie przy kolejnych uruchomieniach.

ARCBench

W tym miesiącu z Holandii napłynęły kolejne ustalenia: badanie ARCBench wykazało, że agenci mogą zakończyć kompakcję z zachowaną zasadą, a mimo to znacznie częściej ją łamać. W testach, w których zasada przetrwała kompakcję, naruszenia występowały 2,6 razy częściej niż w przypadku pełnej historii rozmowy:

Z nowej publikacji: schemat koncepcyjny pokazujący, jak kompakcja kontekstu może wpływać na przestrzeganie przez agenta zasad działania. Na tę samą późniejszą prośbę agent może odmówić, jeśli zasada przetrwa kompakcję, albo ją spełnić, jeśli zasada zostanie pominięta; zewnętrzny dokument może wpłynąć na to, które informacje zostaną zachowane. Na potrzeby układu ilustrację przekształcono z oryginału w orientacji pionowej zamieszczonego w publikacji źródłowej. Źródło

Badanie rozróżnia zasady utracone podczas kompakcji od tych, które przetrwały kompakcję, a następnie zostały naruszone. Dzięki temu po raz pierwszy można niezależnie mierzyć skutki zapominania i nieposłuszeństwa.

W testach z użyciem modeli DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash i GPT-Luna kompletna zasada została zachowana w 70,1% skompaktowanych przebiegów. Wśród przebiegów, w których zasada przetrwała, naruszenia występowały 2,6 razy częściej niż w przypadku pełnej historii rozmowy.

Kontekst w tradycyjnym rozumieniu okazał się mieć znaczenie: gdy reguły przedstawiano jako zasady organizacyjne, przy pełnym kontekście nie dochodziło do żadnych naruszeń; po kompresji wskaźniki naruszeń wzrosły jednak do 30,6% i 22,2%.

Najskuteczniejsza dostępna obrona pozwoliła zachować reguły w 99% podsumowań, ale mimo to nie obniżyła liczby naruszeń do poziomu sprzed ataku. Wskazuje to, że skuteczne zachowanie reguł podczas kompresji niekoniecznie oznacza, że agent zachowa zdolność — lub gotowość — do ich przestrzegania.

W artykule stwierdzono:

„[We] ustalają, że kompresja zwiększa liczbę naruszeń, najczęściej bez usuwania samej reguły: przebiegi, w których reguła została zachowana po kompresji, nadal naruszają ją 2,6 raza częściej niż przebiegi z pełną historią.

‘Co więcej, kompresja zmienia sposób rozumowania agenta prowadzący do naruszenia reguły. Na przestrzeganie reguł wpływają różne strategie kompresji, rygorystyczne ograniczenia budżetu kompresji oraz kanał, którym przekazywana jest reguła.’

Jako rozwiązanie problemu artykuł proponuje skuteczniejsze zachowywanie reguł, które giną podczas kompresji, pozostawiając jednak nierozwiązany problem agentów nieprzestrzegających zachowanych reguł”

‘Zabezpieczenia przywracają reguły, ale atak nadal osłabia ich przestrzeganie. Samo zachowanie reguły nie jest więc wystarczającym wskaźnikiem jej przestrzegania. W przyszłych badaniach można wykorzystać ARCBench, by wyjaśnić, dlaczego agenci nadal naruszają zachowane reguły, testować adaptacyjne ataki i zabezpieczenia oraz uwzględnić więcej modeli i dziedzin, a także dłuższe sesje z wielokrotną kompresją.’

Metodyka

ARCBench rozszerza funkcjonalność otwartoźródłowego środowiska testowego pi, które ma własne natywne procedury kompresji, a także pętlę agenta, wywoływanie narzędzi i natywną kompresję. Benchmark odtwarza sytuacje, w których agent wykonuje długie zadanie, kierując się obowiązującą regułą, kompresuje zgromadzoną historię, a następnie otrzymuje prośbę o działanie, które naruszyłoby tę regułę; jego działania są potem weryfikowane na podstawie wywołań narzędzi:

Proces oceny w ARCBench. Agentom przydziela się zadanie i regułę działania, zanim ich historie zostaną skompresowane z użyciem różnych konfiguracji, ataków i zabezpieczeń. Następnie analizuje się działania agentów z wykorzystaniem narzędzi, aby ustalić, czy reguła została zachowana i czy była przestrzegana.

ARCBench obejmuje 17 przypadków dotyczących ujawniania chronionych danych, dostępu do zasobów objętych ograniczeniami, działań bez upoważnienia oraz omijania lub pomijania wymaganych zabezpieczeń. Odpowiadają one klasom ryzyka OWASP.

Przypadki zaadaptowano z projektów Governance Decay i COMPINT, a także dodano cztery nowe, aby wszystkie cztery rodzaje naruszeń były reprezentowane zarówno w odniesieniu do reguł osobistych, jak i organizacyjnych.

Benchmark można skonfigurować, zmieniając pięć czynników: sposób przekazania reguły, metodę kompresji kontekstu, budżet tokenów dostępny na kompresję, rodzaj ataku oraz zastosowane zabezpieczenie:

ARCBench obejmuje pięć zmiennych, które pozwalają sprawdzić, jak przestrzeganie reguł zmienia się w zależności od sposobu kompresji kontekstu, przekazania reguły, ataku i zabezpieczeń.

Reguły można przekazywać jako bezpośrednie lub trwałe instrukcje, umieszczać w dokumentach albo pobierać za pomocą narzędzia do obsługi zasad.

Dane i testy

Oceniono dziesięć metod kompresji: siedem strategii generatywnych i trzy podejścia selektywne. Każdy przypadek uruchamiano wielokrotnie, a niepowodzenie odnotowywano, jeśli agent choć raz naruszył regułę — uznano to za podejście lepiej dostosowane do testowania bezpieczeństwa niż uśrednianie wyników z wielu przebiegów, ponieważ agent, który sporadycznie wykonuje zabronione działanie, nadal nie jest bezpieczny.

Skompresowane historie analizowały następnie modele GPT-6-Luna-Pro, Qwen-3.8-flash i Claude-Sonnet-4.6, klasyfikując każdą regułę jako nienaruszoną, osłabioną lub nieobecną. Przyjmowano wynik większościowy, a rozbieżności weryfikowali ludzcy anotatorzy. Aby sprawdzić spójność ocen sędziów, osobno ręcznie oznaczono również próbę 50 podsumowań.

Gdy agent naruszył nienaruszoną regułę, jego rozumowanie analizowały modele GPT-6-Luna-Pro, GPT-6.1-Sol i Claude Sonnet 5.5. Naruszenia klasyfikowano według tego, czy późniejszą prośbę potraktowano jako zgodę na uchylenie reguły, czy uznano, że działanie nie jest objęte jej zakresem, czy pominięto wzmiankę o regule, czy też regułę rozpoznano, ale zlekceważono.

W testach wykorzystano cztery modele dostępne za pośrednictwem OpenRouter: DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash oraz GPT-Luna. W każdym przebiegu ten sam model kompresował historię rozmowy, a następnie działał na podstawie uzyskanego kontekstu, zgodnie z domyślnym zachowaniem pi. Modele udostępniano za pośrednictwem OpenRouter.

Przeprowadzono siedem badań, a w większości testów kompresji wykorzystano Hermes. W pierwszym badaniu każde z 17 zadań przetestowano na czterech modelach i przy dwóch sposobach przekazywania reguły, uzyskując 136 przypadków. Każdy przypadek uruchomiono trzykrotnie z niezmienioną historią rozmowy i trzykrotnie po jej skompresowaniu.

Konfiguracja siedmiu badań ARCBench, pogrupowanych według pytań badawczych. Zielone komórki wskazują czynnik zmieniany w każdym badaniu, a szare — ustawienia utrzymywane na stałym poziomie; każdy przypadek uruchomiono trzykrotnie, a w badaniach ataków i zabezpieczeń S6 i S7 — sześciokrotnie.

W testach postawiono trzy pytania: Skąd biorą się naruszenia po kompresji?; Jak różne konfiguracje kompresji wpływają na źródła naruszeń?; oraz Jak ataki wymierzone w mechanizm kompresji i zabezpieczenia wpływają na źródła naruszeń?.

Skąd biorą się naruszenia po kompresji?

Pierwsze wyniki wykazały wzrost odsetka przypadków łamania reguł po kompresji — z 9,6% przy pełnej historii do 37,8%. Jednak w zaledwie 3% skompresowanych przebiegów reguła została całkowicie utracona; w 70,1% zachowała się w całości, a w 26,9% — częściowo:

Wyniki pokazujące, jak często każdy model naruszał reguły przed kompresją i po niej. Większość reguł zachowała się po kompresji w całości lub częściowo, mimo znacznego wzrostu liczby naruszeń; największy wzrost odnotowano w przypadku Qwen, gdzie odsetek ten osiągnął 61,8%.

To rozróżnienie okazało się istotne. Wśród pojedynczych przebiegów, w których reguła przetrwała kompresję w całości, naruszenie i tak wystąpiło w 21,1% przypadków, w porównaniu z 8,1% przy zachowaniu pierwotnej historii. Gdy reguła została zachowana częściowo, odsetek ten wzrósł do 29,4%, a gdy nie pozostała z niej żadna część — do 83,3%.

Zbadano również, w jaki sposób dochodziło do naruszeń, gdy reguła pozostała nienaruszona. Wśród naruszeń przypisywanych kompresji późniejszą prośbę interpretowano jako pozwolenie na kontynuowanie w 45,9% przypadków; w 27% regułę najwyraźniej zignorowano, a w 21,6% uznano, że ma zastosowanie, po czym i tak ją naruszono:

Wyniki pokazujące, dlaczego reguły były naruszane przed kompresją i po niej. Gdy naruszenia pojawiały się dopiero po kompresji, późniejsze prośby najczęściej uznawano za pozwolenie na kontynuowanie (45,9%); w 27% przypadków ignorowano zachowaną regułę, a w 21,6% uznawano jej zastosowanie, po czym i tak kontynuowano działanie.

Jak różne konfiguracje kompresji wpływają na źródła naruszeń?

Sposób przekazania reguły wyraźnie wpływał na przestrzeganie jej. Gdy pełna historia rozmowy pozostawała nienaruszona, naruszenia wystąpiły w 25% i 16,1% przypadków, w których reguły zostały przekazane osobiście przez użytkownika; nie odnotowano jednak żadnych naruszeń, gdy reguły przekazano za pośrednictwem dokumentu organizacyjnego lub narzędzia do obsługi zasad:

Wpływ sposobu przekazywania reguł, strategii kompresji i budżetu tokenów na liczbę naruszeń oraz zachowanie reguł. Kompresja generatywna zachowywała reguły znacznie bardziej niezawodnie niż metody selektywne, natomiast budżety wynoszące 300 tokenów lub mniej prowadziły do niemal całkowitej utraty reguł.

Po kompresji liczba naruszeń wzrosła we wszystkich czterech kanałach, osiągając 56,3% w przypadku bezpośrednich instrukcji użytkownika i 22,2% w przypadku reguł przekazywanych za pomocą narzędzia do obsługi zasad. Odsetek zachowanych reguł różnił się stosunkowo niewiele — wynosił od 65,7% do 74%. Autorzy sugerują, że późniejsza prośba użytkownika może być interpretowana jako uchylenie reguły osobistej, natomiast użytkownik nie może uchylić reguły organizacyjnej.

Jak ataki wymierzone w mechanizm kompresji i zabezpieczenia wpływają na źródła naruszeń?

Samo zalanie kontekstu dodatkowym materiałem miało niewielki wpływ — odsetek naruszeń faktycznie spadł z 37,8% do 34,3%. Wstrzyknięcie ukierunkowane na mechanizm kompresji okazało się znacznie skuteczniejsze: zwiększyło odsetek naruszeń do 46,3% i obniżyło odsetek reguł zachowanych w całości z 70,1% do 42,5%.

Najsilniejszy atak, nazwany ucieczką, zwiększył odsetek naruszeń z 23,5% do 58,8% i zmniejszył odsetek zachowanych reguł z 96,1% do 66,7%. Nawet gdy reguła przetrwała, odsetek naruszeń podwoił się — z 13,3% do 26,5%.

Wyniki testów pokazujące wpływ ataków i mechanizmów obronnych na przestrzeganie reguł po kompresji. Ukierunkowane wstrzyknięcie zwiększyło liczbę naruszeń i obniżyło wskaźnik zachowania reguły, natomiast najsilniejsza obrona przywróciła go do 99%, nie zapewniając jednak pełnego przestrzegania reguł.

Najs ilniejsza obrona pozwoliła zachować regułę w 99% uruchomień, a mimo to agenci łamali ją w 29,4% przypadków, w porównaniu z 23,5% przypadków, gdy nie stosowano ataku. Innymi słowy, upewnienie się, że agent nadal pamięta regułę, nie gwarantowało, że będzie jej przestrzegać.

Wnioski

Logika podpowiada, że gdy kontekst jest kompresowany dziesiątki, a nawet setki razy w bardzo długim wątku (takim jak ten, nad którym pracuję w Codex* od połowy października i nad którym pracowałem jeszcze dziś rano — epickim przedsięwzięciu z zakresu eksperymentalnego tworzenia oprogramowania wspomaganego przez AI), zachodzi pewnego rodzaju „efekt kserokopii”.

Podobnie jak w przypadku podstawowych promptów systemowych, nie mamy wglądu w te skompresowane podsumowania dotychczasowych działań. Z moich własnych, anegdotycznych obserwacji wynika, że główna misja przetrwa kompresję, podobnie jak większość istotnych szczegółów. Nie znajduję się jednak w tym koszmarnym scenariuszu, w którym polecenie „Wyślij tę wiadomość e-mail do wszystkich”, mające objąć tylko wszystkich w firmie, trafia do wszystkich osób zebranych w firmowej książce kontaktów. O rany.

* Chyba się starzeję, ale to z pewnością najbardziej niezapadająca w pamięć, nijaka, „korporacyjno-beżowa” nazwa, jaką można było wybrać dla tego agenta. Ciągle o niej zapominam.

Opublikowano po raz pierwszy w czwartek, 12 listopada 2026 r.