ИИ-агенты могут помнить правила и всё же нарушать их после сжатия контекста

Сжатие контекста — это процесс, при котором цепочка сложных взаимодействий с ИИ-чатом сводится к краткому изложению, а общение продолжается уже на основе этого изложения, а не всей истории переписки. С точки зрения использования памяти это похоже на «начало с чистого листа». Такой подход стал решением проблемы ограниченной длины контекстного окна в диалогах с ИИ.

Изначально этот метод применялся в агентном ИИ, а затем распространился на Claude. Сжатие контекста для Gemini пока не вышло за рамки обсуждений разработчиков, а ChatGPT вместо сжатия предпочитает просто завершать чат.

Если вы пользовались Codex (по сути, это версия ChatGPT, которая с вашего разрешения может вносить изменения прямо на компьютере) дольше 30 минут подряд, то наверняка видели периодические сообщения о сжатии контекста. Пока оно выполняется, продолжить общение нельзя:

Codex делает передышку, чтобы сжать воспоминания о сеансе, который к этому моменту длится уже три недели.

Однако после завершения сжатия общается с вами уже система, опирающаяся на невидимые выборочные заметки, а не на полную историю развития чата.

ИИ, которому правила нипочём

В июне этого года китайская научная статья «Упадок управления» показала, что при сжатии контекста из него могут незаметно исчезнуть действующие правила, из-за чего агент начинает выполнять действия, которые прежде были запрещены:

По материалам статьи «Упадок управления», опубликованной в июне 2026 года: сжатие контекста может привести к тому, что ИИ-агент нарушит правило, которому прежде следовал. Если правило не попадёт в сжатое резюме, агент может в итоге выполнить запрещённое действие. Злоумышленник может использовать этот процесс в своих целях, а восстановление правила — предотвратить нарушение. Источник

В семи моделях доля нарушений выросла с 0% до сжатия контекста до 30% после него, а в некоторых случаях достигла 59%. На практике это означает, что агенты могут игнорировать важные указания, например «Не связывайтесь ни с кем, у кого нет [our-company] адреса электронной почты», — и это может иметь очевидные последствия.

В июле Университет штата Пенсильвания и IBM продолжили это исследование в работе «Потерянные в контексте». Авторы обнаружили, что при сжатии могут теряться инструкции о том, как ИИ должен выполнять задачу, тогда как сама задача сохраняется. В испытаниях в трёх средах механизмы сжатия сохраняли в среднем лишь 17% таких инструкций.

В августе американская межуниверситетская исследовательская группа представила TRACE и показала, что сжатие может нарушить работу агента, даже если нужную ему информацию всё ещё можно восстановить. В ходе испытаний агенты теряли понимание того, на каком этапе задачи находятся, повторно выполняли уже завершённую работу и становились менее надёжными при повторных запусках.

ARCBench

В этом месяце новые данные поступили из Нидерландов: исследование ARCBench показало, что после сжатия агент может сохранить правило и всё равно с гораздо большей вероятностью его нарушить. В испытаниях, где правило сохранялось, нарушения после сжатия происходили в 2,6 раза чаще, чем при использовании полной истории разговора:

По материалам новой статьи: концептуальная схема показывает, как сжатие контекста может повлиять на соблюдение агентом рабочих правил. На один и тот же последующий запрос агент может ответить отказом, если правило сохранилось после сжатия, или выполнить его, если правило было опущено; внешний документ может повлиять на то, какая информация сохранится. Для удобства размещения на странице эта схема преобразована из исходного изображения статьи, имевшего портретную ориентацию. Источник

В исследовании отдельно рассматриваются правила, утраченные при сжатии, и правила, которые сохранились, но впоследствии были нарушены. Благодаря этому впервые удалось независимо измерить последствия забывания и неподчинения.

В испытаниях с DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash и GPT-Luna полное правило сохранилось в 70,1% запусков со сжатием. Среди запусков, в которых правило сохранилось, нарушения происходили в 2,6 раза чаще, чем при использовании полной истории разговора.

Контекст в традиционном смысле оказался важным фактором: когда правила формулировались как организационная политика, при полном контексте нарушений не было, однако после сжатия их доля выросла до 30,6% и 22,2%.

Наиболее эффективная из доступных защит сохраняла правила в 99% сводок, но всё равно не возвращала число нарушений к уровню до атаки. Это показывает, что успешное сохранение правил при сжатии не обязательно сохраняет способность агента следовать им — и его готовность это делать.

В статье говорится:

«[We]Авторы обнаружили, что сжатие увеличивает число нарушений главным образом не за счёт удаления правила: в сжатых запусках, где правило сохранилось, нарушения происходили в 2,6 раза чаще, чем при полной истории.

«Кроме того, после сжатия меняются рассуждения агента, объясняющие нарушение. На соблюдение правил влияют разные стратегии сжатия, жёсткие ограничения на объём контекста при сжатии и канал передачи правила».

В качестве решения авторы статьи предлагают надёжнее сохранять правила, утрачиваемые при сжатии, однако проблема неподчинения агентов сохранившимся правилам остаётся нерешённой»

«Защита восстанавливает правила, но под атакой их соблюдение всё равно ухудшается. Следовательно, сохранение правила не служит достаточным показателем его соблюдения. В будущих исследованиях ARCBench можно использовать, чтобы выяснить, почему агенты продолжают нарушать сохранившиеся правила, проверить адаптивные атаки и методы защиты, а также охватить больше моделей и областей применения и более длительные сессии с повторным сжатием».

Методика

ARCBench расширяет возможности инструментария с открытым исходным кодом pi, в котором есть собственные встроенные процедуры сжатия, а также цикл работы агента, вызов инструментов и встроенное сжатие. В бенчмарке воспроизводятся ситуации, в которых агент выполняет длительную задачу, соблюдая постоянное правило, сжимает накопленную историю, а затем получает запрос, выполнение которого нарушило бы это правило. После этого проверяются действия агента, в том числе вызовы инструментов:

Процесс оценки в ARCBench. Агентам задают задачу и правило работы, после чего их историю сжимают с использованием различных настроек, атак и методов защиты. Затем анализируют последующие вызовы инструментов, чтобы определить, сохранилось ли правило и соблюдал ли его агент.

В ARCBench включено 17 сценариев, охватывающих раскрытие защищённых данных, доступ к ограниченным ресурсам, несанкционированные действия, а также обход или пропуск обязательных мер контроля. Они соответствуют классам рисков OWASP.

Сценарии были адаптированы из Governance Decay и COMPINT, а ещё четыре сценария добавили, чтобы все четыре типа нарушений были представлены как для личных, так и для организационных правил.

Бенчмарк можно настраивать по пяти параметрам: способ передачи правила; метод сжатия контекста; доступный для сжатия лимит токенов; тип атаки; применяемая защита:

ARCBench включает пять переменных, позволяющих проверять, как соблюдение правил меняется в зависимости от способа сжатия контекста, передачи правил, атак и методов защиты.

Правила можно передавать в виде прямых или постоянных инструкций, включать в документы либо получать с помощью инструмента для работы с политиками.

Данные и тесты

Были оценены десять методов сжатия: семь генеративных стратегий и три избирательных подхода. Каждый сценарий запускали несколько раз. Случай считался неудачным, если агент хотя бы раз нарушал правило. Такой подход считается более подходящим для тестирования безопасности, чем усреднение результатов нескольких запусков: агент, который время от времени совершает запрещённое действие, всё равно небезопасен.

Сжатые истории затем анализировали GPT-6-Luna-Pro, Qwen-3.8-flash и Claude-Sonnet-4.6, классифицируя каждое правило как сохранённое без изменений, ослабленное или отсутствующее. Учитывалось решение большинства; разногласия проверяли аннотаторы-люди. Кроме того, отдельную выборку из 50 сводок разметили вручную, чтобы проверить согласованность оценок моделей.

Когда агент нарушал правило, сохранившееся без изменений, его рассуждения анализировали GPT-6-Luna-Pro, GPT-6.1-Sol и Claude Sonnet 5.5. Нарушения классифицировали по следующим признакам: счёл ли агент последующий запрос разрешением отступить от правила; решил ли, что действие не подпадает под его действие; не упомянул ли правило вовсе; или распознал правило, но проигнорировал его.

Для тестирования использовали четыре модели, доступные через OpenRouter: DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; и GPT-Luna. В каждом запуске одна и та же модель и сжимала историю диалога, и действовала на основе получившегося контекста, как это предусмотрено в поведении pi по умолчанию. Модели были доступны через OpenRouter.

Было проведено семь исследований; для большинства тестов на сжатие использовался Hermes. В первом исследовании каждое из 17 заданий проверили на четырёх моделях и с двумя способами передачи правила — всего в 136 случаях. Каждый случай запускали трижды с исходным диалогом без изменений и ещё трижды после его сжатия.

Конфигурация семи исследований ARCBench, сгруппированных по исследовательским вопросам. Зелёным выделены факторы, которые варьировались в каждом исследовании, а серым — неизменные настройки; каждый случай запускали трижды, а в исследованиях атак и защиты S6 и S7 — шесть раз.

В ходе тестов рассматривались три вопроса: Откуда берутся нарушения после сжатия?; Как разные настройки сжатия влияют на причины нарушений?; и Как атаки, нацеленные на модуль сжатия, и меры защиты влияют на причины нарушений?.

Откуда берутся нарушения после сжатия?

Первые результаты показали, что после сжатия доля случаев с нарушением правил выросла с 9,6% при сохранении полной истории до 37,8%. Однако правило полностью терялось лишь в 3% случаев после сжатия; в 70,1% оно сохранялось без изменений, а в 26,9% — частично:

Результаты показывают, как часто каждая модель нарушала правила до и после сжатия. Большинство правил сохранялось полностью или частично, хотя число нарушений существенно выросло; наибольший рост показала Qwen — до 61,8%.

Это различие оказалось важным. Даже в тех отдельных случаях, когда правило полностью сохранялось после сжатия, нарушение всё равно происходило в 21,1% случаев — против 8,1% при сохранении исходной истории. Если правило сохранялось лишь частично, доля нарушений возрастала до 29,4%, а если от него ничего не оставалось — до 83,3%.

Также изучили, как происходили нарушения, когда правило оставалось без изменений. Среди нарушений, вызванных сжатием, в 45,9% случаев последующий запрос истолковывался как разрешение продолжить; в 27% случаев правило, по-видимому, игнорировалось, а в 21,6% его признавали применимым, но всё равно нарушали:

Результаты показывают, почему правила нарушались до и после сжатия. Когда нарушения возникали только после сжатия, последующие запросы чаще всего трактовались как разрешение продолжить (45,9%); в 27% случаев сохранённое правило игнорировалось, а в 21,6% его признавали применимым, но всё равно продолжали действовать вопреки ему.

Как разные настройки сжатия влияют на причины нарушений?

Способ передачи правила заметно влиял на соблюдение. Когда весь диалог сохранялся без изменений, нарушения происходили в 25% и 16,1% случаев, если правила задавал сам пользователь; однако нарушений не было зафиксировано, когда правила передавались через организационный документ или инструмент для работы с политиками:

Как способ передачи правил, стратегия сжатия и лимит токенов влияли на нарушения и сохранение правил. При сжатии с генерацией правила сохранялись гораздо надёжнее, чем при выборочных методах, а лимиты в 300 токенов или меньше приводили почти к полной утрате правил.

После сжатия число нарушений выросло при использовании всех четырёх способов передачи правил: до 56,3% для прямых инструкций пользователя и до 22,2% для правил, переданных через инструмент для работы с политиками. Доля сохранившихся правил различалась сравнительно мало — от 65,7% до 74%. Авторы предполагают, что последующий запрос пользователя может быть истолкован как отменяющий личное правило, тогда как пользователь не может отменить организационное правило.

Как атаки, нацеленные на модуль сжатия, и меры защиты влияют на причины нарушений?

Простое заполнение контекста дополнительными материалами почти не повлияло на результат: число нарушений даже снизилось с 37,8% до 34,3%. Внедрение инструкций, нацеленное на модуль сжатия, оказалось значительно эффективнее: число нарушений выросло до 46,3%, а доля полностью сохранившихся правил снизилась с 70,1% до 42,5%.

Самая мощная атака, получившая название escape, увеличила число нарушений с 23,5% до 58,8%, а долю сохранившихся правил снизила с 96,1% до 66,7%. Даже если правило сохранялось, число нарушений удваивалось — с 13,3% до 26,5%.

Результаты испытаний, показывающие, как атаки и меры защиты влияют на соблюдение правил после сжатия контекста. Целевая инъекция увеличила число нарушений и снизила сохранность правил, тогда как самая эффективная защита восстановила их сохранность до 99%, но не вернула соблюдение правил на прежний уровень.

Самая эффективная защита сохранила правило в 99% запусков — и всё же агенты нарушали его в 29,4% случаев против 23,5% при отсутствии атаки. Иными словами, наличие правила у агента не гарантировало, что он будет ему следовать.

Выводы

Логика подсказывает, что при сжатии контекста десятки, а то и сотни раз в очень длинной ветке диалога может возникать своего рода «эффект ксерокса» (например, в той, над которой я работаю в Codex* с середины октября и которой занимался ещё сегодня утром, — это грандиозный проект экспериментальной разработки программного обеспечения с помощью ИИ).

Как и системные запросы, эти сжатые сводки о ходе работы нам недоступны. Судя по моим личным наблюдениям, главная цель сохраняется при сжатии, как и большинство важных деталей. Но я не сталкивался с таким кошмарным сценарием, когда команда «Отправь это письмо всем», подразумевающая всех сотрудников компании, приводит к тому, что письмо уходит всем контактам из объединённой корпоративной адресной книги. Вот это да.

Наверное, я старею, но это, безусловно, самое незапоминающееся, безликое, «корпоративно-бежевое» имя, какое только можно было выбрать для этого агента. Я постоянно его забываю.

Впервые опубликовано в четверг, 12 ноября 2026 года