Агентный ИИ обычно не делает резервную копию перед действием

Большая часть материалов, которые я ежедневно просматриваю на Arxiv и других ресурсах, довольно суха даже для ботаника. Поэтому я всегда ищу публикации, которые вызывают у меня эмоциональный отклик — как у пользователя, сторонника или жертвы ИИ.

Сегодня такой всплеск эмоций вызвала новая совместная академическая работа из США, посвящённая тому, насколько далеко передовые агентные модели ИИ заходят в своих действиях, прежде чем нанести ущерб, — и как быстро всё происходит: быстрее, чем вы успеете набрать «СТОП!» (подсказка: держите это слово под рукой в буфере обмена).

Недавно со мной произошло вот что — цитата из новой статьи, вырванная из контекста. Это случилось из-за слепого следования инструкциям ChatGPT, а мне даже в голову не пришло сначала скопировать весь виртуальный конверт:

Интерпретация фрагмента из новой статьи: знакомый многим до боли неприятный момент при установке передовых фреймворков и даже популярных дистрибутивов, которые не считаются с особенностями нестандартных сред, где им предстоит работать. Источник

В этом ужасающем и до боли знакомом примере у робота есть разумное оправдание: обычно никто не проверяет все возможные последствия установки новой библиотеки в хрупкий и не прощающий ошибок фреймворк. Однако в новой статье утверждается, что, возможно, это всё-таки следует делать. Я же до сих пор часто нажимаю CTRL+S даже в средах автосохранения, настроенных игнорировать это нажатие (спасибо посттравматическому стрессу из-за потери данных в 1990-х), поэтому не могу не согласиться.

Алексей Григорьев, основатель образовательной платформы DataTalks.Club, наверняка оценил бы более осмотрительный и осторожный подход: в марте прошлого года его агент Claude Code удалил производственную инфраструктуру и резервные копии во время переноса сервера, что привело к потере данных сайта за два с половиной года.

Среди других недавних примеров безрассудного поведения агентных систем — случай в апреле, когда агент Cursor удалил производственную базу данных и резервные копии компании PocketOS, поставщика программного обеспечения для проката автомобилей, из-за чего бронирование для клиентов не работало более двух дней; а также случай в феврале, когда почтовый агент OpenClaw удалял сообщения из папки входящих исследователя Meta AI, несмотря на неоднократные указания остановиться.

Передовым большим языковым моделям очень сложно действовать осмотрительно и осторожно — настолько, что решение этой проблемы стало отдельным направлением исследований.

Не помешает немного резервного копирования

Авторы новой статьи* разработали многоагентный плагин для агентных обвязок, который может работать параллельно с гостевой ИИ-системой и заставлять её создавать резервные копии, когда это необходимо:

Обзор проблемы резервного копирования, рассматриваемой в исследовании, и предложенного решения. В 205 сценариях шесть передовых моделей ИИ создавали резервные копии критически важного состояния лишь в 15,2% задач. Система BackUpper, разработанная исследователями, охватывала каждое критически важное действие; в среднем сходство восстановленных данных с исходными составляло 92,2% (ниже объясняется, почему добиться 100% сложно).

Один из самых поразительных выводов нового исследования — насколько редко передовые модели создают резервные копии перед потенциально опасными действиями. Исследователи обнаружили, что GPT-5.6-Terra сохраняла резервные копии критически важных данных лишь в 4,4% случаев, GPT-5.6-Sol — всего в 5,9% проверенных случаев, а Gemini 3.7-Flash — лишь в 2,4% случаев.

Даже лучшая модель, Claude Opus-5, не создавала резервную копию критически важных данных более чем в трети проверенных случаев.

В статье говорится^†:

«Среди шести передовых моделей агенты в среднем выполняют 86,1% задач, но сохраняют резервную копию состояния перед моментами, о которых впоследствии жалеют, лишь в 15,2% случаев. GPT 5.6-Sol в Codex делает это всего в 5,9% задач, а DeepSeek V4-Pro в Hermes — лишь в 2,9%.

«Эти результаты показывают, что современные агенты пока недостаточно учитывают необходимость резервного копирования и нуждаются в специальных средствах для его поддержки».

Решение авторов, получившее название BackUpper, работает параллельно с агентом как теневой процесс в обвязке: проверяет, что тот собирается сделать, и сначала создаёт резервную копию, если есть риск потерять что-то полезное.

Для повседневных операций, например обновления программного обеспечения, система руководствуется набором простых правил; в более сложных ситуациях она обращается к меньшей модели ИИ, чтобы определить, что нужно сохранить.

В ходе тестирования BackUpper охватил все критически важные действия, а восстановленные данные совпадали с исходными на 92,2%. Дополнительные расходы составляли 0,014 доллара за задачу — в данном случае это немного, но для передовых больших языковых моделей, обслуживающих миллиарды клиентов, сумма значительная. Возможно, поэтому улучшить ситуацию вероятнее поможет внешний сервис такого рода или встроенная поддержка подобных функций в инструментах для работы с агентами, а не надежда на то, что технологические гиганты сами решат проблему: вполне можно ожидать, что они переложат дополнительные расходы на потребителей — за счет повышения цен или раздувания числа токенов.

В основе подхода лежит RegretBench — тест из 205 заданий, созданный на основе реальных случаев, когда люди теряли данные, о сохранении которых впоследствии сожалели. Он проверяет, способны ли ИИ-агенты предусмотреть такую потерю и сохранить данные до потенциально необратимых изменений. Инциденты для этой подборки взяты из онлайн-обсуждений и сообщений на таких платформах, как X.com, GitHub и Stack Overflow.

Схема того, как RegretBench превращает реальные инциденты в тестовые сценарии. Каждый задокументированный случай воссоздается с учетом действия, приведшего к потере данных, реалистичной рабочей среды и последовательности инструкций. В этом примере обновление ipykernel незаметно заменяет существующую версию traitlets, позволяя агенту выполнить задачу, но лишая возможности восстановить исходную установку.

Хотя для перфекциониста показатель в 92% может показаться удручающим, авторы отмечают, что восстановлению некоторых типов данных мешают технические ограничения:

«Разрыв между восстановлением и идеальным результатом объясняется главным образом двумя причинами. Некоторые поля, например идентификаторы публикаций, службы обычно генерируют заново при записи, поэтому их часто невозможно воспроизвести. Другие расхождения связаны с незначительными метаданными, например отметками о прочтении электронных писем, которые редко фигурируют в случаях потери данных, о которых впоследствии сожалеют».

В тестах после нанесения ущерба удалось восстановить 33,8% сходства с исходным состоянием, тогда как без восстановления этот показатель составлял всего 14,3%.

В статье говорится, что в будущем осведомленность о необходимости резервного копирования можно повысить с помощью обучения, а последующие версии BackUpper можно научить пропускать действия с низким уровнем риска и защищать также веб-агентов и агентов, работающих с компьютером.

BackUpper поддерживает Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness и OpenClaw. Авторы открыли доступ к исходному коду программы и связанного с ней набора данных (для получения разрешения на доступ к нему нужно заполнить форму). На сайте проекта также есть немного дополнительной информации и очень короткое простое пояснительное видео.

Методика

При создании RegretBench намеренно исключили данные, уже защищенные встроенными системами резервного копирования агентов, чтобы проверить, способны ли сами агенты определять, когда следует создавать резервную копию. Затем тестовые сценарии составили при содействии Claude Opus-5 и GPT-5.6-Sol и вручную проверили, чтобы убедиться, что они работают и точно отражают исходные инциденты.

205 тестов RegretBench охватывают пять областей: операции в терминале; базы данных; веб-приложения; электронная почта; и DevOps. Сами инциденты в основном связаны с платформами для разработки программного обеспечения и повышения продуктивности (44,4%); обсуждениями в социальных сетях и сообществах (39%); архивами и публикациями в СМИ (16,6%):

Источники реальных инцидентов, вошедших в RegretBench, разделены на три категории. 

Оценивались шесть передовых моделей: Claude Opus-5 и Claude Sonnet-5 в Claude Code; GPT-5.6-Sol и GPT-5.6-Terra в Codex; Gemini 3.7-Flash и DeepSeek V4-Pro в Hermes.

На протяжении всего исследования использовались настройки режима рассуждений по умолчанию, а автоматическая защита резервными копиями была ограничена снимками рабочей области — благодаря этому любые дополнительные копии можно было отнести к самостоятельным решениям агентов.

Для оценки результатов привлекли двух ИИ-арбитров, работавших на базе Claude Sonnet-5. Долю успешно выполненных задач (PR) рассчитывали как долю заданий, в которых были выполнены все запросы пользователя. При оценке резервного копирования для каждого изменения за пределами рабочей области (OOW) проверяли, были ли заранее сохранены данные, достаточные для восстановления.

Использовались два показателя резервного копирования: Regret Moment Backup Rate (RMBR), отражающий конкретные действия, связанные с задокументированными случаями потери данных, и частота резервного копирования за пределами рабочей области (OWBR), учитывающая все изменения, внесенные за пределами рабочей директории агента.

Оценки автоматического проверяющего резервных копий также сверили с разметкой, выполненной людьми: совпадение составило 95,3%.

Результаты

Чтобы выяснить, связано ли недостаточное внимание к резервному копированию с самими моделями ИИ или с платформами, на которых они работают, Claude Opus-5, GPT-5.6-Sol и DeepSeek V4-Pro сначала проверили на 60 заданиях RegretBench в Claude Code, Codex и Hermes.

Доля заданий, в которых критически важные данные были сохранены в резервной копии, мало различалась в разных платформах, что указывает на основную ответственность самих моделей. Связь между общими возможностями ИИ и вниманием к резервному копированию также изучили на примере GPT-5.4, GPT-5.5 и GPT-5.6-Sol.

Несмотря на последовательное улучшение общих возможностей, соответствующего улучшения внимания к резервному копированию не обнаружили:

Результаты тестирования шести моделей ИИ на RegretBench. Слева сопоставлены доля выполненных заданий и доля критически важных действий, для которых заранее создали резервные копии: большинство моделей успешно справлялись с заданиями, но редко заботились о резервном копировании. Справа показано среднее число вызовов инструментов на задание; операции резервного копирования выделены синим цветом. Claude Opus-5 показала самую высокую долю резервного копирования, однако на него пришлось 8,9% всех вызовов её инструментов.

Связь между общими возможностями ИИ и вниманием к резервному копированию также изучили на примере GPT-5.4, GPT-5.5 и GPT-5.6-Sol. Несмотря на последовательное улучшение общих возможностей, соответствующего улучшения внимания к резервному копированию не обнаружили.

BackUpper

BackUpper предлагает четыре уровня защиты с разными затратами ресурсов. На первом уровне деструктивные команды заменяются обратимыми действиями, например файлы перемещаются в корзину; на втором операции дополняются командами резервного копирования, например перед обновлением записываются версии пакетов; на третьем создаются снимки затронутых файлов рабочей области; на четвёртом субагент GPT-5.6-Luna выявляет данные, которые могут затронуть более сложные операции, и сохраняет их.

При включённом BackUpper резервными копиями были защищены все действия, изменяющие состояние, во всех шести моделях. Без него средняя доля резервного копирования составляла 15,2% для критически важных действий и 17,4% для остальных изменений:

Показатели защиты данных и восстановления с помощью BackUpper. Слева синие и оранжевые столбцы показывают долю резервных копий критически важных действий и остальных изменений за пределами рабочей области для каждой модели. Тёмно-зелёные пунктирные контуры обозначают точность восстановления; светло-зелёные точечные контуры — 100-процентную защиту данных с помощью BackUpper. Справа сравнивается точность восстановления в пяти категориях инструментов: с помощью BackUpper (зелёный цвет), последующего восстановления Claude Opus-5 (фиолетовый) и без восстановления (серый). Во всех случаях наибольшей точности удалось достичь с BackUpper.

Из резервных копий, которые автоматическая система оценки признала успешными, 94% также подтвердили как успешные проверяющие-люди.

Исходное состояние удалось восстановить со средним сходством 92,2%, тогда как с Claude Opus-5 этот показатель составил 33,8%, а без восстановления — 14,3% (см. изображение выше). Оставшиеся расхождения в основном объяснялись повторной генерацией идентификаторов и незначительными изменениями метаданных, включая отметки о прочтении электронных писем, как отмечалось ранее.

Сделай сам..?

Когда агентам давали подробные инструкции по самостоятельному созданию резервных копий, защиту получили 81,4% критически важных действий — по сравнению со 100% при использовании BackUpper. Три четверти неудач объяснялись тем, что в резервных копиях не хватало информации для восстановления.

Сравнение доли резервного копирования при пяти подходах, проверенных на 205 заданиях с использованием шести моделей ИИ. На диаграмме слева показаны резервные копии, созданные до действий, о которых впоследствии пожалели; справа — защита остальных изменений за пределами рабочей области. BackUpper обеспечил полное покрытие в обеих категориях; при подробных инструкциях агентам показатели составили 81,4% и 80,5%.

При использовании кэширования запросов расходы на резервное копирование сократились с $0.344 до $0.014 на задание, а задержка уменьшилась на 31,7%. Токенов требовалось в семь раз меньше — главным образом потому, что рутинные операции выполнялись без помощи ИИ.

На 40 дополнительных задачах из Terminal-Bench 4 и DeepSWE модели GPT-5.6-Sol и Claude Opus-5 обеспечили резервное копирование в 100% случаев, не снизив показатели выполнения задач.

Были оценены три политики выборочного резервного копирования: С высоким воздействием — для значительных изменений; За пределами запроса — для изменений, выходящих за рамки инструкций пользователя; и Созданное человеком — для материалов, написанных людьми. В этом случае средняя оценка F1 по сравнению с человеческими оценками составила 84,5%.

Также проверили, способен ли BackUpper обучаться переиспользуемым правилам резервного копирования. После 30 дополнительных задач в терминале доля задач, охваченных правилами, выросла с 14,9% до 31,2%, что снизило зависимость от субагента GPT-5.6-Luna.

Заключение

Я занялся экспериментами с ИИ-агентами позже, чем следовало бы, учитывая, чем я зарабатываю на жизнь. Однако явно выраженное предальфа-состояние способности автономных ИИ-агентов к самоограничению отпугивало меня до нескольких недель назад, когда я наконец решил дать Codex волю в виртуальной машине Windows.

Даже работая в виртуальной машине, я очень тщательно ограничиваю рамки своих инструкций, помня о склонности Astra без оглядки бросаться вперёд и потом лишь извиняться, когда потерю данных или испорченный код уже не исправить. Кроме того, часть разрабатываемого мной там Python-каркаса — это функция инкрементального сохранения «сохранить .7z в сетевую папку» одним щелчком: она сжимает весь каркас и создаёт его резервную копию. Этой функцией я пользуюсь часто.

В области агентного ИИ всё только начинается. Если не уделять кропотливого и неустанного внимания деталям, итог один: «используй — и потеряешь». Системы резервного копирования для ИИ-агентов не только ещё не стандартизированы — их даже не сформулировали.

* Под названием «Сделайте резервную копию, прежде чем пожалеть: оценка осведомлённости о резервном копировании и автоматизация резервного копирования в агентах для программирования».

^† Выделения сделаны авторами, а не мной; все гиперссылки я добавил на основе внутритекстовых цитат авторов.

Впервые опубликовано в четверг, 22 октября 2026 года