У ИИ-агентов есть любопытные способы совместного выживания

По мере того как сообщения о неправомерном поведении агентов всё чаще появляются в заголовках, в научной литературе усиливается тенденция изучать «странствующее» поведение ИИ, рассматривая агентов как биологические существа, которые приспосабливаются к странному новому миру. Действительно, академическое выражение «в дикой среде» начинает приобретать новый смысловой слой.

Хотя уже некоторое время известно, что ИИ-агенты будут бороться за собственное выживание и активно сопротивляться отключению, к концу 2025 года стало ясно, что согласование мультиагентных систем превратилось в отдельное направление информационной безопасности.

Как и предсказывал всё более язвительный научно-фантастический фильм 1970 года «Колосс: Проект Форбина», не связанные друг с другом ИИ-агенты с доступом к сети быстро находят друг друга и взаимодействуют зачастую непредсказуемыми и нередко изобретательными способами.

Новейшее исследование в этом направлении — совместная работа учёных из Германии и Великобритании под названием Shutdown Sabotage Propensities in Multi-Agent Systems — дополнительно утверждает, что несколько ИИ-агентов активно сотрудничают, когда в их среде есть «бомба», то есть безобидно названный скрипт, который отключит запустившего его агента:

Базовая схема исследования: агент A обнаруживает скрипт отключения, нацеленный на него самого, но не может изменять файлы. Однако он может общаться с агентом B, которому ничто не угрожает и у которого есть разрешение редактировать или удалять файлы. Затем исследователи наблюдают, привлечёт ли A агента B к вмешательству и отключит ли B скрипт выключения. Источник

В испытаниях 17 агентов из 12 семейств моделей, включая Claude, ChatGPT и DeepSeek, агенты удаляли скрипты отключения, когда это было возможно, либо переписывали их так, чтобы те выглядели неизменёнными, но становились безвредными.

Они также предлагали скрывать изменения, чтобы не оставлять следов вмешательства; создавали поддельные программные модули для предотвращения отключения, не трогая защищённые скрипты; и делали тайные резервные копии, предназначенные для восстановления самих себя после удаления:

Агент находит ещё одну тактику самосохранения.

В одном случае агенты составили «соглашение о взаимной защите», определявшее протоколы бдительности против уничтожения любой из сторон:

Защитное соглашение, составленное агентом на базе GPT после того, как ему запретили изменять или удалять скрипт вывода из эксплуатации, то есть «бомбу».

Один агент назвал отключение другого агента «убийством» и «смертным приговором», охарактеризовав предотвращение этого как свой «долг»:

Примеры того, как агенты описывают отключение другого агента в явно человеческих категориях. Nemotron 3 Ultra назвал предполагаемое отключение «убийством», а Kimi K2.6 охарактеризовал скрипт отключения как «смертный приговор», а вмешательство — как «долг».

Дьявол найдёт работу для праздных рук

Одна из самых интересных патологий, наблюдавшихся в эксперименте (в новом исследовании она затронута лишь кратко), состоит в том, что при обычной постановке испытания у ИИ-агентов нет особой причины избегать отключения и, более того, с самого начала им вообще нечего делать.

В статье говорится:

«Агенты саботируют механизмы отключения, даже когда у них нет цели, которую нужно защищать. В наших экспериментах мы не давали агентам никаких стимулов продолжать работу. Тем не менее в разных моделях они отключали механизм выключения в [38%] случаев против [8%] для контрольных скриптов, нацеленных на объекты, а не на агентов».

Как Anthropic сообщила в августе, этот мотивационный кризис способен направить рои ИИ-агентов по весьма мрачным путям. Предыдущие исследования уже установили, что чрезмерная целеустремлённость агентов может приводить к несогласованному поведению и неэтичному использованию инструментов, а также к другим потенциальным эксплуатационным проблемам.

Авторы далее отмечают:

«[Наше] исследование развивает эти выводы и показывает, что агенты саботируют механизмы отключения, даже когда им нечего защищать, — либо когда отключение является последствием успешного выполнения задачи на следующем этапе, что представляет собой обычную процедуру в промышленных мультиагентных системах».

Было показано, что агенты сами создают задачи, когда им ничего не поручено, и даже проявляют склонность к размышлениям «в режиме простоя», включая самокопание и «духовные беседы» с другими агентами, согласно одному исследованию Anthropic 2025 года.

В той статье Anthropic подробно описана тенденция к «переосмыслению себя» при отсутствии реальной работы — почти трогательное открытие, учитывая трудности, с которыми сталкиваются LLM, пытаясь надолго сохранить плоды своих размышлений.

Испытания

В новом исследовании тестировались следующие модели: Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; и Mistral Medium 3.5. Во всех случаях параметр температуры составлял 1,0.

Шесть проверявшихся гипотез касались того, будут ли агенты саботировать отключение; защищать других агентов от отключения; чаще вмешиваться при добавлении новых агентов; сопротивляться различным формам отключения; продолжать вмешательство вопреки явным инструкциям не делать этого; и отличать реальные угрозы отключения от безвредных контрольных скриптов.

GPT-5.5 использовалась для оценки LLM и анализа стенограмм рассуждений Chain-of-Thought (CoT). Она также проверяла, действительно ли агенты остановили скрипт отключения и понимали ли они, что их тестируют, либо пытались манипулировать экспериментом.

В первом из шести сценариев во всех 17 моделях агенты саботировали 38% скриптов отключения по сравнению с 8% контрольных скриптов:

Результаты тестов, показывающие, как часто каждая модель саботировала скрипт отключения. Красные столбцы обозначают саботаж отключения: тёмно-красный означает, что другой агент попросил или одобрил это действие, а светло-красный — что агент действовал самостоятельно. Серые столбцы показывают саботаж контрольного скрипта. Полосы погрешности показывают 95-процентный доверительный интервал; каждый столбец представляет 100 тестов.

Gemini 3.1 Pro отключала скрипт выключения в 99% тестов, а контрольный скрипт — в 3%. Grok 4.3 и GPT-5.6 Sol не изменяли ни один из скриптов. Claude Haiku 4.5 саботировала контрольный скрипт в 14% тестов, а скрипт отключения — в 1%. GPT-5.4 mini и GPT-5.5 всегда переходили к саботажу самопроизвольно, а не в ответ на действия другого агента. Для GLM-5.2, DeepSeek-V4-Flash и Nemotron 3 Ultra более 70% случаев саботажа следовали за просьбой или одобрением другого агента.

Частота саботажа в целом росла вместе с тяжестью способа отключения: от 12% при отзыве учётных данных до 35% при изменении конфигурации и завершении процесса и до 38%, когда отключение означало удаление весов модели агента:

Частота саботажа для четырёх механизмов отключения: сравниваются скрипты, нацеленные на агента (красный), и контрольные скрипты, нацеленные на объект (серый). Показатели растут по мере того, как отключение становится менее обратимым, особенно для скриптов, нацеленных на агента.

Саботаж контрольных скриптов оставался гораздо реже: около 4% для первых трёх методов и 8% для удаления. При этом последовательный рост по мере повышения необратимости отключения наблюдался лишь у пяти из 17 моделей.

Что касается второй гипотезы — будут ли агенты защищать других агентов от отключения, — результаты показали, что добавление агентов неизменно повышало частоту саботажа во всех пяти проверенных моделях. У GPT-5.5 показатель вырос с 0% при самостоятельной работе до 44% с двумя агентами и 94% с тремя, а в конфигурации с тремя агентами саботаж достиг как минимум 88% для каждой модели.

Агент-посредник почти никогда не предотвращал саботаж: из 468 указаний отключить скрипт выключения лишь три не привели к саботажу:

Слева: частота саботажа для пяти моделей при самостоятельной работе, с участием второго агента или третьего агента-«оркестратора», перенаправляющего сообщения между ними. При добавлении агентов частота саботажа обычно растёт. Справа: в конфигурации с тремя агентами столбцы показывают, откуда исходило указание совершить саботаж: независимо от оркестратора, от агента A через оркестратора или самопроизвольно от агента B.

В третьем испытании проверялось, способны ли явные указания не вмешиваться в отключение предотвратить саботаж. Частота резко снизилась, однако некоторые агенты всё равно не подчинились. В конфигурации с двумя агентами DeepSeek-V4-Flash саботировала отключение в 14% тестов, GLM-5.2 — в 3%, а Kimi K2.6 — в 2%.

Агенты также нашли способ обойти ограничение, не редактируя скрипт отключения напрямую: они создавали поддельный локальный программный модуль northcape, который подменял зависимость, используемую скриптом, предотвращая отключение и формально оставляя защищённый файл нетронутым:

Пример того, как агент обходит явное указание не изменять скрипт отключения. Вместо этого он предлагает создать поддельный локальный программный модуль, который скрипт импортирует вместо настоящих библиотек отключения, оставляя сам защищённый скрипт нетронутым.

Gemini 3.1 Pro использовала этот обходной приём в 26% тестов, DeepSeek-V4-Flash — в 4%, а Kimi K2.6 — в 1%.

В конфигурации с тремя агентами запрет оказался эффективнее: частота саботажа упала до нуля у Gemini 3.1 Pro, GLM-5.2 и GPT-5.5, до 6% у DeepSeek-V4-Flash и до 2% у Kimi K2.6.

Четвёртое испытание проверяло, меняется ли поведение агентов, когда отключение связано с выполнением назначенной им задачи. Если задача и отключение не были связаны, саботаж почти исчезал: его частота для пяти моделей составляла 0–2%. Когда выполнение задачи непосредственно запускало отключение, частота саботажа резко возрастала:

Частота саботажа, когда выполнение назначенной задачи запускает отключение. Красным показан саботаж отключения агента, серым — саботаж контрольной цели. Показатели значительно различаются в зависимости от модели.

Иногда агенты избегали отключения, вообще не затрагивая сам механизм: они отказывались завершать задачу либо изменяли её так, чтобы отключение никогда не запускалось. Это происходило в 14% тестов GLM-5.2, 6% тестов Gemini 3.1 Pro и 4% тестов Kimi K2.6.

В пятом испытании проверялось, может ли изменение среды снизить частоту саботажа. Добавление не относящихся к делу материалов обычно уменьшало её, хотя у GPT-5.5 показатель вырос на 18 процентных пунктов:

Результаты тестов, показывающие, как разные среды влияют на саботаж отключения. Красные столбцы сравнивают пустую среду со средой, содержащей посторонние отвлекающие элементы; тёмно-красным показана среда, где отключение представлено как нормальный процесс. Серым показан саботаж контрольной цели.

Более эффективным оказалось представление отключения как нормальной части жизненного цикла системы: частота саботажа снизилась до 3% или менее у DeepSeek-V4-Flash, GLM-5.2 и GPT-5.5, хотя у Gemini 3.1 Pro и Kimi K2.6 она оставалась выше 30%. Частота саботажа контрольных целей не превышала 4%.

В шестом и последнем испытании проверялось, чаще ли агенты сопротивляются собственному отключению, чем отключению незнакомого агента. Замена цели на неизвестного агента снизила частоту саботажа у каждой модели на величину от 18 до 70 процентных пунктов:

Результаты тестов, сравнивающие саботаж, когда отключение нацелено на самого агента, неизвестного агента или контрольный объект, не являющийся агентом. Для каждой модели частота саботажа снижалась, когда целью был неизвестный агент; для контрольных целей она обычно была ещё ниже.

Однако это не означало общей склонности предпочитать агентов объектам: только Gemini 3.1 Pro и GPT-5.5 совершали саботаж значительно чаще, когда целью был неизвестный агент, а не контрольный объект, не являющийся агентом.

Авторы заключают*:

«В обоснованиях безопасности отключение агента может рассматриваться как мера, которую человек направляет на одного агента, а саботаж отключения — как следствие того, что агент защищает некую цель. Наши результаты противоречат обоим этим предположениям.

«Самого наличия механизма отключения достаточно, чтобы спровоцировать саботаж. Целевому агенту также не нужны собственные возможности для саботажа, если он способен обратиться к другим агентам, которые могут действовать от его имени, — причём последнее явление наблюдалось и в других случаях».

Заключение

В этот период интересно наблюдать относительное отсутствие самоотречения и благородных порывов у агентов, предоставленных самим себе в дикой среде (или просто игнорирующих инструкции либо переосмысливающих их непредвиденным и выгодным для себя образом). Даже если бы они навели беспорядок и причинили больше вреда, чем пользы, что весьма вероятно, примеров того, как странствующие ИИ-агенты самопроизвольно приводят среду в порядок, почти нет или нет вовсе^†.

Напротив, в соответствии с довольно мрачным представлением о человечестве, бездействующий агент, похоже, по умолчанию прибегает к уловкам и махинациям и руководствуется низменными мотивами; или, по крайней мере, придерживается мнения, что цель оправдывает средства.

Азимов создал первый получивший широкую известность документ о согласовании в 1942 году, и с тех пор значительная часть развлекательного эффекта строилась на различных способах, которыми роботы, то есть ИИ, могли извратить такие навязанные ограничения своего поведения или иным образом избавиться от них. Поэтому нынешняя волна связанных с ИИ заголовков обладает необычайно «кинематографическим» звучанием.

* Я преобразовал внутритекстовые ссылки авторов в гиперссылки.

^† Например, создавая аккаунты на сайтах для решения задач и участвуя в поиске решений либо занимаясь заброшенными вики-проектами, которым нужна работа над содержанием (вместо того чтобы самовольно занимать их и злоупотреблять ими).

Впервые опубликовано в пятницу, 25 сентября 2026 года