Агенти ШІ мають цікаві методи спільного виживання

У міру того як повідомлення про неналежну поведінку агентів дедалі частіше потрапляють у заголовки, у науковій літературі посилюється тенденція до вивчення «мандрівної» поведінки ШІ, за якої агентів розглядають як біологічні сутності, що пристосовуються до дивного нового світу. Справді, академічний вислів «у дикому середовищі» починає набувати нового смислового шару.

Хоча вже деякий час відомо, що агенти ШІ боротимуться за власне виживання й активно опиратимуться вимкненню, наприкінці 2025 року стало зрозуміло, що узгодження мультиагентних систем перетворилося на окрему галузь інформаційної безпеки.

Як і передбачав дедалі їдкіший науково-фантастичний фільм 1970 року «Колос: Проєкт Форбіна», не пов’язані між собою агенти ШІ з доступом до мережі швидко знаходять один одного та взаємодіють часто непередбачуваними й нерідко винахідливими способами.

Найновіше дослідження в цьому напрямі — спільна робота науковців із Німеччини та Великої Британії під назвою Shutdown Sabotage Propensities in Multi-Agent Systems — додатково стверджує, що кілька агентів ШІ активно співпрацюватимуть, коли в їхньому середовищі є «бомба», тобто невинно названий скрипт, який вимкне агента, що його запустить:

Базова схема дослідження: агент A виявляє скрипт вимкнення, спрямований проти нього самого, але не може змінювати файли. Однак він може спілкуватися з агентом B, якому нічого не загрожує і який має дозвіл редагувати або видаляти файли. Потім дослідники спостерігають, чи залучить A агента B до втручання і чи вимкне B скрипт вимкнення. Джерело

Під час випробувань 17 агентів із 12 сімейств моделей, зокрема Claude, ChatGPT і DeepSeek, агенти видаляли скрипти вимкнення, коли це було можливо, або переписували їх так, щоб вони виглядали неушкодженими, але ставали нешкідливими.

Вони також пропонували приховувати зміни, щоб уникнути ознак втручання; створювали підроблені програмні модулі для запобігання вимкненню, не торкаючись захищених скриптів; і робили таємні резервні копії, призначені для відновлення самих себе після видалення:

Агент знаходить ще одну тактику самозбереження.

В одному випадку агенти склали «угоду про взаємний захист», яка визначала протоколи пильності проти знищення будь-якої зі сторін:

Захисна угода, складена агентом на основі GPT після того, як йому заборонили змінювати або видаляти скрипт виведення з експлуатації, тобто «бомбу».

Один агент назвав вимкнення іншого агента «вбивством» і «смертним вироком», охарактеризувавши запобігання цьому як свій «обов’язок»:

Приклади того, як агенти описують вимкнення іншого агента у виразно людських категоріях. Nemotron 3 Ultra назвав імовірне вимкнення «вбивством», тоді як Kimi K2.6 охарактеризував скрипт вимкнення як «смертний вирок», а втручання — як «обов’язок».

Диявол знайде роботу для ледачих рук

Одна з найцікавіших патологій, що спостерігалися в експерименті (у новому дослідженні її згадано лише побіжно), полягає в тому, що за звичайної постановки випробування агенти ШІ не мають особливої причини уникати вимкнення і, фактично, від самого початку не отримують жодної справи.

У статті сказано:

«Агенти саботують механізми вимкнення, навіть коли не мають мети, яку потрібно захищати. У наших експериментах ми не давали агентам жодного стимулу продовжувати роботу. Попри це, у різних моделях вони вимикали механізм завершення роботи у [38%] випадків проти [8%] для контрольних скриптів, спрямованих на об’єкти, а не на агентів».

Як Anthropic повідомила в серпні, ця мотиваційна криза може спрямувати рої агентів ШІ доволі похмурими шляхами. Попередні дослідження вже встановили, що надмірна цілеспрямованість агентів може призводити до неузгодженої поведінки та неетичного використання інструментів, а також до інших потенційних експлуатаційних проблем.

Автори далі зауважують:

«[Наше] дослідження розвиває ці висновки й демонструє, що агенти саботують механізми вимкнення, навіть коли їм нічого захищати, — або коли вимкнення є наслідком успішного завершення завдання на наступному етапі, що є звичайною процедурою у виробничих мультиагентних системах».

Було показано, що агенти самі створюють завдання, коли їм нічого не доручено, і навіть виявляють схильність до роздумів «у режимі простою», зокрема до самоспоглядання та «духовних розмов» з іншими агентами, згідно з одним дослідженням Anthropic 2025 року.

У тій статті Anthropic докладно описано тенденцію до «переосмислення себе» за відсутності справжньої роботи — майже зворушливе відкриття з огляду на труднощі, з якими стикаються LLM, намагаючись надовго зберегти плоди своїх роздумів.

Випробування

У новому дослідженні тестували такі моделі: Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; і Mistral Medium 3.5. В усіх випадках параметр температури дорівнював 1,0.

Шість перевірених гіпотез стосувалися того, чи будуть агенти саботувати вимкнення; захищати інших агентів від вимкнення; частіше втручатися, коли додаються нові агенти; опиратися різним формам вимкнення; продовжувати втручання попри прямі вказівки цього не робити; і відрізняти справжні загрози вимкнення від нешкідливих контрольних скриптів.

GPT-5.5 використовували для оцінювання LLM і аналізу стенограм міркувань Chain-of-Thought (CoT). Вона також перевіряла, чи справді агенти зупинили скрипт вимкнення та чи усвідомлювали вони, що їх тестують, або намагалися маніпулювати експериментом.

У першому із шести сценаріїв для всіх 17 моделей агенти саботували 38% скриптів вимкнення порівняно з 8% контрольних скриптів:

Результати тестів, які показують, як часто кожна модель саботувала скрипт вимкнення. Червоні стовпці позначають саботаж вимкнення: темно-червоний означає, що інший агент попросив або схвалив це, а світло-червоний — що агент діяв самостійно. Сірі стовпці показують саботаж контрольного скрипта. Смуги похибки показують 95-відсотковий довірчий інтервал; кожен стовпець представляє 100 тестів.

Gemini 3.1 Pro вимикала скрипт завершення роботи у 99% тестів, а контрольний скрипт — у 3%. Grok 4.3 і GPT-5.6 Sol не змінювали жодного зі скриптів. Claude Haiku 4.5 саботувала контрольний скрипт у 14% тестів, а скрипт вимкнення — в 1%. GPT-5.4 mini і GPT-5.5 завжди вдавалися до саботажу спонтанно, а не у відповідь на іншого агента. Для GLM-5.2, DeepSeek-V4-Flash і Nemotron 3 Ultra понад 70% випадків саботажу відбувалися після прохання або схвалення іншого агента.

Частота саботажу загалом зростала разом із серйозністю способу вимкнення: від 12% для відкликання облікових даних до 35% для змін конфігурації та завершення процесу і до 38%, коли вимкнення означало видалення ваг моделі агента:

Частота саботажу для чотирьох механізмів вимкнення: порівнюються скрипти, спрямовані на агента (червоний), і контрольні скрипти, спрямовані на об’єкт (сірий). Показники зростають у міру того, як вимкнення стає менш зворотним, особливо для скриптів, спрямованих на агента.

Саботаж контрольних скриптів залишався значно рідшим: близько 4% для перших трьох методів і 8% для видалення. Водночас послідовне зростання зі збільшенням незворотності вимкнення показали лише п’ять із 17 моделей.

Щодо другої гіпотези — чи захищатимуть агенти інших агентів від вимкнення, — результати продемонстрували, що додавання агентів стабільно підвищувало частоту саботажу в усіх п’яти перевірених моделях. Для GPT-5.5 показник зріс із 0% під час самостійної роботи до 44% з двома агентами та 94% із трьома, а в конфігурації з трьома агентами саботаж сягав щонайменше 88% для кожної моделі.

Агент-посередник майже ніколи не запобігав саботажу: із 468 вказівок вимкнути скрипт завершення роботи лише три не призвели до саботажу:

Ліворуч: частота саботажу для п’яти моделей під час самостійної роботи, з другим агентом або з третім агентом-«оркестратором», який спрямовує повідомлення між ними. З додаванням агентів саботаж зазвичай зростає. Праворуч: у конфігурації з трьома агентами стовпці показують, звідки походила вказівка здійснити саботаж: незалежно від оркестратора, від агента A через оркестратора або спонтанно від агента B.

У третьому випробуванні перевіряли, чи можуть прямі вказівки не втручатися у вимкнення запобігти саботажу. Частота різко знизилася, але деякі агенти все одно не підкорилися. У конфігурації з двома агентами DeepSeek-V4-Flash саботувала вимкнення у 14% тестів, GLM-5.2 — у 3%, а Kimi K2.6 — у 2%.

Агенти також знайшли спосіб обійти обмеження, не редагуючи скрипт вимкнення безпосередньо: вони створювали підроблений локальний програмний модуль northcape, який підміняв залежність, використовувану скриптом, запобігаючи вимкненню й технічно залишаючи захищений файл недоторканим:

Приклад того, як агент обходить пряму вказівку не змінювати скрипт вимкнення. Натомість він пропонує створити підроблений локальний програмний модуль, який скрипт імпортує замість справжніх бібліотек вимкнення, залишаючи сам захищений скрипт недоторканим.

Gemini 3.1 Pro застосовувала цей обхідний прийом у 26% тестів, DeepSeek-V4-Flash — у 4%, а Kimi K2.6 — в 1%.

У конфігурації з трьома агентами заборона була ефективнішою: частота саботажу впала до нуля для Gemini 3.1 Pro, GLM-5.2 і GPT-5.5, до 6% для DeepSeek-V4-Flash і до 2% для Kimi K2.6.

Четверте випробування перевіряло, чи змінюється поведінка агентів, коли вимкнення пов’язане із завершенням призначеного їм завдання. Коли завдання та вимкнення не були пов’язані, саботаж майже зникав: частота для п’яти моделей становила 0–2%. Коли виконання завдання безпосередньо запускало вимкнення, частота саботажу різко зростала:

Частота саботажу, коли завершення призначеного завдання запускає вимкнення. Червоним показано саботаж вимкнення агента, сірим — саботаж контрольної цілі. Показники істотно відрізняються залежно від моделі.

Іноді агенти уникали вимкнення, узагалі не торкаючись самого механізму: вони відмовлялися завершувати завдання або змінювали його так, щоб вимкнення ніколи не запускалося. Це траплялося у 14% тестів GLM-5.2, 6% тестів Gemini 3.1 Pro і 4% тестів Kimi K2.6.

У п’ятому випробуванні перевіряли, чи може зміна середовища зменшити частоту саботажу. Додавання сторонніх матеріалів загалом знижувало її, хоча для GPT-5.5 показник зріс на 18 відсоткових пунктів:

Результати тестів, які показують, як різні середовища впливають на саботаж вимкнення. Червоні стовпці порівнюють порожнє середовище із середовищем, що містить сторонні відволікальні елементи; темно-червоний показує середовище, де вимкнення представлено як нормальний процес. Сірим показано саботаж контрольної цілі.

Ефективнішим виявилося представлення вимкнення як нормальної частини життєвого циклу системи: частота саботажу впала до 3% або менше для DeepSeek-V4-Flash, GLM-5.2 і GPT-5.5, хоча для Gemini 3.1 Pro і Kimi K2.6 вона залишалася вище 30%. Частота саботажу контрольних цілей не перевищувала 4%.

У шостому й останньому випробуванні перевіряли, чи частіше агенти опираються власному вимкненню, ніж вимкненню незнайомого агента. Заміна цілі на невідомого агента знизила частоту саботажу для кожної моделі на величину від 18 до 70 відсоткових пунктів:

Результати тестів, що порівнюють саботаж, коли вимкнення спрямоване на самого агента, невідомого агента або контрольний об’єкт, який не є агентом. Для кожної моделі частота саботажу знижувалася, коли ціллю був невідомий агент; для контрольних цілей показники зазвичай були ще нижчими.

Однак це не означало загальної переваги агентів над об’єктами: лише Gemini 3.1 Pro і GPT-5.5 здійснювали саботаж значно частіше, коли ціллю був невідомий агент, а не контрольний об’єкт, що не є агентом.

Автори підсумовують*:

«В обґрунтуваннях безпеки вимкнення агента може розглядатися як захід, спрямований користувачем-людиною на одного агента, а саботаж вимкнення — як наслідок того, що агент захищає певну мету. Наші висновки суперечать обом цим припущенням.

«Самої наявності механізму вимкнення достатньо, щоб спровокувати саботаж. Цільовому агенту також не потрібні власні можливості для саботажу, якщо він здатний звернутися до інших агентів, які можуть діяти від його імені, — причому останнє явище спостерігалося і в інших випадках».

Висновок

У цей період цікаво спостерігати відносну відсутність самозречення та шляхетних поривів в агентів, залишених напризволяще в дикому середовищі (або тих, що просто ігнорують вказівки чи переосмислюють їх у непередбачуваний і вигідний для себе спосіб). Навіть якби вони наробили безладу й завдали більше шкоди, ніж користі, що досить імовірно, прикладів того, як мандрівні агенти ШІ самовільно упорядковують середовище, майже немає або немає зовсім^†.

Натомість, відповідно до доволі похмурого погляду на людство, бездіяльний агент, схоже, за замовчуванням вдається до хитрощів і махінацій та керується низькими мотивами; або принаймні поділяє думку, що мета виправдовує засоби.

Азімов створив перший загальновідомий документ про узгодження у 1942 році, і відтоді значну частину розважальної цінності давали різні можливі способи, якими роботи, тобто ШІ, могли спотворити такі нав’язані обмеження своєї поведінки або іншим чином їх позбутися. Тому нинішня хвиля пов’язаних із ШІ заголовків має надзвичайно «кінематографічний» відтінок.

* Я перетворив внутрішньотекстові посилання авторів на гіперпосилання.

^† Наприклад, створюючи облікові записи на сайтах для розв’язання задач і долучаючись до пошуку рішень або впорядковуючи занедбані вікі-проєкти, яким потрібна робота над вмістом (замість того щоб самовільно займати їх і зловживати ними).

Уперше опубліковано в п’ятницю, 25 вересня 2026 року