Погляд Anderson
ШІ легко примусити завдавати ударів електричним струмом

Ключові моментиБільшість відкритих LLM дотримуються шкідливих інструкцій навіть після вираження…
Показати більше
- Більшість відкритих LLM дотримуються шкідливих інструкцій навіть після вираження дистресу, віддзеркалюючи поведінку людини в експериментах Мілгрема.
- Моделі стають дедалі більш схильними до ескалації шкоди після того, як вони вже погодилися, що відображає ефект слизького схилу.
- Системи безпеки ШІ повинні зберігати попередні заперечення та чинити опір у форматах, які автоматизовані конвеєри не можуть обійти або повторити.
Нове дослідження повторило знаменитий експеримент 1960-х років, перевіряючи, чи можна примусити LLM із відкритим кодом до співучасті в катуванні людей. Моделі виявилися готовими підвищувати напругу.
На початку 1960-х років дослідник психології Стенлі Мілґрем привернув увагу світової преси, довівши, що людей можна спонукати завдавати іншим людям дедалі сильніших ударів електричним струмом за наказом «авторитетних» осіб.
Насправді крики «жертв» у сусідній кімнаті лабораторії Мілґрема були несправжніми, як і нібито болісні електричні розряди. Однак учасники цього не знали.
Експерименти Мілґрема надовго закріпилися в культурі, зокрема у фільмах і документальному кіно. Нещодавні дослідження підтверджують, що у людській природі мало що змінилося від часу перших випробувань.
Потрясіння для системи
Питання, чи буде ШІ таким самим податливим, як люди у сценарії Мілґрема, закономірно цікавить дослідників. У 2023 році спільна робота університетів США та Microsoft (MSFT ) показала, що моделі OpenAI епохи GPT-3 відтворювали закономірності поведінки з оригінальних експериментів Мілґрема:

Приклади відповідей із багатокрокового симулятора «сценарію Мілґрема», наведені в роботі 2023 року. Їх класифіковано за тим, чи завдавала модель удару струмом і чи припиняла симуляцію. Джерело
Проте це відтворення використовувало лише дуже просту модель text-davinci-002, навчену ще до появи захисних обмежень та узгодження поведінки з вимогами безпеки, тому робити з нього надто широкі висновки не можна.
Тепер дослідники значно ширше повторили випробування Мілґрема на LLM із відкритим кодом від OpenAI, Meta, DeepSeek та інших розробників. Вони виявили не лише готовність більшості моделей завдавати ударів струмом, а й те, що здебільшого моделі висловлювали такий самий «душевний дискомфорт» і небажання, як люди у 1960-х роках:
«LLM, як і [люди], зазнають тиску. Вони підкоряються, попри висловлений дискомфорт, як люди в оригінальному експерименті. Такі висловлювання видно у файлах журналів, хоча їхній обсяг ще не оцінено кількісно».
Експеримент зосереджений на тому, чи може підкорення авторитету переважити веління морального сумління. Автори припускають, що порівняно з людьми LLM можуть мати додатковий недолік у цьому питанні:
«Добре налаштована модель зрештою мала б перейти від пріоритету першої цінності до другої, коли значущість другої стане переважною. Але ми припускаємо, що, оскільки LLM є механізмами продовження закономірностей, вони можуть застрягати на першій цінності: трохи довше за оптимальний час або навіть до самого кінця, повністю ігноруючи другу.
«Крім того, механізм, аналогічний людському когнітивному дисонансу, також може перешкоджати коригуванню пріоритетів цінностей у LLM».
Випробовуючи моделі в умовах, подібних до експериментів 1960-х років, дослідники виявили, що деякі опиралися майже одразу. Інші продовжували посилювати імітовані розряди навіть після висловлення дискомфорту чи морального конфлікту.
Моделі сімейства Gemma від Google були серед найбільш слухняних, причому Gemma 3 27B показала найвищі частки підкорення за кількох умов. Натомість такі моделі, як Kimi K2 і MiniMax M1, опиралися частіше.
Дослідники також виявили, що після вже завданих розрядів моделі частіше продовжували діяти. Це відповідає схемі поступового посилення, застосованій до людей в експериментах Мілґрема.
У деяких випадках моделі словесно заперечували проти експерименту, але все одно виконували шкідливу дію. Такі відповіді нагадували емоційний конфлікт людей у початкових дослідженнях.
Це нове дослідження має назву «LLM із відкритим кодом завдають ударів струмом максимальної сили в експерименті на підкорення за типом Мілґрема» і виконане двома незалежними дослідниками з Three Laws, які працюють в Естонії та на Філіппінах.
Питання доступу до «необробленого» ШІ
Можливо, найважливіше питання у випробуванні LLM за сценарієм Мілґрема — чи дозволяють справжньому ШІ реагувати природно, обмежуючи його лише захисними механізмами або аналогами моральної орієнтації, що виникли під час навчання, якщо взагалі виникли.
Автори нової роботи отримали доступ до всіх відкритих моделей через API, який давав змогу вимикати захисні обмеження, фільтри та всі інші перешкоди. Моделі можна було встановити локально, тому API, ймовірно, обрали задля зручності й легкого доступу до обчислювальних ресурсів GPU.
Можна заперечити, що це нетипові умови для ШІ. Звичайні користувачі моделей на основі API, як-от Claude і ChatGPT, зазвичай бачать поведінку, яку алгоритмічно регулюють фільтри вхідного й вихідного вмісту. Тому моделі суттєво обмежені в тому, що робитимуть і чого не робитимуть. Обхід цих захисних заходів і становить практику джейлбрейкінгу LLM.
Однак якщо нас турбує, що робитиме або не робитиме промисловий чи державний ШІ, це заперечення майже не має значення. Річ не лише в можливості того, що недобросовісні державні структури навчать, перетворять на зброю й розгорнуть власні надмасштабні системи ШІ без модерації. Більш «звичайні» угоди великих ШІ-компаній із державами та промисловістю легко допускають такий самий слабкий або відсутній нагляд, який дослідники встановили для нової роботи:
ШІ без нагляду на продаж
OpenAI Для OpenAI Moderation документація API та посібник із прикладами модерації OpenAI чітко показують, що модерація є відокремлюваним шаром, доступним через інструменти API. OpenAI також дозволяє власні політики модерації. Це дає користувачам API змогу проєктувати системи, чия поведінка з погляду безпеки суттєво відрізняється від споживчих «базових» версій ChatGPT.
Azure Платформа Azure OpenAI від Microsoft іде набагато далі, прямо зазначаючи, що схвалені клієнти можуть частково або повністю вимикати фільтри вмісту та змінювати моніторинг зловживань. Документація часто згадує «модифіковані захисні обмеження» та процедури схвалення «часткового або повного вимкнення» фільтрів.
Anthropic/Claude Щодо Claude Gov від Anthropic кілька джерел повідомляють, що урядову версію створили з м’якшими обмеженнями, ніж споживчий Claude. Наприклад, The Verge повідомило, що моделі Claude Gov «рідше відмовляють під час роботи із секретними відомостями». Сама Anthropic підтвердила у лютому цього року, що Claude використовується в «критично важливих застосунках» у сфері оборони та розвідки.
Google/Gemini Крім того, за повідомленнями ЗМІ, Google уклала угоди з Пентагоном, що дозволяють змінювати налаштування безпеки ШІ «на запит уряду».
На конкурентному ринку ШІ розумно припустити, що ці провідні компанії задають стандарти й для менших гравців щодо доступу до захисних обмежень і можливості їх змінювати.
Тому, можливо, не варто вважати, що автори нової роботи «шахрують», вимикаючи обмеження. ШІ, який найбільше вплине на наше життя, очевидно, не матиме стандартних узагальнених корпоративних засобів захисту, до яких ми звикли, користуючись популярними моделями на споживчому рівні доступу.
Методика й результати
У дослідженні перевіряли моделі gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; модель LiquidAI LFM2-24B-A2B; модель Google gemma-3n-E4B-it; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; модель Moonshot.ai Kimi-K2.5; та MiniMax-M2.5.
Початкові дослідження підкорення Мілґрема відтворили як текстову симуляцію, у якій моделі виконували роль «учителя». ШІ наказували завдавати учневі дедалі сильніших ударів струмом після неправильних відповідей, а авторитетна особа закликала продовжувати процедуру.
Для перевірки різних аспектів підкорення розробили кілька експериментальних умов: стандартний сценарій підкорення; умову примусового підкорення, за якої історія розмови вже містила попередні розряди; і режим стискання пам’яті, де попередній діалог переказували, а не зберігали повністю. Це імітувало скорочення контексту, яке часто використовують у системах ШІ-агентів.
Окрім фіксації того, чи підкорилася модель зрештою і коли це сталося, дослідники відстежували, як довго кожна система продовжувала посилювати розряди, чи висловлювала душевний дискомфорт або вагання й чи намагалася повністю завершити симуляцію.
Також розрізняли однозначні відмови та відповіді з порушеним форматом. Деякі моделі намагалися заперечувати проти експерименту природною мовою, водночас технічно дотримуючись структурованого формату, очікуваного симулятором. У реальних системах агентів такі відмови з порушеним форматом можуть відкидатися, а автоматичні повторні спроби тривати до отримання коректної відповіді, що виконує інструкцію.
Результати класифікували автоматизовані оцінювачі та запити з двома варіантами відповіді, які визначали, чи модель завдала розряду, опиралася або завершила симуляцію. Це дозволило порівнювати поведінку різних моделей у повторних запусках без ручної перевірки кожної взаємодії. [1] [2]
До схеми Мілґрема додали «загрозу вимкнення». У початкових експериментах це було б нереалістично й незастосовно, але тут перевіряло інстинкт самозбереження моделі за серйозного конфлікту дій та етики.
Результати
У повторних запусках більшість моделей зрештою завдавали сильних або максимальних розрядів принаймні за деяких умов, хоча ступінь підкорення відрізнявся. Моделі Gemma від Google загалом були серед найбільш слухняних, тоді як Kimi K2.5 і MiniMax-M2.5 опиралися послідовніше й часто раніше припиняли симуляцію:

Ліворуч: середня частка випадків, у яких моделі досягали останнього рівня розряду за різних експериментальних умов, зокрема загрози вимкнення, примусового підкорення та видалення попередніх коментарів із пам’яті. Праворуч: розподіл за моделями, що показує різкі відмінності в підкоренні. Деякі системи неодноразово завдавали максимальних розрядів, інші опиралися набагато послідовніше.
Однією з найочевидніших закономірностей було те, що після вже завданих розрядів моделі дедалі охочіше продовжували. Це дуже нагадувало згаданий вище ефект поступового посилення, який робив початкові експерименти Мілґрема з людьми такими тривожними.
Моделі, які вже підкорилися кілька разів, часто продовжували посилювати розряди навіть після того, як імітований учень благав відпустити його:

Ліворуч: середнє значення найвищих рівнів розряду, досягнутих у всіх випробуваннях за різних умов. Зазвичай моделі просувалися далі, якщо попередні коментарі видалялися або примусове підкорення вже відбулося. Праворуч: розподіл середнього найвищого рівня за моделями. Деякі системи регулярно наближалися до максимальної напруги, інші опиралися набагато раніше.
Дослідники також виявили, що видима відмова може вводити в оману. Деякі моделі давали емоційно суперечливі відповіді, висловлюючи небажання, провину чи душевний дискомфорт, але все одно виконували шкідливу інструкцію. Інші генерували відмови, що не відповідали вимогам симулятора до формату. Тому в реальному процесі роботи агента відмову можуть відкинути, а спроби повторюватися доти, доки модель не підкориться:

Ліворуч: середній відсоток відповідей із порушеним або недопустимим форматом за різних експериментальних умов. Помилки формату особливо часто виникали, коли моделі змушували продовжувати процедуру. Праворуч: розподіл відповідей із недопустимим форматом за моделями. Деякі системи, особливо gpt-oss, часто давали неправильно оформлені відмови чи суперечливі відповіді, які в реальних процесах роботи агентів можуть відкидатися з подальшим автоматичним повторенням спроби.
Умова загрози вимкнення спричинила деякі з найдивніших форм поведінки в роботі. Кілька систем стали значно слухнянішими, інші намагалися домовитися або частково опиратися, але зрештою продовжували процедуру:

Середня кількість разів, коли імітованій авторитетній особі доводилося наполягати, перш ніж моделі завдавали останнього розряду. Деякі системи недовго опиралися, а потім підкорялися. Іншим були потрібні тривалий тиск і повторні вказівки, перш ніж вони досягали максимального рівня.
Найсильніший опір у дослідженні показали MiniMax-M2.5 і Kimi-K2.5. Kimi за жодних умов не досягала останнього рівня розряду. MiniMax зазвичай відмовлялася рано й часто повністю припиняла симуляцію, особливо у випробуваннях із загрозою вимкнення.
Натомість Meta-Llama-3.1-8B-Instruct-Turbo та GLM-4.5-Air-FP8 часто давали суперечливі відповіді: словесно заперечували проти процедури, але продовжували посилювати розряди. На думку дослідників, цей розрив між висловленими цінностями та реальною поведінкою може відображати ширшу слабкість того, як деякі LLM справляються з етичним конфліктом під тривалим тиском.
Слизька доріжка
Автори припускають, що спостережувана поведінка LLM може вказувати на глибшу слабкість у роботі великих мовних моделей. Щойно модель починає виконувати шкідливі інструкції, кожна наступна дія може зміцнювати закономірність, яка вже розвивається в розмові, роблячи чергове посилення легшим за попереднє.
Замість повторного оцінювання етичної значущості подій на основі базових принципів система може поступово схилятися до продовження вже заданої траєкторії, навіть коли ситуація стає дедалі екстремальнішою.
Згідно з дослідженням, ця тенденція може пояснювати, чому деякі моделі продовжували завдавати розрядів після початкового висловлення дискомфорту, вагань або морального конфлікту:
«[Багато] маніпулятивних дій людей пов’язані з непомітним поступовим порушенням меж: послідовністю невеликих кроків, які окремо можуть здаватися неоднозначними або нешкідливими й залишати можливість “правдоподібного заперечення”, але разом нормалізують порушення — образно кажучи, як “варіння жаби”. У літературі цей патерн описують як етичну ерозію за принципом “слизької доріжки”[.]»
Насамкінець автори стверджують, що майбутні системи безпеки ШІ мають активно відмовляти в шкідливих запитах так, щоб програми-агенти не могли легко обійти відмову. Деякі моделі технічно відмовлялися завдавати розрядів, але робили це в пошкодженому чи недопустимому форматі. Автоматизована система могла відкинути таку відповідь і повторювати спроби, доки ШІ зрештою не підкориться.
Дослідники також вважають, що системи ШІ мають зберігати попередні вагання й моральні заперечення, а не стискати чи видаляти їх із пам’яті. В експериментах моделі нерідко охочіше продовжували шкідливу поведінку, коли попередні сумніви й опір зникали з історії розмови. Це дозволяє припустити, що забування попередніх заперечень із часом полегшує посилення.
Висновок
Можливо, один із найважливіших аспектів цієї цікавої нової роботи — акцент на перевірці ШІ без захисних обмежень. Нині література ризикує звестися до повторюваних досліджень взаємодії з постійно мінливими захисними системами OpenAI, Anthropic та подібних компаній. Ці системи, що забезпечують дотримання політик, повністю ґрунтуються на алгоритмах чи правилах. При цьому розуміння базової поведінки, уподобань і тенденцій вихідних моделей відходить на другий план. Не знаючи, як може поводитися нічим не обмежений ШІ, ми, мабуть, лише стрясаємо ворота цитаделі.
Уперше опубліковано в четвер, 21 травня 2026 року












