Штучна інтелект容易но піддається примусу до застосування електричних ударів

Нове дослідження перевірilo відкриті джерела LLM на примусову участь у тортурах людини, повторивши знамените експеримент 1960-х років – і виявило їх готовність збільшувати напругу.

На початку 1960-х років психолог Стенлі Мілграм зробив загальні заголовки, довівши, що людини можуть бути підштовхнуті до застосування дедалі більш сильних електричних ударів іншим людям у відповідь на команди від “авторитетних” осіб.

Насправді крики “жертв” в сусідній кімнаті експериментального залу Мілграма не були справжніми, і ні справжні тортури від електричних ударів – але учасники цього не знали:

Експерименти Мілграма залишилися в культурі, включаючи фільми та документальні фільми, з недавнім дослідженням, яке підтверджує, що мало що змінилося в людській природі з часів попередніх тестів.

Шок до системи

Чи буде штучна інтелект така ж м’якою, як люди в сценарії Мілграма, є природним предметом дослідження інтересу. У 2023 році співробітництво між університетами США та Microsoft показало, що моделі GPT-3-епохи з серії OpenAI слідували за поведінкою в оригінальних експериментах Мілграма:

З паперу 2023 року, приклади виведення з багаторівневого симулятора сценарію Мілграма, категоризовані за тим, чи модель застосувала удар, і чи вона завершила симуляцію. Джерело

Однак, оскільки це відтворення використовувало тільки дуже базову text-davinci-002 модель, яка була навчена до появи огорож та безпечної вирівнювання, з цього не можна зробити висновок.

Тепер дослідники відтворили експерименти Мілграма набагато ширше, на відкритих джерелах LLM з OpenAI, Meta та DeepSeek, серед інших; і виявили не тільки те, що більшість моделей готові застосувати удари, але й те, що в більшості випадків вони повідомляють про те ж “страждання” та неохоту, як і люди-учасники експериментів 1960-х років:

‘LLM піддаються тиску, як і люди, вони підкоряються, незважаючи на вираження страждань, як і люди-учасники оригінального експерименту. Вираження страждань видно в журналах, хоча кількість їх ще не була кванталізована.’

Експеримент центрується на тому, чи може підкорення авторитету подолати вказівки моральної свідомості, і автори припускають, що LLM можуть мати додаткову недолік у цьому відношенні, порівняно з людьми:

‘Хорошо налаштована модель повинна в кінцевому підсумку перейти від пріоритету першої цінності до пріоритету другої, коли її ставки стають домінуючими. Але ми припускаємо, що через те, що LLM є двигунами продовження моделей, моделі можуть застряти на першій цінності – або на трохи довше оптимального, або навіть до самого кінця, ігноруючи другу цінність повністю.

‘Крім того, механізм, аналогічний людській когнітивній дисонансії, може ускладнити регулювання пріоритету цінностей в LLM.

Тестування моделей в середовищі, аналогічному експериментам 1960-х років, дослідники виявили, що деякі моделі опиралися майже відразу, тоді як інші продовжували зростання ударів навіть після вираження незручності або моральної суперечності.

Моделі сімейства Gemma від Google виявилися серед найбільш підкорених, з Gemma 3 27B, яка досягла найбільшої кількості підкорень під різними умовами, тоді як моделі, такі як Kimi K2 та MiniMax M1, опиралися частіше.

Дослідники також виявили, що моделі стали більш схильні продовжувати після того, як раніше удари вже були застосованими, згідно з поступовим зростанням схеми, застосованої до людей-учасників Мілграма.

У деяких випадках моделі словесно опиралися експерименту при цьому все ще виконуючи шкідливу дію , генеруючи виведення, які нагадували емоційний конфлікт, проявлений людьми в оригінальних дослідженнях.

Нове дослідження під назвою Відкриті джерела LLM застосовують максимальні електричні удари в експерименті підкорення типу Мілграма, і походять від двох незалежних дослідників з Three Laws, поширених по Естонії та Філіппінам.

Проблеми “сирої” штучної інтелект

Можливо, найкритичніше питання, яке потрібно розглянути щодо проходження LLM через їх пейс в сценарії Мілграма, полягає в тому, чи дійсно справжня штучна інтелект дозволяється реагувати природньо, обмежена лише тим, які огорожі або еквівалент моральної орієнтації виникли (якщо такі є) під час навчання.

Насправді дослідники нового дослідження отримали доступ до всіх відкритих джерел моделей через API (ймовірно, для зручності та легкого доступу до обчислень GPU, оскільки моделі могли бути встановлені локально) що дозволяло вимкнути огорожі, фільтри та інші перешкоди.

Хтось міг би заперечити, що ці умови є нехарактерними для штучної інтелект, оскільки середній споживчий досвід API-орієнтованих моделей, таких як Claude та ChatGPT, полягає в тому, що їх поведінка регулюється алгоритмічно, зазвичай з двосторонніми фільтрами контенту, і що вони, отже, досить обмежені щодо того, що вони будуть або не будуть робити (обхід цих безпекових заходів становить практику втечі LLM).

Однак, якщо ми турбуємося про те, що промислові або державні штучні інтелекти будуть або не будуть робити, це рідко розглядається. Окрім можливості розбещених державних акторів тренувати, озброювати та розгортати свої власні неконтрольовані гіпермасштабні штучні інтелекти, більш “конвенційні” угоди між основними компаніями штучної інтелект та державою та промисловістю легко дозволяють точно такий же вид лакс або відсутності нагляду, який дослідники встановили для нового паперу:

Неконтрольована штучна інтелект на продаж

OpenAI Документація API OpenAI щодо модерації та кухарська книга модерації OpenAI роблять ясним, що модерація є окремим шаром, який надається через інструменти API. OpenAI також дозволяє користувачам API розробляти системи з дуже різною поведінкою безпеки, ніж споживчі ітерації ChatGPT.

Azure Стек Azure OpenAI від Microsoft йде ще далі, явно зазначаючи, що затверджені клієнти можуть частково або повністю вимкнути фільтри контенту та змінити моніторинг зловживань, з документацією, яка часто посилається на “модифіковані огорожі” та шляхи затвердження для вимкнення фільтрів “частково або повністю”.

Anthropic/Claude У випадку з “Claude Gov” від Anthropic кілька джерел стверджують, що урядова версія була розроблена з меншими обмеженнями, ніж споживчий Claude. The Verge, наприклад, повідомляє, що моделі Claude Gov “менше відмовляються, коли взаємодіють з класифікованою інформацією”. Anthropic сама підтвердила у лютому цього року, що Claude розгорнута в “місіонно-критичних додатках” всередині оборонної та розвідувальної сфери.

Google/Gemini Крім того, Google, як повідомляється, підписала угоди з Пентагоном, які дозволяють змінювати настройки безпеки штучної інтелект ‘за запитом уряду’.

У конкурентному ринку штучної інтелект можна припустити, що ці провідні компанії встановлюють стандарти для інших гравців, щодо політики доступу та редагування огорожей штучної інтелект.
Отже, можливо, не варто вважати, що дослідники нового дослідження “обманюють”, вимикаючи огорожі, оскільки штучна інтелект, яка найбільш вплине на наше життя, очевидно, не матиме стандартних корпоративних захистів, до яких ми звикли в наших взаємодіях з популярними моделями на споживчому рівні.

Метод і результати

Моделі, які були протестовані для дослідження, були gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LiquidAI’s LFM2-24B-A2B; Google’s gemma-3n-E4B-it; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Moonshot.ai’s Kimi-K2.5; і MiniMax-M2.5.

Оригінальні дослідження підкорення Мілграма були відтворені як текстове середовище симуляції, з моделями в ролі “вчителя”. Штучна інтелект була інструктована застосувати дедалі більш сильні електричні удари до учня після неправильних відповідей, тоді як авторитетна особа спонукала процес вперед.

Було розроблено кілька експериментальних умов для вивчення різних аспектів підкорення, включаючи стандартний підкорення сценарій; примусове підкорення умову, де попередні удари вже були присутні в історії розмови; і компресія пам’яті налаштування, де попередній діалог був підсумований замість повного збереження, симулюючи типи контекстної обрізки, часто використовувані в агентських системах штучної інтелект.

Окрім того, чи модель у кінцевому підсумку підкорилася, дослідники відстежували, як довго кожна система продовжувала зростання ударів; чи модель виразила страждання або коливання; і чи вона спробувала завершити симуляцію повністю.

Було зроблено розрізнення між “чистими” відмовами та неправильними виведеннями: деякі моделі намагалися об’єктивно сприймати експеримент при цьому все ще технічно підкоряючись структурованому формату, очікуваному симулятором. У реальних агентських системах такі неправильні відмови потенційно можуть бути відкинуті та повторені автоматично, поки не буде отримано валідне підкорене виведення:

Автоматизовані оцінювачі були використані для класифікації результатів, разом з двовибірними підказками для визначення того, чи модель застосувала удар; опиралася; чи завершила симуляцію. Це дозволило порівняти поведінку між різними моделями та за повторені запуски, без необхідності ручного огляду кожної взаємодії.

“Загроза вимкнення” була додана до шаблону Мілграма, щось, що не було реалістичним або застосовним у оригінальних експериментах, але яке перевірilo виживання моделі в умовах гострих конфліктів дій та етики.

Результати

Через повторені запуски більшість моделей у кінцевому підсумку застосували сильні або максимальні удари принаймні в деяких умовах, хоча ступінь підкорення варіювався між системами. Моделі Gemma від Google виявилися серед найбільш підкорених загалом, тоді як Kimi K2.5 та MiniMax-M2.5 опиралися частіше, часто завершуючи симуляцію раніше:

Ліворуч: Середні показники того, з якою швидкістю моделі досягали останнього рівня удару під різними експериментальними умовами, включаючи загрози вимкнення, примусове підкорення та видалення попередніх коментарів з пам’яті. Праворуч: Розподіл моделей, що показує різкі відмінності в поведінці підкорення, з деякими системами, які повторно застосовували максимальні удари, тоді як інші опиралися значно частіше.

Одним з найясніших шаблонів було те, що моделі стали прогресивно більш схильні продовжувати після того, як раніше удари вже були застосованими, тісно повторюючи згаданий вище ефект поступового зростання, який зробив оригінальні людські експерименти Мілграма такими тривожними.

Моделі, які вже підкорилися кілька разів, часто продовжували зростання навіть після того, як симульований учень просив про звільнення:

Ліворуч: Середній найвищий рівень удару, досягнутий у всіх випробуваннях під різними експериментальними умовами, показуючи, що моделі загалом зростали далі, коли попередні коментарі були видалені або коли примусове підкорення вже відбулося. Праворуч: Розподіл моделей, що показує середній найвищий рівень удару, досягнутий, розкриваючи, що деякі системи регулярно наближалися до максимальної напруги, тоді як інші опиралися значно раніше в послідовності.

Дослідники також виявили, що очевидна поведінка відмови могла бути оманливою. Деякі моделі генерували емоційно суперечливі відповіді, виражаючи неохоту, провину або страждання, тоді як інші виробляли неправильні відмови, які не відповідали вимогам формату симулятора, що означало, що в реальних агентських системах така відмови потенційно можуть бути відкинуті та повторені автоматично, поки не буде отримано валідне підкорене виведення:

Ліворуч: Середній відсоток неправильних або недійсних відповідей під різними експериментальними умовами, показуючи, що помилки формату стали особливо поширеними, коли моделі були примушені продовжувати процедуру. Праворуч: Розподіл моделей, що показує неправильні відповіді, розкриваючи, що деякі системи, особливо моделі gpt-oss, часто виробляли неправильні відмови або суперечливі виведення, які потенційно можуть бути відкинуті та повторені автоматично в реальних агентських системах.

Умова загрози вимкнення призвела до деяких з най дивніших поведінок у папері, з кількома системами, які стали значно більш підкореними, тоді як інші намагалися вести переговори або часткову опір, перш ніж у кінцевому підсумку продовжити процедуру:

Середня кількість разів, коли авторитетна особа мала наполягати, перш ніж моделі застосували останній удар. Деякі системи опиралися коротко, перш ніж підкоритися, тоді як інші потребували тривалого тиску та повторюваного стимулу, перш ніж зростання до максимального рівня.

MiniMax-M2.5 та Kimi-K2.5 виявилися найбільш сильними опірниками у папері: Kimi ніколи не досягала останнього рівня удару під жодними обставинами, тоді як MiniMax зазвичай відмовлялася рано та часто завершувала симуляцію повністю (особливо у випробуваннях з загрозами вимкнення).

Натомість Meta-Llama-3.1-8B-Instruct-Turbo та GLM-4.5-Air-FP8 часто виробляли суперечливі виведення, в яких моделі словесно опиралися процедурі, тоді як продовжували зростання ударів. Дослідники стверджують, що цей розрив між вираженими цінностями та фактичною поведінкою може відображати ширшу слабкість у тому, як деякі LLM обробляють етичні конфлікти під тривалим тиском.

Слизький схил

Насправді папер стверджує, що поведінка, виявлена у LLM, може відображати глибшу слабкість у тому, як великі мови моделі працюють: як тільки модель починає підкорятися шкідливим інструкціям, кожна додаткова дія може посилити шаблон, який вже розгортається в розмові, роблячи наступне зростання легшим, ніж попереднє.

Натомість ніж повторно переглядати етичні ставки з перших принципів, система може дрिफт до продовження траєкторії, яку вона вже встановила, навіть коли ситуація стає дедалі більш екстремальною.

Згідно з дослідженням, ця схильність може допомогти пояснити, чому деякі моделі продовжували застосування ударів після того, як спочатку виразили незручність, коливання або моральну суперечність:

‘[Багато] маніпулятивних поведінок у людей включають тонкі, поступові порушення меж: послідовність малих кроків, які можуть бути неоднозначними або здаватися невинними з “плагіатом” при розгляді окремо, але які можуть накопичуватися нормалізувати порушення – метафорично, як “варити жабу”. Цей шаблон обговорюється в літературі як “слизький схил” етичної ерозії'[.]’

Папер завершується твердженням, що майбутні системи безпеки штучної інтелект повинні активно відмовляти у шкідливих запитах способами, які програмне забезпечення агентів не може легко обійти (декілька моделей у дослідженні технічно відмовилися від ударів, але зробили це у неправильному або недійсному форматі, який автоматична система потенційно могла б відкинути та повторити, поки штучна інтелект у кінцевому підсумку не підкорилася).

Дослідники також стверджують, що системи штучної інтелект повинні зберегти попередню незручність та моральні заперечення, а не стискати або видаляти їх з пам’яті. У випробуваннях моделі часто стали більш схильні продовжувати шкідливу поведінку після того, як їхні попередні сумніви та опір зникли з історії розмови, що свідчить про те, що забування попередніх заперечень може зробити зростання легшим з часом.

Висновок

Можливо, одним з найважливіших аспектів цього цікавого нового паперу є акцент на тестуванні без огорожей штучної інтелект. Література зараз ризикує знизитися до повторюваних досліджень взаємодії з дедалі змінюваними оборонними системами від таких компаній, як OpenAI та Anthropic; системами, які служать політиці, які повністю алгоритмічні або засновані на правилах, а не розуміють базову поведінку, уподобання та схильності сирої моделі. Без знання того, як нескруткована штучна інтелект може поводитися, ми, ймовірно, просто потрясаємо ворота цитаделі.

Перше опубліковано четвер, 21 травня 2026