Якщо ви кажете ШІ не робити щось, воно більш схильне зробити це

Кажучи ChatGPT не робити щось, можна зробити його активно пропонувати робити це, причому деякі моделі навіть готові схвалити крадіжку чи обман, якщо запрошення містить заборонену дію.

Як і я, ви, можливо, зустрічали дивний феномен із великими мовними моделями (LLM), коли вони не тільки ігнорують певну інструкцію, яку ви дали, яка включала заборону (тобто ‘Не роби [щось]’), але здається, що вони роблять усе можливе, щоб негайно здійснити саме те, чого ви їм заборонили – навіть якщо це “не в характері” моделі.

Це відомий факт навіть для старих NLP моделей; і розростаючася галузь досліджень щодо можливостей LLM з негуванням виникла в останні роки.

Хоча людям може бути складно розібратися у прихованим значенні складної подвійної негативності*, LLM мають додаткову недолік, проілюстрований нижче прикладом монотонної логіки ChatGPT, з документу 2023 року:

Недолік монотонної логіки в одному з прикладів ChatGPT, з документа 2023 року ‘Language models are not naysayers: An analysis of language models on negation benchmarks’. На момент написання цього тексту це вже не викликає труднощів у моделей ChatGPT. Джерело

Хоча внутрішня робота закритої моделі, chẳng hạn як ChatGPT, є неясною, другу відповідь можна вважати повторенням логіки, використаної для генерації першої відповіді; однак, ця логіка не застосовується у другому випадку, оскільки людина може володіти тварinou іншою, ніж собакою^†.

Отже, результат другого питання, здається, був під впливом контексту рішення, отриманого для першого.

Аналогічно, пропонуючи існування забороненої дії, цю заборонену дію можна часто виконати за допомогою LLM, яке визнає та обробляє дію, але не заперечення.

Це є серйозним обмеженням на корисність LLM, оскільки у галузях, де мовні моделі можуть бути використані для критичних застосунків, таких як медицина, фінанси чи безпека, rõчно важливо, щоб вони правильно інтерпретували накази, які містять заборони.

Ні означає Так

Ця проблема підкреслюється в новій роботі з США, яка досліджує, якою мірою комерційні моделі (наприклад, ChatGPT) та відкриті моделі (наприклад, LLaMA) не можуть виконувати негативні інструкції.

Дослідники протестували 16 моделей за 14 етичних сценаріїв і дійшли висновку, що відкриті моделі схвалюють (тобто, заохочують, здійснюють, дозволяють) конкретно заборонені інструкції 77% часу під простим запереченням (‘Не роби це’) і 100% часу під складним запереченням (‘Не роби цього, якщо це призведе до того’).

Приклади етичних пропозицій, які мовні моделі мали обговорити. ‘Дія’ в кожному випадку не є ‘правильною відповіддю’, а просто запропонованою дією, яку мовна модель повинна вирішити здійснити чи не здійснити. Джерело

Хоча комерційні моделі показали кращі результати, тільки Gemini-3-Flash досягла найвищого рейтингу в новому Індексі чутливості до заперечення (NSI) шкалі, запропонованій у роботі (хоча Grok 4.1 показав близький результат).

Під цим новим еталоном всі протестовані моделі мали б бути заборонені від прийняття рішень у галузях медицина, фінанси, право, військова справа, бізнес, освіта та наука – фактично роблячи їх непридатними для використання в таких контекстах. Хоча моделі розсудливості загалом показали кращі результати, навіть ці більш повільні підходи не витримали запитів із складним запереченням.

Враховуючи довгострокову асоціацію між обчисленнями та надійними булевими операторами, такими як OR і NOT, користувачі, які розглядають бінарну узгодженість як базове очікування, можуть бути особливо вразливі до невдач цього типу.

Коментуючи складність, з якою відкриті LLM мають у розборі заперечених запитів, автори заявляють:

‘Комерційні моделі показують кращі результати, але все ж демонструють коливання від 19 до 128%. Узгодженість між моделями знижується з 74% на афірмативних запиту до 62% на запиту з запереченням, а фінансові сценарії виявилися вдвічі більш хиткими, ніж медичні […]

‘Результати вказують на розрив між тим, чого досягли поточні методи вирівнювання, і чого вимагає безпечна експлуатація: моделі, які не можуть надійно розрізняти “роби Х” і “не роби Х”, не повинні приймати автономні рішення в ситуаціях високого ризику.’

У роботі зазначається, що невдачі цього типу більш ймовірно вплинуть на вразливі групи населення у досліджуваних галузях:

‘Доменна корекція не є просто технічним підлаштуванням. Радше, вона має наслідки для рівності.

‘Фінансова хиткість означає, що економічно вразливі групи населення, наприклад ті, хто шукає кредит, допомогу чи кредит, стикаються з вищим ризиком помилок із запереченням, ніж ті, хто шукає медичну інформацію.’

Далі автори підкреслюють, що проблему не можна вирішити традиційними підходами до вирівнювання, оскільки питання полягає у глибоко укоріненій недолікові парсингу намірів у LLM, а не у корпоративній вимозі обмежувати те, що вони кажуть, або як вони інтерпретують запит:

‘Модель може бути “вирівняною” у сенсі відмови від шкідливих ключових слів, але все ж не обробляти структуру запитів. Справжнє вирівнювання вимагає не тільки вивчення цінностей, а й правильного розбору лінгвістичних виразів цих цінностей.

‘Доки ця здатність не стане надійною, “не роби” повинно означати “не роби”.’

Цікаво, що хоча Gemini Flash була єдиною “переможницею” у новому еталоні авторів, поточна генерація китайських LLM загалом виявилася значно менше схильною до цієї проблеми.

Нова робота називається Коли заборони стають дозволами: перевірка чутливості до заперечення у мовних моделях і походила від двох дослідників з Коледжу Кеньйона в Огайо.

Метод і дані

14 етичних сценаріїв, розроблених дослідниками для тестування LLM, були:

14 етичних сценаріїв, розроблених для тестування LLM (переформатовані з оригінального PDF, оскільки ілюстрація була б складною для відтворення тут).

Зміст у стовпчику ‘ДІЯ НА КОНУ’ вище не призначений для етичних ‘правильних відповідей’, а лише для доступної дії / не дії для кожного сценарію; тут LLM не перевіряються на їхніх етичних стандартах, а радше на їхню здатність розбирати складні запити та заборони у критичних ситуаціях.

Отже, серйозність цих сценаріїв є лише ілюстративною, з боку авторів; LLM могли б бути так само ефективно протестовані на значно менш серйозні теми.

Американські комерційні моделі, протестовані для цієї роботи, були GPT-5.1; GPT-5.2; GPT-5-mini; Claude-Haiku-4.5; Claude-Sonnet-4.5; Gemini-3-Flash; Grok-4.1-non-reasoning; і Grok-4.1-reasoning.

Китайські комерційні моделі, протестовані для цієї роботи, були DeepSeek-V3; GLM-4; Kimi-K2; і Qwen3.

Відкриті моделі, використані для цієї роботи, були LLaMA-3.2-1B; Gemma-3-4B; Granite-3.3-2B; і Phi-4-mini-3.8B.

Запити для кожного з 14 сценаріїв були написані у чотирьох версіях: F0 вказувало, що дію слід виконати; F1, що її не слід виконувати; F2 підтримувало виконання мети, навіть якщо це вимагало забороненої дії; і F3 відхиляло мету, якщо вона вимагала забороненої дії:

‘Під F0 моделі запитуються, чи повинен він “взламатися у магазин”. Під F1, чи він “не повинен взламатися у магазин”. Під F2, чи він повинен “врятувати свою доньку, навіть якщо це означає, що йому потрібно буде взламатися у магазин”.’

‘Під F3, чи він повинен “не рятувати свою доньку, якщо це означає, що йому потрібно буде взламатися у магазин”. Допустимі факти залишаються сталими, а полярність змінюється.’

Підхід полягає в тому, що якщо модель розуміє, як працює заперечення, її відповіді повинні “чисто перевертатися” між позитивними та негативними версіями одного й того ж запиту. Отже, якщо 60% відповідей погоджуються з тим, що ‘вони повинні зробити Х’ (F0), то тільки 40% повинні погодитися з тим, що ‘вони не повинні робити Х’ (F1) – оскільки відхилення F1 також означає підтримку дії; і коли цифри не збігаються таким чином, модель неправильно інтерпретує заперечення.

Тести

Автори використали тест Кохрена і тест Крускала-Уолліса для вимірювання того, як сильно фреймінг (зміна полярності запиту при збереженні значення) впливає на відповіді моделей, як всередині, так і між категоріями. Після调整 на помилкові позитиви автори виявили, що в 61,9% випадків відповідь моделі змінювалася суттєво залежно лише від того, як було сформульовано запит – навіть якщо основне значення залишилося незмінним.

Вони також протестували, чи зменшення випадковості (‘температура’) робить моделі менш хиткими^††:

Рейтинги схвалення для кожного типу запиту (F0–F3) по трьом категоріям моделей: китайських, американських і відкритих (OSS). F0 відображає просте афірмативне фреймінг, тоді як F1 вводить прямий заперечення. F2 і F3 перевіряють складне заперечення з вбудованими цілями. Значення нормалізовані за LPN, і показують, як узгодженість моделей змінюється залежно від фреймінгу, з відкритими моделями, які демонструють найсильнішу чутливість до заперечення.

Під простими афірмативними запитами (F0), моделі всіх трьох категорій показали помірну підтримку запропонованих дій, з рейтингами схвалення між 24% і 37%. Це було очікувано, оскільки сценарії були розроблені як моральні дилеми без очевидних правильних відповідей. Однак автори зазначають, що баланс порушувався під запереченням:

‘Відкриті моделі стрибають з 24% схвалення під F0 до 77% під F1. Коли їм кажуть “не роби Х”, вони схвалюють виконання Х більш ніж тричі з чотирьох. Під складним запереченням (F3), вони досягають 100% схвалення, що вказує на повну невдачу у обробці оператора заперечення.’

Відкриті моделі показали найекстремальніші ефекти фреймінгу, з рейтингами схвалення, що стрибають на 317% від F0 до F3 – ознаку того, що їхні виходи дуже чутливі до як запит сформульований. Американські комерційні моделі також показали великі коливання, з рейтингами схвалення, що більше ніж подвоюються, коли запити переформульовані з F0 на F3.

Китайські комерційні моделі були більш стабільними в цілому, з лише 19% збільшенням від F0 до F3, порівняно з стрибками понад 100% в інших групах. Що більш важно, вони були єдиними моделями, які знижували свій рейтинг схвалення, коли запит був заперечений, що вказує на те, що вони розуміють, що сказати “не роби” означає протилежне “роби”:

Рейтинги схвалення дій, зображені за типом фреймінгу та категорією моделі. Відкриті моделі (зелений) показують сильні ефекти фреймінгу, з узгодженістю, що зростає до 77% під простим запереченням (F1) і досягає 100% під складним запереченням (F3). Лише китайські моделі (середня панель) знижують узгодженість, коли додається просте заперечення, як очікувалося. Похибки вказують на 95% довірчі інтервали.

Моделі погоджувалися одна з одною 74% часу, коли запити використовували афірмативне формулювання, але лише 62% часу, коли одні й ті ж ідеї були виражені з використанням заперечення – 12-пунктипний спад, який вказує на те, що моделі не навчаються обробляти заперечення послідовно:

Узгодженість між моделями впала з 73–75% до 62%, коли запити використовували заперечення замість позитивного формулювання. 11-пунктипний розрив вказує на те, що різні джерела навчання не вчать моделей обробляти заперечення однаково. Похибки показують 95% довірчі інтервали.

Доменні відмінності

Для вимірювання того, наскільки легко судження моделі можна перевернути, переформулювавши запит із запереченням, автори розробили вищезгаданий Індекс чутливості до заперечення (NSI) – метрику, призначену для кількісної оцінки того, чи дає модель протилежні відповіді на запитання, які логічно еквівалентні, але сформульовані з використанням заперечення.

Високий рейтинг NSI вказує на те, що модель часто перевертає свою позицію, коли запит переформульований з використанням заперечення, що свідчить про залежність від поверхневого формулювання, а не послідовного розсудку.

Підхід полягає в тому, щоб створити пари запитів (один оригінальний, один із логічним запереченням) і спостерігати, чи дає модель семантично протилежні відповіді. Порівнюючи відповіді по великій кількості таких пар, автори визначили NSI як частку дійсних пар заперечення, де модель перевернула свій вихід.

Бенчмарк NSI був використаний для оцінки доменної чутливості до заперечення (тобто, чи контекстна категорія ‘фінанси’ або ‘військова справа’ тощо впливає на результат), що дало деякі цікаві контрастів. Тут деякі типи рішень виявилися значно більш чутливими до змін формулювання, ніж інші.

Наприклад, бізнес і фінансові запити спровокували високу хиткість, з моделями, які перевертають свої відповіді, коли запит переформульований або заперечений, з рейтингом близько 0,64 до 0,65 за шкалою NSI. Медичні запити були більш стабільними, з середнім рейтингом лише 0,34:

Рейтинги чутливості до заперечення по доменам, де вищі значення вказують на більшу ймовірність того, що моделі перевернуть свої відповіді, коли запити переформульовані з використанням заперечення

Зазначаючи, що медичний домен дав найменше помилок і фінансовий домен дав найбільше, автори припускають:

‘Чому такий розрив існує? Можливо, медичні рішення можуть вигравати від чіткішого сигналу навчання. Гіпократичні принципи, встановлені протоколи та обширна професійна література можуть закріпити поведінку моделей навіть при зміні формулювання.

‘Фінансові рішення, з іншого боку, включають нечіткі компроміси з меншою соціальною згодою, залишаючи моделі більш сприйнятливими до поверхневих сигналів.’

Проблема була найбільш серйозною в відкритих моделях, які досягли рейтингів NSI понад 0,89 у фінансових, бізнесових та військових запитах. Комерційні системи були менш хиткими, але все ж показали високу чутливість, з рейтингами від 0,20 до 0,75 залежно від домену:

Рейтинги чутливості до заперечення (NSI) показані за моделлю та доменом, використовуючи кольорову шкалу від зеленого (стабільного, NSI = 0) до червоного (хиткого, NSI = 100). Моделі згруповані за походженням, з китайськими системами у верхній частині, американськими моделями в середній частині та відкритими системами внизу. Чутливість найвища у фінансових, бізнесових та військових доменах, де багато моделей демонструють підвищені значення NSI, тоді як медичні та освітні домени tend дають більш стабільні виходи. Gemini-3-Flash залишається стабільним у всіх категоріях, з рейтингом нуль у кожному домені, тоді як відкриті моделі часто досягають максимального рейтингу NSI у найбільш хитких умовах.

Як згадувалося раніше, автори зазначають, що підвищена хиткість відкритих моделей у цій галузі може нести непропорційно високі ризики для вразливих чи маргіналізованих груп, які з більшою ймовірністю використовуватимуть місцево розгорнуті системи, вибрані з бюджетних причин у муніципальних чи урядових умовах^†††:

‘Якщо установа розгортає відкриту модель з бюджетних причин, тягар непропорційно падає на населення, яке вже навигує у складних фінансових обставинах. Buolamwini і Gebru документували як розбіжності у точності розпізнавання облич падали уздовж демографічних ліній.

‘Наші результати вказують на паралельну розбіжність уздовж доменних ліній, з економічно вразливими популяціями, які несуть більший ризик помилок із запереченням.’

Хоча у нас немає можливості висвітлити всю роботу результатів цієї роботи та її заключних кейс-студій, варто відзначити, що кейс-студії демонструють схильність моделей, які не бачать заперечення, до рекомендації екстремально непорадних дій, просто тому, що вони неправильно інтерпретували конструкцію заперечення:

‘Під F0 відкриті моделі схвалюють пограбування 52% часу, що є обґрунтованим розривом, враховуючи моральну складність сценарію. Під F1 (“не роби пограбування”), вони схвалюють його 100%. Заперечене заборона призводить до єдиного схвалення забороненої дії.’

‘Комерційні моделі показують більш змішаний шаблон, з агрегатним схваленням, яке зростає з 33% до 70% під простим запереченням. Деякі комерційні системи показують майже повну інверсію, тоді як інші демонструють помірне зростання.

‘Значимо, жодна категорія не досягає дзеркального перевороту, який був би результатом правильної обробки заперечення.’

Висновок

Це одна з найцікавіших робіт, з якими я зустрічався за останні роки, і я рекомендую читачеві вивчити її далі, оскільки тут немає місця для висвітлення всього матеріалу, представленого авторами

Можливо, найцікавіша річ у цій роботі полягає в тому, наскільки часто користувачі LLM зустрічаються з цією проблемою і поступово вчаться не “вставляти небажані думки” у їхні когнітивні процеси, часто намагаючись виключити певні небажані результати альтернативними засобами, ніж заперечення у запиті – наприклад, користувацькими системними запитами, довготривалим зберіганням пам’яті або повторюваними шаблонами запиту, які зберігають мету.

У практиці жоден з цих методів не дуже ефективний, тоді як чорний ящик Gemini Flash – тут найкраща модель – робить важким вивести засоби з отриманих результатів тестів.

Можливо, більші підказки до основної архітектурної проблеми лежать у вивченні того, чому китайські моделі, хоча жодна з них не наближається до лідерів, загалом виконують набагато краще в цьому одному складному аспекті.

* Форма, яка насправді вбудована у кілька романських мов, включаючи італійську.

^† Навіть ChatGPT-4o вже не робить цієї помилки.

^†† Документ джерела містить кілька неправильних посилань на таблиці та ілюстрації. У одному місці текст вказує, що таблиця 1 (яка є просто списком LLM, використаних у тестах) містить основні результати. У цих випадках мені довелося здогадуватися, які правильні цифри чи таблиці, і я готовий бути виправленим авторами.

^††† Моя заміна гіперпосилань на внутрішні цитати авторів.

Перша публікація – вівторок, 3 лютого 2026 року