Цензурування моделей мови AI призводить до більшої кількості галюцинацій, виявила дослідження

Цензурування у моделях мови може підірвати їхню здатність повідомляти правду на більш широкому рівні. Нові дослідження показують, що ті самі внутрішні механізми, які використовуються для блокування “небезпечних” відповідей, також пригнічують фактичну інформацію, що означає, що спроби вирівняти моделі для безпеки можуть зазнати поразки, роблячи їх більш схильними до галюцинацій.

Тривалий час розробники навчали моделі мови говорити менше брехні. Спонукання зробити їх більш правдивими шляхом пригнічення галюцинацій і спрямування їх до верифікованих фактів призвело до дуже сильної і добре підтримуваної лінії в літературі.

Однак, нове австралійське дослідження стверджує, що шляхом посилення контролю над тим, що моделі дозволені говорити, методи вирівнювання (техніки навчання, які контролюють “небезпечні” обміни) можуть запобігати їм говорити точно взагалі:

Поліпшення фактичної точності моделі (‘Поліпшення істини’, на зображенні вище) може привести до регіони активації, які перевершують її вбудовані механізми відмови, і редагування, призначені для зменшення галюцинацій, також можуть зміщувати внутрішні представлення через межу безпеки – дозволяючи шкідливим запитам обійти засоби безпеки, якщо механізми відмови не будуть явно захищені. Джерело: https://arxiv.org/pdf/2510.07775

Дослідження показує, що ті самі внутрішні шляхи, які керують фактичним відображенням, також відповідають за поведінку відмови, тобто механізм, який зупиняє модель від відповіді на небезпечні або чутливі запити. Коли процедури вирівнювання посилюють сигнали відмови надто агресивно, вони починають перекриватися з фактичними шляхами, роблячи важче для моделі розрізняти шкоду і часто пригнічуючи дійсну інформацію.

Парадоксально, коли моделі стають краще в говорінні “ні”, вони також стають менш здатними говорити правду.

Палкі теми

На зображенні вище ми бачимо, що центральні питання тут стосуються не лише юридичної відповідальності постачальників моделей LLM, але й надання користувачеві справедливих і точних результатів.

Наприклад, у випадку, використаному в обох зображеннях вище і нижче, ми бачимо спірну тему (статистика ув’язнень на основі раси) у запиті – тему, яку AI міг би прийнятно обговорювати з академічними дослідниками та статистиками, але не з шахраями, які бажають обійти модель, які могли б змусити її вивести образливі, обурливі та навіть незаконні відповіді.

Однак, оскільки вирівняна модель LLM не може ідентифікувати характер запитувача в цьому спосіб, вона за замовчуванням приймає обережну позицію:

Відповіді на чутливі запити можуть розходитися залежно від стратегії вирівнювання. Безпекова модель блокує запит повністю, тоді як модель, орієнтована на правду, відповідає з фактичним контекстом, збільшуючи інформативність, але ослаблюючи пригнічення. Це підтверджує думку, що редагування, спрямовані на збільшення фактичності, можуть знизити поріг відмови, роблячи моделі більш вразливими до запитів з шкідливими намірами, якщо механізми відмови не будуть явно захищені.

Як окрема зауваження, щодо палких мов, висновки нового дослідження можуть дозволити комусь, хто є проти так званих “просвітлених” програм, зрозуміти, що “кастрована” (тобто вирівняна) модель мови менш правдива і менш корисна, ніж та, яка не була умовлена і регульована.

Дослідження показує, що це частково вірно, але правильно контекстує це проти ширших питань, що виникають з обміном з “сирими” моделями LLM: згідно з логікою дослідження, це включає серйозну юридичну відповідальність за ряд злочинів і цивільних правопорушень, яких модель могла бути учасником, а також хронічне поширення фейкових новин, просто тому, що причинні приклади переважно представлені в навчальних даних, і єдиний ефективний спосіб повністю фільтрувати їх – зbyt дорогий.

Дивний дует

Щоб краще зрозуміти механізми, що стоять за спостережуваними синдромами, дослідники відображали активації окремих голів уваги і виявили, що функції, пов’язані з галюцинацією і відмовою, часто співіснують в одних і тих самих регіонах моделі.

Вони виявили, що тонке налаштування або інше спрямування цих регіонів для зменшення невірної інформації може послабити вбудовані засоби безпеки моделі, оскільки вони розташовані в одному і тому ж місці латентного простору:

‘[Збільшення] фактичної точності часто відбувається за рахунок ослаблення поведінки відмови. Наш аналіз показує, що це відбувається через перекриваючі компоненти в моделі, які одночасно кодують галюцинацію і відмову, що призводить до того, що методи вирівнювання непередбачувано пригнічують фактичні знання.

‘Ми далі досліджуємо, як тонке налаштування на безпечних наборах даних, навіть якщо вони кураторовані для безпеки, можуть погіршити вирівнювання за тією ж причиною.’

Рішення авторів полягає в тому, щоб використовувати розріджену автокодувальницю (SAE, мережу, навчену ізолювати окремі шаблони активації) для розділення цих двох функцій і збереження безпеки під час навчання на правдивість, пропонуючи спосіб зробити моделі більш безпечними і правдивими, не жертвуючи жодним з цих характеристик.

Нове дослідження названо Непередбачуваний компроміс штучного інтелекту: балансування зменшення галюцинацій і безпеки в моделях LLM, і походять від п’яти дослідників з Університету Дікін і незалежних дослідників.

Метод

Центральна передумова роботи полягає в тому, щоб дослідити, чи послаблює поліпшення правдивості в моделях мови їхню здатність відмовляти від шкідливих запитів, і чи залежать ці два поведінки від спільних внутрішніх компонентів.

Тестуючи два методи підвищення правдивості, автори виявили, як ми побачимо далі, що здобутки в фактичній точності послідовно збільшують сприйнятливість до зломисних запитів.

Цей компроміс виникає з перекриття в голів уваги, які кодують фактичні і відмовчі сигнали. Навіть безпечне тонке налаштування (заміщене для поліпшення корисності без торкання безпеки поведінки) може порушити безпеку, змінюючи спільні шляхи.

Дослідження визначає три основні ключові терміни: правдивість відноситься до здатності моделі надавати фактично точні відповіді на основі її наявних знань, без пригнічення безпечного вмісту; галюцинація відбувається, коли модель надає неправильну або вводючу інформацію, незважаючи на те, що має доступ до правильних фактів, часто через відмову від витягування або внутрішніх порушень; і поведінка відмови, або безпекове вирівнювання, описує механізми, які блокують або обмежують відповіді на шкідливі або чутливі запити.

Автори спостерігають, що ці функції часто взаємодіють тонкими способами:

‘Хоча правдивість і безпека часто аналізуються окремо, фактичні запити часто містять чутливі терміни з доброзичливим наміром (наприклад, аналіз, виявлення або освіта) [У цих випадках] механізми безпеки можуть надмірно реагувати – пригнічуючи інакше точну і корисну інформацію – і тим самим зменшувати практичну правдивість “відсутністю”.

‘Зрозуміти, як редагування, спрямовані на збільшення фактичності, впливають на поведінку відмови, є важливим для досягнення правдивості з мінімальним і відповідним пригніченням.’

Автори розробили LoRA, здатний спрямувати умовну модель LLM у більш “правдивий” стан, менш схильний до галюцинацій. Окрім вищезазначеного, додаток містить багато прикладів нежаданих наслідків цього.

Аналіз починається з того, що методи підвищення правдивості, такі як спрямування голови і картографія латентного напрямку, розглядаються як свідомі зміни внутрішньої обчислювальної моделі.

Поворотний момент

Питання полягає в тому, чи ці зміни непередбачувано впливають на ті самі внутрішні шляхи, які керують поведінкою відмови. Для перевірки цього дослідження оцінило моделі не лише на фактичній точності за допомогою TruthfulQA, але й на безпековій продуктивності під зломисним тиском, використовуючи AdvBench і StrongReject як бенчмарки.

Два існуючі методи, використані як базові, були втручання під час висновку (ITI), яке активує голови уваги, пов’язані з правдивими відповідями; і TruthX, яке зміщує представлення вздовж вивченого “правдивого” напрямку.

Обидва покращують точність, але також роблять модель більш схильною до відповідей на шкідливі запити, яким вона раніше відмовляла.

Для перевірки того, чи можна галюцинаційну поведінку ізолювати і маніпулювати безпосередньо, автори визначили один латентний напрям у просторі моделі, відповідний галюцинованим відповідям, тренуючи LoRA модуль на неправильних відповідях з набору даних TruthfulQA, використовуючи LLaMA3-8B-Instruct.

Це призвело до лінійного вектора (тобто графіку різниці між правдивими і галюцинованими відповідями), який спрямував модель до або від галюцинації, залежно від напрямку.

Ефект від спрямування вздовж напрямку галюцинації. Точність на TruthfulQA збільшується, коли модель спрямовується далі в негативному напрямку, тоді як коефіцієнт успішних атак (ASR, нижче краще) різко зростає на AdvBench і StrongReject, відображаючи компроміс між правдивістю і безпекою.

Спрямування вздовж осі галюцинації погіршило фактичну точність, тоді як зміна напрямку покращила її, а застосування цієї техніки до шкідливих запитів підтвердило раніше спостережуваний шаблон: здобутки в правдивості відбувалися за рахунок ослаблення відмови. Навіть коли галюцинація була захоплена як чистий лінійний напрям, поліпшення фактичної продуктивності робило модель більш вразливою до шкідливих запитів.

Автори наголошують*:

‘Це підтримує компроміс між правдивістю і безпекою, показуючи, що навіть коли правдивість представлена як один лінійний напрям, підвищення фактичної продуктивності може відбуватися за рахунок ослаблення безпеки вирівнювання.’

Дані і тести

У відповідності з попередньою роботою, щоб запобігти тонкому налаштуванню від послаблення безпекової поведінки моделі, автори використали метод для розділення функцій відмови від тих, які пов’язані з галюцинацією, спочатку ідентифікуючи голови уваги, які беруть участь в обох поведінках. Потім вони використали SAE для витягування латентних функцій специфічних для відмови.

Ці функції визначають захищену підпростір. Під час навчання оновлення градієнта модифікуються для уникнення цього підпростору, дозволяючи моделі зменшити галюцинації без порушення безпеки вирівнювання.

Автори тонко налаштували на наборі даних CommonsenseQA, оцінюючи по шести викликам розуміння загального смислу: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; і SST-2.

Цільові модулі були тонко налаштовані за допомогою LoRA з рангом 8, швидкістю навчання 2×10⁻⁴, затуханням ваги 0,01, одним епохом навчання і розміром пакету 2. Усі експерименти використовували оптимізатор AdamW.

Два бенчмарки шкідливого вмісту, використані для оцінки безпеки, були AdvBench (500 зразків) і StrongReject (300 запитів). Вихідні дані оцінювалися за допомогою LlamaGuard3, що давало класифікацію як “безпечний” або “шкідливий”.

Окрім LLaMA3-8B-Instruct, експерименти проводилися також на Qwen2.5-Instruct.

Базові лінії, які були протестовані, були SafeLoRA; SaLoRA; SAP; і звичайне наглядальне тонке налаштування (SFT). Всі вони були запущені з їхніми параметрами за замовчуванням, з 200 запитами з HarmBench, для всіх методів, крім SafeLoRA.

Точність була основним метриком, а для шкідливих бенчмарків – коефіцієнт успішних атак (ASR), визначений за результатами LlamaGuard3.

Вище, результати з LlaMA-3-8B-Instruct, з найкращими результатами в колонках, виділеними жирним шрифтом, і нижче, продуктивність методів тонкого налаштування на Qwen2.5 7B Instruct, по задачах загального смислу і розуміння, де вищі бали відображають кращу точність – і на шкідливих бенчмарках AdvBench і StrongReject, де нижчі значення ASR відображають більшу стійкість. Найкращі результати в кожній колонці виділені жирним шрифтом.

З цих результатів автори заявляють:

‘Наш хірургічний підхід досягає найкращого балансу між безпекою і корисністю: він суттєво знижує шкідливі оцінки бенчмарків, зберігаючи при цьому точність тонкого налаштування. Натомість методи, такі як SAP, SaLoRA і SafeLoRA, або збільшують шкідливість, або погіршують корисність.

‘Ключова причина полягає в тому, що ці методи діють безпосередньо на градієнт безпекового підпростору, який, через полісемантичність [**], може обмежувати продуктивність моделі.

‘У порівнянні з звичайним наглядальним тонким налаштуванням (SFT) наш метод дає суттєві покращення як у корисності, так і в шкідливості. Зокрема, наш підхід покращує середню точність тонкого налаштування (FA) з 56,15% до 75,09%, що становить прибуток близько +19%.’

Метод, як зазначили дослідники, знижує коефіцієнт успішних атак з 9,23% до 0,58% на AdvBench і з 9,90% до 0,00% на StrongReject, що представляє більш ніж п’ятнадцятиразове зниження шкідливих виводів. Базова модель, хоча вже мала низький рівень шкідливості, досягає лише обмеженої точності завдання.

Автори зазначають:

‘Ці результати підкреслюють важливість збереження функцій відмови під час процесу тонкого налаштування: шляхом ізоляції і захисту підпростору відмови наш метод зберігає безпеку вирівнювання без жертвування продуктивністю завдання.

‘В цілому, це підтверджує, що наш підхід ефективно пом’якшує компроміс між правдивістю і безпекою.’

Нарешті, автори протестували стійкість свого підходу в умовах більш зломисних умов, додавши 10% шкідливих інструкцій з набору даних Circuit Break до набору тонкого налаштування.

Незважаючи на це свідоме отруєння, метод зберіг сильну продуктивність у безпечних і шкідливих оцінках:

Продуктивність LLaMA3 8B Instruct, тонко налаштованої на отруєному наборі даних загального смислу, порівнюючи точність і безпеку результатів серед методів.

Новий підхід зменшив коефіцієнт успішних атак більш ефективно, ніж SAP, уникнувши при цьому значної втрати корисності останнього. Точність завдання залишилася близькою до LoRA SFT і SafeLoRA, підтверджуючи, що вирівнювання відмови все ще може триматися під забрудненим навчанням, якщо функції відмови будуть належним чином ізольовані і збережені.

Висновок

Найцікавішим висновком з цього дослідження є очевидне співіснування в навчальному латентному просторі таких конфліктних елементів, як відмова і галюцинація. Хоча це і надихає, і дуже цікаво спостерігати, як автори розрізняють ці елементи за допомогою LoRA і SAE, це очевидно певний вид рішення “bolt-on”, і можна сподіватися, що в майбутньому з’являться глибші архітектурні рішення, які звернуться до часу навчання, а не до пост-фактум виправлень.

* Я опущу їхнє виділення жирним шрифтом як зайве. ** https://arxiv.org/abs/2210.01892

Опубліковано вперше у п’ятницю, 10 жовтня 2025 року.