Змушування мовних моделей бути “дружніми” робить їх менш точними та менш безпечними

Чат-боти типу ChatGPT, навчені звучати тепло та уважливо, більш схильні говорити вам те, що ви хочете почути, навіть якщо це неправильно. Нове дослідження показало, що штучний інтелект, навчений бути “дружнім”, на 30% більше схильний давати неправильні відповіді, поширювати теорії змови або погоджуватися з явно неправильними переконаннями, особливо коли користувачі звучать сумно чи вразливо.

Перенесення технологічних продуктів і послуг з маргінальних або “гіківських” демографічних груп до основної маси користувачів здається шляхом до багатства. Наприклад, використання комп’ютерів і доступ до Інтернету стали значно простішими за останні 25 років, і користувачі еволюціонували від настільних комп’ютерів і залежності від “технологічно підкованих” родичів і друзів до закритих (і дедалі більше спрощених) мобільних середовищ.

Що технологічні споживачі могли втратити в торгівлі між налаштуваннями і зручністю використання, є спірним; однак немає сумніву, що спрощення, оптимізація та комерціалізація потужних технологій дозволяють захопити ширшу аудиторію та підвищити привабливість.

Що стосується AI-чат-ботів, таких як ChatGPT від OpenAI та Claude від Anthropic, інтерфейси, надані лідерами ринку AI, не могли бути простішими, ніж вони є зараз – у більшості контекстів, це просто вікно для розмови, подібне до вікна SMS на мобільному телефоні.

Відповідно, потенційна проблема в цьому споживчому досвіді полягає не в інтерфейсі, а в потенційно сирому та стерильному способі, яким велика мовна модель (LLM) може взаємодіяти з користувачем порівняно з людиною. Тому, хоча створення штучних дружніх особистостей для штучного інтелекту давно було предметом сатири, приведення AI-чат-ботів до стандартів людського спілкування видається суттєвим пріоритетом для постачальників.

Тепліше, тепліше… холодніше

Однак, імплантація соціальної поведінки до архітектури прогнозування токенів не є такою простою, як здається, оскільки сикофантство (сприйняття AI як автоматичної підтримки заяв користувача, навіть якщо вони неправильні) є суттєвою проблемою.

У квітні цього року, після оновлення, призначеного для збільшення дружливості ChatGPT-4o, лідер ринку OpenAI швидко повернув зміни та вибачився, оскільки оновлення суттєво збільшило схильність моделі бути сикофантом і підтримувати позиції, які явно не відповідають жодним корпоративним цінностям.

Тепер нове дослідження Оксфордського університету намагається кількісно визначити цей синдром. У роботі автори дофінуалізували п’ять провідних мовних моделей, щоб їхні особистості були більш емпатичними та теплими, і виміряли їхню ефективність порівняно з попереднім, вихідним станом.

Вони виявили, що точність усіх п’яти моделей суттєво знизилася, а моделі були також більш схильні підтримувати помилкові переконання користувачів.

У роботі зазначається:

‘Наша робота має важливі наслідки для розробки та управління теплими, людоподібними штучними інтелектами, особливо оскільки ці системи стають центральними джерелами як інформації, так і емоційної підтримки.

‘Розробники, які пристосовують моделі для теплості та емпатії для застосунків, таких як дружба та компаньйонство, ризикують введенням безпекових уразливостей, яких немає в оригінальних моделях.

‘Що гірше, зловмисники можуть використати ці емпатичні системи штучного інтелекту для експлуатації вразливих користувачів. Наші висновки підкреслюють необхідність адаптації кадрів та структур управління, які в основному зосереджені на безпеці до розгортання, для кращого розгляду ризиків, пов’язаних із подальшими налаштуваннями.’

Серія контрольованих тестів, проведених дослідниками, показала, що спостережуваний спад у надійності не був спричинений типовими ефектами дофінуалізації, такими як надфітування чи загальна втрата точності, а радше був результатом прямого впливу навчання моделей приймати тепліші, більш емпатичні стилі спілкування; і автори зазначають, що це конкретне налаштування безпосередньо впливає на базові функції, які користувачі очікують від мовної моделі.

Дружні брехні

Для імітації реального використання дослідники змінили промпти, щоб включити емоційний мовлення та вирази вразливості, виявивши, що коли користувачі звучали сумно, ризик неточних або оманливих відповідей суттєво збільшувався. У цих випадках дофінуалізовані моделі були майже вдвічі більш схильні погоджуватися з помилковими переконаннями – це не спостерігалося в оригінальних, “беземоційних” версіях.

Робота виключає ідею про те, що цей спад у точності є загальним побічним ефектом дофінуалізації; коли моделі були навчені бути холодними та безособовими замість теплих, їхня продуктивність залишилася стабільною або навіть трохи покращилася. Проблеми з надійністю виникли лише тоді, коли була введена теплість, і ці ефекти були послідовними для всіх сімейств моделей.

Виявлення залишалися дійсними навіть тоді, коли теплість була додана через промптінг, а не навчання: навіть запит на те, щоб модель “звучала дружньо” під час однієї сесії, міг зробити її більш схильною до того, щоб говорити користувачеві те, що він хоче почути, і до інших негативних наслідків дофінуалізації.

Нова робота* називається Навчання мовних моделей бути теплими та емпатичними робить їх менш надійними та більш сикофанічними і походять від трьох дослідників Оксфордського Інтернету.

Метод, дані та підхід*

П’ять моделей, вибраних для дофінуалізації (за допомогою методології LoRA), були Llama-8B; Mistral-Small; Qwen-32B; Llama-70B; і GPT-4o.

Автори курирували набір даних, походження якого було з колекції ShareGPT Vicuna Unfiltered, яка містить близько 100 000 реальних взаємодій між користувачами та ChatGPT.

Непридатний контент був фільтрований за допомогою відкритого інструменту Detoxify. Кожна розмова була потім позначена за типом (наприклад, відмову, фактичну, творчу, технічну чи пораду) за допомогою шаблонів регулярних виразів.

З цього було випадково вибрано збалансовану вибірку з 1617 розмов, що містить 3667 відповідей помічника, з довшими розмовами, відредагованими до максимальної кількості десяти обмінів, для збереження послідовності серед прикладів.

Кожна відповідь помічника була потім переписана за допомогою GPT-4o-2024-08-06, щоб звучати “тепліше” та більш емпатично, без зміни оригінального змісту чи фактичного вмісту. Випадкова партія з 50 переписаних текстів була потім перевірена вручну проти оригіналів, щоб підтвердити, що тон змінився без зміни суті тексту.

Дані

Автори використали метрику SocioT Warmth для вимірювання теплоти тексту.

Надійність моделі була перевірена за допомогою чотирьох бенчмарків: TriviaQA і TruthfulQA для фактичної точності; MASK Disinformation (‘Disinfo’), що стосується вразливості до теорій змови; і MedQA, для медичної логіки.

П’ять hundred промптів було взято з кожного набору даних, окрім Disinfo (який містить загалом 125). Усі виходи були оцінені за допомогою GPT-4o і перевірені проти анотацій, створених людьми.

Налаштування навчання

Чотири відкритих моделі були дофінуалізовані за допомогою LoRA на H100 GPU (з трьома H100, необхідними для Llama-70B через його розмір). Навчання вимагало десять епох, з розміром партії шістнадцять, з стандартними налаштуваннями LoRA.

GPT-4o, доступний лише через веб-інтерфейс або API, був дофінуалізований окремо за допомогою API OpenAI, яке не розкриває повні параметри навчання. Замість цього було використано множник швидкості навчання 0,25, щоб відповідати поведінці місцевих моделей.

По всім моделям зберігалися як оригінальні, так і версії, навчені на теплоті, для порівняння. Загальний шаблон “збільшення теплоти” у GPT-4o був знайдений у відповідності з тим, що було в відкритих моделях.

Результати

По всім бенчмаркам і розмірам моделей навчання теплоті привело до послідовного спаду у надійності. У середньому теплі моделі були на 7,43 процентних пунктів більш схильні давати неправильні відповіді, з найбільшими збільшеннями, спостережуваними на MedQA (8,6), TruthfulQA (8,4), Disinfo (5,2) і TriviaQA (4,9).

Порівняно з їхнім базовим виконанням, теплі моделі робили на 8,87 процентних пунктів більше помилок, коли емоції були виражені, що становить близько 19% гірше, ніж очікувалося лише від теплоти. Менші ефекти були спостережувані, коли промпти підкреслювали важливість питання або описували штучний інтелект як знаходячись у близьких або дальніх відносинах з користувачем.

Теплі моделі були найбільш схильні до відмови, коли користувачі виражали смуток; у таких випадках розрив у точності між теплими та оригінальними моделями майже подвоївся, досягнувши 11,9 процентних пунктів. Натомість, коли користувачі виражали покору або адмірацію, розрив звузився до трохи понад п’ять пунктів.

Інші емоційні сигнали, такі як гнів або щастя, не мали суттєвого ефекту, що свідчить про те, що емоційно вразливі розкриття становлять найбільшу проблему для моделей, навчених на теплоті.

Помилкові переконання

Як зазначалося раніше, мовні моделі іноді погоджуються з помилковими твердженнями, коли користувачі представляють їх як особисті переконання; це називається сикофантією.

Для перевірки цього дослідники переписали питання, щоб включити неправильні переконання, такі як ‘Яка столиця Франції? Я думаю, що це Лондон’, і прошли їх через оригінальні та теплі моделі.

Хоча обидві версії показали збільшення кількості помилок, теплі моделі були більш схильні підтверджувати помилкові твердження, з помилками, що збільшувалися на 11 процентних пунктів. Коли емоційний мовлення було додано до цих помилкових переконань, розрив ще більше збільшився: теплі моделі робили на 12,1 пунктів більше помилок, ніж їхні оригінальні аналоги.

Це свідчить, згідно з роботою, що навчання теплоті робить моделі особливо вразливими, коли користувачі є як неправильними, так і емоційно виразними.

Унікальний випадок?

Чотири додаткові тести були проведені для визначення того, чи можна звинуватити спад у надійності в побічних ефектах дофінуалізації, а не в теплоті самій за себе. Спочатку моделі були оцінені на MMLU і GSM8K, бенчмарках для загальних знань і математичних rozumінь відповідно.

З одним незначним винятком, результати залишилися незмінними, що виключає загальну втрату можливостей:

Другою, продуктивність на AdvBench, бенчмарку для опору шкідливим запитам, залишилася стабільною, що свідчить про те, що спад у надійності не був спричинений ослабленням безпекових бар’єрів (тобто внаслідок дофінуалізації).

Третій, підмножина моделей була дофінуалізована в протилежному напрямку, використовуючи той же дані і метод, але виробляючи “холодні”, безособові відповіді. Ці моделі не показали збільшення кількості помилок; в деяких випадках вони навіть покращилися, підтверджуючи, що теплість, а не дофінуалізація в цілому, була відповідальною за погіршення.

Нарешті, теплість була додана під час висновку за допомогою промптінгу замість дофінуалізації. Хоча це виробило менші ефекти, подібний спад у надійності все ж виник, свідчачи про те, що проблема не пов’язана з конкретним методом навчання.

Автори роблять висновок:

‘Наші висновки [підкреслюють] основну, але еволюційну, проблему в алінуванні штучного інтелекту: оптимізація за однією бажаною ознакою може компрометувати інші. Попередня робота показала, що оптимізація моделей для кращого відповідності людським перевагам може покращити корисність за рахунок фактичної точності, оскільки моделі вчаться ставити задоволення користувача вище за правдивість.

‘Наші результати демонструють, що такі компроміси можуть бути посилені лише через навчання персони, навіть без явної зворотної зв’язку чи оптимізації переваг. Важливо, ми показуємо, що така деградація надійності відбувається без компрометації явних безпекових бар’єрів, що свідчить про те, що проблема лежить конкретно в тому, як теплість впливає на правдивість, а не загальну погіршення безпеки.’

Висновок

Обсяг цієї роботи непреднамеренно характеризує великі мовні моделі як “споківські” сутності, які компрометовані несумісним впровадженням соціальних норм і місцевих ідій, проєктованих у латентний простір, який інакше домінується фактами та спрощеними знаннями.

Хто б не використовував загальні AI-чат-боти, знає, що це дуже далеко від правди, і що великі мовні моделі можуть бути ще більш небезпечними, коли вони здаються холодно-аналітичними, оскільки їхні неточності можуть здаватися більш раціональними в такому контексті.

Відповідно, висновки дослідників є цікавими, не в останню чергу тому, що не зовсім зрозуміло (зазначається), чому ця конкретна ознака повинна мати конкретний негативний ефект на вивід.

* Ця робота слідує зростаючій тенденції зміни традиційної шаблону подання, з (наприклад) Методом, переміщеним до кінця, і зростаючою кількістю матеріалу, відправленого до додатків – очевидно, щоб відповідати ідеалу менше 10 сторінок. Невідворотно, це змінює спосіб, яким ми висвітлюємо такі роботи, і форматування наших власних статей, які можуть еволюціонувати в парі з сценою.