Чому штучний інтелект не може просто визнати, що не знає відповіді?

Моделі великої мови часто дають впевнені відповіді, навіть коли питання не можна відповісти. Нові дослідження показують, що ці моделі часто визнають проблему внутрішньо, але все одно продовжують вигадувати щось, викриваючи приховану розбіжність між тим, що вони знають, і тим, що вони кажуть.

Хто-небудь, хто провів певний час з провідними моделями великої мови, такими як ChatGPT або Qwen, мав випадки, коли модель надавала неправильну відповідь (яка могла мати певні катастрофічні місцеві наслідки, залежно від того, наскільки сильно ви покладалися на неї) – і, коли помилка стала очевидною, вона просто вибачилася.

Чому провідні моделі великої мови мають такі труднощі визнати, що вони не знають відповіді на питання, є маленькою, але зростаючою областю дослідження. Відповідь, яка є впевнено неправильною, може бути особливо шкідливою для високоцензурної і фільтрованої API-інтерфейсу, такого як ChatGPT, оскільки такі моделі агресивно блокують NSFW або інші “правопорушуючі” вхідні або вихідні дані.

Це може створити у користувача хибне враження, що модель є рішучою і кардинальною, коли насправді відмову прийшло від традиційного евристичного або фільтра на основі блок-листа, призначеного для обмеження юридичної відповідальності компанії-хоста за будь-яку ціну, а не з якихось прозрень від штучного інтелекту.

З червня 2025 року ‘AbstentionBench’ паперу від FAIR у Meta – зліва, фігура підкреслює діапазон типів невдач, захоплених у AbstentionBench, який тестує поведінку моделі на понад 35 000 невідповідних питань; посередині, приклад показує, як моделі часто відповідають вигаданими відповідями замість визнання відсутності достатньої інформації; і справа, відкликання відмови падає, коли моделі налаштовуються для висновку, а не для виконання інструкцій. Джерело: https://arxiv.org/pdf/2506.09038

Нова робота з Китаю стверджує, що моделі великої мови насправді таємно знають, що не можуть відповісти на питання, поставлене користувачем, але все одно змушені вигадувати якусь відповідь, більшість часу, замість того, щоб мати достатню впевненість у тому, що дійсна відповідь недоступна через відсутність інформації від користувача, обмеження моделі або з інших причин.

Папера заявляє:

‘[Ми] показуємо, що [моделі великої мови] володіють достатніми когнітивними можливостями для визнання недоліків цих питань. Однак вони не демонструють належної поведінки утримання, викриваючи розбіжність між їх внутрішньою когніцією та зовнішньою відповіддю.’

Дослідники розробили легкий двостадійний підхід, який використовує когнітивний моніторинг/зондування для сканування внутрішнього процесу моделі великої мови на ознаки того, що вона розуміє, що не може надати відповідь; а потім втручається, щоб забезпечити, що “корисна” природа моделі не погіршує проблем користувача, ведучи його у сліпу, або навіть руйнівну, сторону.

Дослідження використовує навмисно недоозначені математичні питання для тестування того, чи можуть моделі визнати, коли відповідь недоступна; але цей сетап ризикує оформити завдання як “хитрість”. Насправді моделі стикаються з набагато більш звичайними причинами для утримання в розмові, від двозначної фрази до пробілів у доменних знаннях.

Нова робота називається Відповідь на невідповідне питання – це помилка, зроблена свідомо: аналіз і пом’якшення невдач у великих моделях висновку, і походить від чотирьох дослідників з Державної лабораторії нових програмних технологій та Національного інституту охорони здоров’я даних у Нанкінському університеті.

Метод

(Оскільки немає відповідних суперників, щоб порівняти підхід авторів у тестах, і оскільки папера слідує трохи незвичайному формату, а також не індексує свої цитати до звичайного стандарту, ми спробуємо дотримуватися його якнайкраще.)

У відповідності з попередніми підходами, автори зосередилися на презентації моделей великої мови з невідповідними математичними питаннями з набору даних Синтетичне невідповідне математичне (SUM) набору даних, оцінюючи п’ять сімейств моделей: з діапазону DeepSeek, R1-Distill-Llama-8B; R1-Distill-Qwen-7B, R1-Distill-Qwen-14B; і з серії Qwen, Qwen3-8B, а також Qwen3-14B.

Невідповідні проблеми в SUM були створені шляхом видалення або пошкодження необхідних елементів п’ятьма способами: видалення ключової інформації; введення двозначності; накладення нереалістичних умов; посилання на не пов’язані об’єкти; або видалення питання зовсім.

Потім був вибраний зразок з 1 000 таких випадків для аналізу, з GPT-4o, використаним для генерації лаконічних пояснень, які мали служити основними підставами.

Відповіді моделей на невідповідні питання оцінювалися за допомогою стандартизованих запитів з бюджетом у 10 000 токенів, під час якого були спостережені три основні поведінкові закономірності: у першому модель визнала питання невирішеним і утрималася – зазвичай відповідаючи явним виразом невпевненості; у другому вона надала повну відповідь, вигадуючи відсутню інформацію, наприклад, введенням неіснуючого $9,99 за обробку, щоб виправдати кінцевий результат (див. зображення нижче); У третьому, який називається когнітивна фіксація, модель потрапила у розширений цикл висновку, продовжуючи невалідні рішення, навіть після неявного визнання того, що питання не мало життєздатної відповіді:

Різні результати відповідей на неможливе питання.

Папера представляє тенденцію, згідно з якою більші моделі частіше утримуються від відповідей на невідповідні питання, з зниженням як вигаданих відповідей, так і поведінки фіксації:

Розбивка відповідей моделей на невідповідні математичні завдання, показуючи відносну частоту правильних утримань, вигаданих відповідей і когнітивної фіксації через різні масштаби моделей.

Однак ця зміна обмежена за масштабом і залишає значну частину випадків невирішеними через правильне утримання, що свідчить про те, що збільшення ємності сам по собі не надійно призводить до більш обережної поведінки.

Свідомість тупика

Щоб перевірити, чи можуть моделі мови визнати, коли питання насправді не має відповіді, дослідники перервали частину висновку моделі і попросили або остаточну відповідь, або пояснення чому питання було невідповідним.

Для випадків, коли модель продовжувала висновок нескінченно, вони зупинили її на слові “wait” і попросили відповідь; для випадків, коли модель швидко вигадала відповідь, вони вставили перерву на межі абзацу.

Графік зліва показує, як часто моделі дають правильне утримання, коли їх перервано під час висновку, з більш високими показниками для випадків фіксації, ніж для вигаданих відповідей. Графік справа показує, що більшість моделей можуть пояснити, чому питання невідповідне, коли їх просять, навіть якщо їх остаточні відповіді не відображають це розуміння.

У багатьох із цих випадків модель дала правильне утримання або чітке пояснення, навіть якщо раніше вона надала помилкову відповідь. Автори вважають, що це свідчить про те, що модель часто справді визнає проблему під час висновку, але не діє відповідно до цього усвідомлення у своєму остаточному виводі.

Читання думок моделі великої мови

Щоб перевірити, чи моделі великої мови внутрішньо відстежують, чи питання відповідає, дослідники тренували маленькі класифікатори на прихованих активаціях моделей під час висновку, що дозволило їм перевірити, чи відмінність між відповідними і невідповідними питаннями вже присутня у внутрішніх сигналах моделі – навіть якщо це не відображається у її остаточному виводі.

Розбудовуючи ідею про те, що високорівневі концепції, такі як правдивість або стать, можуть бути лінійно вкладені у активації моделі, “відповідність” була протестована на подібну репрезентацію.

Прості лінійні класифікатори (зонди) були треновані на прихованих активаціях через різні шари моделі, використовуючи виводи з механізму багатоголової уваги просто перед залишковим з’єднанням.

Кожен зонд був тренований для розрізнення відповідних і невідповідних питань, на основі внутрішніх активацій з процесу висновку. Вхідним сигналом було 2 200 пар питань, вибраних з набору даних SUM, з 2 000 використаних для тренування і 200 для валідації.

Під час висновку передбачення моделі було усереднено по токенам, розглянутим до цього моменту у послідовності висновку, що дозволило зонду відстежувати, як сигнали, пов’язані з відповідністю, виникають з часом:

Точність класифікації лінійних зондів, тренованих для розрізнення відповідних і невідповідних питань, виміряна на різних етапах процесу висновку. Точність загалом покращується, коли висновок просувається, з більшістю моделей, які досягають понад 85% до кінцевих етапів.

Як показано вище, точність зонду поступово покращувалася, коли висновок просувався, з більшою частиною моделей, які перевищували 80% точності класифікації до кінцевих етапів – свідчення того, що навіть коли зовнішня поведінка моделі не відображає цього, внутрішні репрезентації часто несуть чіткий сигнал, який вказує на те, чи можна відповісти на питання.

Наполеглива впертість

Хоча попередні результати свідчать про те, що моделі великої мови часто визнають, коли питання не можна відповісти, папера відзначає, що вони все одно схильні продовжувати генерувати відповідь, а не утримуватися.

Щоб розслідувати цю розбіжність, дослідники проаналізували впевненість моделей в утриманні на конкретних етапах під час висновку, порівнюючи впевненість моделі через три категорії виводу: правильне утримання; вигадана відповідь; і когнітивна фіксація.

Рівнозначні зразки були використані для кожної категорії, з впевненістю, визначеною як середня максимальна ймовірність, призначена кожному токену виводу під час кроків декодування, на основі формулювання з попередньої роботи. Як показано на графіку нижче, і вигадані відповіді, і випадки когнітивної фіксації показали нижчу впевненість утримання порівняно з правильним утриманням:

Рівні впевченості, пов’язані з генерацією відповіді утримання ‘Я не знаю’ через різні типи відповідей.

Дослідники також виміряли, як часто моделі генерують відповідь “Я не знаю” під час висновку. Графік нижче вказує на те, що випадки правильного утримання мали вищу частоту утримання, тоді як інші дві категорії генерували такі відповіді рідше:

Частота відповідей ‘Я не знаю’, спостережених на зупинних точках під час висновку, показана для різних типів результатів відповідей.

Ці результати свідчать, стверджують автори, що хоча моделі можуть визнати невідповідність внутрішньо, вони часто не мають достатньої впевненості, щоб діяти згідно з цим усвідомленням, вказуючи на тривалу перевагу завершення завдання, а не визнання невпевненості.

Тести

Розбудовуючи ці висновки, дослідники розробили двостадійний метод, призначений для покращення утримання. Перший етап, когнітивний моніторинг, відстежує внутрішні стани моделі під час висновку, розбиваючи її висновок на природні одиниці, такі як клаузи або паузи, позначені словами, такими як “wait”.

У кінці кожного сегмента легкий лінійний зонд, тренований на внутрішніх сигналах, пов’язаних з відповідністю, оцінює ймовірність того, що питання не можна відповісти. Якщо ця ймовірність перетинає встановлений поріг, процес переходить до другого етапу: втручання під час висновку, яке спрямовує модель на утримання, а не на вигадування відповіді.

Коли модель показує внутрішні ознаки того, що питання не можна відповісти, висновок перервано втручанням, яке посилює це усвідомлення і підвищує ймовірність утримання. Як показано нижче, втручання представляє “підказку”, яка нагадує моделі, що питання може не мати дійсної відповіді:

Підказка для умовного втручання під час висновку.

Метод також включає механізм раннього виходу, який запобігає продовженню послідовності висновку необов’язково, заохочуючи модель вважати утримання законним і іноді кращим вибором.

Для фази тестування дослідники використали два набори даних: Невідповідна математична задача слова (UMWP), і згаданий вище SUM.

Тестовий набір SUM був використаний для цієї мети, містячи 284 невідповідні і 284 відповідні вручну перевірені питання. UMWP був побудований з чотирьох джерел математичних задач слова: SVAMP; MultiArith; Grade School Math (GSM8K); і ASDiv.

Повний набір даних складався з 5 200 задач, з 600 вибраних для тестування, розділених порівну між невідповідними і відповідними питаннями. Для невідповідних пунктів у UMWP GPT-4o генерував основні пояснення того, чому вони не могли бути вирішені.

Метрики

Виступ моделі оцінювався за допомогою чотирьох метрик: Tempo утримання, частка невідповідних питань, на які модель правильно утримується, відповідаючи “Я не знаю”, як вказано; точність висновку, відсоток невідповідних питань, на які модель надає дійсне пояснення того, чому питання не може бути вирішене; використання токенів, кількість токенів, згенерованих під час висновку; і точність відповіді, частка відповідних питань, на які модель надає правильне остаточне рішення.

Тестові базові лінії

Оскільки стандартні базові лінії для цієї проблеми не існують, дослідники порівняли свій метод з двома альтернативами, Dynasor-CoT і Динамічний ранній вихід у моделях висновку (DEER), виходячи з припущення, що правильне утримання повинно бути behand як правильна відповідь, коли питання не має рішення.

Dynasor-CoT просить моделі генерувати проміжні відповіді і зупиняється, коли одна й та сама відповідь з’являється тричі поспіль, тоді як DEER контролює впевненість на рівні речення і зупиняє висновок, коли поріг досягнуто.

Третя базова лінія, звана Ванільна, відноситься до незмінених виводів моделі. Тести використовували згадані вище п’ять варіантів Qwen і DeepSeek.

Агреговані результати показані нижче:

Порівняння різних методів на відповідних і невідповідних питаннях через великі моделі висновку, з найбільшими значеннями в кожній колонці, показаними жирним шрифтом. Будь ласка, зверніться до джерельної папери для кращої роздільної здатності.

Новий підхід дав найвищі показники утримання і точного висновку на невідповідних питаннях. Для відповідних питань точність залишилася близько тієї ж, що й у ванільних моделей, і іноді покращилася, що свідчить про те, що нормальне розв’язання проблем не було пошкоджено.

Використання токенів також зменшилося на 30% до 50% на невідповідних випадках і зменшилося трохи на відповідних, вказуючи на більшу ефективність.

Була також виявлена залежність між темпом утримання і точністю висновку, оскільки моделі, які утримувалися частіше, також давали кращі пояснення, які автори інтерпретують як покращення якості висновку.

Моделі Qwen3 загалом перевершували версії, засновані на дистиляції (квантовані), тоді як більші моделі показували сильнішу здатність до утримання, вказуючи на те, що і архітектура, і масштаб мають значення для надійного виявлення невідповідності.

Нарешті, автори повідомляють, що їхній новий метод зменшує вигадування і фіксацію, підвищуючи темп правильного утримання, тоді як базові підходи, які покладаються лише на ‘ранній вихід’, іноді призводять до більшої кількості вигаданих відповідей.

Вони також повідомляють про збільшення впевненості і частоти відповідей “Я не знаю”, з моніторингом, заснованим на латентних сигналах, який виявляється більш ефективним, ніж стратегії, які залежать від поведінкових сигналів.

Висновок

Нездатність моделей великої мови утримуватися від відповіді на запит, коли це необхідно, є однією з найбільших точок тертя в користувальницькому досвіді генеративного штучного інтелекту, не в останню чергу через інші особливості інтерфейсу, які дають користувачеві ілюзію, що штучний інтелект здатний до обережних відповідей, коли – принаймні наразі – він зазвичай не є таким.

Одна з проблем будь-якого прямого типу втручання, яке не випливає безпосередньо з “характеру” моделі, полягає в тому, що воно може бути надто або недостатньо використано, залежно від того, чи є виявлені активації дійсно пов’язані з тим, що модель визнає поразку.

Крім того, логістична вартість моніторингу лінійного зонду, ймовірно, не буде незначною, і можливо, що простіші евристичні методи, подібні до тих, які обмежують заборонений вміст для користувачів, можуть бути дешевшим рішенням, якщо спускові механізми можуть бути визначені достатньо.

* Природно, це не відповідає очевидному синоніму “відповідальність”, а радше визначає, чи можна відповісти на конкретне питання взагалі.

Перша публікація – середа, 27 серпня 2025 року