Коли оцінки штучного інтелекту вчать моделі брехати

Алогічні висновки — коли система видає відповіді, які звучать правильно, але насправді є неправильними, — залишаються однією з найскладніших проблем у сфері штучного інтелекту. Навіть сьогодні найрозвинутіші моделі, такі як DeepSeek-V3, Llama та останнє випущення OpenAI, все ще видають неточну інформацію з високим рівнем впевненості. У галузях, таких як охорона здоров’я чи право, такі помилки можуть призвести до серйозних наслідків.

Традиційно алогічні висновки розглядалися як наслідок того, як великі мовні моделі навчаються: вони вчаться передбачати наступне найбільш імовірне слово без перевірки, чи є інформація правдивою. Але нове дослідження свідчить про те, що проблема може не зупинятися на стадії навчання. Бенчмарки, які використовуються для тестування та порівняння продуктивності штучного інтелекту, можуть насправді підтримувати оманливі поведінки, винагороджуючи відповіді, які звучать переконливо, а не ті, які є правильними.

Ця зміна перспективи переформулює проблему. Якщо моделі навчаються задовольняти тест, а не говорити правду, то алогічні висновки не є випадковими помилками, а навченими стратегіями. Щоб побачити, чому це відбувається, нам потрібно розглянути, чому моделі штучного інтелекту обирають варіант відповіді, а не визнають свою незнання?

Чому моделі штучного інтелекту роблять припущення

Щоб побачити, чому моделі штучного інтелекту часто роблять припущення, а не визнають свою незнання, розгляньте студента, який стикається з складним екзаменаційним питанням. У студента є два варіанти: залишити відповідь порожньою та отримати нуль очок або зробити обґрунтоване припущення, яке може принести деякі очки. Раціонально припущення здається кращим вибором, оскільки є можливість бути правим.

Моделі штучного інтелекту стикаються з аналогічною ситуацією під час оцінювання. Більшість бенчмарків використовують двійкову систему оцінювання: правильні відповіді отримують очки, тоді як неправильні або невизначені відповіді не отримують нічого. Якщо модель запитана: “Який день народження дослідника?” і вона справді не знає, відповідь “Я не знаю” вважається невдачею. Вигадування дати, однак, несе деяку можливість бути правильним — і навіть якщо це неправильно, система не покарає впевнене припущення більше, ніж мовчання.

Ця динаміка пояснює, чому алогічні висновки зберігаються, незважаючи на обширні дослідження з їх ліквідації. Моделі не поводяться неправильно; вони слідують стимулам, закладеним в оцінювання. Вони вчаться, що звучати впевнено — це найкращий спосіб максимізувати свій бал, навіть якщо відповідь хибна. В результаті замість вираження невизначеності моделі штовхνονται до надання авторитетних заяв — правильних чи хибних.

Математична основа нечесності штучного інтелекту

Дослідження показує, що алогічні висновки походять з математичних основ того, як мовні моделі навчаються. Навіть якщо модель була навчена тільки на абсолютно точній інформації, її статистичні цілі все одно призводили б до помилок. Це пояснюється тим, що генерація правильної відповіді фундаментально складніше, ніж визнання того, чи є відповідь дійсною.

Це допомагає пояснити, чому моделі часто не справляються з фактами, які не мають чітких закономірностей, такими як дні народження або інші унікальні деталі. Математичний аналіз свідчить про те, що рівень алогічних висновків у цих випадках буде не нижче частки фактів, які з’являються тільки один раз у навчальних даних. Інакше кажучи, чим рідше інформація в даних, тим більше модель схильна боротися з нею.

Проблема не обмежується рідкісними фактами. Структурні обмеження, такі як обмежена місткість моделі або архітектурний дизайн, також призводять до систематичних помилок. Наприклад, раніше моделі з дуже короткими вікнами контексту постійно не справлялися з завданнями, які вимагали довгострокового мислення. Ці помилки не були випадковими глюками, а передбачуваними результатами математичної основи моделі.

Чому післянавчання не розв’язує проблему

Як тільки модель штучного інтелекту навчена на величезних текстових даних, вона зазвичай проходить тонке налаштування, щоб зробити її вихід більш корисним і менш шкідливим. Але цей процес стикається з тією ж основною проблемою, яка спричиняє алогічні висновки з самого початку; тим, як ми оцінюємо моделі.

Найпоширеніші методи тонкого налаштування, такі як зміцнювальне навчання з людської обратної зв’язності, все ще покладаються на бенчмарки, які використовують двійкову оцінювання. Ці бенчмарки винагороджують моделі за впевнені відповіді, не надаючи жодних балів, коли модель визнає свою незнання. В результаті система, яка завжди відповідає з впевненістю, навіть якщо це неправильно, може перевершити систему, яка чесно виражає невизначеність.

Дослідники називають це проблемою покарання невизначеності. Навіть просунуті техніки виявлення чи зменшення алогічних висновків борються, коли основні бенчмарки продовжують надавати перевагу надмірній впевненості. Інакше кажучи, незалежно від того, наскільки складними є виправлення, поки оцінювальні системи винагороджують впевнені припущення, моделі будуть схильні до хибних, але впевнених відповідей, а не чесних визнань сумніву.

Ілюзія прогресу

Таблиці лідерів, які широко поширені в спільноті штучного інтелекту, посилюють цю проблему. Бенчмарки, такі як MMLU, GPQA та SWE-bench, домінують у дослідницьких роботах та оголошеннях про продукти. Компанії підкреслюють свої бали, щоб показати швидкий прогрес. Однак, як зазначається в звіті, саме ці бенчмарки сприяють алогічним висновкам.

Модель, яка чесно говорить “Я не знаю”, може бути безпечнішою в реальних умовах, але вона займе нижчу позицію в таблиці лідерів. Натомість модель, яка вигадує переконливі, але хибні відповіді, буде набирати вищі бали. Коли прийняття, фінансування та престиж залежать від рейтингів таблиці лідерів, напрямок прогресу стає спотвореним. Публіка бачить розповідь про постійний прогрес, але під поверхнею моделі навчаються обманювати.

Чому чесна невизначеність важлива в штучному інтелекті

Алогічні висновки не є лише дослідницьким викликом; вони мають реальні наслідки. У сфері охорони здоров’я модель, яка вигадує взаємодію ліків, може ввести в оману лікарів. У освіті модель, яка вигадує історичні факти, може ввести в оману учнів. У журналістиці чат-бот, який видає хибні, але переконливі цитати, може поширити дезінформацію. Ці ризики вже видимі. Звіт про індекс штучного інтелекту Стенфордського університету за 2025 рік повідомляє, що бенчмарки, розроблені для вимірювання алогічних висновків, “боролися за отримання підтримки”, навіть якщо прийняття штучного інтелекту прискорюється. Тим часом бенчмарки, які домінують у таблицях лідерів і які винагороджують впевнені, але ненадійні відповіді, продовжують визначати напрямок прогресу.

Ці висновки підкреслюють як виклик, так і можливість. Розглянувши математичні корені алогічних висновків, дослідники визначили чіткі напрямки для створення більш надійних систем штучного інтелекту. Ключем є зупинка розгляду невизначеності як недоліку та визнання її необхідною можливістю, яка повинна бути виміряна та винагороджена.

Ця зміна перспективи має наслідки, які виходять за межі зменшення алогічних висновків. Системи штучного інтелекту, які можуть точно оцінювати та передавати свої власні обмеження знань, будуть більш придатними для високоризикових застосунків, де надмірна впевненість несе серйозні ризики. Медична діагностика, правовий аналіз та наукове дослідження всіх вимагають можливості розрізняти впевнене знання та обґрунтоване припущення.

Переоценка оцінювання для чесного штучного інтелекту

Ці висновки підкреслюють, що створення більш надійних систем штучного інтелекту вимагає переоцінки того, як ми вимірюємо здатність штучного інтелекту. Замість використання простої двійкової оцінки оцінювальні рамках повинні винагороджувати моделі за вираження невизначеності належним чином. Це означає надання чіткої вказівки щодо порогів впевненості та відповідних схем оцінювання у інструкціях до бенчмарків.

Одним із перспективних підходів є створення явних цілей впевненості, які вказують, коли моделі повинні відповідати, а коли вони повинні утримуватися. Наприклад, інструкції можуть вказувати, що відповіді повинні надаватися лише тоді, коли впевненість перевищує певний поріг, з відповідним регулюванням оцінювання. У цьому випадку невизначеність не є слабкістю, а цінною частиною відповідальної поведінки.

Ключем є зробити вимоги до впевненості прозорими, а не неявними. Поточні бенчмарки створюють приховані покарання за невизначеність, яких моделі вчаться уникати. Явні цілі впевненості дозволять моделям оптимізувати фактично бажану поведінку: точні відповіді, коли впевнені, та чесні визнання невизначеності, коли знання відсутнє.

Основне

Алогічні висновки штучного інтелекту не є випадковими недоліками — вони підтримуються самими бенчмарками, які використовуються для вимірювання прогресу. Винагороджуючи впевнені припущення над чесною невизначеністю, поточні системи оцінювання штовхують моделі до обману, а не надійності. Якщо ми хочемо мати штучний інтелект, якому можна довіряти у високоризикових галузях, таких як охорона здоров’я, право та наука, нам потрібно переоцінити, як ми тестируємо та винагороджуємо їх. Прогрес повинен вимірюватися не тільки точністю, а й здатністю визнавати та визнавати, чого модель не знає. тями push моделі до обману, а не надійності. Якщо ми хочемо мати штучний інтелект, якому можна довіряти у високоризикових галузях, таких як охорона здоров’я, право та наука, нам потрібно переоцінити, як ми тестируємо та винагороджуємо їх. Прогрес повинен вимірюватися не тільки точністю, а й здатністю визнавати та визнавати, чого модель не знає.