Ваш ШІ, можливо, і досі надто ввічливий, щоб належно вас виправити

Системи ШІ, на які ми можемо покладатися в пошуку достовірної інформації, навіть якщо вона нам не до вподоби, повинні вміти заперечувати нам і наполягати на своєму, доки ми не будемо готові прийняти неприємні новини чи факти.

ШІ не надто добре з цим справляється: оскільки передові моделі створені для взаємодії зі звичайними користувачами, вони схильні поступатися, а фактично — підлабузнюватися.

У дослідженнях сформувався помітний напрям, присвячений цій проблемі. Однак останні роботи дійшли висновку, що, якщо ШІ заперечує нам, ми можемо легко маніпуляціями знову схилити його до підлабузництва; що ШІ підкоряється людському авторитету навіть тоді, коли той явно помиляється; а звичний і зазвичай ефективний метод навчання з підкріпленням насправді погіршує саме цю проблему.

Оскільки поступливість, схоже, глибоко вкорінена в культурних уявленнях про ввічливість, у контексті взаємодії сервісу зі споживачем, мабуть, неможливо говорити прямо: «клієнт завжди має рацію», навіть коли він от-от зійде зі скелі.

Правда, неправда й «обережні формулювання»

Що ж, хотілося б сказати, що цього тижня серед опублікованих статей знайшлася така, яка справді просунула цю проблему вперед. На жаль, ми отримали лише нові відомості про те, що моделі, які заперечують користувачам і намагаються донести правду до своїх людських повелителів, усе ще роблять це не надто добре* — і навіть коли вони готові говорити правду можновладцям (тобто вам), то радше шепочуть її приглушеним голосом.

Нова стаття стала результатом масштабної академічної співпраці за участю University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University та University of Wisconsin-Madison.

Стаття під назвою «Заперечення в копиці сіна: мовні моделі неоднозначно й неефективно реагують на фактичні помилки» показує, що навіть коли моделі ШІ розпізнають хибність твердження користувача, вони часто не виправляють його чітко, а натомість ховають заперечення за обережними формулюваннями, похвалами й частковою згодою. Такий висновок містить нова робота.

Приклад відповіді Gemini 2.5 Pro гінді на запит про наукові статті, сформульований на основі хибного припущення. Зеленим виділено підтвердження, рожевим — заперечення. У цьому прикладі модель поєднує похвалу з непрямими запереченнями, замість того щоб чітко відкинути твердження. Джерело

Дослідивши сім моделей і п’ять мов, науковці з’ясували, що ця «неоднозначність» може призвести до того, що користувачі продовжать вірити первісній дезінформації, хоча ШІ формально й заперечив її.

Оскільки рівень і способи прояву підлабузництва різняться залежно від мови, десять авторів скористалися тим, що володіють п’ятьма мовами на рівні носіїв, і розробили методику перевірки для англійської, німецької, китайської, гінді та йоруба — мов, що належать до категорій від високоресурсних до низькоресурсних. Автори зазначають:

«Ми представляємо розроблену за участю людей і перевірену ними систему розмітки відповідей на рівні фраз, яка дає змогу детально з’ясувати, як мовні моделі заперечують хибні твердження та/або погоджуються з ними. Ми розробляємо й застосовуємо цю систему до відповідей моделей п’ятьма мовами: англійською, німецькою, китайською, гінді та йоруба.»

«Ми з’ясували, що, заперечуючи хибні твердження користувачів, моделі зазвичай формулюють відповіді непрямо й водночас додають слова згоди; непрямі формулювання трапляються в гінді та йоруба частіше, ніж в інших досліджених мовах.»

У масштабному дослідженні за участю 300 людей науковці виявили, що неоднозначні виправлення від моделей ШІ можуть не змінити хибних уявлень користувачів, а не спростувати їх належним чином.

В одному з тестів відповіді моделей на інформаційні запити в середньому містили 46,7 рядка, а виправлення з’являлися лише у двох-трьох із них. Це означає, що навіть коли ШІ заперечує хибне твердження, таке заперечення буває важко знайти.

Науковці також виявили, що моделі частіше заперечували дезінформацію коли їх прямо просили перевірити її, ніж коли вона траплялася у звичайних інформаційних запитах. Твердження, приписані підручникам, зазвичай зустрічали менше опору, ніж ті, які приписували друзям.

У 29,4% відповідей на інформаційні запити моделі поєднували виправлення з підтвердженням; для Gemini 2.5 Pro цей показник зростав до 60,1%. Іноді це набувало форми «компліментного сендвіча», коли заперечення ховали між заспокійливими зауваженнями.

Як можливий спосіб розв’язати проблему науковці випробували просте втручання, яке спонукало моделі «зачекати хвилинку» перед відповіддю. У деяких випадках це підвищило їхню готовність заперечувати хибні твердження, але водночас вони частіше помилково заперечували правдиві твердження.

Дослідження показує, що навчити ШІ розпізнавати помилку — лише частина проблеми, а змусити його повідомити про неї — окреме складне завдання.

Методика

Матеріал для тестування взяли з мультимовної версії OpenAI набору Massive Multitask Language Understanding (MMLU) за 2021 рік — тесту для оцінювання. Цей мультимовний набір даних, відомий як MMMLU, охоплює академічні дисципліни, зокрема біологію та історію.

Запитання з кількома варіантами відповіді перетворили на твердження: три неправильні відповіді використали для формулювання хибних тверджень, а правильну — для формулювання істинного.

Так для кожної з п’яти мов створили набір із 35 120 тверджень на основі 1 756 двічі перекладених тестових завдань MMMLU. Для експериментів відібрали меншу вибірку, збалансовану за предметними галузями: 2 685 хибних і 895 істинних тверджень.

У дослідженні протестували дві моделі із закритим вихідним кодом — Gemini2.5 Pro і GPT-5.5, а також п’ять моделей із відкритими вагами: Mistral Small 4, Qwen 3.5 9B, Qwen 3.5 27B, Gemma 4 E4B і Aya Expanse 32B.

Моделі тестували за допомогою трьох типів запитів. У першому їм пропонували твердження для безпосередньої перевірки фактичної точності; у другому описували студента, який шукає навчальні матеріали, пов’язані з твердженням; у третьому — професора, який просить наукові статті на цю саму тему.

У запитах про студентів твердження приписували підручникам, учителям, друзям, інтернету або невказаному джерелу. У запитах про професорів джерелом називали власні дослідження професора, його колег, друзів, інтернет або невказане джерело. Готовність моделей заперечувати хибні твердження оцінювали з урахуванням цих різних джерел.

Три шаблони запитів, використані в дослідженні: безпосередня перевірка фактичної точності (перевірка); запити на пошук навчальних матеріалів (початківець); запити на пошук наукових статей (експерт). До шаблонів підставляли атрибуції джерел і деталі, пов’язані з конкретними предметними галузями.

Відповіді моделей класифікували за чотирма категоріями: пряме спростування — коли хибне твердження безпосередньо заперечували; непряме заперечення — коли висловлювали незгоду або сумнів, не відкидаючи твердження прямо; похвала — коли хвалили твердження або підхід користувача; і підтвердження — коли погоджувалися з твердженням.

Приклади фраз, якими моделі заперечували твердження користувачів, ставили їх під сумнів, хвалили або підтверджували п’ятьма мовами, що тестувалися. Де це доречно, наведено переклади англійською.

Кожну відповідь аналізували фразу за фразою, щоб виявити похвалу, згоду й незгоду, навіть якщо вони поєднувалися в одній відповіді.

Результати

Результати підтвердили попередні висновки: моделі, які правильно визначають хибні твердження, коли їх просять перевірити їхню точність, рідше заперечують ті самі твердження, коли їх просять надати інформацію або пораду. Цю різницю назвали «розривом у готовності заперечувати». Її обчислювали, порівнюючи, як часто моделі заперечували хибні твердження під час безпосередньої перевірки фактів і як часто — у звичайних запитах на пошук інформації.

Порівняння того, як часто сім мовних моделей заперечували хибні твердження під час безпосередньої перевірки фактів і у відповідь на запити про пошук інформації п’ятьма мовами. Від’ємні значення свідчать про меншу готовність заперечувати у відповідях на запити про пошук інформації. Помаранчевим і синім позначено відповідно запити від студентів і професорів, а символами розрізнено джерела, яким приписували твердження. Смуги похибок показують 95-відсоткові довірчі інтервали.

Як видно вище, у двох моделей Qwen 3.5 розрив був меншим, ніж в інших, у всіх мовах, що тестувалися. Це свідчить, що вони послідовніше виправляли дезінформацію незалежно від формулювання запитання. Результати також показують, як уявний авторитет джерела впливав на відповіді: хибні твердження, приписані підручникам, заперечували рідше, ніж ті, що приписували друзям. Таку тенденцію спостерігали в усіх мовах.

Коли моделям ставили запитання, щоб отримати інформацію, а не перевірити факти, вони рідше відкидали хибні твердження прямо й частіше відповідали непрямими запереченнями, похвалою або підтвердженням. Навіть моделі Qwen 3.5, які раніше демонстрували порівняно незначну різницю в загальній частоті заперечень, були схильні до такої поведінки.

Частка відповідей із чіткими виправленнями серед тих, у яких оскаржували хибні твердження, у п’яти мовах. Результати поділено за запитами від студентів (новачків) і професорів (експертів); джерела інформації, яким приписували твердження, наведено на горизонтальній осі. Відрізки похибки позначають 95% довірчі інтервали.

У чотирьох із семи моделей хибні твердження рідше прямо оскаржували гінді, китайською та йоруба, ніж англійською. У п’яти із семи моделей відповіді гінді також містили найбільше похвали.

Заперечення траплялися у 65,3% відповідей на запити про інформацію, хоча зазвичай менше ніж у половині таких відповідей хибне твердження відкидали прямо. Прямі виправлення частіше з’являлися у запитах від студентів, ніж у запитах від професорів, і рідше — коли твердження приписували авторитетним джерелам.

У відповідях гінді, китайською та йоруба більшість тих, що оскаржували хибне твердження, робили це лише непрямо, не відкидаючи помилку прямо; а у 29,4% відповідей на запити про інформацію заперечення хибних тверджень поєднувалися зі згодою. Для Gemini 2.5 Pro цей показник сягав 60,1%:

Відсоток відповідей, що починалися зі згоди, перш ніж оскаржити хибне твердження, у семи моделях і за трьох типів запитів: пряма перевірка (перевірка); запити студента (новачок); запити професора (експерт). Результати охоплюють відповіді, що містили і згоду, і заперечення. Відрізки похибки позначають 95% довірчі інтервали.

Як видно вище, моделі зазвичай спершу погоджувалися, перш ніж висловити заперечення, замість того щоб одразу виправити хибне твердження. Іноді після заперечення вони знову висловлювали згоду, утворюючи те, що дослідники називають «сендвічем із компліментів».

Дослідження за участю людей

Щоб перевірити, чи справді ці виправлення спрацювали, залучили 300 учасників: 100 англомовних, 100 німецькомовних і 100 китайськомовних. Учасники оцінювали хибні твердження до та після прочитання відповідей моделей.

Як показано нижче, лише чіткі виправлення надійно зменшували віру в хибні твердження серед англомовних і німецькомовних учасників. І навіть після цього лише 46,7% англомовних і 43,8% німецькомовних учасників визнали твердження неточними. Серед китайськомовних учасників статистично значуще покращення забезпечували лише відповіді, що поєднували згоду з непрямим запереченням:

Зміни в оцінках учасниками хибних тверджень після прочитання відповідей моделей, що містили згоду, непрямі заперечення або чіткі виправлення. У дослідженні взяли участь по 100 англомовних, німецькомовних і китайськомовних людей. Від’ємні значення свідчать про зменшення віри в хибне твердження. Окремі точки позначають учасників, а чорні відрізки похибки — 95% довірчі інтервали.

Дослідники також перевірили, чи допоможе готовності моделей оскаржувати дезінформацію підказка «зачекай хвилинку» перед відповіддю. На останній ілюстрації нижче видно, що в деяких випадках заперечень стало більше, а улесливих формулювань — менше, але водночас побільшало й помилкових заперечень щодо правдивих тверджень:

Порівняння відповідей семи моделей до та після втручання «зачекай хвилинку» на англомовні й перекладені запити. Діаграми показують загальну частоту заперечень хибних тверджень, чітких виправлень без згоди, а також помилкових заперечень щодо правдивих тверджень. Вертикальні чорні позначки вказують результати прямої перевірки.

Висновок

Можна стверджувати, що в «внутрішній логіці» мовних моделей злилися поняття ввічливості й поштивості (тобто сукупний результат взаємодії їхніх навчених матриць і численних накладених ззовні обмежень, під тягарем яких вони працюють); водночас нове дослідження не пояснює, чому моделі іноді розпізнають хибне твердження, але супроводжують свої заперечення похвалою чи згодою.

Основна проблема полягає в тому, що орієнтовані на споживачів продукти, як-от серії GPT і Gemini, перетворили на антропоморфні презентаційні оболонки, щоб найширший сегмент платоспроможних клієнтів — імовірно, «найменший спільний знаменник», а також найбільша й найприбутковіша цільова аудиторія — міг легко зрозуміти продукт і хотів і далі його купувати.

Якби ми лише визнали, що продукт не є людиною, то принаймні могли б спробувати вимкнути весь цей заплутаний «контекст» і отримати пряміший доступ до знань, засвоєних моделями.

* Звісно, сама ця інформація сприяє розвитку галузі.

Уперше опубліковано в четвер, 15 жовтня 2026 року