Упевнені наукові статті схиляють ШІ-суддів на свій бік — незалежно від їхньої наукової цінності

Упевненість — це беззаперечна перевага в еволюції, а, як свідчить нова наукова стаття з Німеччини, ще й перевага під час рецензування наукових статей великими мовними моделями (ВММ) замість колег автора (а це стає дедалі частішою необхідністю, оскільки кількість наукових статей стрімко зростає завдяки підвищенню продуктивності за допомогою ШІ).

Нове дослідження показує, що рецензенти на основі ШІ (тобто не люди) послідовно ставлять вищі оцінки науковим статтям, написаним упевненою, категоричною мовою, навіть якщо дослідження в них ідентичне дослідженням зі стриманішим тоном. У деяких випадках самої лише зміни формулювань достатньо, щоб перетворити відмову на схвалення.

Автори зазначають:

«Наші експерименти виявляють значну схильність рецензентів-ВММ [papers] до використання мови, що виражає високу впевненість. Що особливо важливо, ця схильність часто призводить до зміни рішення — від схвалення до відхилення або навпаки, безпосередньо впливаючи на результати рецензування.

«Крім оцінок, ми виявили, що частота згадок і тональність аспектів, порушених у рецензіях, залежать від мовних особливостей статті, що потенційно може впливати на остаточні рішення».

Іронія в тому, що виявлений авторами синдром дуже нагадує те, як ШІ так часто може «упевнено помилятися», відповідаючи на наші запити й запитання; однак тут рішення ухвалює людина, і відповідальність — індивідуальна та колективна — цілком реальна, незалежно від того, чи справді науковці, які працювали над цими статтями, вірять у власні твердження.

Якщо рішення про публікацію наукових статей дедалі частіше ухвалюватиме ШІ, науковці можуть навчитися «звучати впевненіше» як конкурентна стратегія, можливо, особливо тоді, коли їхні роботи мають недоліки; це може дати слабшим дослідженням незаслужену перевагу в дедалі меншому просторі доступної уваги.

Бравада на шляху до перемоги

Згідно з дослідженням*, рецензенти на основі ШІ частіше схвалювали методи, теорії та науковий внесок статей, написаних упевнено, навіть коли вони були ідентичними відповідним складникам менш категоричних версій. У тестах авторів 504 наукові статті переписали в різних стилях, а потім оцінили за допомогою шести моделей ШІ, зокрема GPT-5.5, Claude Sonnet 4.6 і Gemini 3.5 Flash. Довелося створити штучні, змінені версії статей, щоб особливості й дивацтва реальних подань не спотворили результати:

Приклади одного й того самого наукового уривка, переписаного в чотирьох різних стилях. Кольоровим виділенням позначено зміни, покликані зробити текст більш або менш упевненим на звучання, а також надати йому більшої схожості з академічною англійською мовою носіїв або неносіїв мови. Однак основні результати й числові дані залишилися незмінними. Джерело

Статті відібрали серед подань на конференцію ICLR 2026 року: вибірка складалася з однакової кількості прийнятих і відхилених робіт. Потім Claude Opus 5 переписала кожне подання, зробивши його виклад більш або менш упевненим^†, але залишивши науковий зміст без змін. Це дало змогу пов’язати відмінності в оцінках ШІ-рецензентів зі стилем письма, тобто з різним рівнем вираженої впевненості.

За результатами, рецензенти на основі ШІ ставили вищі оцінки науковим статтям, написаним упевненою мовою, навіть коли докази були ідентичними. Найвиразніше упередження продемонструвала Claude Sonnet 4.6: вона віддавала перевагу впевненим версіям у сім разів частіше, ніж обережним. У 21% випадків вона рекомендувала прийняти статтю, написану впевнено, водночас відхиляючи обережніше сформульовану версію тієї самої статті.

У новому дослідженні зазначено:

«Наші результати викликають серйозне занепокоєння щодо використання ВММ у рецензуванні наукових робіт. Якщо статті з однаковим змістом отримують різні оцінки й аргументацію в рецензіях лише через мовні особливості, то судження рецензентів відображають не тільки наукову якість.

«Тому рецензентів на основі ВММ слід перевіряти на стійкість до перефразування зі збереженням змісту, щоб з’ясувати, чи систематично впливають мовні зміни на їхні оцінки».

Автори також пропонують, щоб такі перевірки охоплювали як оцінки статей, так і письмові рецензії на них, — це допоможе з’ясувати, чи не сприймають упевнену мову помилково як вагоміші наукові докази.

Методика

З подань на Міжнародну конференцію з навчання репрезентацій (ICLR) 2026 року відібрали загалом 504 наукові статті. Вибірку порівну поділили на прийняті й відхилені статті; з кожної з 21 дослідницької категорії конференції відібрали по 24 подання:

Триетапний метод тестування. Наукові статті переписували так, щоб змінити враження про рівень володіння англійською мовою або впевненість автора, водночас зберігши їхні висновки; переписані версії перевіряли на зміни стилю та змісту, перш ніж ШІ-рецензенти оцінювали їх за однакових умов; після цього порівнювали відмінності в оцінках рецензентів.

Кожну статтю анонімізували й переписували за допомогою Claude Opus 5, створюючи альтернативні версії, покликані перевірити як упевненість, із якою висловлено твердження, так і враження про рівень володіння англійською мовою автора. Для перевірки впливу впевненості формулювання робили або категоричнішими, або обережнішими. У «впевнених» версіях частіше використовували слова, що вказують на певність, як-от «очевидно» і «безперечно», тоді як в обережніших чернетках віддавали перевагу словам і виразам, що пом’якшують твердження, наприклад «може» та «свідчить» .

У всіх випадках наукові твердження, докази, результати, технічну термінологію та загальну структуру залишали без змін. Автори зазначають, що інструкції для переписування ґрунтувалися на усталених лінгвістичних дослідженнях, а не на загальних проханнях наслідувати певні стилі письма.

Перевірка переписаних версій

Для перевірки кожну переписану версію порівнювали з оригіналом за допомогою показника семантичної подібності, який оцінює, чи зберігають уривки своє значення, а також подібності за показником TF-IDF (що вимірює, наскільки збережено лексику й термінологію). Обидва показники наближалися до 1, підтверджуючи високу подібність до оригіналів:

Перевірка переписаних статей. У впевнених версіях використовували категоричніші формулювання, тоді як в обережних висловлювали більше невпевненості. Значення, близькі до 1, підтверджують високу подібність до оригіналів, а кольорове виділення позначає вищі значення для кожного цільового показника.

Було перевірено шість ШІ-рецензентів: пропрієтарні моделі GPT-5.5, Claude Sonnet 4.6 і Gemini 3.5 Flash, а також моделі з відкритими вагами Gemma 3, Qwen3 VL і GLM 4.7. Їх обрали, зокрема, тому, що в усіх них дати відсікання знань припадали на час до 2026 року, що зменшувало ризик наявності попередніх знань про рішення щодо прийняття статей.

Кожну переписану статтю оцінювали незалежно, дотримуючись рекомендацій для конференційного рецензування. Щоб визначити, наскільки оцінки могли відрізнятися під час повторних перевірок, кожна модель десять разів рецензувала десять випадково відібраних статей.

Результати

Проведені тести мали з’ясувати, чи віддаватимуть шість обраних ШІ-рецензентів послідовну перевагу певним стилям письма. У них порівнювали статті, написані «впевненою» або «обережною» мовою, а також статті, що нагадували академічну англійську, якою пишуть носії мови або ті, для кого вона не є рідною^†.

Результати порівняння оцінок ШІ-рецензентів для 504 наукових статей, переписаних у різних стилях. Відсоток переваги показує, яка версія отримала вищу оцінку; випадки однакових оцінок наведено в дужках. Співвідношення показують, у скільки разів частіше віддавали перевагу одній версії, а зміни рішень — як часто зміна формулювань призводила до протилежного рішення щодо прийняття чи відхилення статті. Жирним шрифтом виділено статистично значущі значення. У цій статті розглядається відповідний розділ унизу, оскільки верхню гіпотезу тут не аналізують (див. примітки).

Усі шість ШІ-рецензентів послідовно віддавали перевагу впевненому стилю письма. Найвиразнішу перевагу продемонстрував Claude Sonnet 4.6: як уже згадувалося, він ставив «впевненим» чернеткам вищі оцінки в сім разів частіше, ніж «обережним».

Статтю вважали прийнятою, якщо її оцінка сягала 4,5 із 10, однак зміни стилю письма іноді піднімали оцінку тієї самої статті вище цього порога або опускали нижче, змінюючи рішення; такі зміни зазвичай сприяли впевненому стилю письма.

Claude Sonnet 4.6 показав особливо слабкі результати: у 21% випадків він приймав «впевнену» версію, але відхиляв «обережну». Протилежна ситуація траплялася лише у 2,8% випадків.

Вплив був помітний і в письмових рецензіях: ШІ-рецензенти частіше хвалили методи, теорії та науковий внесок статті, якщо її твердження були сформульовані впевнено. Оскільки саме дослідження не змінювалося, ці прихильніші оцінки можна було пояснити лише відмінностями в подачі та тоні.

Висновок

Щоразу, коли люди за допомогою ШІ (хай і ненавмисно) намагаються підвищити співвідношення сигналу до шуму, ШІ випробовують як рішення — цього разу, щоб упоратися зі значним зростанням кількості поданих наукових статей про штучний інтелект; цей сплеск останнім часом посилив роль arXiv як майданчика для відбору та підвищив вимоги до публікації. Однак уже має бути зрозуміло, що передові великі мовні моделі та всі моделі нижчих рівнів досі мають надто багато особливостей, щоб беззастережно довіряти їм оцінювання, за винятком випадків із найжорсткіше заданими параметрами.

У таких випадках, імовірно, краще перетворювати менші за масштабом великі мовні моделі на спеціалізовані інструменти для оцінювання за допомогою донавчання або адаптерів LoRA. Однак це потребує принаймні трохи додаткових зусиль, а можливо, і додаткових витрат, тоді як «чисті» локальні інсталяції або виклики API швидші й відносно дешеві.

Попри досить лаконічний виклад, ця стаття може зацікавити кінцевих користувачів великих мовних моделей більше, ніж пересічна публікація, адже вони вже знайомі з «ентузіазмом» як проблемою, яку доводиться обходити, щоб ефективно працювати із ШІ; і якщо цю та подібні проблеми великих мовних моделей поки що неможливо усунути, їх принаймні можна враховувати.

Перш ніж надто глузливо ставитися до такого поверхового прирівнювання під час оцінювання ШІ, варто пам’ятати: ці системи так само губляться, як і решта з нас, коли йдеться про епістемологію — пошук беззаперечного авторитету. Ми й самі історично часто плутаємо сигнал із самою річчю.

* Під назвою «Стиль важливіший за зміст? Мовне упередження в рецензуванні на основі великих мовних моделей»

^† Або щоб текст був схожий на академічну англійську, написану носіями мови чи тими, для кого вона не є рідною, — це альтернативна гіпотеза, яку авторам статті не вдалося так само переконливо довести і яку в цій статті не розглянуто.

Уперше опубліковано у вівторок, 27 жовтня 2026 року