Погляд Anderson

Науковому прогресу, зумовленому ШІ, загрожує дивна одержимість

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
Nikola Tesla seated beneath his experimental high-voltage electrical apparatus in Colorado Springs, 1899. The famous photograph was created using a double exposure, allowing Tesla to appear calmly seated amid the electrical discharges. Source: Smithsonian.
Ключові моментиНовіші рецензенти ШІ фіксуються на додатках, тоді як люди-рецензенти зосереджуються на…
Показати більше
  • Новіші рецензенти ШІ фіксуються на додатках, тоді як люди-рецензенти зосереджуються на основних висновках статті.
  • Мовні моделі вважають кожен уривок однаково важливим, тому вони пропускають, які розділи насправді мають значення.
  • Упередженість щодо додатків зберігається за різних методів доступу й дає поверхневий відгук, який майже не допомагає авторам покращити роботу.

Нове дослідження зі США свідчить, що моделі ШІ, які рецензують наукові статті, розвивають дивну одержимість додатками, а не основним текстом: вони часто приділяють більше уваги другорядним допоміжним деталям, ніж головним результатам. Оскільки мовні моделі дедалі частіше використовують для допомоги рецензентам-людям або навіть замість них, ця нещодавно виявлена тенденція, схоже, поширюється і на рецензування наукових праць людьми, що потенційно може гальмувати прогрес у дослідженнях ШІ:

У новій статті йдеться про зростання кількості критичних зауважень щодо додатків у рецензіях на наукові праці, написаних людьми. Протягом кількох років цей показник залишався нижчим за 11%, але в останніх рецензіях сягнув 27,6% — після появи моделей ШІ, у яких понад половина критичних зауважень стосувалася додатків. Пунктирні лінії позначають випуск основних моделей.  Джерело — https://arxiv.org/pdf/2611.17811

У новій статті йдеться про зростання кількості критичних зауважень щодо додатків у рецензіях на наукові праці, написаних людьми. Протягом кількох років цей показник залишався нижчим за 11%, але в останніх рецензіях сягнув 27,6% — після появи моделей ШІ, у яких понад половина критичних зауважень стосувалася додатків. Пунктирні лінії позначають випуск основних моделей.  Джерело

Перевіривши 2000 наукових статей із чотирьох популярних конференцій, автори нового дослідження з’ясували, що новіші моделі формують приблизно 50–70% своїх критичних зауважень на основі додатків, тоді як у старішої моделі GPT-5 цей показник становить менш як 30%.

Дві найпомітніші нові моделі ШІ, які, схоже, змушують навіть рецензентів-людей звертати увагу на додатки, а не на важливіші основні результати, — це GPT-6.1-Sol і GPT-6-Astra від OpenAI, обидві випущені у 2026 році.

У статті зазначено*:

‘Різниця між поколіннями моделей значна. У GPT-5 лише невелика частка зауважень щодо слабких місць стосується додатків. Обидві новіші моделі, GPT-6.1-Sol і GPT-6-Astra, значно більше покладаються на них, і це справедливо для кожної конференції.

‘Це свідчить про те, що упередженість на користь додатків властива переважно новішим моделям. Хоча нові моделі є кращими, їхня упередженість на користь додатків посилилася. Здатність детально читати статтю не навчила їх визначати, які її частини найважливіші.’

Дослідження також показало, що ця зосередженість на додатках залежить від способу, у який ШІ отримує статтю, адже інтерфейси API, codex і вебінтерфейси обробляють PDF-файли по-різному: Codex узагалі не читає середню частину PDF-файлу середньої довжини, а за потреби згодом переглядає його лише «порціями». Однак було встановлено, що всі методи віддають перевагу матеріалам із додатків.

Ще донедавна рецензування людьми й ШІ не мало цієї спільної одержимості:

‘[Human]Рецензенти по-різному ставляться до основного тексту й додаткових матеріалів, на відміну від LLM. LLM пов’язують із матеріалами в додатках понад 50% своїх зауважень щодо слабких місць, тоді як люди — менш як 10%.

‘Різниця помітна й на рівні окремих рецензій. Із 200 статей, відібраних для вибірки щороку з 2021 до 2024 року, лише 159 загалом отримали рецензію людини, у якій згадувалася бодай одна слабкість, пов’язана з додатками. Натомість у всіх 200 рецензіях, створених LLM для ICLR 2027, було щонайменше одне критичне зауваження щодо додатків.’

Порівняння критичних зауважень щодо додатків у рецензіях, написаних людьми та створених ШІ. Рецензенти-люди віднесли до матеріалів у додатках лише 8,4% виявлених слабких місць, тоді як для моделей ШІ цей показник становив 62%. У другому стовпці наведено критичні зауваження лише щодо додатків, яким не відповідають жодні проблеми в основному тексті статті.

Порівняння критичних зауважень щодо додатків у рецензіях, написаних людьми та створених ШІ. Рецензенти-люди віднесли до матеріалів у додатках лише 8,4% виявлених слабких місць, тоді як для моделей ШІ цей показник становив 62%. У другому стовпці наведено критичні зауваження лише щодо додатків, яким не відповідають жодні проблеми в основному тексті статті.

Як показано в таблиці з результатами перевірки вище, рецензенти-ШІ виявляли слабкі місця в додатках більш ніж у сім разів частіше за людей і більш ніж утричі частіше висловлювали критичні зауваження лише щодо додаткових матеріалів. Це свідчить про те, що деякі з найновіших передових моделей ШІ тепер надають пріоритет деталям, які рецензенти-люди традиційно вважали б другорядними порівняно з основним науковим внеском статті.

Чому?

Наскільки можна судити (це перше дослідження, у якому виявлено цей синдром), одна з причин проблеми полягає в тому, що системи ШІ не розуміють або не засвоїли з величезного масиву навчальних даних, що основний зміст статті зазвичай міститься не в додатку. Їхня загальна схильність вважати весь текст однаково важливим заважає враховувати контекст матеріалів у додатках, які часто не проходять редакційного опрацювання й подані значно менш ретельно, ніж основний текст:

‘LLM майже ніколи не критикують перші сторінки, де автори окреслюють проблему й пояснюють, чому вона важлива. Люди часто заперечують саме проти такого формулювання проблеми, тоді як LLM, схоже, приймають його й переходять до цифр.

‘[Humans and LLMs] дуже по-різному читали додаток. Критика з боку людей швидко вщухає в міру читання додатка й майже зникає на його останніх сторінках. Слабкі сторони LLM не зникають зовсім. Ба більше, вони найвиразніше проявляються далеко не на початку додатка, а значно далі й залишаються помітними навіть після 30-ї сторінки, де рецензенти-люди майже не висловлюють зауважень.

‘Для LLM деталь на 25-й сторінці — така ж доречна мішень для критики, як і головна таблиця результатів.’

Автори зазначають, що егалітарний підхід LLM до тексту міг природно спонукати їх більше зосереджуватися на матеріалах додатків, адже, як уже згадувалося, там зазвичай більше помилок.

Отже, головний висновок, який я роблю з цього нового дослідження, полягає в тому, що з часом LLM дедалі точніше зосереджуються на розділі нових наукових статей, де зазвичай трапляється чимало помилок або змішування понять, просто тому, що цю частину автори-люди так часто перетворюють на неохайне звалище другорядних доказів і підтверджень.

Тому штучний інтелект дедалі частіше вважає додатки цікавішими за ретельно опрацьовану основну частину статті, адже там є більше матеріалу для аналізу й виправлення; як наслідок, зазначають автори статті, LLM схильні сприймати вступну частину як виклад фактів і приймати її на віру:

‘Люди очікують, що основна частина статті буде самодостатньою, тому заперечують, коли важливі розділи переносять у додаток. LLM майже ніколи не висловлюють такого зауваження.

‘Це підкреслює важливу відмінність: люди розуміють, що основна частина важливіша за додаток, а LLM — ні. ‘

Наслідки та шляхи розв’язання

Така несподівана зосередженість на незначних деталях може мати серйозні наслідки для наукових досліджень за допомогою штучного інтелекту, особливо якщо при цьому ігноруватиметься важливість основних висновків статті. Оскільки ця тенденція, схоже, з’явилася лише в найновіших моделях, її довгострокові наслідки поки що невідомі.

У статті визнають, що рецензенти зі штучним інтелектом можуть виявити важливі помилки, навіть якщо ті сховані глибоко в додатку. Водночас автори застерігають, що надмірна увага до дрібниць може відвертати увагу від головних висновків статті, унаслідок чого рецензії стають довгими й мало корисними на практиці:

‘Рецензенти-LLM підвищують планку, адже не залишають без уваги жодної частини статті. Однак ефективне рецензування також вимагає розуміння того, що найважливіше. Коли більшість недоліків рецензії стосується матеріалів додатка, не пов’язаних із головним внеском статті, відгук залишається поверховим. Він не торкається суті статті й майже не допомагає авторам її поліпшити. ‘

Авторів нового дослідження під назвою «Рецензії ШІ упереджені на користь додатків» підштовхнули до цієї теми незвичні закономірності, які вони помітили в тому, як рецензії, створені за допомогою LLM або за їхньої участі, оцінювали їхні власні подання. Код дослідження доступний на GitHub.

Методика та перевірки

Для перевірок обрали чотири провідні моделі штучного інтелекту від OpenAI та Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; і Claude-Sonnet-5.5. До моделей зверталися через Codex і Claude Code, а їхню поведінку під час рецензування порівнювали з результатами доступу через API та вебінтерфейс.

Наукові статті зібрали з чотирьох провідних конференцій зі штучного інтелекту й обробки природної мови: ACL 2026; EMNLP 2026; COLM 2026; і ICLR 2027 — їх обрали через схожі формати подання та рецензування, суворі обмеження обсягу основної статті й зазвичай відсутність обмежень для додатків, розміщених після списку літератури.

Загалом розглянули 2 000 статей: 1 200 з ICLR за 2021–2026 роки та 800 із чотирьох нещодавніх конференцій (по 200 із кожної). Усі 800 статей із нещодавніх конференцій мали додатки обсягом щонайменше 15 сторінок. Подання до ICLR 2027 уже були анонімними, а зі статей ACL, EMNLP і COLM вилучили імена авторів, їхні афіліації, адреси електронної пошти та посилання, за якими можна було їх ідентифікувати, щоб рецензенти зі штучним інтелектом не могли встановити авторство.

Для моделей вимкнули доступ до інтернету, щоб рецензії ґрунтувалися виключно на наданих PDF-файлах.

Спочатку ШІ попросили підготувати рецензію у стилі відповідної конференції, описавши сильні й слабкі сторони статті та поставивши загальну оцінку. Інструкції навмисно сформулювали просто, щоб відтворити можливий сценарій використання ШІ звичайним рецензентом. Потім ту саму модель ШІ знову отримала статтю та готову рецензію; її попросили визначити, до якого розділу статті стосувалося кожне зауваження. Це встановлювали, зіставляючи зауваження з оригінальною статтею:

Триетапний процес рецензування, використаний у дослідженні. Статті з додатками обсягом щонайменше 15 сторінок відібрали з чотирьох конференцій та анонімізували перед рецензуванням моделями штучного інтелекту. Потім кожну рецензію зіставили з оригінальною статтею, відносячи окремі зауваження до відповідних розділів.

Триетапний процес рецензування, використаний у дослідженні. Статті з додатками обсягом щонайменше 15 сторінок відібрали з чотирьох конференцій і знеособили перед рецензуванням моделями ШІ. Потім кожну рецензію аналізували поруч з оригінальною статтею, співвідносячи окремі зауваження з розділами, яких вони стосувалися.

Завдяки розділенню цих завдань можна було дослідити, які частини статей викликали критику, не наражаючи оригінальні рецензії на вплив додаткових інструкцій.

Серед результатів, які ми досі не обговорювали, — перевірка авторів, яка мала з’ясувати, де саме виникають недоліки рецензій, згенерованих великими мовними моделями:

Порівняння того, де рецензії, згенеровані ШІ, виявляли недоліки на чотирьох конференціях. Зеленим позначено зауваження до основної частини статті, червоним — зауваження, пов’язані з додатками, а штрихуванням — зауваження лише до додатків. Майже в кожному тесті понад половину зауважень стосувалися матеріалів із додатків; найбільше таке упередження зафіксували для GPT-6-Astra.

Порівняння того, де рецензії, згенеровані ШІ, виявляли недоліки на чотирьох конференціях. Зеленим позначено зауваження до основної частини статті, червоним — зауваження, пов’язані з додатками, а штрихуванням — зауваження лише до додатків. Майже в кожному тесті понад половину зауважень стосувалися матеріалів із додатків; найбільше таке упередження зафіксували для GPT-6-Astra.

Як видно вище, приблизно половина або більше зауважень усіх чотирьох моделей ШІ ґрунтувалися на матеріалах із додатків — така закономірність спостерігалася на всіх чотирьох конференціях. Частина зауважень стосувалася виключно додатків і не була пов’язана з основною частиною статті; на такі зауваження припадало 17,33% недоліків, виявлених моделями GPT, порівняно з 10,16% у Claude.

За припущенням авторів статті, результати свідчать про те, що матеріалам із додатків приділяли непропорційно багато уваги, а часом відносно незначні деталі ставали підставою для критики статті загалом.

Щоб з’ясувати, чи залежало упередження на користь додатків від того, як отримували доступ до ШІ, порівняли різні методи. За допомогою GPT-6-Astra розглянули сто статей, поданих на ICLR 2027: через Codex, вебінтерфейс ChatGPT і API, якому надавали або оригінальний PDF-файл, або витягнутий із нього текст.

У Codex текст витягували й аналізували за допомогою команд; через API безпосередньо передавали або весь PDF-файл, або витягнутий із нього текст; завантажені ж документи обробляла власна (непрозора) система вебінтерфейсу:

Порівняння зауважень, пов’язаних із додатками, для різних моделей ШІ та способів доступу до них. Ліворуч показано, що GPT-5 значно рідше посилалася на матеріали з додатків, ніж новіші моделі GPT, на чотирьох конференціях. Праворуч видно, що упередження зберігалося за всіх чотирьох способів доступу до GPT-6-Astra: на зауваження, пов’язані з додатками, припадало від 62,2% до 73,7% загальної кількості зауважень. Штрихуванням позначено зауваження, спрямовані виключно на додатки.

Порівняння зауважень, пов’язаних із додатками, для різних моделей ШІ та способів доступу до них. Ліворуч показано, що GPT-5 значно рідше посилалася на матеріали з додатків, ніж новіші моделі GPT, на чотирьох конференціях. Праворуч видно, що упередження зберігалося за всіх чотирьох способів доступу до GPT-6-Astra: на зауваження, пов’язані з додатками, припадало від 62,2% до 73,7% загальної кількості зауважень. Штрихуванням позначено зауваження, спрямовані виключно на додатки.

Як видно вище, у всіх чотирьох методах на матеріали з додатків посилалися у 62,2–73,7% зауважень; найбільшу частку зафіксували, коли через API безпосередньо передавали витягнутий текст. Отже, упередження зберігалося незалежно від способу доступу до моделі.

Основну частину результатів інших тестів уже наведено раніше в статті; докладнішу інформацію можна знайти в першоджерелі.

Хитрощі під час подання статей

Як і для авторів нової праці, ця тема близька й мені: я часто читаю наукові статті й на власному досвіді засвоїв негласні правила та способи їх обходити, які визначають, як пишуть і представляють статті.

Загалом ШІ не варто звинувачувати в тому, що він звертає увагу на додатки, навіть якщо робить це з хибних причин: автори часто ховають там статті «підводні камені» — чинники або результати, які можуть майже повністю звести нанівець твердження в основній частині статті або ж істотно обмежити їхню обґрунтованість.

Не обов’язково винні й автори, які переносять важливі матеріали до додатків: шаблони популярних видань, зокрема тих, чиї матеріали використовували як джерела даних у новому дослідженні, встановлюють обмеження максимального обсягу основної частини статті — у сторінках або словах.

Описуючи складні результати досліджень, багато авторів, вочевидь, вважають це серйозним обмеженням; у тих випадках, які я назвав би «найгіршим軆, основна частина статті просто перетворюється на покажчик матеріалів, перенесених у кінець, щоб обійти вимоги (хоча вимоги поступово наздоганяють цю «хитрість» і забороняють її).

У цій ситуації дедалі відчутніша напруга виникає між потребою установ спонукати авторів упорядковувати й стримувати свої виклади — це стає дедалі важливішим, оскільки зростає обсяг поданих статей, — та очевидним розчаруванням дослідників, які прагнуть представити здобуті важкою працею результати в настільки повному й усебічному контексті, наскільки, на їхню думку, заслуговують докладені зусилля.

 

 

* Наголоси авторів, а не мої.

†Бо під час відбору статей для висвітлення навіть ШІ може бути складно виявити таке перенесення матеріалу до додатків; однак це може неабияк ускладнити роботу рецензента, якщо він виділив час на оцінювання десяти сторінок, а тепер мусить розглянути 30 сторінок матеріалу за той самий відведений час.

Уперше опубліковано в понеділок, 16 листопада 2026 року

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai