ШІ часто цитує вебсторінки, яких навіть не читав

Іноді серед наукових публікацій дня з’являється стаття, яка справді мене дратує — не тому, що вона неточна чи образлива, а тому, що помічає й досліджує явище, яке вже давно мене непокоїло, хоча й нечітко та без конкретної причини (можливо, тому, що я був надто заклопотаний і просто його ігнорував).

Сьогодні вийшла така стаття, написана трьома авторами з кафедри обчислювальної техніки Імперського коледжу Лондона. У новій праці під назвою «Отримано, але не прочитано: чому великі мовні моделі з пошуковим доповненням не використовують наявні докази» досліджується, чому великі мовні моделі (ВММ) так часто підсовують вам посилання на підтримку своїх відповідей (нерелевантні цитати зі статей, посилання на сумнівні вебпублікації тощо) навіть не читаючи їх.

Автори зазначають:

«Ми з’ясували, що моделі часто відповідають на основі пошукових фрагментів, не відкриваючи сторінок першоджерел, і це пов’язано з більшою кількістю застарілих відповідей і недостовірних цитат. Наші контрольовані експерименти та пошаровий аналіз виявляють розрив між доступністю доказів і їхнім фактичним використанням.

Навіть коли отримані докази впливають на внутрішні прогнози моделей, у підсумкових відповідях вони все одно можуть віддавати перевагу застарілій інформації».

Автори перевірили одну пропрієтарну велику мовну модель (LLM) — GPT-5.6 Luna від OpenAI — та шість конфігурацій моделей із відкритими вагами на сотнях фактів, які змінилися після дат завершення навчання моделей.

Потім вони з’ясували, як часто системи покладалися на пошукові фрагменти замість того, щоб відкривати сторінки першоджерел; як це впливало на точність відповідей і цитат; і чому застаріла інформація іноді переважала навіть тоді, коли новіші докази надавали безпосередньо.

Тести показали, що моделі часто відповідали на запитання не відкриваючи жодної зі сторінок, знайдених вебпошуком, і така поведінка була пов’язана зі значно більшою кількістю застарілих відповідей і оманливих цитат:

Результати тестів показують, як часто моделі ШІ цитують вебджерела, навіть не читаючи їх. У восьми конфігураціях дослідники вимірювали точність відповідей, залежність від пошукових фрагментів без відкриття сторінок першоджерел, а також випадки, коли цитати суперечили твердженням моделей. У деяких випадках понад половина пошукових запитів завершувалася без відкриття жодної сторінки. Усі значення наведено у відсотках; у першому рядку використано пошук у реальному часі, а в решті — стандартизовані результати пошуку. Джерело

Дослідники також виявили, що надання правильних доказів безпосередньо може значно зменшити кількість таких збоїв, хоча деякі моделі й далі віддавали перевагу застарілій інформації, навіть коли новіші факти наводили прямо перед ними.

Приховані мотиви?

Є дві найочевидніші причини, чому ВММ так часто завалюють нас документами, які «звучать правильно», але не стосуються суті: а) це заощаджує гроші, адже завантаження й читання навіть короткого викладу першоджерела потребує часу та пропускної здатності, а самого матеріалу може й не бути у відкритому доступі; і б) це зменшує затримку — наче швидко надати вам неправильну чи частково неправильну відповідь краще, ніж трохи затримати відповідь, яка була б точнішою.

Однак авторів нової праці більше цікавить визначення базових механізмів цього недоліку якості, ніж з’ясування того, як його могли спочатку спроєктувати або передбачити.

Не дивно, що мій досвід обговорення з передовими моделями економії масштабу у ВММ наразі незмінно приводить до того, що я можу вважати лише заздалегідь визначеною захисною реакцією.

Принаймні мені зрозуміла економічна доцільність маніпулювання поведінкою ВММ щодо цитування в такий спосіб. Однак ці технології досі настільки мало вивчені, швидко змінюються й так часто дають несподівані результати, що наразі важко довести наявність таких мотивів.

Методика

Щоб перевірити, наскільки добре моделі насправді використовують вебджерела, дослідники зібрали 225 фактів, які змінилися після 16 лютого 2026 року — найпізнішої з повідомлених дат завершення навчання серед протестованих моделей.

Факти взяли з інформації FDA про лікарські засоби (62 факти), фінансової сфери (52), спорту (47), відомостей про людей (43), документів, поданих до SEC (13), і хімічних класифікацій (8). Не враховували зміни, що набули чинності до дати завершення навчання або про які оголосили до 1 лютого, а також медичні твердження, на які можна було відповісти на основі загальних знань. Як контрольні дані використовували й незмінені факти, що дало змогу дослідникам відрізнити помилки, пов’язані з новою інформацією, від загальніших помилок.

Для встановлення базового рівня GPT-5.6 Luna протестували без доступу до вебпошуку; модель правильно відповіла лише на 23,3% зі 103 запитань про факти, що змінилися.

Невказану модель ШІ використали, щоб переформулювати положення маркування FDA зі згаданого вище набору даних у окремі фактичні твердження, кожне з яких потім перевірили вручну*.

Серед перевірених конфігурацій моделей із відкритими вагами були GLM-5.3-Flash від Z.ai; gpt-oss-120b і gpt-oss-20b від OpenAI; gemma-4-31b від Google DeepMind, яку перевіряли як із міркуванням, так і без нього; та qwen3-8b від Qwen.

Моделям із відкритими вагами та GPT-5.6 Luna надали однакові результати вебпошуку, щоб їхні відповіді можна було об’єктивно порівняти. Окремо Luna протестували з використанням власного вбудованого вебпошуку.

Для 223 із 225 фактів заздалегідь зібрали по десять результатів пошуку за допомогою Brave Search. Усі моделі отримували однакові результати й могли відкривати сторінки або шукати інформацію на них за допомогою однакових інструментів.

Сторінка з «правильною» відповіддю завжди була доступна моделям: якщо вона природно з’являлася серед перших десяти результатів, її позицію не змінювали; інакше її заздалегідь визначеним чином додавали до результатів, щоб дослідники могли за порівнюваних умов з’ясувати, як моделі використовували доступні докази.

Щоб зробити тести послідовнішими, температуру встановили на нуль для моделей, які підтримували це налаштування, а протягом усіх експериментів кожну модель запускали через того самого провайдера.

Формат запитів

Для перевірки фактів використовували два запити. У першому ставили відкрите запитання, наприклад «За який клуб грає Бернарду Сілва?», — із проханням надати джерело або без нього. У другому просили модель перевірити твердження, що містило актуальну або застарілу інформацію, і порівнювали, як вона оцінювала кожен варіант.

У зведених результатах використали ще чотири типи запитів: відкриті запитання з підказками; запити на наведення цитат; запити на підтвердження наданого твердження посиланням на джерело; і перевірки фактологічних довідок, у яких модель мала знайти одне застаріле твердження серед кількох правильних.

Приклади реальних запитів, використаних для тестування моделей на основі запитань і тверджень про футболіста Бернарду Сілву. У таблиці показано, як те саме фактологічне питання подавали у вигляді різних запитів на отримання відповідей, перевірку, цитат і посилань на джерела. Усі запити починалися з дати 8 серпня 2026 року, а більшість вимагала стандартизованої остаточної відповіді, формат якої визначався вказівками з літерами під таблицею.

У кожному запиті зазначали дату, а більшість вимагала відповіді у фіксованому форматі, який допускав варіант «НЕ МОЖУ ПЕРЕВІРИТИ»; завдяки цьому результати можна було оцінити без участі людей чи арбітражу на основі LLM.

Використовували такі метрики: глибина читання (чи відкривали сторінки джерел і чи посилалися на них); точність відповідей (відсоток правильних відповідей без урахування утримань від відповіді); і достовірність цитування (чи суперечили сторінки, на які посилалася модель, її твердженням).

Де це було можливо, оцінювання автоматизували: неуточнена LLM могла схвалити посилання на джерело лише за наявності підтвердження точним уривком з архівної сторінки; негативні оцінки, що вимагали інтерпретації, доручали рецензентам-людям; а незмінені контрольні факти використовували для визначення базового рівня помилок кожної моделі під час цитування.

Результати

Початкові тести (наведені на початку цієї статті) показали, що доступ до вебпошуку підвищував здатність моделей правильно відповідати на запитання. Під час перевірки точності фактичних тверджень їхні показники зросли на 27–42 відсоткові пункти. На прямі запитання моделі правильно відповідали у 85,8–95,4% випадків.

Однак багато відповідей моделі давали навіть не відвідуючи вебсайти, знайдені під час пошуку. Натомість вони покладалися на короткі текстові фрагменти, показані поруч із результатами пошуку. Навіть коли моделям надавали однакові результати пошуку, частка пошукових запитів, за яких не відкривали жодної сторінки, залежно від моделі коливалася від 2,6% до 76%.

У цьому контексті GPT-5.6 Luna продемонструвала особливо низький рівень зусиль:

«За однакових результатів пошуку моделі відповідають, не відкриваючи жодної сторінки, у 2,6–76,0% епізодів. За використання власного пошуку Luna відповідає, спираючись лише на фрагменти, у 53,6% епізодів».

Результати тестів, у яких порівнювали застарілі відповіді та оманливі цитати залежно від того, наскільки ретельно моделі аналізували результати пошуку. «Фрагмент» означає, що жодну вебсторінку не відкривали; «Відкрито» — що сторінку відкрили, але не процитували; «Цит.» означає, що відкриту сторінку процитували. Усі показники — це відсотки, об’єднані за сімома конфігураціями моделей і всіма типами запитів. Помилки загалом траплялися частіше, коли моделі покладалися лише на фрагменти з результатів пошуку.

У семи конфігураціях моделей 6.4% відповідей, сформованих лише на основі фрагментів із пошуку, були застарілими. Для порівняння, коли моделі цитували відкриті сторінки, таких відповідей було 1.3%. Як видно вище, оманливі цитати також траплялися частіше: 6.4% проти 2.3%. У відповідях на запитання про спорт частка застарілих відповідей серед моделей із відкритими вагами сягнула 20.2% проти 2.1%. Коли відповіді були застарілими, 81.8% цитат на підтвердження відповідних тверджень суперечили їм; серед актуальних відповідей таких цитат було лише 0.9%. Подібні закономірності виявили й під час тестування за фактологічними довідками.

Фактично це означає, що досліджені моделі ШІ частіше дають неправильні відповіді, коли покладаються на короткі описи в результатах пошуку, а не читають самі вебсторінки. Ба більше, іноді вони посилаються на сторінки, які доводять хибність їхніх відповідей.

Спільний збій

Якщо вибірка, використана в цих тестах, не є «сукупністю нетипових випадків», можна припустити, що ця проблема стосується й інших моделей — як закритих, так і з відкритим кодом. Справді, сім із дев’яти типів збоїв, виявлених під час пошуку в інтернеті в реальному часі моделлю GPT-5.6 Luna, були тісно пов’язані зі збоями інших моделей, які тестували на тих самих фіксованих результатах пошуку. Це свідчить про те, що проблема не обмежувалася Luna.

Якщо надати правильну сторінку Вікіпедії безпосередньо, кількість застарілих відповідей зменшується: у gemma-4-31b кількість помилок скоротилася з 14 до нуля; у gpt-oss-20b — з 11 до однієї; у qwen3-8b — з 16 до восьми. Повторне надання початкового запитання після відкриття кожної сторінки також допомогло виправити 26.1% попередніх помилок під час перевірки за фактологічними довідками.

Результати показують, як часто gemma-4-31b, gpt-oss-20b і qwen3-8b приймали застарілі твердження за різних умов. Ті самі докази або не надавали, або безпосередньо додавали до запиту, або робили доступними через результати пошуку; в окремих тестах моделі просили вказати джерела на підтвердження. Надання правильної сторінки безпосередньо було значно ефективнішим, ніж вимога самостійно знайти її. Показники відображають кількість помилок від загальної кількості тестів.

Клубні правила

Насамкінець, щоб краще зрозуміти, чому ШІ іноді ігнорує правильну інформацію, дослідники протестували три моделі з відкритими вагами на запитаннях про футболістів, які змінили клуб: gpt-oss-20b, gemma-4-31b і qwen3-8b.

Кожній моделі надавали застарілу інформацію про клуб гравця — іноді разом із правильною сторінкою Вікіпедії — і відстежували, якого варіанта відповіді вона надасть перевагу під час обробки.

Результати показали, що моделі могли розпізнати правильний клуб, але все одно давали неправильну відповідь:

Результати тестів показують, як qwen3-8b враховувала правильний і застарілий клуб під час формування відповіді. На лівому графіку показано успішні відповіді, у яких правильний клуб залишався попереду; на правому — помилкові, у яких на фінальних етапах обробки застарілий клуб випереджав правильний. Заштриховані ділянки показують розбіжності між тестами.

У qwen3-8b правильний клуб іноді спочатку виходив на перше місце у внутрішніх оцінках моделі, але безпосередньо перед формуванням відповіді його випереджав застарілий клуб (див. вище). Подібна закономірність спостерігалася в gpt-oss-20b, тоді як gemma-4-31b зазвичай віддавала перевагу «застарілому» клубу на всіх етапах.

Отже, схоже, що навіть за наявності правильних доказів і розпізнавання їх моделлю застаріла інформація все одно може переважити під час формування остаточної відповіді.

На завершення автори припускають, що моделям потрібно краще використовувати вебсторінки, які вони знаходять, а не покладатися на пошукові фрагменти. Вони також сподіваються з’ясувати, чому моделі іноді тримаються за застарілу інформацію, попри те що мають правильну відповідь, а також чи могли б допомогти зміни в тому, як моделі обробляють інформацію. Однак конкретного рішення не запропоновано.

Висновок

Хоча нова стаття містить цінні спостереження, вона не пояснює, чому LLM так легковажно використовують цитати й посилання. Як споживач і людина, яка й сама цілком здатна аналізувати закономірності, я маю враження, що LLM, якими я користуюся, радять статті чи URL-адреси, бо їх рекомендують інші… рекомендовані сайти…? То звідки насправді береться відчуття авторитетності?

Правду кажучи, навіть до появи ШІ це була проблема, якої нам не вдалося розв’язати, тож, мабуть, не дивно, якщо виявиться, що LLM не заощаджують ні коштів, ні часу, а лише поширюють ті самі китайські чутки, які ми самі переконуємо себе вважати «правдою».

* У статті не зазначено, хто проводив ці огляди.

Уперше опубліковано в п’ятницю, 16 жовтня 2026 року