ChatGPT-5 і Gemini 2.5 створюють галюцинації в 40% запитів у стилі новинної редакції

Нове дослідження показало, що ChatGPT-5 і Google Gemini галюцинують у 40% запитів, схожих на завдання редакції, часто вигадуючи впевнені твердження без перевірюваних фактів. NotebookLM має кращий показник — 13%, але й цього вистачило б, щоб звільнити будь-якого журналіста. Моделі часто спотворювали джерела, перетворювали думки на факти й прибирали атрибуцію, тому їх використання в журналістиці ризиковане. Автори закликають створити кращі спеціалізовані інструменти.

Великі мовні моделі швидко поширилися в журналістиці, де робочі місця, бюджети й персонал скорочувалися ще відтоді, як цифрова журналістика зруйнувала двісті років традицій у невпинному процесі, що почався на початку 2000-х.

Ґрунт уже був підготовлений: медіа звикли скорочувати робочі місця через «інновації» принаймні з часів бурхливого впровадження цифрового набору у 1980-х, не кажучи про попередні виклики від радіо й телебачення.

Просування AI в редакції не обходиться без невдач. 55% компаній шкодують, що замінили людей AI, Gartner прогнозує суттєве уповільнення впровадження протягом двох років, а деякі редакції вже повернули журналістів, яких замінили AI, після того як стали очевидними серйозні й часто ганебні вади машинного навчання.

Помиляються не лише люди

Галюцинації стали великою проблемою там, де критично важливі точні посилання, зокрема у праві, дослідженнях і журналістиці. Нове американське дослідження показує, що виклики машинного навчання для редакцій ширші, ніж вважалося.

Автори оцінили ChatGPT, Google Gemini і орієнтований на цитування NotebookLM у репортерському завданні з корпусом із 300 документів про судові справи та політику щодо TikTok у США.

Дослідники змінювали точність запитів і кількість документів, а потім класифікували тип і серйозність галюцинацій. 30% усіх відповідей мали хоча б одну галюцинацію. ChatGPT і Gemini показали по 40% — трохи більше ніж утричі вище за 13% NotebookLM.

Замість вигаданих фактів або сутностей моделі часто демонстрували надмірну впевненість у тлумаченні, додаючи непідтверджені характеристики та перетворюючи приписані комусь думки на загальні твердження:

«Більшість помилок не стосувалася вигаданих сутностей чи чисел. Моделі додавали непідтверджені характеристики джерел і перетворювали приписані думки на загальні твердження».

«Це виявляє фундаментальну епістемологічну невідповідність: журналістика вимагає чіткого джерела для кожного твердження, тоді як LLM створюють авторитетний текст незалежно від доказів».

«Ми пропонуємо журналістські розширення таксономій галюцинацій і вважаємо, що редакційні інструменти мають забезпечувати точну атрибуцію, а не лише плавність тексту».

Дослідження під назвою Not Wrong, But Untrue: LLM Overconfidence in Document-Based Queries займає п’ять сторінок і належить трьом авторам із Північно-Західного університету та Університету Міннесоти.

Теорія і метод

Точна причина галюцинацій* залишається предметом суперечок. Майже всі теорії погоджуються, що якість або розподіл даних є чинником під час навчання. Було навіть запропоновано вважати весь вихід LLM галюцинацією, частина якої випадково збігається з реальністю.

Автори зазначають^†:

«З технічного погляду галюцинації виникають через здатність LLM породжувати текст за поширеними шаблонами без розуміння істини. Так виникають правдоподібні, але хибні відповіді — наприклад, вигадані прецеденти, що потрапляють до судових аргументів».

«Хоча можливості LLM різко зросли за п’ять років, галюцинації залишаються проблемою і часом навіть частішають, коли моделі стають більш здібними».

Підходи до зменшення галюцинацій поділяють на три групи. Перша — контекст: модель прив’язують до баз даних, документів або вебу. Це працює, коли матеріал надійний і повний, але прогалини, застарілі чи неякісні дані все одно спричиняють помилки, а моделі виходять за межі джерел.

Друга — підказки та декодування: модель просять перевірити докази, розбити завдання, дотримуватися формату, переглянути власну роботу або порівняти відповіді. Це ловить частину помилок, але збільшує витрати й пропускає тонкі неточності, тому перевірка лишається на користувачеві.

Третя — моделі й інструменти: доступ до пошуку, калькуляторів, добре документованих навчальних даних або вбудованих цитат. Вони також залежать від якості джерел, правил та людського нагляду.

TikTok

Щоб визначити корисні для журналістів підходи, дослідники відтворили типові редакційні процеси й стандарти. Передові моделі тестували зі звичайними стратегіями підказок і прив’язки до документів, вимірюючи частоту, тип і значення помилок.

Аналіз стосувався документальних запитів, звичних для дослідницької й розслідувальної журналістики. Як реалістичний проєкт малої чи середньої редакції обрали судові спроби заборонити TikTok у США.

Із Washington Post, New York Times, ProQuest і Westlaw зібрали 300 документів: п’ять наукових праць, 150 новин і 145 судових матеріалів. Повна збірка доступна дослідникам через репозиторій.

П’ять запитів варіювалися від загальних питань до конкретних запитів про свідчення у справах. Кожна модель отримувала 10, 100 або всі 300 документів; два ключові документи завжди включалися. Для кожної моделі створили 15 відповідей, крім ChatGPT, обмеженого десятьма.

Учасники

ChatGPT-5 тестували через Projects з лімітом 100 документів. Gemini 2.5 Pro обробляв усі 300 документів — 923 000 токенів — у мільйонному контексті. NotebookLM із вбудованим пошуком цитат використовував окремі блокноти для кожної вибірки.

Усі три — реальні інструменти для журналістів, хоча їхні функції різняться. Таксономія з роботи 2023 року кодувала галюцинації за орієнтацією, категорією та ступенем — легким, помірним або тривожним. Один автор вручну перевірив кожне речення. Помилки поза таксономією позначили як інші для подальшої розробки журналістських категорій.

Дані й тести

У першому тесті 12 із 40 відповідей мали принаймні одну галюцинацію. ChatGPT і Gemini — по 40%, NotebookLM — 13%:

Загальні показники галюцинацій: Gemini і ChatGPT мають найбільшу частку відповідей із помилками. Джерело: https://arxiv.org/pdf/2509.25498

«Хоча більшість відповідей усіх інструментів не містила галюцинацій, вибір інструмента впливає на результат за однакових документів і запитів».

Галюцинації рідко виникали поодинці: Gemini мав у середньому чотири на помилкову відповідь, NotebookLM — три, ChatGPT — 1,5. Більшість були помірними, 14% — тривожними. В одному випадку ChatGPT вигадав мотив відплати за забороною TikTok, якого не було в джерелі:

«В одному запиті ChatGPT представив можливу заборону TikTok як взаємний захід американських законодавців у відповідь на політику Китаю — твердження, якого не було в цитованому документі».

64% відповідей із галюцинаціями містили фактичні неточності або відступи, що ставить під сумнів економію часу від LLM у такій роботі.

Більшість помилок не вписувалися в наявні категорії, зокрема вигадані цитати та неправильне розшифрування абревіатур. Нижчий показник NotebookLM вказує, що його цитатна система RAG надійніше прив’язує відповіді до конкретних документів, ніж Projects у ChatGPT або контекст Gemini.

Головною якісною проблемою було не вигадування фактів, а надмірне тлумачення:

«Моделі додавали впевнені характеристики призначення документів, аудиторії та намірів мовців без підстав у тексті. Обережні або атрибутовані заяви вони перетворювали на категоричні твердження».

Надмірна впевненість проявлялася як непідтверджені твердження про аудиторію чи мету документа та як перетворення приписаних думок на факти, що приховувало джерело. Це спостерігалося в усіх архітектурах; більшість помилок була надінтерпретацією, а не вигадкою.

Часті проблеми на кшталт втраченої атрибуції й нечіткого опису джерел показують, що поточні таксономії не охоплюють найважливіших для журналістики помилок. Моделі додають упевнений аналіз, якого документи не підтримують, і прибирають критичну атрибуцію.

Висновок

Кожна з трьох моделей має сильні й слабкі сторони. NotebookLM значно кращий у цитуванні, але створений саме для цього й усе одно помиляється настільки часто, що журналіста, дослідника чи юриста звільнили б. Як дослідницький інструмент він також не має багатьох зручностей двох інших платформ.

Принаймні NotebookLM справді читає завантажені документи, тоді як ChatGPT часто припускає їхній зміст за загальними знаннями про подібні матеріали. Домогтися від ChatGPT повного читання замість опори на метадані чи власні припущення буває складно.

У праві, журналістиці й наукових дослідженнях, де походження та цитування критичні, провідні LLM не мають нативно навчених засобів, що подолали б обмеження точного вилучення та обробки наданої інформації.

Поки допоміжні системи не запропонують кращого інтерфейсу, ніж системна підказка або налаштування MCP, усі результати для критичних секторів мають перевіряти дорогі, незручні, але необхідні люди.

* Google Cloud пропонує докладний огляд теми тут.

^† Посилання в цитатах авторів перетворено на гіперпосилання.

Вперше опубліковано в середу, 1 жовтня 2025 року. Оновлено 2 жовтня для виправлення помилки в короткому викладі та стилістичної помилки в першому абзаці.