Чому текст, згенерований ШІ, складніше зрозуміти, ніж здається

Моделі ШІ, можливо, стає дедалі важче зрозуміти, адже під час навчання їх дедалі більше заохочують ефективно розв’язувати завдання, а не чітко пояснювати все людям.

Наведене вище невідредаговане речення написав ChatGPT у відповідь на прохання скласти одне речення — короткий виклад наукової статті за принципом ELI5; у ньому є принаймні кілька мовних викривлень, описаних у цьому новому дослідженні*. У новій роботі зроблено висновок, що ця проблема стосується всіх передових моделей, а також моделей, близьких до передових, і деяких моделей із відкритими вагами, які також досліджували.

Наприклад, початок фрагмента «їх під час навчання дедалі більше заохочують ефективно розв’язувати завдання» ілюструє тезу статті про те, що моделі ШІ іноді приписують неживим предметам людські дії (оскільки в наведеному вище прикладі про «навчання» сказано, що воно активно когось заохочує).

Це може ускладнювати швидке розуміння фрази, адже нам доводиться подумки сприймати це приписування як образний прийом, а не розуміти його буквально (що значно простіше).

У заключній частині — «дедалі більше заохочують ефективно розв’язувати завдання» — також зібрано докупи кілька ідей, тож читачам доводиться з’ясовувати, що саме заохочують, що розв’язують і що стає ефективнішим.

У статті сказано^†:

«[Readers] використовувати одушевленість як підказку під час аналізу речення, і без додаткового контексту невідповідність може викликати реакцію P600^††, пов’язану з повторним аналізом.

«Однак перефразування цих речень, щоб уникнути підметів, які позначають неживі предмети, потенційно вимагало б їх подовження: наприклад, слово “кусає” замінює вислів “спричиняє проблему”.

«Ми припускаємо, що під час навчання моделі могли засвоїти такі конструкції як ефективні, хоча й нестандартні, способи вираження думок, які інакше потребували б більше токенів».

Що-що?

У цьому й полягає головна думка статті: оскільки сучасні моделі ШІ, як-от ChatGPT, Claude і Gemini, оптимізовані для розв’язання різних типів завдань, а не спеціально для спілкування, вони схильні видавати текст у вигляді дуже стиснутих повідомлень, які потребують певного розшифрування.

Це мене здивувало, адже я постійно намагаюся переконати ChatGPT та подібні до нього моделі бути менш багатослівними і стислішими — цю проблему визнають і розглядають у науковій літературі.

Натомість у статті багатослівність постає як різновид zip-бомби, що заважає легко зрозуміти навіть не дуже довге речення. Тож, поєднавши дві проблеми — надмірну довжину відповідей за замовчуванням і спостереження авторів статті про надмірне стискання, — можна припустити, що типовий стиль відповідей передових моделей ШІ за замовчуванням має досить виразні особливості (і, ймовірно, цей доволі лаконічний стиль частково використовують як критерій у детекторах тексту, згенерованого ШІ, хоча в статті цього питання не розглядають).

Автори також розглядають ланцюжки іменників, прикладом яких є проблематичний заголовок Загін допомагає собаці кусати^†:

«В англійській мові іменники вільно вживаються як означення при інших іменниках: у словосполученні кав’ярня, слово «кава» означує «ярню», хоча зазвичай виступає іменником. Ця особливість дає змогу поєднувати кілька іменників у складні слова з дуже конкретними значеннями.

Однак такі ланцюжки можуть створювати неоднозначність у визначенні зв’язків між словами, як у заголовку «Загін допомагає жертві укусу собаки», і ускладнювати читання».

Отже, якщо великі мовні моделі багатослівні через стиснення, чи стають вони удвічі багатослівнішими, видаючи у відповідь на запит надмірні обсяги стиснутого тексту? Це означає, що у відповідь на запит доводиться читати не лише багато тексту, а й розшифровувати чимало «неявних» значень, закладених у самому тексті.

В одній статті 2023 року висловлено припущення, що великі мовні моделі можуть ставати невиправдано багатослівними через використання суддів зі штучного інтелекту під час навчання, адже ті часто винагороджують довші відповіді — навіть коли в експериментах, описаних у статті, люди віддавали перевагу коротшим.

Автори нової праці пояснюють (див. попередню цитату) деякі тенденції передових моделей до стислості архітектурною схильністю заощаджувати токени, що нині є доволі щедрим припущенням.

Розгляньмо методи, дані та випробування, які автори використали в дослідженні.

Дані та методи

Незвичні сполучення слів (вимірювані за допомогою н-грам, тобто послідовностей слів) досліджували на предмет їхньої непередбачуваності, адже рідкісні сполучення пов’язують із більшими труднощами під час читання.

Довжину залежності (відстань між граматично пов’язаними словами) також вимірювали, адже більша відстань створює додаткове навантаження на робочу пам’ять — особливо коли підмет і присудок розділяють кілька інших слів.

Досліджували об’єктні відносні підрядні конструкції (наприклад, «будинок, який збудували підрядники»), зокрема випадки, коли пропускали необов’язкові слова, як-от «що» у вислові «будинок, що його збудували підрядники».

Також досліджували згадані вище складені іменникові сполуки (три або більше іменників, поєднаних між собою, як-от «генератор саундтреків до фільмів жахів»), оскільки зв’язки між словами в таких сполуках можуть бути неоднозначними.

Досліджували дієслова, утворені від іменників (іменники, ужиті як дієслова, наприклад, «настроми це виделкою» замість «поклади це на виделку»), а також підмети, що позначають неживі предмети, у поєднанні з дієсловами, зазвичай пов’язаними з живими істотами (як згадувалося раніше). Обидві конструкції дають змогу передати значення меншою кількістю слів, але читачам може знадобитися додатково його витлумачити.

Претенденти

Дослідники зібрали розмови, згенеровані 14 моделями ШІ: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 і Fable 5; GPT-5.6 Luna, Terra та Sol; Olmo Base, Instruct і Think; а також Llama Base and Instruct.

Тести охоплювали десять початкових запитів для загальної розмови та п’ять — для програмування. У кожному завданні модель мала клонувати справжній загальнодоступний репозиторій GitHub, знайти помилки й виправити їх у пісочниці.

Розмови обмежувалися 12 обмінами репліками, а сеанси програмування — 11, після чого надсилали заздалегідь визначене заключне повідомлення. В окремому тесті кожній моделі запропонували написати сім есе за завданнями з набору даних PERSUADE 2.0.

Для порівняння взяли тексти, написані людьми, з джерел, які якомога точніше відповідали трьом типам результатів роботи ШІ: для загальних розмов використовували OpenSubtitles (збірку субтитрів до фільмів і телепередач, не пов’язану з платформою субтитрів із відкритим кодом); для обговорень програмування — StackExchange (онлайн-мережу форумів запитань і відповідей); а для письмових завдань — студентські есе зі згаданого вище набору даних PERSUADE 2.0. Додатковим джерелом для порівняння також стала Вікіпедія.

Якщо були доступні відповідні дані про тексти, написані людьми, ті самі мовні характеристики вимірювали як у людських текстах, так і в текстах, згенерованих ШІ. Ці вибірки також використовували, щоб оцінити частотність сполучень слів.

Щоб відрізнити стилістичні вподобання від мовної необхідності, застосували зворотний переклад: текст перекладали з англійської японською, а потім знову англійською за допомогою моделі NLLB-200. Здебільшого зміст зберігався, хоча структура речень змінювалася, що давало змогу виявляти невиправдано складні формулювання.

Результати

Експеримент 1

Як показано нижче, в оригінальних текстах, згенерованих ШІ, кілька складних конструкцій траплялися частіше, особливо в моделях передового рівня. Це витлумачили як свідчення схильності до невиправдано складних формулювань:

Порівняння оригінальних текстів, згенерованих ШІ, з їхніми версіями, перекладеними японською, а потім знову англійською. Зелені точки позначають мовні закономірності, які частіше траплялися в оригіналах; рожеві — закономірності, які частіше траплялися після перекладу. Загалом відмінності були виразнішими для моделей GPT і Claude. Джерело

Шість мовних характеристик порівняли для 14 моделей ШІ у трьох сценаріях: спілкуванні, програмуванні та написанні есе. У тестуванні розмов брали участь 12 моделей, програмування — дев’ять, а написання есе — усі 14:

Порівняння шести мовних характеристик у моделях ШІ під час спілкування, програмування та написання есе. Кожен ромб позначає зведений результат моделі; горизонтальні смуги показують 95-відсоткові довірчі інтервали. Пунктирні вертикальні лінії позначають базові показники для текстів, написаних людьми: OpenSubtitles (спілкування), StackExchange (програмування) та студентських есе з PERSUADE 2.0 (написання есе). Точкові лінії позначають результати для Вікіпедії, з якими проводили порівняння. Вищі значення зазвичай свідчать про частіше використання досліджуваної конструкції або про більшу мовну складність. Щоб переглянути зображення у вищій роздільності, зверніться до статті з описом дослідження.

Також порівняли оригінальний текст, згенерований ШІ, з його версіями, перекладеними назад, щоб виміряти відмінності в структурі речень:

Порівняння оригінального тексту, згенерованого ШІ (суцільні ромби), з версіями, перекладеними японською мовою, а потім назад англійською за допомогою NLLB-200 (порожні кружечки). Рожеві лінії позначають ознаки, які частіше траплялися після перекладу; зелені — ті, що частіше траплялися в оригіналах. Зірочки позначають статистичну значущість (одна, дві або три зірочки свідчать про дедалі переконливіші статистичні дані). Після перекладу стало рідше вживатися більшість конструкцій, пов’язаних із труднощами читання, особливо у передових моделей. Для кращої роздільної здатності див. вихідну статтю.

Виявилося, що передові та близькі до них за рівнем моделі надмірно часто вживають незвичні сполучення слів, дієслова, утворені від іменників, неживі підмети й означальні підрядні речення з додатком, у яких пропущено факультативні слова (див. графік вище). У Llama та Olmo Base ці тенденції загалом були слабшими, а в Olmo Think — виразнішими.

У написанні есе відмінності були меншими, ніж у чатах або програмуванні. Це пояснили тим, що для есе характерне одне завдання, тоді як тривалі розмови з багатьма обмінами репліками потенційно заохочують сильніше стискати мовний матеріал.

Автори зазначають:

«В есе PERSUADE зміни після перекладу туди й назад були меншими за кількома категоріями (показники n-грам, довжина залежностей, нанизані іменники, дієслова, утворені від іменників), ніж у чатах і [coding].

«Ми припускаємо, що це пов’язано з одним завданням, на відміну від численних послідовних обмінів репліками в чатах і програмуванні. Ми вважаємо, що певні закономірності можуть виникати під час тривалих розмов із багатьма обмінами репліками (які можуть вимагати сильнішого стискання інформації)».

Найменші зміни після перекладу виявили в Llama та Olmo Base і Instruct; за сполученнями слів і вживанням дієслів ці моделі також найбільше нагадували учнівські есе. Натомість Olmo Think, як з’ясувалося, поводилася більше як передові моделі. У Claude Opus 5.5 зафіксували менше складних конструкцій, ніж у Opus 5, у 19 із 21 порівняння; у восьми з них 95-відсоткові довірчі інтервали не перекривалися.

Експеримент 2

Другий експеримент мав з’ясувати, чи може прихована потреба генерувати коротші й інформаційно насиченіші відповіді спонукати моделі віддавати перевагу мовним конструкціям, які людям важче розуміти.

У цьому експерименті Qwen2.5-1.5B-Instruct донавчили за допомогою методу оптимізації політики відносно групи (GRPO), а моделі доручили перетворювати структуровані описи подій у форматі JSON на англійські речення.

Під час навчання змінювали два параметри: наскільки моделі дозволяли відхилятися від звичного вибору слів (β) і наскільки суворо її штрафували за довші відповіді (λ). Кожну подію можна було висловити двома граматично правильними способами, що, як було відомо, відрізнялися кількістю токенів.

Наприклад, фраза «Він надіслав нам фото» містила шість токенів, тоді як «Він надіслав фото нам» — сім. Також провели окреме тестування, у якому для двох способів висловити те саме потрібна була однакова кількість токенів, щоб перевірити, чи зумовлені відмінності довжиною речення.

Ефект перевіряли на раніше не бачених реченнях, використовуючи чотири конструкції, з якими модель зіткнулася під час навчання; дві конструкції, яких вона не вивчала й у яких факультативно вживалося слово «що»; а також не пов’язані з ними конструкції із присвійними формами, квантифікаторами, пасивом і підрядними реченнями мети.

Тестування мало з’ясувати, чи засвоїть модель перевагу коротших формулювань і чи переноситиме її на конструкції, яких не зустрічала під час навчання:

Вплив штрафу за довші відповіді під час навчання. Приклад коротшого й довшого формулювання наведено в A. Перевагу коротшим конструкціям вимірюють у B, а перевірки на конструкціях, які не використовувалися під час навчання, показано в C і D. Помаранчевий колір позначає навчання без обмеження змін порівняно з початковою моделлю, синій — навчання з таким обмеженням. Пунктирні лінії показують уподобання початкової моделі. Сильніші штрафи загалом посилювали перевагу коротших формулювань, навіть у конструкціях, яких не було в навчальних даних. Щоб побачити зображення у вищій роздільності, зверніться до оригінальної статті.

Що більшим був штраф за довші відповіді, то частіше обирали коротші формулювання (це безпосередньо показано вище). Без штрафу KL (обмеження того, наскільки модель могла відхилятися від початкових прогнозів щодо слів) зміна відбувалася швидко; за його наявності той самий ефект проявлявся поступовіше. Без жодного зі штрафів уподобання значно різнилися між навчальними запусками, але навіть невеликий штраф за довжину послідовно сприяв коротшим варіантам.

Таку перевагу спостерігали й у раніше не бачених конструкціях речень із необов’язковим словом «що». Перенесення на віддаленіші граматичні конструкції було значно слабшим: ефект виявили лише для присвійних конструкцій, коли штрафу KL не було.

Автори доходять такого висновку:

«Ми розглядаємо ці результати як доказ концепції: штраф за довжину, застосований під час навчання з підкріпленням за допомогою GRPO, може безпосередньо впливати на граматичні особливості.

Зазначимо, що моделі безпосередньо не давали вказівок використовувати стислішу або насиченішу мову й не повідомляли про наявність синтаксичних альтернатив.

Натомість штраф сформував спонтанну перевагу коротших варіантів синтаксичних конструкцій».

Висновок

Мене вже певний час цікавлять характерні маркери — як ненавмисні, так і навмисні, — притаманні текстам, згенерованим ШІ. Тож ця нова робота дещо прояснює очевидну суперечність між відомою багатослівністю великих мовних моделей і так само помітною нині схильністю стискати інформацію так, що її нібито «легко читати» просто через невелику кількість слів, — хоча очевидно, що так тлумачити цю ознаку неправильно.

Стислість тексту, створеного великими мовними моделями, може свідчити про складність, а не про вміле зведення до суті, ніби ШІ підкидає нам загадку замість безпосередніх понять, що стоять за словами. І все це, очевидно, для того, щоб одна модель могла програмувати і писати.

* Стаття під назвою «Чому мову, згенеровану ШІ, так важко зрозуміти?» написана двома авторами з New York University та The University of Texas.

^† Я перетворив внутрішньотекстові цитування авторів на гіперпосилання.

^†† https://mikeydoes.com/glossary/p600/

Вперше опубліковано в понеділок, 26 жовтня 2026 року