Почему текст, сгенерированный ИИ, труднее понять, чем кажется

Возможно, модели ИИ становится всё труднее понимать, потому что при их обучении всё больше поощряется эффективное решение задач, а не ясное объяснение для людей.

Приведённое выше предложение, без правок, было написано ChatGPT в ответ на просьбу дать краткое, понятное пятилетнему ребёнку изложение научной статьи в одном предложении; в нём есть как минимум несколько особенностей, искажающих язык, которые описаны в этом новом исследовании*. В новой работе делается вывод, что эта проблема затрагивает все передовые модели, а также модели, близкие к передовым, и некоторые модели с открытыми весами, которые тоже проверяли.

Например, начальная часть фрагмента «при обучении всё больше поощряется эффективное решение задач» иллюстрирует утверждение авторов статьи о том, что модели ИИ иногда приписывают неодушевлённым предметам человеческие действия (поскольку в приведённом выше примере «обучение» описывается как активно поощряющее что-либо).

Это может затруднить быстрое понимание фразы: приходится мысленно воспринимать такое приписывание как образный приём, а не понимать его буквально, что гораздо проще.

Вторая часть — «всё больше поощряется эффективное решение задач» — тоже объединяет несколько идей, заставляя читателя разбираться, что именно поощряется, что решается и что становится эффективнее.

В статье говорится^†:

«[Readers] используют одушевлённость как признак при синтаксическом разборе, и без дополнительного контекста несоответствие может вызвать ответ P600^††, связанный с повторным анализом.

«Однако переформулировка этих предложений, чтобы избежать неодушевлённых подлежащих, потенциально потребовала бы увеличить их длину: например, слово „кусает“ заменяет выражение „вызывает проблему“.

«Мы предполагаем, что в ходе обучения модели могли научиться использовать такие конструкции как эффективный, хотя и нестандартный, способ выражения смысла, который иначе потребовал бы больше токенов».

Что такое?

В этом и заключается основная мысль статьи: поскольку современные модели ИИ, такие как ChatGPT, Claude и Gemini, оптимизируют для решения задач разных типов, а не специально для общения, они часто выдают язык в виде очень сжатых сообщений, которые приходится расшифровывать.

Это меня удивило: я постоянно пытаюсь убедить ChatGPT и подобные ему модели быть менее многословными и более лаконичными — проблема, которая признана и рассматривается в научной литературе.

Вместо этого авторы статьи представляют многословие как своего рода архив-бомбу, мешающую легко понять даже не очень длинное предложение. Поэтому, если объединить две проблемы — чрезмерную длину ответов по умолчанию и отмеченную авторами чрезмерную сжатость, — можно предположить, что характерный стиль ответов передовых моделей ИИ по умолчанию заметно отличается от других (и, вероятно, этот довольно лаконичный стиль отчасти используется как критерий в детекторах текста, созданного ИИ, хотя в статье этот вопрос не рассматривается).

Авторы также рассматривают сочетания нескольких существительных, примером которых служит проблемная фраза «Отряд помогает собаке укусить»^†:

«В английском языке существительные свободно выступают в роли определений при других существительных: в словосочетании coffee shop («кофейня») слово coffee определяет слово shop, хотя обычно само выступает как существительное. Эта особенность позволяет соединять несколько существительных в сложные слова, обозначающие весьма конкретные понятия.

Однако такие сочетания могут создавать неоднозначность в расстановке смысловых границ, как в заголовке «Отряд помогает пострадавшему от укуса собаки», и мешать чтению.

Получается, что большие языковые модели многословны из-за сжатости и при этом вдвойне многословны, выдавая в ответ на запрос чрезмерные объёмы сжатого текста? То есть в ответ на запрос приходится читать не только очень много текста, но и расшифровывать заложенный в нём большой объём «неявного» смысла.

В одной статье за 2023 год выдвинуто предположение, что большие языковые модели могут становиться неоправданно многословными из-за использования ИИ-судей при обучении: они часто поощряют более длинные ответы, даже когда в ходе экспериментов, описанных в исследовании, люди предпочитали короткие.

Авторы новой работы связывают (см. цитату выше) некоторые склонности передовых моделей к сжатости с архитектурной особенностью, побуждающей экономить токены, — довольно великодушное предположение в наши дни.

Рассмотрим методы, данные и тесты, использованные авторами исследования.

Данные и методы

Необычные сочетания слов (изучавшиеся с помощью н-грамм, то есть последовательностей слов) анализировали на предмет их непредсказуемости: редкие сочетания связывали с большими трудностями при чтении.

Длина зависимости (расстояние между грамматически связанными словами) также измерялась, поскольку большие расстояния сильнее нагружают рабочую память — особенно когда подлежащее и сказуемое разделены несколькими словами.

Объектные относительные придаточные (конструкции вроде «дом, построенный подрядчиками») изучались, в частности, когда опускались необязательные слова (например, «который» в «дом, который построили подрядчики»).

Также изучались упомянутые выше цепочки существительных (три или более существительных, соединённых вместе, как в выражении «генератор саундтреков для фильмов ужасов»), поскольку связи между составляющими их словами могут быть неоднозначными.

Деноминативные глаголы (существительные, используемые как глаголы, например «наколоть это на вилку» вместо «положить это на вилку») изучались наряду с неодушевлёнными подлежащими, которые сочетаются с глаголами, обычно относящимися к живым существам (как говорилось выше). Обе конструкции позволяют передать смысл меньшим количеством слов, но от читателя может потребоваться дополнительная интерпретация.

Рассматриваемые модели

Исследователи собрали сгенерированные ИИ диалоги 14 моделей: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 и Fable 5; GPT-5.6 Luna, Terra и Sol; Olmo Base, Instruct и Think; а также Llama Base и Instruct.

Тесты включали десять начальных запросов для обычного диалога и пять — для программирования. В каждой задаче модели предстояло скопировать настоящий общедоступный репозиторий GitHub, найти ошибки и исправить их в изолированной среде.

Диалоги ограничивались 12 репликами, а сессии программирования — 11, после чего выводилось заранее заданное завершающее сообщение. В отдельном тесте каждую модель попросили написать семь эссе по заданиям из набора данных PERSUADE 2.0.

Для сравнения использовались тексты, написанные людьми и максимально соответствовавшие трём типам ответов ИИ: OpenSubtitles (сборник субтитров к фильмам и телепередачам, не связанный с платформой субтитров с открытым исходным кодом) — для обычных диалогов; StackExchange (сеть онлайн-форумов вопросов и ответов) — для обсуждений программирования; студенческие эссе из упомянутого выше набора данных PERSUADE 2.0 — для письменных заданий. В качестве дополнительного источника для сравнения использовалась также Википедия.

Там, где имелись подходящие тексты, написанные людьми, одни и те же языковые характеристики измерялись в текстах людей и ИИ. Эти подборки также использовались для оценки частотности сочетаний слов.

Для разграничения стилистических предпочтений и языковой необходимости применялся перевод туда и обратно — с английского на японский и затем снова на английский — с помощью модели NLLB-200. Смысл в основном сохранялся, а структура предложений менялась, что позволяло выявить неоправданно сложные формулировки.

Результаты

Эксперимент 1

Как показано ниже, некоторые сложные конструкции чаще встречались в исходных текстах, сгенерированных ИИ, особенно у передовых моделей. Это было расценено как свидетельство склонности к неоправданно сложным формулировкам:

Сравнение исходных текстов, сгенерированных ИИ, с версиями, переведёнными на японский и затем обратно на английский. Зелёные точки обозначают языковые закономерности, чаще встречавшиеся в оригиналах; розовые — закономерности, чаще встречавшиеся после перевода. В целом различия были заметнее у моделей GPT и Claude. Источник

Шесть языковых характеристик сравнили у 14 моделей ИИ в трёх сценариях: чат, программирование и написание эссе. В чате тестировали 12 моделей, в программировании — девять, а при написании эссе — все 14:

Сравнение шести языковых характеристик у моделей ИИ в чате, программировании и написании эссе. Каждый ромб обозначает сводный результат модели; горизонтальные отрезки показывают 95%-ные доверительные интервалы. Пунктирные вертикальные линии обозначают исходные показатели текстов, написанных людьми: OpenSubtitles (чат), StackExchange (программирование) и студенческие эссе из PERSUADE 2.0 (написание эссе). Точечные линии обозначают данные для сравнения из Википедии. Более высокие значения обычно указывают на более частое использование измеряемой конструкции или на более высокую языковую сложность. Для просмотра изображения в более высоком разрешении обратитесь к исходной статье.

Исходный текст, созданный ИИ, также сравнили с его версиями, переведёнными обратно, что позволило измерить различия в структуре предложений:

Сравнение исходного текста, созданного ИИ (закрашенные ромбы), с версиями, переведёнными на японский язык и обратно на английский с помощью NLLB-200 (незакрашенные кружки). Розовые линии показывают признаки, которые чаще встречались после перевода; зелёные — те, которые чаще встречались в оригиналах. Звёздочки указывают на статистическую значимость (одна, две или три звёздочки свидетельствуют о всё более весомых статистических данных). После перевода стало реже встречаться большинство конструкций, затрудняющих чтение, особенно в текстах передовых моделей. Для более качественного изображения обратитесь к исходной научной статье.

У передовых и близких к передовым моделей наблюдалось чрезмерно частое использование необычных сочетаний слов, глаголов, образованных от существительных, неодушевлённых подлежащих и объектных относительных придаточных предложений с опущенными необязательными словами (см. график выше). У Llama и Olmo Base эти тенденции, как правило, были выражены слабее, а у Olmo Think — заметнее.

В эссе различия были меньше, чем в чатах и при написании кода. Это объясняется тем, что для эссе используется один запрос, тогда как продолжительные диалоги с многократным обменом репликами могут в большей степени побуждать к языковой компрессии.

Авторы отмечают:

«В эссе PERSUADE при обратном переводе изменения в нескольких категориях (показатели n-грамм, длина синтаксических зависимостей, цепочки существительных, глаголы, образованные от существительных) были меньше, чем в чатах и [coding].»

«Мы предполагаем, что это связано с тем, что для эссе используется один запрос, в отличие от многочисленных повторяющихся ходов в чатах и при написании кода. Мы полагаем, что некоторые закономерности могут проявляться в длительных диалогах с многократным обменом репликами (в которых может требоваться более высокая степень сжатия информации)».

Наименьшие изменения после перевода наблюдались у Llama и Olmo Base и Instruct. По сочетаниям слов и употреблению глаголов они также оказались ближе всего к студенческим эссе. В отличие от них, Olmo Think вёл себя скорее как передовые модели. В 19 из 21 сравнения Claude Opus 5.5 использовал меньше сложных конструкций, чем Opus 5; в восьми из этих сравнений 95%-ные доверительные интервалы не перекрывались.

Эксперимент 2

Второй эксперимент был разработан, чтобы проверить, может ли лежащее в основе стремление выдавать более короткие и насыщенные информацией ответы побуждать модели отдавать предпочтение языковым конструкциям, которые людям сложнее понять.

Здесь Qwen2.5-1.5B-Instruct прошла дообучение с использованием Group Relative Policy Optimization (GRPO); модели поручили преобразовывать структурированные описания событий в формате JSON в предложения на английском языке.

В ходе обучения изменяли два параметра: насколько сильно модели позволялось отклоняться от привычного выбора слов (β) и насколько строго её штрафовали за более длинные ответы (λ). Каждое событие можно было описать двумя грамматически правильными способами, различавшимися известным числом токенов.

Например, «He sent us a photo» требовало шесть токенов, тогда как «He sent a photo to us» — семь. Также провели отдельную проверку, в которой для двух вариантов формулировки одного и того же требовалось одинаковое число токенов, чтобы выяснить, были ли различия обусловлены длиной предложения.

Эффект проверяли на ранее не встречавшихся предложениях с использованием четырёх конструкций, встречавшихся во время обучения; двух не использовавшихся при обучении конструкций с необязательным словом «that»; а также не связанных с ними конструкций с притяжательными формами, квантификаторами, пассивным залогом и придаточными цели.

Проверки были призваны установить, усвоит ли модель предпочтение более кратких формулировок и будет ли применять его к конструкциям, не встречавшимся во время обучения:

Влияние штрафа за более длинные ответы во время обучения. Пример более краткой и более пространной формулировок показан на панели A. Предпочтение более кратким конструкциям измеряется на панели B, а результаты тестирования конструкций, не встречавшихся при обучении, показаны на панелях C и D. Оранжевым обозначено обучение без ограничения на изменение исходной модели, синим — с таким ограничением. Пунктирные линии показывают предпочтения исходной модели. Как правило, чем сильнее был штраф, тем чаще предпочтение отдавалось более кратким формулировкам — даже в конструкциях, отсутствовавших в обучающей выборке. Изображение в более высоком разрешении см. в исходной статье.

По мере увеличения штрафа за длинные ответы модель чаще выбирала более краткие формулировки (это непосредственно показано выше). Без KL-штрафа (ограничения на то, насколько модель могла отойти от исходных предсказаний о выборе слов) этот сдвиг происходил быстро; при его наличии тот же эффект проявлялся постепенно. Без обоих штрафов предпочтения значительно различались в разных запусках обучения, однако даже небольшой штраф за длину последовательно смещал предпочтения в пользу более кратких вариантов.

Это предпочтение также наблюдалось в ранее не встречавшихся конструкциях предложений с необязательным словом «that». Перенос на более отдалённые грамматические конструкции был значительно слабее: эффект обнаружили только для притяжательных конструкций, когда KL-штраф отсутствовал.

Авторы приходят к следующему выводу:

«Мы рассматриваем эти результаты как подтверждение того, что штраф за длину, применяемый при обучении с подкреплением методом GRPO, может напрямую влиять на грамматические особенности».

«Отметим, что модели напрямую не предписывали использовать сжатый или насыщенный язык и не сообщали напрямую о наличии синтаксических вариантов».

«Напротив, штраф привёл к спонтанному предпочтению более кратких вариантов синтаксических конструкций».

Заключение

Я уже некоторое время интересуюсь «якорями» — как непреднамеренными, так и намеренными, — характерными для текстов, созданных ИИ. Поэтому эта новая работа отчасти проясняет кажущееся противоречие между известной многословностью больших языковых моделей и столь же широко отмечаемой теперь склонностью сжимать информацию так, что текст кажется «легким для чтения» лишь потому, что в нем мало слов. Но такое прочтение этого признака явно ошибочно.

В больших языковых моделях краткость текстового вывода может свидетельствовать скорее о сложности, чем о сведении к сути, — словно ИИ вместо прямого изложения лежащих за словами понятий предлагает нам головоломку. И, судя по всему, все это нужно лишь для того, чтобы одна модель могла писать код и тексты.

* Статья называется «Почему язык, созданный ИИ, так трудно понимать?»; её написали два автора из Нью-Йоркского университета и Техасского университета.

^† Я преобразовал внутритекстовые ссылки авторов в гиперссылки.

^†† https://mikeydoes.com/glossary/p600/

Впервые опубликовано в понедельник, 26 октября 2026 года