Взгляд Anderson

AI-генерируемое письмо никогда не “устает” и, таким образом, обнаруживает себя

Martin Anderson
Добавьте Unite.AI в избранные источники в Google
AI-generated image, by Z-Image Turbo (V1) via Krita AI Diffusion. Prompt: 'An American, hot high-school exam room in Texas,, with all the students seated exhausted in the heat, at lines of desks, trying to concentrate on winning their exams. In the center of the picture we focus on an industrial humanoid robot who is filling out the exam papers so quickly that the A$ sheets are flying around its desk in a flurry of activity. Some of the nearby, sweating and exhausted young students are looking at the tireless robot with annoyance and/or jealousy.'
Ключевые моментыСгенерированный ИИ текст становится более последовательным во второй половине, в то…
Показать больше
  • Сгенерированный ИИ текст становится более последовательным во второй половине, в то время как человеческое письмо остаётся неравномерным.
  • Новый метод обнаружения анализирует стабильность вероятностей токенов на поздних этапах для идентификации контента, созданного ИИ.
  • Этот временной подход превосходит существующие детекторы, особенно при работе с длинными текстами от таких моделей, как GPT-4.

AI в стиле ChatGPT выдаёт себя растущей последовательностью, тогда как человеческое письмо остаётся неровным на всём протяжении.

 

Ограниченное контекстное окно большинства ориентированных на потребителей больших языковых моделей (LLM) — один из факторов, из-за которых они могут забывать или неверно вспоминать ранние части пользовательских разговоров. Такие ошибки памяти способны постепенно превратить вывод в полную бессмыслицу или, что хуже, в обманчиво связный текст с тонкими ошибками.

Поскольку эти обстоятельства приводят к галлюцинациям, а галлюцинации всё ещё остаются главным препятствием для полноценного продвижения AI на рынке, значительные исследовательские усилия направлены на создание генеративных систем AI, способных производить более длинные, но гораздо более последовательные фрагменты текста.

На деле прогресс столь значителен, что распознавание длинного контента AI, то есть контента, полностью созданного AI с предположительно минимальной человеческой доработкой или вовсе без неё, считается растущей проблемой.

Как разоблачить длинный монолог AI

Тем не менее недавние эмпирические исследования утверждают: чем больше текста генераторы AI выдают за один раз, тем легче определить, написан ли этот текст человеком. Однако общепринятое объяснение этой «опоры» обнаружения предполагало, что AI можно распознать потому, что какое бы отличие от людей ни проявлялось в его действиях, он получает возможность повторять его чаще в более длинных текстах.

При этом никаких предположений о распределении этих характерных «признаков» внутри самого текста не делается.

Чтобы оспорить это представление и расширить исследование проблемы, интересная недавняя работа из Китая предлагает новый способ отличать новое поколение генераторов длинного контента AI от настоящих человеческих авторов. Исследователи утверждают, что создание текста AI токен за токеном означает, что он становится последовательнее по мере увеличения длины, тогда как человеческие индивидуальные особенности не уменьшаются с длиной.

Таким образом, авторы предполагают, что их наблюдение предлагает потенциально новую метрику для систем обнаружения текста AI*:

«Созданные AI токены в поздней части текста демонстрируют меньшие и более стабильные колебания вероятностей, поскольку предсказания модели становятся всё последовательнее по мере накопления контекста.

«Мы называем этот паттерн Снижением волатильности на поздней стадии. Явление отражает внутреннее поведение авторегрессионной генерации: по мере появления дополнительного контекста распределение предсказаний модели заостряется, что уменьшает изменчивость статистик на уровне токенов.

«Человеческое письмо, напротив, продолжает вводить неожиданные лексические решения и сохраняет более высокую волатильность на всём протяжении».

Чтобы уловить эту странную «гладкость», накапливающуюся в тексте AI к концу, исследователи определяют два простых признака: первый измеряет, насколько статистическое поведение письма «скачет» между токенами; второй проверяет, насколько оно остаётся стабильным на коротких отрезках текста.

Оба признака вычисляются только по второй половине вывода, где AI становится заметно регулярнее, а человеческое письмо — нет. Авторы отмечают, что эти сигналы хорошо работают самостоятельно, но ещё эффективнее в сочетании со старыми методами обнаружения, ищущими более широкие закономерности. Также они отмечают, что подход лучше всего работает на длинных текстах, где контраст может проявиться яснее.

Новая работа предлагает методику проверки «принадлежности к AI» через анализ временных признаков второй половины текста без дополнительного обучения, тонкой настройки или привилегированного доступа к модели.

Новая работа называется Когда AI стабилизируется: Стабильность на поздней стадии как признак обнаружения текста, созданного AI. Её подготовили четыре автора из Университета Westlake в Ханчжоу.

Метод

Для измерения растущей гладкости текста AI исследователи разработали две меры, сосредоточенные исключительно на второй половине фрагмента. Они используют оценки логарифмической вероятности обычной языковой модели и не требуют тонкой настройки, повторного обучения или дополнительных выборок:

Из новой работы: каждая строка показывает поведение базовой метрики EvoBench по последовательности токенов — исходное значение (слева), абсолютную производную (в центре) и локальное стандартное отклонение (справа). Линии человека и AI показаны синим и красным. Наибольшее расхождение возникает во второй половине текста, особенно для логарифмической вероятности и расхождения выборок, демонстрирующих растущее разделение и более гладкий вывод AI. Энтропия и концентрация Top-K мало меняются со временем. Источник - https://arxiv.org/pdf/2601.04833

Из новой работы: каждая строка показывает поведение базовой метрики EvoBench по последовательности токенов — исходное значение (слева), абсолютную производную (в центре) и локальное стандартное отклонение (справа). Линии человека и AI показаны синим и красным. Наибольшее расхождение возникает во второй половине текста, особенно для логарифмической вероятности и расхождения выборок, демонстрирующих растущее разделение и более гладкий вывод AI. Энтропия и концентрация Top-K мало меняются со временем. Источник

Первая мера, Дисперсия производной (DD), отслеживает, насколько резко уверенность модели меняется от одного слова к следующему. Текст AI склонен входить в определённый ритм, поэтому во второй половине эти изменения становятся меньше и предсказуемее. Человеческое письмо, напротив, остаётся «неровным».

Вторая мера, Локальная волатильность (LV), проверяет, насколько уверенность модели «скачет» в небольшом окне текста. И здесь AI со временем становится стабильнее, тогда как человеческие решения остаются более неожиданными и менее последовательными:

Текст AI становится глаже по мере продолжения, тогда как человеческое письмо остаётся неровным. Графики отслеживают изменение уверенности модели на протяжении фрагмента, отражая и резкость изменений между последовательными словами, и степень вариации в локальных отрезках текста. В обоих случаях спад гораздо круче в машинном выводе, а контраст особенно ясен после середины. Жёлтые рамки выделяют растущий разрыв во второй половине, где письмо AI достигает стабильности до 32% выше человеческой.

Текст AI становится глаже по мере продолжения, тогда как человеческое письмо остаётся неровным. Графики отслеживают изменение уверенности модели на протяжении фрагмента, отражая и резкость изменений между последовательными словами, и степень вариации в локальных отрезках текста. В обоих случаях спад гораздо круче в машинном выводе, а контраст особенно ясен после середины. Жёлтые рамки выделяют растущий разрыв во второй половине, где письмо AI достигает стабильности до 32% выше человеческой.

И вновь обе метрики вычисляются только по второй половине текста, где различие между человеческим и машинным письмом наиболее заметно. Затем их объединяют в одно значение — оценку Обнаружения временной стабильности (TSD), которая склонна расти по мере того, как письмо становится «гладче», а значит, вероятнее создано AI. После этого простой порог позволяет решить, написан ли данный фрагмент, вероятно, машиной.

Поскольку эти признаки сосредоточены на том, когда возникает паттерн, а не только на его виде, их дополняют старые методы, ищущие статистические странности по всему тексту. Добавление оценки TSD к результату Fast‑DetectGPT, представленного в конце 2024 года также в сотрудничестве с Westlake, дополнительно улучшает результаты, особенно на длинном контенте, где эффект сглаживания на поздней стадии сильнее всего.

Данные и тесты

Авторы провели тесты на двух связанных эталонных наборах данных. EvoBench содержит 32 000 пар человеческих текстов и текстов AI, созданных семью семействами моделей, включая GPT-4, GPT-4o, Claude, Google Gemini, LLaMA-3 и Qwen; всего представлены 29 версий моделей.

Другим набором был MAGE, предлагающий 30 000 тестовых пар от восьми семейств моделей, включая, помимо прочих, серию GPT от OpenAI и семейства LLaMA, OPT и FLAN-T5.

Конкурирующие методы

Новый метод проверили против ряда детекторов zero-shot с использованием одной и той же суррогатной модели. Likelihood, Entropy, Rank и Log-Rank (DetectGPT) измеряли статистики на уровне токенов по всему фрагменту; LLR (DetectLLM) применял нормализацию для прямого сравнения моделей; Fast-Detect оценивал локальную кривизну через возмущения на основе выборок.

Lastde анализировал различительные подпоследовательности вероятностного сигнала, а FourierGPT работал в частотной области. Diveye фиксировал изменения разнообразия «неожиданности» по последовательности.

Наконец, UCE оценивал профиль неопределённости предсказаний токенов, чтобы выявить неестественные паттерны уверенности.

Реализация и результаты

Все методы обнаружения запускались с Llama-3-8B-Instruct как общей суррогатной моделью при ограничении входных последовательностей в 512 токенов. Временные признаки извлекали только из второй половины каждого фрагмента, измеряя волатильность скользящим окном в 20 токенов. Объединённый вариант метода, TSD+, сочетал предложенный сигнал с Fast-DetectGPT.

Основной метрикой оценки была площадь под ROC-кривой (AUROC)†:

Разнообразные результаты проверенных методов обнаружения текста AI. Точность показана на двух наборах: EvoBench, охватывающем несколько известных LLM, и дополняющем его MAGE. Метрики сгруппированы по типу метода: глобальные статистики, временные признаки и предложенные варианты. Средние оценки AUROC приведены в последних столбцах. Варианты метода авторов стабильно превосходят прежние базовые методы, причём TSD+ даёт лучшие результаты почти при каждой конфигурации модели.

Разнообразные результаты проверенных методов обнаружения текста AI. Точность показана на двух наборах: EvoBench, охватывающем несколько известных LLM, и дополняющем его MAGE. Метрики сгруппированы по типу метода: глобальные статистики, временные признаки и предложенные варианты. Средние оценки AUROC приведены в последних столбцах. Варианты метода авторов стабильно превосходят прежние базовые методы, причём TSD+ даёт лучшие результаты почти при каждой конфигурации модели.

Об этих первых результатах авторы заявляют:

«Наши простые временные признаки достигают передовых результатов среди самостоятельных методов: TSD получает 83,36% на EvoBench и 71,56% на MAGE, превосходя все базовые методы, включая Fast-DetectGPT.

«Это примечательно с учётом простоты метода: мы вычисляем только статистики второго порядка из второй половины последовательностей, без выборочных возмущений или преобразований в частотной области».

Новый метод особенно хорошо работал на более новых моделях AI, таких как GPT-4 и GPT-4o, распознавая текст AI точнее ближайшего ведущего детектора, с разрывом результатов до 9,66%. Хотя новые продвинутые модели создают менее явно «последовательный» текст, скрывающий некоторые признаки автоматизации, отдельные тонкие временные закономерности всё ещё видны ближе к концу.

Конкурирующие подходы, сосредоточенные на общих структурных признаках, не смогли уловить эти поздние паттерны. Включив глобальный детектор, гибридная система, по-видимому, восстанавливает пропущенные сигналы и улучшает результаты, особенно на наборах, где более короткие ответы AI могут ослаблять временные признаки.

Вывод

Один аспект, который новая работа не рассматривает напрямую, — склонность человеческих авторов перерабатывать тексты через черновики и различные уровни контроля. Иногда это включает внешний контроль: участие редакторов и корректоров, а также возможные изменения, предложенные юридическими отделами в зависимости от контекста.

Множество участников работы даже над таким простым документом, как спрятанная во внутренних полосах газетная статья, может почти полностью стереть особенности, на которые опирается новая система. По сути, это своего рода «аналоговая версия» процесса подготовки черновика с помощью AI.

Кроме того, сами исследуемые системы обучались на таких материалах. Поскольку тренировочные данные всё чаще ранжируют по авторитетности на этапе обучения, наиболее «весомые» или уважаемые источники могут быть наименее «естественными» — по крайней мере по сравнению с человеком, быстро набирающим непринуждённое письмо коллеге, а не готовящим годовой отчёт для общего собрания акционеров.

Ещё одно, противоположное соображение: тексты, в которые внесли вклад многие люди, также могут оказаться среди самых фрагментарных, дефектных и повторяющихся образцов прозы в наборе данных. Часто они не проходили заключительную обработку единым авторским голосом, и следы их поэтапного, разрозненного создания остаются видны в тексте.

 

* Исходное оформление авторского текста воспроизведено из статьи; выделения не мои.

† Авторы указывают «основная», не перечисляя других метрик оценки.

Впервые опубликовано в понедельник, 26 января 2026 года

Martin Anderson

Автор в области машинного обучения, специалист по синтезу человеческих изображений. Бывший руководитель отдела исследовательского контента в Metaphysic.ai, до его объединения с Brahma.ai от DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai