AI-генерируемое письмо никогда не “устает” и, таким образом, обнаруживает себя

Тексты в стиле ChatGPT выдают себя тем, что становятся всё более последовательными, тогда как человеческое письмо остаётся неровным на всём протяжении.

Ограниченное контекстное окно большинства потребительских больших языковых моделей может заставлять их забывать или неверно вспоминать ранние части разговора. Такие ошибки постепенно превращают ответ в бессмыслицу или, что опаснее, в убедительно выглядящий текст со скрытыми неточностями.

Поскольку галлюцинации остаются серьёзным препятствием для распространения AI, исследователи добились большого прогресса в создании более длинных и последовательных текстов. Одновременно распознавание длинного контента, полностью созданного AI при минимальной человеческой доработке, становится всё более сложной задачей.

Как распознать длинный монолог AI

Недавние эмпирические исследования показывают: чем больше текста система AI генерирует за один проход, тем легче отличить его от человеческого. Обычно это объясняли тем, что в длинном тексте специфические машинные признаки просто успевают появиться больше раз.

Новое исследование из Китая предлагает более точную гипотезу. Поскольку AI создаёт текст последовательно, токен за токеном, его статистическое поведение становится стабильнее по мере накопления контекста. Индивидуальные особенности человеческого автора, напротив, не исчезают с увеличением длины.

Авторы называют это явление Late-Stage Volatility Decay — снижением волатильности на поздней стадии. Во второй половине текста вероятности AI-токенов колеблются меньше и стабильнее: распределение предсказаний сужается по мере роста контекста. Человек продолжает делать неожиданный лексический выбор, поэтому волатильность сохраняется.

Чтобы измерить нарастающую «гладкость», исследователи определили два простых признака. Первый показывает, насколько резко статистическое поведение скачет от одного токена к следующему. Второй оценивает стабильность в коротких локальных отрезках. Оба вычисляются только по второй половине текста, где различие проявляется яснее всего.

Эти сигналы работают самостоятельно, но становятся ещё эффективнее вместе с прежними детекторами, которые ищут общие закономерности по всему тексту. Подход лучше всего действует на длинных материалах и не требует дополнительного обучения, тонкой настройки или привилегированного доступа к исходной модели.

Работа называется When AI Settles Down: Late-Stage Stability as a Signature of AI-Generated Text Detection. Её подготовили четыре исследователя из Westlake University в Ханчжоу.

Метод

Два новых показателя используют оценки логарифмической вероятности от обычной языковой модели и анализируют лишь вторую половину каждого фрагмента.

Каждая строка показывает поведение базовой метрики EvoBench по последовательности токенов: исходное значение, абсолютную производную и локальное стандартное отклонение. Человеческие и AI-линии показаны синим и красным. Наибольшее расхождение появляется во второй половине, особенно для Log Probability и Sampling Discrepancy. Источник

Derivative Dispersion (DD) отслеживает, насколько резко уверенность модели меняется от одного слова к следующему. AI-текст постепенно входит в ритм, поэтому во второй половине изменения становятся меньше и предсказуемее. Человеческая речь остаётся неровной.

Local Volatility (LV) измеряет, насколько уверенность модели колеблется внутри небольшого окна текста. AI со временем становится стабильнее, а человеческий выбор продолжает удивлять.

AI-текст становится более гладким по мере продолжения, тогда как человеческое письмо остаётся неровным. После середины разрыв растёт особенно заметно: машинный текст достигает на 32% большей стабильности.

Два показателя объединяются в оценку Temporal Stability Detection (TSD). Чем более гладким становится текст, тем выше оценка и вероятность машинного происхождения. Для классификации используется простой порог.

TSD описывает момент появления закономерности, поэтому дополняет методы, которые ищут статистические аномалии по всему отрывку. Сочетание с Fast-DetectGPT, представленным в 2024 году, особенно улучшает распознавание длинного контента.

Данные и тесты

Авторы использовали два связанных набора. EvoBench содержит 32 000 пар человеческих и AI-текстов от семи семейств, включая GPT-4, GPT-4o, Claude, Google Gemini, LLaMA-3 и Qwen; всего представлены 29 версий моделей. MAGE содержит 30 000 тестовых пар от восьми семейств, среди которых GPT, LLaMA, OPT и FLAN-T5.

Конкурирующие методы

Новый подход сравнивали с zero-shot детекторами на одной и той же surrogate-модели. Likelihood, Entropy, Rank и Log-Rank измеряли токенные статистики по всему тексту. LLR добавлял нормализацию для прямого сравнения моделей, а Fast-Detect оценивал локальную кривизну через возмущения с выборкой.

Lastde анализировал различительные подпоследовательности вероятностного сигнала, FourierGPT работал в частотной области, Diveye отслеживал изменение разнообразия surprisal, а UCE оценивал профиль неопределённости предсказаний для поиска неестественной уверенности.

Реализация и результаты

Все методы запускались с Llama-3-8B-Instruct как общей surrogate-моделью. Вход ограничивался 512 токенами. Временные признаки извлекались только из второй половины отрывка с помощью скользящего окна длиной 20 токенов. Вариант TSD+ объединял новый сигнал с Fast-DetectGPT. Главной метрикой был AUROC.

Результаты методов на EvoBench и MAGE. Варианты нового подхода стабильно превосходят прежние базовые методы, а TSD+ показывает лучший AUROC почти для каждой модели.

Обычная TSD достигла AUROC 83,36% на EvoBench и 71,56% на MAGE, обойдя все базовые методы, включая Fast-DetectGPT. Это особенно заметно с учётом простоты подхода: используются лишь статистики второго порядка из второй половины последовательности, без perturbation sampling и преобразований в частотной области.

Метод особенно хорошо распознавал тексты новых моделей GPT-4 и GPT-4o, опережая ближайший сильный детектор на величину до 9,66%. Современные модели создают менее явно однообразный текст, но ближе к концу всё равно проявляются тонкие временные закономерности. Подходы, ориентированные только на общую структуру, их пропускают.

Добавление глобального детектора к временной оценке возвращает часть пропущенных сигналов и помогает на наборах, где короткие ответы AI ослабляют временные признаки.

Вывод

Работа не рассматривает напрямую тот факт, что люди часто создают текст в несколько этапов с участием редакторов, корректоров и юридических отделов. Множество участников может стереть индивидуальные особенности, на которые опирается новый метод, создав своего рода аналог процесса редактирования с AI.

Изучаемые модели также обучались на тщательно отредактированных профессиональных материалах. По мере того как авторитетным источникам при обучении придают больший вес, наиболее влиятельные образцы могут оказаться наименее «естественными» по сравнению с быстро написанным письмом коллеге.

С другой стороны, тексты многих авторов нередко фрагментарны, повторяются и не имеют единого голоса. Эти противоположные случаи показывают, что временная стабильность — полезный сигнал, но не безошибочное доказательство машинного авторства.

* Авторское оформление исходного текста сохранено. † Авторы называют AUROC «главной» метрикой, не перечисляя других.

Впервые опубликовано в понедельник, 26 января 2026 года.