Погляд Anderson
Текст, згенерований ШІ, ніколи не «втомлюється» і тим самим видає себе

Ключові моментиТекст, згенерований ШІ, стає більш послідовним у своїй другій половині, тоді як…
Показати більше
- Текст, згенерований ШІ, стає більш послідовним у своїй другій половині, тоді як людський текст залишається нестабільним.
- Новий метод виявлення аналізує стабільність ймовірностей токенів на пізніх етапах, щоб ідентифікувати контент, створений ШІ.
- Цей часовий підхід перевершує існуючі детектори, особливо на довгих текстах, згенерованих такими моделями, як GPT-4.
Чат-боти типу ChatGPT видають себе збільшенням консистентності, тоді як людське письмо залишається ерратичним протягом усього часу.
Обмежене контекстне вікно більшості споживчих великих мовних моделей (LLM) є одним з факторів, які можуть зробити їх забути або неправильно згадати раніші частини розмов користувачів – помилки пригадування, які можуть поступово перетворити вивід на повний нісенс – або, що гірше, обманливо правдоподібний текст, який містить тонкі помилки.
Оскільки ці обставини призводять до галюцинацій, і оскільки галюцинації все ще найбільша перешкода для повного просування штучного інтелекту на ринок, багато дослідницьких зусиль було витрачено на створення генеративних систем штучного інтелекту, які можуть створювати довші, але більш консистентні частини тексту.
Фактично, такий прогрес робиться, що розпізнавання довгих форм штучного змісту (тобто змісту, який чисто генерується штучним інтелектом, з – передбачається – мінімальними або нульовими людськими подальшим редагуванням) вважається поглиблюючою проблемою.
Розкриття філібастера штучного інтелекту
Незважаючи на це, недавні емпіричні дослідження стверджують, що чим більше виводу генерують текстові генератори штучного інтелекту в одному вибуху, тим легше визначити, чи був той текст написаний людиною; але прийнята мудрість щодо цього виявлення “якоря” припускала, що штучний інтелект можна розрізняти тому, що що б воно не робило інакше, ніж люди, воно має можливість робити більше часто в довших частинах.
Не робиться жодних припущень про розподіл цих “ознак” у тексті самому.
Щоб викликати це питання і розширити проблему, цікаве недавнє дослідження з Китаю пропонує новий метод розрізнення нових довгих форм генераторів штучного змісту від справжніх людських авторів. Дослідники, які стоять за цією роботою, стверджують, що токен-на-токен природа, за допомогою якої генерується текст штучного інтелекту, означає, що він стає більш консистентним з більшим об’ємом, тоді як власні ексцентриситети людей не зменшуються з об’ємом.
Цим шляхом автори пропонують, що їхнє бачення пропонує потенційний новий метрик для систем виявлення тексту штучного інтелекту*:
‘Токени, згенеровані штучним інтелектом у кінцевій частині тексту, демонструють менші і більш стабільні коливання ймовірності, оскільки передбачення моделі стають дедалі більш консистентними з накопиченням контексту.
‘Ми називаємо цей шаблон Пізній спад волатильності. Це явище відображає вбудовану поведінку авторегресійної генерації: оскільки контекст стає дедалі більш доступним, розподіл передбачення моделі загострюється, що призводить до зменшення варіативності в статистиці рівня токенів.
‘Написання людини, навпаки, продовжує вводити несподівані лексичні вибори і підтримує вищу волатильність протягом усього часу.’
Щоб захопити цю дивну “гладкість”, яка накопичується в тексті штучного інтелекту до кінця, дослідники визначили дві прості ознаки: перша міряє, наскільки статистична поведінка письма “стрибає” між токенами; друга перевіряє, наскільки все залишається стабільним у коротких частинах тексту.
Обидва обчислюються лише з другої половини виводу, де штучний інтелект стає помітно більш регулярним, а людське письмо — ні. Автори зазначають, що ці сигнали добре працюють самостійно, але ще ефективніші в поєднанні зі старішими методами виявлення, які шукають ширші закономірності. Вони також зауважують, що цей підхід найкраще працює з довшими текстами, де контраст може бути помітнішим.
Нова робота пропонує методологію для тестування “штучності” через аналіз темпоральних ознак другої половини, який не вимагає додаткового навчання або налаштування, або привілейованого доступу до моделі.
Нова робота називається Коли штучний інтелект заспокоюється: Стабільність на пізньому етапі як ознака для виявлення тексту, згенерованого штучним інтелектом, і походить від чотирьох авторів з Університету Вестлейка в Ханчжоу.
Метод
Щоб захопити зростаючу гладкість у тексті, згенерованому штучним інтелектом, дослідники розробили два вимірювання, які фокусуються лише на другій половині пасажу. Вони покладаються на логарифмічні оцінки ймовірності від стандартної мовної моделі і не вимагають налаштування, повторного навчання або додаткових зразків:

З нової роботи – кожен рядок показує поведінку базової метрики з EvoBench по всьому токенному ряду: початкове значення (ліворуч), абсолютна похідна (центр), і локальне стандартне відхилення (праворуч). Людські і штучні лінії показані синім і червоним кольорами. Найбільша розбіжність з’являється у другій половині тексту, особливо для логарифмічної ймовірності і розбіжності вибірки, які показують зростаючу розбіжність і гладшу роботу штучного інтелекту. Ентропія і концентрація Top-K показують мало змін протягом часу. Джерело
Перше вимірювання, яке називається Дисперсія похідної (DD), відстежує, наскільки різко змінюється впевненість моделі від одного слова до іншого. Текст штучного інтелекту схильний заспокоїтися в ритмі, тому ці зміни стають меншими і більш передбачуваними у другій половині. Натомість людське письмо залишається “нерівним”.
Друге вимірювання, Локальна волатильність (LV), розглядає, наскільки впевненість моделі “стрибає” у вузькому вікні тексту. Знову ж таки, штучний інтелект схильний ставати більш стабільним з часом, тоді як людські вибори залишаються більш несподіваними і менш консистентними:

Текст штучного інтелекту стає гладшим, тоді як людське письмо залишається нерівним. Ці графіки відстежують, як впевненість моделі змінюється протягом пасажу, відображаючи як різкість зміни між послідовними словами, так і кількість варіативності у локальних частинах тексту. У обох аспектах спад є значно крутішим у машинно-генерованому виводі, з розбіжністю, яка стає особливо очевидною після середньої точки. Жовті коробки підкреслюють це розширюючу розбіжність у другій половині, де письмо штучного інтелекту досягає до 32% більшої стабільності, ніж людське письмо.
Як і раніше, обидва метрики обчислюються лише з другої половини тексту, де різниця між людським і машинним письмом є найбільш очевидною. Ці метрики потім об’єднуються в єдине значення, яке називається Виявлення темпоральної стабільності (TSD) – яке схильне зростати, коли письмо стає “гладшим” (і тому більш ймовірно, що воно є згенерованим штучним інтелектом). Простий поріг потім використовується для визначення того, чи є певний пасаж, ймовірно, написаний машиною.
Оскільки ці ознаки фокусуються на коли з’являється шаблон, а не просто на тому, який цей шаблон виглядає, вони доповнюються старішими методами, які шукають статистичні аномалії по всьому пасажу. Додавання оцінки TSD до виводу пізньої пропозиції 2024 року Fast‑DetectGPT (також у співпраці з Університетом Вестлейка) пропонує додаткове покращення результатів (особливо для довгих форм змісту, де пізній ефект згладжування є найсильнішим).
Дані і тести
Автори провели тести на двох пов’язаних бенчмаркових наборах даних: EvoBench містить 32 000 пар людського/штучного тексту, згенерованих по семи сім’ям моделей, включаючи GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; і Qwen, з загалом 29 версіями моделей, представлених.
Інший каркас був MAGE, який пропонує 30 000 тестових пар по восьми сім’ям моделей, включаючи (але не обмежуючись) серію GPT від OpenAI, і сім’ї LLaMA, OPT, і FLAN-T5.
Претенденти
Новий метод був протестований проти низки детекторів zero-shot, які використовують ту саму модель-замінник. Ймовірність, Ентропія, Ранг, і Логарифмічний ранг (DetectGPT) міряли статистику рівня токенів по всьому пасажу; LLR (DetectLLM) застосовував нормалізацію для прямого порівняння по моделям; і Fast-Detect оцінював локальну кривизну через збурення на основі вибірки.
Lastde аналізував розрізнювальні субпослідовності у сигналі ймовірності, тоді як FourierGPT працював у частотній області. Diveye захоплював зміни у “дивуванні” різноманітності по всьому ряду.
Нарешті, UCE оцінював профіль невизначеності токенів, щоб ідентифікувати ненатуральні шаблони впевненості.
Реалізація і результати
Усі методи виявлення були запущені за допомогою Llama-3-8B-Instruct як спільної замісної моделі, з обмеженнями вхідних послідовностей до 512 токенів. Темпоральні ознаки були витягнуті лише з другої половини кожного пасажу, використовуючи ковзне вікно з 20 токенами для вимірювання волатильності. Об’єднана версія методу, яка називається TSD+, поєднала запропонований сигнал з Fast-DetectGPT.
Площа під кривою приймання-операційної характеристики (AUROC) була основним метриком оцінки†:

Різноманітна продуктивність серед різних методів проти тексту, згенерованого штучним інтелектом. Точність виявлення показана по двох бенчмарках: EvoBench, який охоплює кілька відомих LLM, і MAGE, додатковий набір даних. Метрики згруповані за типом методу: глобальна статистика, темпоральні ознаки і запропоновані варіанти. Середні оцінки AUROC показані в останніх колонках. Результати від варіантів методів авторів постійно перевершують попередні базові рівні, з TSD+, який дає найвищі оцінки майже в кожному налаштуванні моделі.
З цих початкових результатів автори стверджують:
‘Наші прості темпоральні ознаки досягають найвищої продуктивності серед самостійних методів, з TSD, який досягає 83,36% на EvoBench і 71,56% на MAGE, перевершуючи всі базові рівні, включаючи Fast-DetectGPT.
‘Це є помітним, враховуючи простоту нашого методу: ми обчислюємо лише статистики другого порядку з другої половини послідовностей, без вибіркового внесення збурень або частотних перетворень.’
Новий метод працював особливо добре на нових моделях штучного інтелекту, таких як GPT-4 і GPT-4o, ідентифікуючи текст, написаний штучним інтелектом, більш точно, ніж найближчий лідер-детектор, з розривом продуктивності до 9,66%. Хоча новіші моделі штучного інтелекту генерують менше очевидно “консистентного” тексту, який ховає деякі ознаки автоматизації, певні тонкі шаблони часу все ще очевидні біля кінця.
Конкурентні підходи, які фокусуються на широких структурних ознаках, не вдалося захопити ці пізні шаблони. Інтегруючи глобальний детектор, гібридна система, як здається, відновлює ці пропущені сигнали і покращує продуктивність, особливо на бенчмарках, де коротші виводи штучного інтелекту можуть ослабити темпоральні сигнали.
Висновок
Одним з аспектів, який не був безпосередньо розглянутий у новій роботі, є тенденція людських авторів до ітерації своєї роботи через чернетки і різні рівні нагляду – іноді включаючи зовнішній нагляд, такий як вхід редакторів і коректорів, а також можливі запропоновані зміни з боку юридичних відділів, залежно від контексту.
Численні учасники роботи над документами, навіть такими простими, як захована всередині газети стаття, можуть майже повністю стерти індивідуальні особливості, на які звертає увагу запропонований новий метод, і фактично становлять собою своєрідну “аналогову” версію процесу чернетки, підтримуваного штучним інтелектом.
Крім того, системи, які вивчаються, самі тренувалися на таких роботах, і – оскільки дані тренування все частіше ранжуються за авторитетом під час тренування – найбільш “вагомі” або шановані джерела можуть бути менш “природними”; принаймні, порівняно з тим, коли хтось швидко складає неформального листа колезі, а не складає річний звіт для загальних зборів.
Інша і протилежна думка полягає в тому, що зміст, до якого внесли свій внесок декілька людей, також може бути одним з найбільш фрагментованих, дефектних і повторюваних шматків прози, які входять до набору даних, оскільки вони часто не мали бенефіціарний вплив єдиного об’єднавчого голосу, залишаючи кусковий характер їхнього розвитку очевидним у прозі.
* Оригінальне текстове стилізування авторів, відтворене з паперу; не мої акценти.
† Автори вказують ‘основний’, не перелічуючи жодних інших метрик оцінки.
Перша публікація понеділка, 26 січня 2026 року












