Штучне генерування письма ніколи не “втомлюється” і тим самим видає себе

Чат-боти типу ChatGPT видають себе збільшенням консистентності, тоді як людське письмо залишається ерратичним протягом усього часу.

Обмежена контекстна вікно більшості споживчих великих мовних моделей (LLM) є одним з факторів, які можуть зробити їх забути або неправильно згадати раніші частини розмов користувачів – помилки nhớвання, які можуть поступово перетворити вивід на повний нісенс – або, що гірше, обманливо правдоподібний текст, який містить тонкі помилки.

Оскільки ці обставини призводять до галюцинацій, і оскільки галюцинації все ще найбільша перешкода для повного просування штучного інтелекту на ринок, багато дослідницьких зусиль було витрачено на створення генеративних систем штучного інтелекту, які можуть створювати довші, але більш консистентні частини тексту.

Фактично, такий прогрес робиться, що розпізнавання довгих форм штучного змісту (тобто змісту, який чисто генерується штучним інтелектом, з – передбачається – мінімальними або нульовими людськими післяопeraціями) вважається поглиблюючою проблемою.

Розкриття філібастера штучного інтелекту

Незважаючи на це, недавні емпіричні дослідження стверджують, що чим більше виводу генерують текстові генератори штучного інтелекту в одному вибуху, тим легше визначити, чи був той текст написаний людиною; але прийнята мудрість щодо цього виявлення “якоря” припускала, що штучний інтелект можна розрізняти тому, що що б воно не робило інакше, ніж люди, воно має можливість робити більше часто в довших частинах.

Не робиться жодних припущень про розподіл цих “розказів” у тексті самому.

Щоб викликати це питання і розширити проблему, цікаве недавнє дослідження з Китаю пропонує новий метод розрізнення нових довгих форм генераторів штучного змісту від справжніх людських авторів. Дослідники, які стоять за цією роботою, стверджують, що токен-на-токен природа, за допомогою якої генерується текст штучного інтелекту, означає, що він стає більш консистентним з більшим об’ємом, тоді як власні ексцентриситети людей не зменшуються з об’ємом.

Цим шляхом автори пропонують, що їхнє бачення пропонує потенційний новий метрик для систем виявлення тексту штучного інтелекту*:

‘Токени, згенеровані штучним інтелектом у кінцевій частині тексту, демонструють менші і більш стабільні коливання ймовірності, оскільки передбачення моделі стають дедалі більш консистентними з накопиченням контексту.

‘Ми називаємо цей шаблон Пізній спад волатильності. Ця явище відображає вбудовану поведінку автoregresивної генерації: оскільки контекст стає дедалі більш доступним, розподіл передбачення моделі загострюється, що призводить до зменшення варіативності в статистиці рівня токенів.

‘Написання людини, навпаки, продовжує вводити несподівані лексичні вибори і підтримує вищу волатильність протягом усього часу.’

Щоб захопити цю дивну “гладкість”, яка накопичується в тексті штучного інтелекту до кінця, дослідники визначили два простих ознаки: перша міряє, наскільки статистичне поведінкування письма “стрибає” між токенами; друга перевіряє, наскільки все залишається стабільним у коротких частинах тексту.

Обидва обчислюються лише з другої половини виводу, де штучний інтелект стає помітно більш регулярним, а людське письмо не робить.

Нова робота пропонує методологію для тестування “штучності” через аналіз темпоральних ознак другого половини, який не вимагає додаткового навчання або налаштування, або привілейованого доступу до моделі.

Нова робота називається Коли штучний інтелект заспокоюється: Пізній стабільний стан як підпис генерації тексту штучного інтелекту, і походить від чотирьох авторів з Університету Вестлейка в Ханчжоу.

Метод

Щоб захопити зростаючу гладкість у тексті, згенерованому штучним інтелектом, дослідники розробили два вимірювання, які фокусуються лише на другій половині пасажу. Вони покладаються на логарифмічні оцінки ймовірності від стандартної мовної моделі і не вимагають налаштування, повторного навчання або додаткових зразків:

З нової роботи – кожен рядок показує поведінку базової метрики з EvoBench по всьому токенному ряду: суцільне значення (ліворуч), абсолютна похідна (центр), і локальна стандартна відхилення (праворуч). Людські і штучні лінії показані синім і червоним кольорами. Найбільша розбіжність з’являється у другій половині тексту, особливо для логарифмічної ймовірності і розбіжності вибірки, які показують зростаючу розбіжність і гладшу роботу штучного інтелекту. Ентропія і концентрація Top-K показують мало змін протягом часу. Джерело

Перше вимірювання, яке називається Дисперсія похідної (DD), відстежує, наскільки різко змінюється впевненість моделі від одного слова до іншого. Текст штучного інтелекту схильний заспокоїтися в ритмі, тому ці зміни стають меншими і більш передбачуваними у другій половині. Наприклад, людське письмо залишається “нерівним”.

Друге вимірювання, Локальна волатильність (LV), розглядає, наскільки впевненість моделі “стрибає” у вузькому вікні тексту. Знову ж таки, штучний інтелект схильний ставати більш стабільним з часом, тоді як людські вибори залишаються більш несподіваними і менш консистентними:

Текст штучного інтелекту стає гладшим, тоді як людське письмо залишається нерівним. Ці графіки відстежують, як впевненість моделі змінюється протягом пасажу, відображаючи як різкість зміни між послідовними словами, так і кількість варіативності у локальних частинах тексту. У обох аспектах спад є значно крутішим у машинно-генерованому виводі, з розбіжністю, яка стає особливо очевидною після середньої точки. Жовті коробки підкреслюють це розширюючу розбіжність у другій половині, де письмо штучного інтелекту досягає до 32% більшої стабільності, ніж людське письмо.

Як і раніше, обидва метрики обчислюються лише з другої половини тексту, де різниця між людським і машинним письмом є найбільш очевидною. Ці метрики потім об’єднуються в єдине значення, яке називається Виявлення темпоральної стабільності (TSD) – яке схильне зростати, коли письмо стає “гладшим” (і тому більш ймовірно, що воно є згенерованим штучним інтелектом). Простий поріг потім використовується для визначення того, чи є певний пасаж, ймовірно, написаний машиною.

Оскільки ці ознаки фокусуються на коли з’являється шаблон, а не просто на тому, який цей шаблон виглядає, вони доповнюються старішими методами, які шукають статистичні аномалії по всьому пасажу. Додавання оцінки TSD до виводу пізньої пропозиції 2024 року Fast‑DetectGPT (також у співпраці з Університетом Вестлейка) пропонує додаткове покращення результатів (особливо для довгих форм змісту, де пізній ефект згладжування є найсильнішим).

Дані і тести

Автори провели тести на двох пов’язаних бенчмаркових наборах даних: EvoBench містить 32 000 пар людського/штучного тексту, згенерованих по семи сім’ям моделей, включаючи GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; і Qwen, з загалом 29 версіями моделей, представлених.

Інший каркас був MAGE, який пропонує 30 000 тестових пар по восьми сім’ям моделей, включаючи (але не обмежуючись) серію GPT від OpenAI, і сім’ї LLaMA, OPT, і FLAN-T5.

Претенденти

Новий метод був протестований проти ряду нульових детекторів, які використовують той же замісний модель. Ймовірність, Ентропія, Ранг, і Логарифмічний ранг (DetectGPT) міряли статистику рівня токенів по всьому пасажу; LLR (DetectLLM) застосовував нормалізацію для прямого порівняння по моделям; і Fast-Detect оцінював локальну кривизну через зразкові збурення.

Lastde аналізував розрізнювальні субпослідовності у сигналі ймовірності, тоді як FourierGPT працював у частотній області. Diveye захоплював зміни у “дивуванні” різноманітності по всьому ряду.

Нарешті, UCE оцінював профіль невизначеності токенів, щоб ідентифікувати ненатуральні шаблони впевненості.

Реалізація і результати

Усі методи виявлення були запущені за допомогою Llama-3-8B-Instruct як спільної замісної моделі, з обмеженнями вхідних послідовностей до 512 токенів. Темпоральні ознаки були витягнуті лише з другої половини кожного пасажу, використовуючи слайд-вікон з 20 токенами для вимірювання волатильності. Об’єднана версія методу, яка називається TSD+, поєднала запропонований сигнал з Fast-DetectGPT.

Площа під кривою приймання-операційної характеристики (AUROC) була основним метриком оцінки^†:

Різноманітна продуктивність серед різних методів проти тексту, згенерованого штучним інтелектом. Точність виявлення показана по двох бенчмарках: EvoBench, який охоплює кілька відомих LLM, і MAGE, додатковий набір даних. Метрики згруповані за типом методу: глобальна статистика, темпоральні ознаки і запропоновані варіанти. Середні оцінки AUROC показані в останніх колонках. Результати від варіантів методів авторів постійно перевершують попередні базові рівні, з TSD+, який дає найвищі оцінки майже в кожному налаштуванні моделі.

З цих початкових результатів автори стверджують:

‘Наші прості темпоральні ознаки досягають найвищої продуктивності серед самостійних методів, з TSD, який досягає 83,36% на EvoBench і 71,56% на MAGE, перевершуючи всі базові рівні, включаючи Fast-DetectGPT.

‘Це є помітним, враховуючи простоту нашого методу: ми обчислюємо лише другий статистичний порядок з другої половини послідовностей, без зразкових збурень або частотних перетворень.’

Новий метод працював особливо добре на нових моделях штучного інтелекту, таких як GPT-4 і GPT-4o, ідентифікуючи текст, написаний штучним інтелектом, більш точно, ніж найближчий лідер-детектор, з розривом продуктивності до 9,66%. Хоча новіші моделі штучного інтелекту генерують менше очевидно “консистентного” тексту, який ховає деякі ознаки автоматизації, певні тонкі шаблони часу все ще очевидні біля кінця.

Конкурентні підходи, які фокусуються на широких структурних ознаках, не вдалося захопити ці пізні шаблони. Інтегруючи глобальний детектор, гібридна система, як здається, відновлює ці пропущені сигнали і покращує продуктивність, особливо на бенчмарках, де коротші виводи штучного інтелекту можуть ослабити темпоральні сигнали.

Висновок

Одним з аспектів, який не був безпосередньо розглянутий у новій роботі, є тенденція людських авторів до ітерації своєї роботи через чернетки і різні рівні нагляду – іноді включаючи зовнішній нагляд, такий як вхід редакторів і коректорів, а також можливі запропоновані зміни з боку юридичних відділів, залежно від контексту.

Багатьом зацікавленим особам у документах, таких як добре захований газетний стаття, можуть повністю знищити ексцентриситети, на які звертає увагу запропонований новий метод, і фактично становлять собою一种 “аналогову” версію процесу чернетки, підтримуваного штучним інтелектом.

Крім того, системи, які вивчаються, самі тренувалися на таких роботах, і – оскільки дані тренування все частіше ранжуються за авторитетом під час тренування – найбільш “вагомі” або шановані джерела можуть бути менш “природними”; принаймні, порівняно з тим, коли хтось швидко складає неформального листа колезі, а не складає річний звіт для загальних зборів.

Інша і протилежна думка полягає в тому, що зміст, до якого внесли свій внесок декілька людей, також може бути одним з найбільш фрагментованих, дефектних і повторюваних шматків прози, які входять до набору даних, оскільки вони часто не мали бенефіціарний вплив єдиного об’єднавчого голосу, залишаючи кусковий характер їхнього розвитку очевидним у прозі.

* Оригінальне текстове стилізування авторів, відтворене з паперу; не мої акценти.

^† Автори стверджують ‘перший’, тоді як перелічують жодних інших метрик оцінки.

Перша публікація понеділка, 26 січня 2026 року