Umělá inteligence generující psaní se nikdy “neumí” a tím se prozrazuje

ChatGPT-styl umělá inteligence prozrazuje sama sebe zvyšující se konzistencí, zatímco lidské psaní zůstává náhodné po celou dobu.

Omezené kontextové okno většiny spotřebitelsky orientovaných velkých jazykových modelů (LLM) je jedním z faktorů, které mohou způsobit, že tyto modely zapomenou nebo nesprávně zavolají dříve části uživatelova rozhovoru – chyby, které mohou postupně proměnit výstup v absolutní nesmysl – nebo, což je horší, klamavě koherentní text, který obsahuje jemné chyby.

Pokud tyto okolnosti vedou k halucinacím, a protože halucinace jsou stále největším překážkou pro úplný trh umělé inteligence, byla vynaložena značná výzkumná snaha o vytvoření generativních systémů umělé inteligence, které mohou vytvářet delší, ale mnohem konzistentnější texty.

Skutečně, tolik pokroku je dosaženo, že rozpoznání dlouhých AI obsahu (tj. obsahu, který je čistě generován umělou inteligencí, s minimální nebo žádnou lidskou péčí) je považováno za rostoucí problém.

Překonání filibusteru AI

Nicméně, nedávné empirické studie tvrdí, že čím více výstupu AI textových generátorů produkuje v jednom kroku, tím snazší je určit, zda byl text napsán člověkem nebo nikoli; ale přijímaná moudrost v tomto ohledu předpokládá, že AI lze určit, protože co dělá jinak než lidé, dostává šanci dělat často v delších úsecích.

Nejsou učiněna žádná předpoklad o distribuci těchto “značek” v textu samotném.

Abyste tomuto výzvě mohli čelit a rozšířit problém, zajímavá nedávná výzkumná studie z Číny nabízí novou metodu rozlišení nové generace generátorů dlouhých AI obsahu od skutečných lidských autorů. Výzkumníci za touto prací tvrdí, že token-po-token povaha, kterou je generován text AI, znamená, že se stává konzistentnějším s větší délkou, zatímco lidské excentricity se nesnižují s délkou.

V tomto smyslu autoři navrhují, že jejich vhled nabízí potenciální novou metriku pro systémy detekce AI textu*:

‘AI-generované tokeny v pozdější části textu vykazují menší a stabilnější fluktuace pravděpodobnosti, protože předpovědi modelu se stávají stále konzistentnějšími, jak se kontext hromadí.

‘Označujeme tento vzorec Pozdní kolaps volatility. Tento jev odráží inherentní chování autoregresivní generace: jakmile je k dispozici více kontextu, předpovědní distribuce modelu se zužuje, což vede ke snížení variability v tokenové statistice.

‘Lidské psaní, na rozdíl od toho, stále zavádí neočekávané lexikální volby a udržuje vyšší volatilitu po celou dobu.’

Abychom mohli zachytit tuto podivnou “hladkost”, která se hromadí v AI textu směrem ke konci, výzkumníci definují dvě jednoduché funkce: první měří, jak moc se chování psaní “skáče” mezi tokeny; druhá kontroluje, jak stabilní věci zůstávají v krátkých úsecích textu.

Obojí se počítá pouze z druhé poloviny výstupu, kde se AI stává zřetelněji pravidelnějším a lidské psaní ne. Autoři poznamenávají, že zatímco tyto signály fungují dobře samy o sobě, jsou ještě účinnější, když jsou kombinovány se staršími metodami detekce, které skenují širší vzorce. Poznamenávají také, že tento přístup funguje nejlépe na delších textech, kde kontrast může být více evidentní.

Nová práce nabízí metodologii pro testování “AI-ness” prostřednictvím druhé poloviny temporální analýzy funkcí, vyžadující žádné další školení nebo jemné úpravy, nebo privilegovaný modelový přístup.

Tato nová práce se nazývá Když se AI usadí: Pozdní stability jako signatura detekce AI-generovaného textu a pochází od čtyř autorů z Westlake University v Hangzhou.

Metoda

Abyste mohli zachytit rostoucí hladkost v AI-generovaném textu, výzkumníci navrhli dvě měření, která se zaměřují pouze na druhou polovinu pasáže. Tyto se opírají o log-probabilitní skóre z standardního jazykového modelu a nevyžadují žádné jemné úpravy, přeškolení nebo další vzorky:

Z nové práce – každá řada ukazuje chování základní metriky z EvoBench napříč tokenovou sekvencí: surová hodnota (vlevo), absolutní derivát (střed), a lokální standardní odchylka (pravá). Lidské a AI linky jsou znázorněny modře a červeně. Největší rozdíly se objevují ve druhé polovině textu, zejména pro Log Probability a Sampling Discrepancy, které ukazují rostoucí rozdíly a hladší AI výstup. Entropie a Top-K Koncentrace ukazují málo změn s časem. Zdroj

První měření, nazvané Derivativní disperze (DD), sleduje, jak prudce se mění modelova důvěra z jednoho slova na druhé. AI text se tendenci usazuje do rytmu, takže tyto změny se stávají menšími a předvídatelnějšími ve druhé polovině. Naopak, lidské psaní zůstává “nerovnoměrné”.

Druhé měření, Místní volatilita (LV), se dívá na to, jak moc se modelova důvěra “skáče” v malém okně textu. Znovu, AI tendenci roste stabilněji s časem, zatímco lidské volby zůstávají více překvapivé a méně konzistentní:

AI text se stává hladším, jak postupuje, zatímco lidské psaní zůstává nerovnoměrné. Tyto grafy sledují, jak se modelova důvěra mění v průběhu pasáže, odrážející jak prudkost změny mezi sousedními slovy, tak i množství variability v lokálních úsecích textu. V obou ohledech je pokles mnohem strmější v strojově generovaném výstupu, s kontrastem, který se stává zvláště zřetelným po středním bodě. Žluté rámečky zvýrazňují tento rostoucí rozdíl ve druhé polovině, kde AI psaní dosahuje až o 32% větší stability než lidské psaní.

Jednou opět, obě metriky jsou vypočteny pouze z pozdější poloviny textu, kde je rozdíl mezi lidským a strojovým psaním nejvíce evidentní. Tyto jsou pak zahrnuty do jediné hodnoty nazvané Temporální stabilita detekce (TSD) skóre – které je náchylné k růstu, jak se psaní stává “hladším” (a tedy více pravděpodobně AI-generovaným). Jednoduchá prahová hodnota je pak použita k rozhodnutí, zda je daná pasáž pravděpodobně napsána strojem.

Protože tyto funkce se zaměřují na kdy se vzorec objeví, spíše než na to, jaký vzorec to je, jsou doplňovány staršími metodami, které hledají statistické anomálie po celé pasáži. Přidání TSD skóre k výstupu nabídky z konce roku 2024 Fast‑DetectGPT (také ve spolupráci s Westlake) nabízí další zlepšení výsledků (zejména pro dlouhý obsah, kde je efekt pozdního vyhlazování nejsilnější).

Data a testy

Autoři provedli testy na dvou souvisejících benchmarkových datech: EvoBench obsahuje 32 000 lidských/AI textových párů generovaných napříč sedmi modelovými rodinami, včetně GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; a Qwen, s celkovým počtem 29 modelových verzí.

Druhý rámec byl MAGE, který nabízí 30 000 testovacích párů napříč osmi modelovými rodinami, včetně (ale nejen) série GPT od OpenAI a rodin LLaMA, OPT a FLAN-T5.

Soupeři

Nová metoda byla testována proti řadě nulových detektorů pomocí stejného substitučního modelu. Pravděpodobnost, Entropie, Hodnost a Log-Rank (DetectGPT) měřily tokenové statistiky po celé pasáži; LLR (DetectLLM) aplikoval normalizaci pro přímé srovnání napříč modely; a Fast-Detect odhadl lokální křivost pomocí vzorkovacích perturbací.

Lastde analyzoval diskriminační podsekvence v pravděpodobnostním signálu, zatímco FourierGPT fungoval v frekvenčním doměnu. Diveye zachytil posuny v “překvapivosti” diverzity napříč sekvencí.

Nakonec UCE vyhodnotil profil nejistoty tokenových předpovědí, aby identifikoval nepřirozené vzorce důvěry.

Implementace a výsledky

Všechny detekční metody byly spuštěny pomocí Llama-3-8B-Instruct jako sdíleného substitučního modelu, s omezenými vstupními sekvencemi na 512 tokenů. Temporální funkce byly extrahovány pouze z druhé poloviny každé pasáže, pomocí posuvného okna 20 tokenů pro měření volatility. Fyzionální verze metody, nazvaná TSD+, kombinovala navrhovaný signál s Fast-DetectGPT.

Plocha pod křivkou obdržení operativního charakteristického křivky (AUROC) byla primární metrikou hodnocení^†:

Různorodý výkon mezi různými testovanými metodami proti AI-generovanému textu. Přesnost detekce je zobrazena napříč dvěma benchmarky: EvoBench, který pokrývá několik prominentních LLM, a MAGE, komplementární datové sady. Metriky jsou seskupeny podle typu metody: globální statistiky, temporální funkce a navrhované varianty. Průměrné skóre AUROC je uveden v posledních sloupcích. Výsledky z variant autorovy metody konzistentně překonávají předchozí benchmarky, s TSD+ poskytující nejvyšší skóre v téměř každém modelovém nastavení.

Z těchto počátečních výsledků autoři uvádějí:

‘Naše jednoduché temporální funkce dosahují špičkového výkonu mezi samostatnými metodami, s TSD dosahujícím 83,36% na EvoBench a 71,56% na MAGE, překonávajícím všechny benchmarky, včetně Fast-DetectGPT.

‘To je pozoruhodné, uvážeme-li jednoduchost naší metody: počítáme pouze druhé statistiky ze druhé poloviny sekvencí, bez perturbačního vzorkování nebo frekvenčních transformací.’

Nová metoda fungovala zvláště dobře na novějších AI modelech, jako je GPT-4 a GPT-4o, identifikujících AI-psaný text přesněji než nejbližší vedoucí detektor, s rozdílem výkonu až 9,66%. Ačkoli novější pokročilé modely produkují méně zjevně “konzistentní” text, který skrývá některé známky automatizace, určité jemné časové vzorce jsou stále evidentní poblíž konce.

Soutěžící přístupy, které se zaměřují na široké strukturální funkce, selhaly při zachycení těchto pozdních vzorců. Integrací globálního detektoru se hybridní systém zdárně získá zpět tyto propuštěné signály a zlepšuje výkon, zejména na benchmarcích, kde kratší AI výstupy mohou oslabit temporální signály.

Závěr

Jedním aspektem, který není přímo řešen v nové práci, je tendence lidských autorů iterovat svou práci prostřednictvím návrhů a různých vrstev dohledu – někdy včetně vnějšího dohledu, jako je vstup editorů a korektorů, jakož i možných navrhovaných změn ze strany právních oddělení, v závislosti na kontextu.

Mnozí účastníci zapojení do dokumentů, jako je dobře ukrytý novinový článek, mohou prakticky zničit excentricity, na které se zaměřuje navrhovaný systém, a ve skutečnosti se jedná o druh “analogové” verze AI-pomocného procesu návrhu.

Dále, systémy, které jsou studovány, samy o sobě byly vyškoleny na takových pracích, a – protože trénovací data jsou stále více hodnocena v autoritě během školení – nejvíce “vážené” nebo respektované zdroje mohou být nejméně “přirozené”; alespoň, ve srovnání s někým, kdo rychle skládá neformální e-mail kolegovi, spíše než sestavuje roční zprávu pro valnou hromadu.

Další a kontrastní úvaha je, že textový obsah, na kterém se podílelo více lidí, může být také jedním z nejvíce fragmentovaných, poškozených a opakujících se kusů prózy, které vstupují do datové sady, protože často nebudou mít prospěch z konečného sjednocujícího hlasu, zanechávajícího kusovitou povahu jejich vývoje evidentní v próze.

* Autoři původního stylu textu jsou reprodukováni z práce; nejsou to mé důrazy.

^† Autoři uvádějí ‘primární’, zatímco neuvádějí žádné další hodnocení metrik.

Poprvé publikováno v pondělí, 26. ledna 2026