AI-genererat skrivande avslöjar sig aldrig “trötthet” och därmed avslöjar det sig

ChatGPT-liknande AI avslöjar sig genom att öka i konsekvens, medan mänskligt skrivande förblir oregelbundet genom hela texten.

Den begränsade kontextfönstret för de flesta konsumentinriktade stora språkmodeller (LLM) är en av faktorerna som kan göra att de glömmer eller felaktigt återkallar tidigare delar av användarnas samtal – minnesfel som kan gradvis förvandla utmatningen till total nonsens – eller, värre, bedrägligt sammanhängande text som innehåller subtila fel.

Eftersom dessa omständigheter leder till hallucinationer, och eftersom hallucinationer fortfarande är den största hindret för AI:s totala marknadsframgång, har mycket forskningsinsats lagts på att skapa generativa AI-system som kan skapa längre men mer konsekventa texter.

I själva verket görs så mycket framsteg att att känna igen långformigt AI-innehåll (dvs. innehåll som renodlat genereras av AI, med – förmodligen – minimal eller ingen mänsklig eftervård) anses vara ett växande problem.

Att avslöja en AI-filibuster

Trots allt hävdar nyliga empiriska studier att ju mer utmatning som AI-textgeneratorer producerar i en enda omgång, desto lättare är det att avgöra om texten är skriven av en människa eller inte; men den allmänt accepterade visdomen i fråga om denna upptäckts”ankare” har antagit att AI kan skiljas från mänskligt skrivande eftersom oavsett vad det gör annorlunda än människor, det får chansen att göra mer ofta i längre texter.

Inga antaganden görs om fördelningen av dessa “avslöjanden” i texten i sig.

För att utmana detta och utöka problemet erbjuder en intressant nylig forskningsstudie från Kina en ny metod för att skilja de nya långformiga AI-innehållsgeneratorerna från riktiga mänskliga författare. Forskarna bakom arbetet hävdar att token-för-token-naturen hos vilken AI-text genereras innebär att den blir mer konsekvent med ökad längd, medan människors egna egenheter inte minskar med längd.

På detta sätt föreslår författarna att deras insikt erbjuder en potentiell ny måttstock för AI-textdetekteringssystem*:

‘AI-genererade token i den senare delen av texten visar mindre och mer stabila sannolikhetsfluktuationer allteftersom modellens förutsägelser blir alltmer konsekventa allteftersom kontexten ackumuleras.

‘Vi kallar detta mönster Sen volatilitetsminskning. Detta fenomen reflekterar den inneboende beteendet hos autoregressiv generation: allteftersom mer kontext blir tillgänglig, skärps modellens förutsägelsedistribution, vilket leder till minskad variabilitet i token-nivåstatistik.

‘Mänskligt skrivande, å andra sidan, fortsätter att införa oväntade lexikala val och upprätthåller högre volatilitet genom hela texten.’

För att fånga denna underliga “jämnhet” som ackumuleras i AI-text mot slutet, definierar forskarna två enkla funktioner: den första mäter hur mycket skrivandets statistiska beteende “hoppa runt” mellan token; den andra kontrollerar hur stabilt allt förblir över korta sträckor av text.

Båda beräknas endast från den andra halvan av utmatningen, där AI blir märkbart mer regelbundet och mänskligt skrivande inte gör det. Författarna noterar att medan dessa signaler fungerar bra på egen hand, är de ännu effektivare när de kombineras med äldre detekteringsmetoder som söker efter bredare mönster. De noterar också att denna metod fungerar bäst på längre texter, där kontrasten kan bli mer tydlig.

Den nya artikeln erbjuder en metod för att testa ‘AI-karaktär’ via sekundär halv temporal analys, som kräver ingen ytterligare utbildning eller finjustering, eller privilegierad modellåtkomst.

Det nya arbetet heter När AI sätter sig ner: Sen stabilitet som en signatur för AI-genererad textdetektering, och kommer från fyra författare vid Westlake University i Hangzhou.

Metod

För att fånga den ökande jämnheten i AI-genererad text, utformade forskarna två mått som fokuserar endast på den andra halvan av en passage. Dessa bygger på log-sannolikhetsscores från en standard språkmodell och kräver ingen finjustering, omutbildning eller extra prover:

Från den nya artikeln – varje rad visar beteendet hos en basmått från EvoBench över tokensekvensen: raw-värde (vänster), absolut derivat (mitt), och lokal standardavvikelse (höger). Mänskliga och AI-linjer visas i blått och rött. Största avvikelsen syns i den senare delen av texten, särskilt för Log-sannolikhet och Urvalsavvikelse, som visar ökande separation och jämnare AI-utmatning. Entropi och Top-K-koncentration visar liten förändring över tid. Källa

Den första måttet, kallat Derivata-spridning (DD), spårar hur skarpt modellens förtroende förändras från ett ord till nästa. AI-text tenderar att komma in i en rytm, så dessa förändringar blir mindre och mer förutsägbara i den senare delen. I kontrast förblir mänskligt skrivande “oregelbundet”.

Den andra måttet, Lokal volatilitet (LV), tittar på hur mycket modellens förtroende “hoppa runt” inom ett litet fönster av text. Återigen tenderar AI att bli stadigare över tid, medan mänskliga val förblir mer överraskande och mindre konsekventa:

AI-text blir jämnare allteftersom den fortskrider, medan mänskligt skrivande förblir ojämnt. Dessa grafer spårar hur modellens förtroende förändras över passagens gång, vilket återspeglar både skärpan av förändring mellan på varandra följande ord och variationen inom lokala sträckor av text. I båda avseendena är minskningen mycket brantare i maskin-genererad utmatning, med kontrasten som blir särskilt tydlig efter mitt-punkten. De gula rutorna markerar denna växande klyfta i den senare delen, där AI-skrivande når upp till 32% större stabilitet än mänskligt skrivande.

Återigen beräknas båda måtten endast från den senare delen av texten, där skillnaden mellan mänskligt och maskin-skrivande är mest tydlig. Dessa kombineras sedan i ett enda värde som kallas Temporal stabilitetsdetektering (TSD)-poäng – som tenderar att öka allteftersom skrivandet blir “jämnare” (och därmed mer sannolikt att vara AI-genererat). En enkel tröskel används sedan för att avgöra om en given passage sannolikt är skriven av en maskin.

Eftersom dessa funktioner fokuserar på när ett mönster uppstår, snarare än bara vad mönstret ser ut som, kompletteras de av äldre metoder som söker efter statistiska ovanligheter över hela passagen. Att lägga till TSD-poängen till utmatningen från den sena 2024-erbjudandet Fast-DetectGPT (även i samarbete med Westlake) erbjuder en ytterligare förbättring av resultaten (särskilt för långformigt innehåll där den sena jämnhetseffekten är starkast).

Data och tester

Författarna genomförde tester på två relaterade benchmark-dataset: EvoBench innehåller 32 000 mänskliga/AI-textpar genererade över sju modellfamiljer, inklusive GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; och Qwen, med totalt 29 modellversioner som presenteras.

Den andra ramen var MAGE, som erbjuder 30 000 testpar över åtta modellfamiljer, inklusive (men inte begränsat till) GPT-serien från OpenAI, och LLaMA-, OPT– och FLAN-T5-familjerna.

Medtävlare

Den nya metoden testades mot en rad nollskottsdetektorer med samma surrogate-modell. Sannolikhet, Entropi, Rank och Log-Rank (DetectGPT) mätte token-nivåstatistik över hela passagen; LLR (DetectLLM) tillämpade normalisering för att tillåta direkt jämförelse över modeller; och Fast-Detect estimerade lokal krökning genom sampling-baserade perturbationer.

Lastde analyserade diskriminerande subsekvenser i sannolikhetssignalen, medan FourierGPT opererade i frekvensdomänen. Diveye fångade skift i “överrasknings”-diversitet över sekvensen.

Slutligen utvärderade UCE osäkerhetsprofilen för token-förutsägelser, för att identifiera onaturliga förtroendemönster.

Implementering och resultat

Alla detekteringsmetoder kördes med Llama-3-8B-Instruct som en gemensam surrogate-modell, med ingångssekvenser begränsade till 512 token. Temporala funktioner extraherades endast från den senare halvan av varje passage, med ett glidande fönster på 20 token för att mäta volatilitet. En sammanslagen version av metoden, kallad TSD+, kombinerade den föreslagna signalen med Fast-DetectGPT.

Område under mottagar-opereringskarva (AUROC) var den primära utvärderingsmåttet^†:

Varierande prestation bland de testade metoderna mot AI-genererad text. Detekteringsnoggrannhet visas över två benchmark: EvoBench, som täcker flera högprofilerade LLM, och MAGE, ett kompletterande dataset. Mått är grupperade efter metodtyp: globala statistik, temporala funktioner och föreslagna varianter. Genomsnittliga AUROC-poäng ges i de sista kolumnerna. Resultat från författarnas metodvarianter presterar konsekvent bättre än tidigare baseline, med TSD+ som ger de högsta poängen i nästan alla modellinställningar.

Av dessa initiala resultat hävdar författarna:

‘Våra enkla temporala funktioner uppnår toppprestation bland fristående metoder, med TSD som uppnår 83,36% på EvoBench och 71,56% på MAGE, och överträffar alla baseline, inklusive Fast-DetectGPT.

‘Detta är anmärkningsvärt med tanke på vår metods enkelhet: vi beräknar endast andra ordningens statistik från den senare halvan av sekvenserna, utan perturbationsampling eller frekvensdomäntransformeringar.’

Den nya metoden fungerade särskilt bra på nyare AI-modeller som GPT-4 och GPT-4o, och identifierade AI-skriven text mer exakt än den närmaste ledande detektorn, med en prestandagap på upp till 9,66%. Även om nyare avancerade modeller producerar mindre uppenbart “konsekvent” text, som döljer vissa tecken på automatisering, är vissa subtila tidsmönster fortfarande tydliga nära slutet.

Tävlande metoder som fokuserar på breda strukturfunktioner misslyckades med att fånga dessa sena mönster. Genom att integrera en global detektor, tycks den hybrida systemet återhämta sig från dessa missade signaler och förbättra prestandan, särskilt på benchmark där kortare AI-utmatning kan försvaga temporala signaler.

Slutsats

En aspekt som inte direkt behandlas i det nya arbetet är tendensen hos mänskliga författare att iterera sitt arbete genom utkast och olika lager av tillsyn – ibland inklusive extern tillsyn, såsom input från redaktörer och korrekturläsare, samt möjliga föreslagna ändringar från juridiska avdelningar, beroende på sammanhanget.

De många intressenterna som är involverade i dokument som en enkel, väl begravd tidningsartikel kan alla utplåna de egenheter som den nya föreslagna systemet är inriktat på, och i själva verket utgör en slags “analog version” av en AI-assisterad utkastsprocess.

Dessutom har systemen som studeras tränats på sådana verk, och – eftersom träningsdata är alltmer rangordnad i auktoritet vid tränningstid – de mest “viktade” eller respekterade källorna kan vara de minst “naturliga”; åtminstone, jämfört med någon som snabbt komponerar ett informellt e-postmeddelande till en kollega, snarare än att sammanställa en årsrapport för en årsstämma.

En ytterligare och motsatt övervägande är att textinnehåll som flera personer har bidragit till också kan vara bland de mest fragmenterade, bristfälliga och upprepade styckena i en dataset, eftersom de ofta inte har haft fördelen av en slutlig enhetlig röst, vilket lämnar den styckvisa naturen av deras utveckling tydlig i texten.

* Författarnas ursprungliga textstil återgiven från artikeln; inte mina betoningar.

^† Författarna hävdar ‘primär’, medan de listar inga andra utvärderingsmått.

Publicerad första gången måndagen den 26 januari 2026