AI-genereret skrivning afslører sig selv ved at blive mere konsistent

ChatGPT-lignende AI afslører sig selv ved at øge i konsistens, mens menneskeskrevet tekst forbliver erratisk hele vejen igennem.

Den begrænsede kontekstvindue for de fleste forbrugerorienterede Large Language Models (LLMs) er en af faktorerne, der kan få dem til at glemme eller forkert huske tidligere dele af brugernes samtaler – fejl, der kan gradvist omdanne outputtet til total nonsens – eller, værre, bedragerisk sammenhængende tekst, der indeholder subtile fejl.

Da disse omstændigheder fører til hallucinationer, og da hallucinationer stadig er den største hindring for AI’s totale markedsgennemtrængning, er der blevet brugt meget forskningsindsats på at skabe generative AI-systemer, der kan producere længere, men mere konsistente tekststykker.

I virkeligheden er der så meget fremgang, at genkendelse af lang-form AI-indhold (dvs. indhold, der udelukkende er genereret af AI, med – formodentlig – minimal eller ingen menneskelig efterbehandling) anses for at være et voksende problem.

At afsløre en AI-filibuster

Trods alt er nyere empiriske studier enige om, at jo mere output, AI-tekstgeneratorer producerer i ét blast, jo lettere er det at bestemme, om teksten er skrevet af en menneske eller ej; men den almindelige visdom i forhold til denne detektions-“anker” har antaget, at AI kan afsløres, fordi hvad det gør anderledes end mennesker, får chancen til at gøre mere ofte i længere træk.

Der bliver ikke gjort nogen antagelser om fordelingen af disse “afsløringer” i teksten selv.

For at udfordre dette og udvide problemstillingen tilbyder en interessant ny forskningsstudie fra Kina en ny metode til at skelne de nye lang-form AI-indholdsgenererere fra rigtige menneskelige forfattere.  Forskerne bag arbejdet hævder, at den token-for-token natur, hvormed AI-tekst genereres, betyder, at den bliver mere konsistent med større længde, hvorimod menneskers egne særheder ikke formindskes med længden.

På denne måde foreslår forfatterne, at deres indsigt tilbyder en potentiel ny metode for AI-tekstdetektionssystemer*:

‘AI-genererede tokens i den sidste del af teksten viser mindre og mere stabile sandsynlighedsfluktuationer, efterhånden som modellens forudsigelser bliver mere konsistente, når konteksten akkumuleres.

‘Vi kalder denne mønster Sen-fase Volatilitetsnedgang. Dette fænomen reflekterer den indre adfærd af autoregressiv generation: efterhånden som mere kontekst bliver tilgængelig, skærpes modellens forudsigelsesfordeling, hvilket fører til reduceret variabilitet i token-niveau-statistik.

‘Menneskelig skrivning, til gengæld, fortsætter med at introducere uventede leksikalske valg og opretholder højere volatilitet hele vejen igennem.’

For at fange denne underlige “glathed”, der akkumuleres i AI-tekst mod slutningen, definerer forskerne to simple funktioner: den første måler, hvor meget skrivningens statistiske adfærd “hopper rundt” mellem tokens; den anden tjekker, hvor stabil tingene forbliver over korte stræk af tekst.

Begge beregnes kun fra den anden halvdel af outputtet, hvor AI bliver mærkbart mere regelmæssig og menneskelig skrivning ikke gør. Forfatterne bemærker, at mens disse signaler fungerer godt på egen hånd, er de endnu mere effektive, når de kombineres med ældre detektionsmetoder, der scannrer efter bredere mønstre. De bemærker også, at denne tilgang fungerer bedst på længere tekster, hvor kontrasten kan blive mere tydelig.

Den nye artikel tilbyder en metode til at teste ‘AI-ness’ via andenhalvdelstemporal funktionanalyse, der kræver ingen yderligere træning eller finjustering eller privilegeret modeladgang.

Det nye arbejde har titlen Når AI sætter sig til ro: Sen-fase Stabilitet som en Signatur for AI-genereret Tekstdetektion og kommer fra fire forfattere på Westlake University i Hangzhou.

Metode

For at fange den voksende glathed i AI-genereret tekst designede forskerne to målinger, der kun fokuserer på den anden halvdel af en passage. Disse afhænger af log-sandsynlighedsscores fra en standard sprogmodel og kræver ingen finjustering, gen-træning eller ekstra prøver:

Fra den nye artikel – hver række viser adfærden af en basis-metrik fra EvoBench over token-sekvensen: raw værdi (venstre), absolut afledt (center), og lokal standardafvigelse (højre). Menneske- og AI-linjer vises i blå og rød. Den største afvigelse vises i den anden halvdel af teksten, især for Log Sandsynlighed og Sampling Diskrepans, som viser stigende adskillelse og glattere AI-output. Entropi og Top-K Koncentration viser lidt ændring over tid. Kilde

Den første måling, kaldet Afledt Dispersions (DD), sporer, hvor skarpt modellens tillid ændrer sig fra ét ord til det næste. AI-tekst tenderer til at falde i en rytme, så disse ændringer bliver mindre og mere forudsigelige i den anden halvdel. Til gengæld forbliver menneskelig skrivning “uensartet”.

Den anden måling, Lokal Volatilitet (LV), ser på, hvor meget modellens tillid “hopper rundt” inden for en lille vindue af tekst. Igen tenderer AI til at blive mere stabil over tid, mens menneskelige valg forbliver mere overraskende og mindre konsistente:

AI-tekst bliver glattere, mens menneskelig skrivning forbliver uensartet. Disse grafer sporer, hvordan modellens tillid skifter over forløbet af en passage, reflekterer både skarpheden af ændring mellem pågældende ord og mængden af variation inden for lokale stræk af tekst. I begge henseender er faldet meget stejlere i maskin-genereret output, med kontrasten, der bliver særlig tydelig efter midtpunktet. De gule bokse fremhæver denne vækst i afstanden i den anden halvdel, hvor AI-skrivning når op til 32% større stabilitet end menneskelig skrivning.

En gang til er begge målinger beregnet kun fra den sidste halvdel af teksten, hvor forskellen mellem menneskelig og maskin-skrivning er mest tydelig. Disse er derefter inkorporeret i en enkelt værdi kaldet Temporær Stabilitetsdetektion (TSD) score – som er tilbøjelig til at stige, efterhånden som skrivningen bliver “glattere” (og derfor mere sandsynligt AI-genereret). En simpel grænseværdi bruges derefter til at afgøre, om en given passage sandsynligvis er skrevet af en maskine.

Fordi disse funktioner fokuserer på hvornår et mønster opstår, snarere end blot hvad det mønster ligner, supplerer de ældre metoder, der søger efter statistiske anomalier over hele passagen. At tilføje TSD-scoren til outputtet af den sene 2024-tilbud Fast‑DetectGPT (også i samarbejde med Westlake) tilbyder en yderligere forbedring af resultaterne (især for lang-form indhold, hvor den sene glatheds-effekt er stærkest).

Data og Tests

Forfatterne udførte tests på to relaterede benchmark-datasæt: EvoBench indeholder 32.000 menneske/AI-tekstpar genereret over syv model-familier, herunder GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; og Qwen, med i alt 29 modelversioner fremhævet.

Det andet framework var MAGE, som tilbyder 30.000 testpar over otte model-familier, herunder (men ikke begrænset til) GPT-serien fra OpenAI, og LLaMA-, OPT– og FLAN-T5-familierne.

Bejlere

Den nye metode blev testet mod en række zero-shot-detektorer, der brugte den samme surrogate-model. Sandsynlighed, Entropi, Rang og Log-Rang (DetectGPT) målte token-niveau-statistik over hele passagen; LLR (DetectLLM) anvendte normalisering for at tillade direkte sammenligning på tværs af modeller; og Fast-Detect estimerede lokal krumning gennem sampling-baserede perturbationer.

Lastde analyserede diskriminerende subsekvenser i sandsynlighedssignalet, mens FourierGPT opererede i frekvensdomænet. Diveye fangede skift i “overraskelses”-mangfoldighed over sekvensen.

Til sidst UCE evaluerede usikkerhedsprofilen af token-forudsigelser for at identificere unaturlige tillidsmønstre.

Implementering og Resultater

Alle detektionsmetoder blev kørt ved hjælp af Llama-3-8B-Instruct som en fælles surrogate-model, med input-sekvenser begrænset til 512 tokens. Temporære funktioner blev kun ekstraheret fra den anden halvdel af hver passage, ved hjælp af en glidende vindue på 20 tokens for at måle volatilitet. En fuset version af metoden, kaldet TSD+, kombinerede det foreslåede signal med Fast-DetectGPT.

Area Under Receiver Operating Characteristic Curve (AUROC) var den primære evaluering-metode^†:

Divers præstation blandt de forskellige testede metoder mod AI-genereret tekst. Detektionsnøjagtighed vises på tværs af to benchmarks: EvoBench, som dækker flere højprofilerede LLM’er, og MAGE, et komplementært datasæt. Metrikker er grupperet efter metode-type: globale statistikker, temporære funktioner og foreslåede varianter. Gennemsnits-AUROC-scores er givet i de sidste kolonner. Resultater fra forfatternes metode-varianter overgår konsekvent tidligere baseline, med TSD+ der giver de højeste scores i næsten alle model-indstillinger.

Af disse initielle resultater siger forfatterne:

‘Vores simple temporære funktioner opnår state-of-the-art-præstation blandt selvstændige metoder, med TSD, der opnår 83,36% på EvoBench og 71,56% på MAGE, overgående alle baseline, herunder Fast-DetectGPT.

‘Dette er bemærkelsesværdigt, givet vores metodes enkelhed: vi beregner kun anden-ordens-statistik fra den anden halvdel af sekvenserne, uden perturbations-sampling eller frekvens-domæne-transformationer.’

Den nye metode fungerede særlig godt på nye AI-modeller som GPT-4 og GPT-4o, og identificerede AI-skrevet tekst mere præcist end den nærmeste førende detektor, med en præstationsafstand på op til 9,66%. Selvom nye avancerede modeller producerer mindre åbenlyst “konsistente” tekster, der skjuler visse tegn på automatisering, er visse subtile tidsmønstre stadig tydelige nær slutningen.

Konkurrerende tilgange, der fokuserer på brede struktur-funktioner, mislykkedes i at fange disse sene-fase-mønstre. Ved at integrere en global detektor, synes den hybride system at genvinde disse missede signaler og forbedrer præstationen, særligt på benchmarks, hvor kortere AI-outputs kan svække temporære signaler.

Konklusion

En aspekt, der ikke direkte er behandlet i det nye arbejde, er tendensen hos menneskelige forfattere til at iterere deres arbejde gennem udarbejdning og forskellige lag af oversigt – undertiden inklusive eksterne oversigt, såsom input fra redaktører og korrekturlæsere, samt mulige foreslåede ændringer fra juridiske afdelinger, afhængigt af konteksten.

De multiple interessenter, der er involveret i dokumenter, så enkelt som en vel-begravet avisartikel, kan næsten udrydde de særheder, som den nye foreslåede metode er rettet mod, og i virkeligheden udgør en slags “analog version” af en AI-baseret udarbejdelsesproces.

Dertil kommer, at systemerne under undersøgelse selv har trænet på sådanne værker, og – da træningsdata er stadig rangeret i autoritet under træningstid – kan de mest “vægtede” eller respekterede kilder være de mindst “naturlijke”; i hvert fald, sammenlignet med, at nogen hurtigt komponerer en uformel e-mail til en kollega, snarere end at samle en årlig rapport til en generalforsamling.

En yderligere og modsat overvejelse er, at tekstindhold, som multiple personer har bidraget til, også kan være blandt de mest fragmenterede, fejlbehæftede og gentagne stykker prosa, der indgår i en datasæt, da de ofte ikke har haft fordel af en slutning, der samler og ener, efterlader den stykkevis udvikling tydelig i prosaen.

* Forfatternes originale tekst-styling er genskabt fra artiklen; ikke mine fremhævelser.

^† Forfatterne siger ‘primær’, mens de ikke nævner andre evaluering-metrikker.

Offentliggjort mandag, den 26. januar 2026