AI-generert skriving blir aldri “trøtt”, og avslører seg selv

ChatGPT-liknende AI avslører seg selv ved å øke i konsistens, mens menneskelig skriving forblir ustabil gjennom hele teksten.

Den begrensede kontekstvindu for de fleste forbrukerrettede store språkmodeller (LLM) er en av faktorene som kan gjøre dem til å glemme eller huske feil tidligere deler av brukerens samtaler – feil som kan gradvis gjøre utdata til totalt nonsens – eller, verre, bedragersk kohrent-utseende tekst som inneholder subtile feil.

Siden disse omstendighetene fører til hallusinasjoner, og siden hallusinasjoner fortsatt er den største hindringen for AIens totale markedsgang, har mye forskningsinnsats blitt brukt på å skape generative AI-systemer som kan lage lengre, men mer konsistente tekststykker.

I virkeligheten er så mye fremgang blitt gjort at å gjenkjenne langform AI-innhold (dvs. innhold som er rent generert av AI, med – antagelig – minimal eller ingen menneskelig etterbehandling) anses som en voksende problem.

Avsløring av AI-tale

Likevel hevder nyere empiriske studier at jo mer output AI-tekstgeneratorer produserer i ett slag, jo enklere er det å bestemme om teksten er skrevet av en menneske; men den aksepterte visdommen i forhold til denne deteksjons-“anker” har antatt at AI kan skilles fra mennesker fordi hvordan det gjør noe annerledes enn mennesker, får en mulighet til å gjøre mer ofte i lengre tekststykker.

Ingen antagelser gjøres om fordelingen av disse “avsløringer” i teksten selv.

For å utfordre dette, og utvide på problemet, tilbyr en interessant ny forskningsstudie fra Kina en ny metode for å skille den nye typen langform AI-innholdsgenerering fra ekte menneskelige forfattere. Forskerne bak arbeidet hevder at token-på-token-naturen som AI-tekst genereres med, gjør at den blir mer konsistent med større lengde, mens menneskers egne eksentriciteter ikke minsker med lengde.

På denne måten foreslår forfatterne at deres innsikt tilbyr en potensiell ny målestokk for AI-tekstdeteksjonssystemer*:

‘AI-genererte token i den senere delen av teksten viser mindre og mer stabile sannsynlighetsfluktuasjoner når modellens prediksjoner blir mer konsistente når konteksten akkumuleres.

‘Vi betegner dette mønsteret Sen-fase-volatilitetsnedgang. Dette fenomenet reflekterer den innebygde atferden til autoregressiv generering: når mer kontekst blir tilgjengelig, skjerper modellens prediksjonsfordeling, noe som fører til redusert variasjon i token-nivåstatistikk.

‘Menneskelig skriving, på den andre siden, fortsetter å introdusere uventede leksikalske valg og opprettholder høyere volatilitet gjennom hele teksten.’

For å fange denne underlige “glatterheten” som akkumuleres i AI-tekst mot slutten, definerer forskerne to enkle egenskaper: den første måler hvor mye skrivings statistiske atferd “hopper rundt” mellom token; den andre sjekker hvor stabile ting forblir over korte tekststykker.

Begge beregnes kun fra den andre halvdelen av utdata, der AI blir merkbart mer regulær og menneskelig skriving ikke er.

Forskerne noterer at mens disse signalene fungerer godt på egen hånd, er de enda mer effektive når de kombineres med eldre deteksjonsmetoder som skanner etter bredere mønster. De noterer også at denne tilnærmingen fungerer best på lengre tekster, der kontrasten kan bli mer tydelig.

Den nye artikkelen tilbyr en metode for å teste ‘AI-aktig’ via andre-halvdel temporær funksjonsanalyse, som ikke krever noen ekstra trening eller finjustering, eller privilegert modelltilgang.

Den nye artikkelen heter Når AI setter seg ned: Sen-fase-stabilitet som en signatur for AI-generert tekstdeteksjon, og kommer fra fire forfattere ved Westlake University i Hangzhou.

Metode

For å fange den økende glatterheten i AI-generert tekst, designet forskerne to målinger som fokuserer bare på den andre halvdelen av en passage. Disse målinger er basert på log-sannsynlighetspoeng fra en standard språkmodell og krever ingen finjustering, om-trening eller ekstra prøver:

Fra den nye artikkelen – hver rad viser atferden til en basis-målestokk fra EvoBench over token-sekvensen: raw verdi (venstre), absolutt derivat (midten), og lokal standardavvik (høyre). Menneskelig og AI-linjer er vist i blått og rødt. De fleste avvikene vises i den andre halvdelen av teksten, spesielt for Log-sannsynlighet og Sampling-feil, som viser økende separasjon og glattere AI-utdata. Entropi og Top-K-konsentrasjon viser liten endring over tid. Kilde

Den første målingen, kalt Derivativ-spredning (DD), sporer hvor skarpt modellens konfidens endrer seg fra ett ord til neste. AI-tekst tenderer til å bosette seg i en rytme, så disse endringene blir mindre og mer forutsigbare i den andre halvdelen. I motsetning til menneskelig skriving, som forblir “urent”.

Den andre målingen, Lokal volatilitet (LV), ser på hvor mye modellens konfidens “hopper rundt” innenfor et lite vindu av tekst. Igjen tenderer AI til å bli mer stabil over tid, mens menneskelige valg forblir mer overraskende og mindre konsistente:

AI-tekst blir glattere etter hvert, mens menneskelig skriving forblir urent. Disse grafene sporer hvordan modellens konfidens endrer seg over løpet av en passage, reflekterende både skarpheten av endring mellom påfølgende ord og mengden variasjon innen lokale tekststykker. I begge henseender er nedgangen mye brattere i maskin-generert utdata, med kontrasten som blir mer tydelig etter midtpunktet. De gule boksene markerer denne økende gapet i den andre halvdelen, der AI-skriving når opp til 32% større stabilitet enn menneskelig skriving.

Når begge målinger er beregnet bare fra den andre halvdelen av teksten, der forskjellen mellom menneskelig og maskin-skriving er mest tydelig. Disse målinger er deretter inkorporert i en enkelt verdi kalt Temporær stabilitetsdeteksjon (TSD)-poeng – som er utsatt for å øke når skrivingen blir “glattere” (og derfor mer sannsynlig å være AI-generert). En enkel terskelverdi brukes deretter til å bestemme om en gitt passage sannsynligvis er skrevet av en maskin.

Fordi disse egenskapene fokuserer på når et mønster oppstår, snarere enn bare hva mønsteret ser ut som, komplementeres de av eldre metoder som søker etter statistiske abnormaliteter over hele passasjen. Å legge TSD-poeng til utdata fra slutten av 2024-tilbudet Fast-DetectGPT (også i samarbeid med Westlake) tilbyr en ytterligere forbedring av resultater (spesielt for langform-innhold der den sene-fase-glattere-effekten er sterkest).

Data og tester

Forfatterne utførte tester på to relaterte benchmark-datasett: EvoBench inneholder 32 000 menneskelig/AI-tekstpar generert over syv modellfamilier, inkludert GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; og Qwen, med totalt 29 modellvarianter presentert.

Det andre rammeverket var MAGE, som tilbyr 30 000 testpar over åtte modellfamilier, inkludert (men ikke begrenset til) GPT-serien fra OpenAI, og LLaMA-, OPT– og FLAN-T5-familiene.

Konkurrenter

Den nye metoden ble testet mot en rekke null-skudd-detektorer som bruker samme surrogatmodell. Sannsynlighet, Entropi, Rang og Log-Rang (DetectGPT) målte token-nivåstatistikk over hele passasjen; LLR (DetectLLM) anvendte normalisering for å tillate direkte sammenligning over modeller; og Fast-Detect estimerte lokal krumning gjennom sampling-basert perturbasjon.

Lastde analyserer diskriminerende subsekvenser i sannsynlighets-signalet, mens FourierGPT opererer i frekvensdomenet. Diveye fanget skift i “overraskelses”-mangfold over sekvensen.

Til slutt UCE evaluerte usikkerhetsprofilen til token-prediksjoner, for å identifisere unaturlige konfidensmønster.

Implementering og resultater

Alle deteksjonsmetodene ble kjørt ved å bruke Llama-3-8B-Instruct som en felles surrogatmodell, med inndata-sekvenser begrensede til 512 token. Temporære egenskaper ble trukket ut bare fra den andre halvdelen av hver passage, ved å bruke et glidende vindu på 20 token for å måle volatilitet. En fusjonert versjon av metoden, kalt TSD+, kombinerte det foreslåtte signalet med Fast-DetectGPT.

Area Under Receiver Operating Characteristic Curve (AUROC) var den primære evaluering-målestokken^†:

Mangfoldig ytelse blant de ulike testede metodene mot AI-generert tekst. Deteksjonsnøyaktighet vises over to benchmark-datasett: EvoBench, som dekker flere høyprofilerte LLM-er, og MAGE, et komplementært datasett. Målinger er gruppert etter metode-type: globale statistikker, temporære egenskaper og foreslåtte varianter. Gjennomsnittlige AUROC-poeng er gitt i de siste kolonnene. Resultatene fra forfatternes metode-varianter utgjør konsistent bedre enn tidligere baselinjer, med TSD+ som gir de høyeste poengene i nesten alle modell-innstillingene.

Av disse initielle resultater, hevder forfatterne:

‘Våre enkle temporære egenskaper oppnår state-of-the-art-ytelse blant standalone-metoder, med TSD som oppnår 83,36% på EvoBench og 71,56% på MAGE, og overgår alle baselinjer, inkludert Fast-DetectGPT.

‘Dette er merkbart gitt vår metodes enkelhet: vi beregner bare andre-ordens statistikker fra den andre halvdelen av sekvensene, uten perturbasjons-sampling eller frekvens-domæne-transformasjoner.’

Den nye metoden fungerte spesielt godt på nyere AI-modeller som GPT-4 og GPT-4o, og identifiserte AI-skrevet tekst mer nøyaktig enn den nærmeste ledende detektoren, med en ytelsesforskjell på opptil 9,66%. Selv om nyere avanserte modeller produserer mindre åpenbart “konsistent” tekst, som skjuler noen tegn på automatisering, er visse subtile mønster likevel tydelige nær slutten.

Konkurrerende tilnærminger som fokuserer på brede struktur-egenskaper mislyktes i å fange disse sene-fase-mønstrene. Ved å integrere en global detektor, synes det hybrid-systemet å gjenopprette disse savnede signalene og forbedre ytelsen, spesielt på benchmark-datasett der kortere AI-utdata kan svekke temporære signaler.

Konklusjon

En aspekt som ikke direkte er behandlet i den nye artikkelen, er tendensen til at menneskelige forfattere itererer sine arbeider gjennom utkast og ulike lag med tilsyn – noen ganger inkludert eksternt tilsyn, som innputt fra redaktører og korrekturlesere, samt mulige foreslåtte endringer fra juridiske avdelinger, avhengig av konteksten.

De mange interessentene involvert i dokumenter så enkle som en godt begravd avisartikkel kan nesten utradere de eksentricitetene som den nye foreslåtte metoden er rettet mot, og utgjør i virkeligheten en slags “analog versjon” av en AI-assistert utkast-prosess.

I tillegg er systemene under studie selv trent på slike arbeider, og – siden trening-data stadig rangeres i autoritet under treningstiden – kan de mest “veide” eller respekterte kildene være de minst “naturlege”; i alle fall, sammenlignet med noen som raskt komponerer en uformell e-post til en kollega, snarere enn å samle en årlig rapport for en generalforsamling.

En ytterligere og motsatt betraktning er at tekst-innhold som flere personer har bidratt til, også kan være blant de mest fragmenterte, feilfulle og gjentakende prosa-stykkene som kommer inn i et datasett, siden de ofte ikke har hatt fordelen av en sluttfestende, forenende stemme, og lar den stykkvis-utviklingen være synlig i prosa.

* Forfatternes opprinnelige tekst-styling er gjengitt fra artikkelen; ikke mine betoninger.

^† Forfatterne oppgir ‘primær’, mens de ikke nevner noen andre evaluering-målestokker.

Først publisert mandag, 26. januar 2026