AI-gegenereerde schrijfstijl ‘vermoeit’ nooit, en onthult zichzelf dus

ChatGPT-achtige AI onthult zichzelf door de consistentie te vergroten, terwijl menselijke schrijfstijl onregelmatig blijft.

De beperkte contextwindow van de meeste consumentengerichte Large Language Models (LLM’s) is een van de factoren die ertoe kunnen leiden dat ze eerder onderdelen van gebruikersconversaties vergeten of onjuist herinneren – herinneringsfouten die de uitvoer langzaam in complete onzin kunnen veranderen – of, erger nog, misleidend coherent uitziende tekst die subtiele fouten bevat.

Deze omstandigheden leiden tot hallucinaties, en aangezien hallucinaties nog steeds de grootste obstakel vormen voor de totale marktvoortgang van AI, is veel onderzoeksinspanning geleverd om generatieve AI-systemen te creëren die langere, maar veel consistentere delen van tekst kunnen produceren.

Feitelijk wordt zoveel vooruitgang geboekt dat het herkennen van langere AI-inhoud (d.w.z. inhoud die puur door AI is gegenereerd, met – vermoedelijk – minimale of geen menselijke nazorg) als een groeiend probleem wordt beschouwd.

AI-ontmaskering

Toch beweren recente empirische studies dat hoe meer output AI-tekstgeneratoren in één keer produceren, hoe gemakkelijker het is om te bepalen of die tekst door een mens of door AI is geschreven; maar de algemene aanname met betrekking tot deze detectiemethode is ervan uitgegaan dat AI kan worden onderscheiden omdat wat het ook doet dat anders is dan bij mensen, het vaker kan doen in langere delen.

Er worden geen aannamen gedaan over de verdeling van deze ‘aanwijzingen’ in de tekst zelf.

Om dit uit te dagen en het probleem uit te breiden, biedt een interessante recente onderzoeksstudie uit China een novate methode om de nieuwe generatie langere AI-inhoudsgeneratoren te onderscheiden van echte menselijke auteurs. De onderzoekers achter het werk beweren dat de token-voor-token-aard van AI-tekstgeneratie ertoe leidt dat deze meer consistent wordt met grotere lengte, terwijl de eigenaardigheden van mensen niet afnemen met lengte.

Op deze manier suggereren de auteurs dat hun inzicht een potentieel nieuwe maatstaf biedt voor AI-tekstdetectiesystemen*:

‘AI-gegenereerde tokens in het laatste deel van de tekst vertonen kleinere en stabielere waarschijnlijkheidsfluctuaties naarmate de voorspellingen van het model steeds consistenter worden naarmate de context accumuleert.

‘We noemen dit patroon Laatste Volatiliteitsafname. Dit fenomeen weerspiegelt het inherente gedrag van autoregressieve generatie: naarmate meer context beschikbaar komt, wordt de voorspellingverdeling van het model scherper, waardoor de variabiliteit in token-niveau-statistieken afneemt.

‘Menselijke schrijfstijl daarentegen blijft onverwachte lexicale keuzes introduceren en behoudt een hogere volatiliteit gedurende de hele periode.’

Om deze vreemde ‘gladheid’ die in AI-tekst naar het einde toe accumuleert, te vangen, definiëren de onderzoekers twee eenvoudige kenmerken: de eerste meet hoeveel de statistische gedragslijn van de schrijfstijl ‘springt’ tussen tokens; de tweede controleert hoe stabiel alles blijft binnen korte delen van de tekst.

Beide worden alleen berekend vanaf de tweede helft van de uitvoer, waar AI merkbaar regelmatiger wordt en menselijke schrijfstijl niet. De auteurs merken op dat terwijl deze signalen goed werken op zichzelf, ze nog effectiever zijn wanneer ze worden gecombineerd met oudere detectiemethoden die bredere patronen scannen. Ze merken ook op dat deze aanpak het beste werkt op langere teksten, waar het contrast meer evident kan worden.

Het nieuwe artikel biedt een methodologie voor het testen van ‘AI-eigenschappen’ via tweede-helft-temporele kenmerkanalyse, zonder extra training of fijnafstelling of bevoorrechte modeltoegang.

Het nieuwe werk heeft als titel Wanneer AI zich settelt: Laatste stabiliteit als handtekening van AI-gegenereerde tekstdetectie, en komt van vier auteurs aan de Westlake Universiteit in Hangzhou.

Methode

Om de groeiende gladheid in AI-gegenereerde tekst te vangen, ontwierpen de onderzoekers twee metingen die alleen op de tweede helft van een passage focussen. Deze zijn gebaseerd op log-waarschijnlijkheidsscores van een standaardtaalmodel en vereisen geen fijnafstelling, hertraining of extra monsters:

Uit het nieuwe artikel – elke rij toont het gedrag van een basismetric van EvoBench over de tokensequentie: ruwe waarde (links), absolute afgeleide (midden), en lokale standaarddeviatie (rechts). Menselijke en AI-lijnen worden in blauw en rood getoond. De meeste divergentie verschijnt in de tweede helft van de tekst, vooral voor Log-waarschijnlijkheid en Steekproefdiscrepantie, die een toenemende scheiding en gladere AI-uitvoer laten zien. Entropie en Top-K-concentratie laten weinig verandering over tijd zien. Bron

De eerste maat, genaamd Afgeleide dispersie (DD), meet hoe scherp het vertrouwen van het model verandert van het ene woord naar het andere. AI-tekst heeft de neiging om in een ritme te komen, dus deze veranderingen worden kleiner en voorspelbaarder in de tweede helft. In tegenstelling tot menselijke schrijfstijl, die ‘oneven’ blijft.

De tweede maat, Lokale volatiliteit (LV), kijkt naar hoeveel het vertrouwen van het model ‘springt’ binnen een kleine venster van tekst. Opnieuw heeft AI de neiging om in de loop van de tijd stabiel te worden, terwijl menselijke keuzes onverwachter en minder consistent blijven:

AI-tekst wordt gladder naarmate het vordert, terwijl menselijke schrijfstijl onregelmatig blijft. Deze grafieken volgen hoe het vertrouwen van het model verandert in de loop van een passage, waarmee zowel de scherpte van de verandering tussen opeenvolgende woorden als de hoeveelheid variatie binnen lokale delen van de tekst wordt weergegeven. In beide opzichten is de daling veel steiler in machinegegenereerde uitvoer, met een contrast dat vooral na het middenpunt duidelijker wordt. De gele dozen benadrukken deze groeiende kloof in de tweede helft, waar AI-schrijfstijl tot 32% meer stabiliteit bereikt dan menselijke schrijfstijl.

Opnieuw worden beide metingen alleen berekend vanaf de latere helft van de tekst, waar het verschil tussen menselijke en machine-schrijfstijl het meest evident is. Deze worden vervolgens samengevoegd in een enkele waarde genaamd de Temporele stabiliteitsdetectie (TSD)-score – die geneigd is om te stijgen naarmate de schrijfstijl ‘gladder’ wordt (en dus waarschijnlijker AI-gegenereerd is). Een eenvoudige drempel wordt vervolgens gebruikt om te beslissen of een bepaalde passage waarschijnlijk door een machine is geschreven.

Omdat deze kenmerken zich richten op wanneer een patroon verschijnt, in plaats van alleen wat dat patroon eruit ziet, worden ze aangevuld door oudere methoden die statistische ongewoonheden over de hele passage zoeken. Het toevoegen van de TSD-score aan de uitvoer van de late 2024-aanbieding Fast‑DetectGPT (ook in samenwerking met Westlake) biedt een aanvullende verbetering van de resultaten (vooral voor langere inhoud waar het late-stagesmoothingeffect het sterkst is).

Gegevens en tests

De auteurs voerden tests uit op twee verwante benchmarkdatasets: EvoBench bevat 32.000 menselijke/AI-tekstparen gegenereerd over zeven model-families, waaronder GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; en Qwen, met in totaal 29 modelversies.

Het andere kader was MAGE, dat 30.000 testparen biedt over acht model-families, waaronder (maar niet beperkt tot) de GPT-reeks van OpenAI, en de LLaMA-, OPT– en FLAN-T5-families.

Concurrenten

De nieuwe methode werd getest tegen een reeks zero-shot-detectors met behulp van hetzelfde surrogaatmodel. Waarschijnlijkheid, Entropie, Rang en Log-Rang (DetectGPT) maten token-niveau-statistieken over de hele passage; LLR (DetectLLM) paste normalisatie toe om directe vergelijking tussen modellen mogelijk te maken; en Fast-Detect schatte lokale kromming door steekproef-gebaseerde perturbaties.

Lastde analyseerde discriminatieve subsequenties in het waarschijnlijkheidssignaal, terwijl FourierGPT opereerde in de frequentiedomein. Diveye ving verschuivingen in ‘surprisal’-diversiteit over de sequentie.

Ten slotte UCE beoordeelde het onzekerheidsprofiel van token-voorspellingen om onnatuurlijke vertrouwenspatronen te identificeren.

Implementatie en resultaten

Alle detectiemethoden werden uitgevoerd met Llama-3-8B-Instruct als gedeeld surrogaatmodel, met invoersequenties beperkt tot 512 tokens. Temporele kenmerken werden alleen geëxtraheerd uit de tweede helft van elke passage, met behulp van een schuifvenster van 20 tokens om volatiliteit te meten. Een gefuseerde versie van de methode, genaamd TSD+, combineerde het voorgestelde signaal met Fast-DetectGPT.

Area Under Receiver Operating Characteristic Curve (AUROC) was de primaire evaluatiemethode^†:

Uiteenlopende prestaties onder de verschillende geteste methoden tegen AI-gegenereerde tekst. Detectie-accuraatheid wordt getoond over twee benchmarks: EvoBench, die meerdere hooggeplaatste LLM’s omvat, en MAGE, een aanvullende dataset. Metrics zijn gegroepeerd per methode-type: globale statistieken, temporele kenmerken en voorgestelde varianten. Gemiddelde AUROC-scores worden gegeven in de laatste kolommen. Resultaten van de varianten van de auteursmethode presteren consistent beter dan eerdere baselines, met TSD+ die de hoogste scores oplevert in bijna elke modelinstelling.

Van deze initiële resultaten zeggen de auteurs:

‘Onze eenvoudige temporele kenmerken bereiken state-of-the-art-prestaties onder standalone-methoden, met TSD die 83,36% op EvoBench en 71,56% op MAGE bereikt, waarmee alle baselines, inclusief Fast-DetectGPT, worden overtroffen.

‘Dit is opmerkelijk gezien de eenvoud van onze methode: we berekenen alleen tweede-orde-statistieken van de tweede helft van de sequenties, zonder perturbatie-monsters of frequentie-domeintransformaties.’

De nieuwe methode werkte vooral goed op nieuwere AI-modellen zoals GPT-4 en GPT-4o, waarmee AI-geschreven tekst nauwkeuriger werd geïdentificeerd dan de dichtstbijzijnde leidende detector, met een prestatieverschil van maximaal 9,66%. Hoewel nieuwere geavanceerde modellen minder voor de hand liggende ‘consistente’ tekst produceren, die enkele tekenen van automatisering verbergt, zijn bepaalde subtiele timingpatronen nog steeds zichtbaar bij het einde.

Concurrerende benaderingen die zich richten op bredere structurele kenmerken misten deze late-stagespatronen. Door een globale detector te integreren, herstelt het hybride systeem blijkbaar deze gemiste signalen en verbetert de prestaties, vooral op benchmarks waar kortere AI-uitvoer tijdelijke signalen kan verzwakken.

Conclusie

Een aspect dat niet rechtstreeks wordt aangepakt in het nieuwe werk is de neiging van menselijke schrijvers om hun werk te itereren door middel van ontwerpen en verschillende lagen van toezicht – soms inclusief externe toezicht, zoals de input van redacteuren en correctoren, evenals mogelijke voorgestelde wijzigingen van juridische afdelingen, afhankelijk van de context.

De multiple stakeholders die betrokken zijn bij documenten als eenvoudig als een goed verborgen krantenartikel, kunnen allemaal de eigenaardigheden die het nieuwe voorgestelde systeem aanwijst, uitwissen en in feite een soort ‘analoge versie’ van een AI-geassisteerd ontwerpproces vormen.

Bovendien hebben de systemen die onderzocht worden, zelf getraind op dergelijke werken, en – aangezien trainingsgegevens steeds vaker in autoriteit worden gerangschikt tijdens de training – de meest ‘gewogen’ of gerespecteerde bronnen mogelijk de minst ‘natuurlijke’ zijn; tenminste, in vergelijking met iemand die snel een informele e-mail aan een collega schrijft, in plaats van een jaarverslag voor een AVA samen te stellen.

Een verdere en contrasterende overweging is dat tekstinhoud waaraan meerdere personen hebben bijgedragen, ook kan behoren tot de meest gefragmenteerde, gebrekkige en herhalende stukken proza die een dataset binnenkomen, aangezien ze vaak niet de voordelen van een finale unificerende stem hebben gehad, waardoor de gefragmenteerde aard van hun ontwikkeling zichtbaar is in de proza.

* Originele tekststijl van de auteurs, overgenomen uit het artikel; niet mijn nadruk.

^† De auteurs vermelden ‘primaire’, zonder andere evaluatiemetrics te vermelden.

Eerst gepubliceerd op maandag 26 januari 2026