Hvorfor AI-genereret tekst er sværere at forstå, end du tror

AI-modeller kan være ved at blive sværere at forstå, fordi deres træning i stigende grad belønner effektiv problemløsning frem for tydelige forklaringer til mennesker.

Ovenstående uredigerede sætning blev skrevet af ChatGPT som svar på en anmodning om en kort, enkel opsummering af en videnskabelig artikel, som en femårig ville kunne forstå; og den rummer mindst nogle få af de sproglige forvanskninger, der forklares i dette nye studie*. Det nye arbejde konkluderer, at problemet påvirker alle de førende modeller samt modeller, der næsten er på niveau med dem, og nogle af de modeller med åbne vægte, som også blev testet.

For eksempel illustrerer den første del af passagen»deres træning i stigende grad belønner effektiv problemløsning«artiklens pointe om, at AI-modeller nogle gange tillægger livløse ting menneskelige handlinger (fordi »træning« i eksemplet ovenfor beskrives som noget, der aktivt belønner noget).

Det kan gøre det sværere hurtigt at afkode udtrykket, fordi vi mentalt må forstå tilskrivningen som en illustrativ måde at udtrykke sig på i stedet for at tage den bogstaveligt (hvilket er langt enklere).

Den sidste del, »i stigende grad belønner effektiv problemløsning«, presser også flere idéer sammen og tvinger læserne til at finde ud af, hvad der belønnes, hvad der løses, og hvad der bliver mere effektivt.

Artiklen fastslår^†:

»[Readers] bruger animathed som et signal under afkodningen, og uden yderligere kontekst kan et misforhold fremkalde en P600-reaktion^††, der er forbundet med ny analyse.

»Hvis man imidlertid omformulerer disse sætninger for at undgå livløse subjekter, kan det kræve, at sætningen gøres længere: Ordet »bider« står for eksempel i stedet for »forårsager et problem«.

»Vi formoder, at modellerne under træningen kan være endt med at bruge sådanne konstruktioner som effektive, om end ikke-standardiserede, måder at udtrykke betydning på, som ellers ville kræve flere tokens.«

Hvad mener du?

Det er artiklens hovedpointe: Fordi moderne AI-modeller som ChatGPT, Claude og Gemini optimeres til flere typer problemløsning frem for specifikt til kommunikation, har de tendens til at levere sprog i form af stærkt komprimerede informationspakker, der kræver en vis afkodning.

Det overraskede mig, for jeg prøver hele tiden at overtale ChatGPT og tilsvarende modeller til at være mindre ordrige og mere komprimerede – et problem, der er blevet anerkendt og behandlet i forskningslitteraturen.

I stedet beskriver artiklen ordrigdom som en slags zip-bombe, der gør det svært at forstå teksten, selv når sætningen ikke er særlig lang. Når man derfor sammenholder de to problemer – standardmæssigt alt for lange svar og artiklens observation om overdreven komprimering – kan man forestille sig, at den karakteristiske stil i de førende AI-modellers standardsvar er ganske særpræget (og formodentlig bruges denne ret knappe stil til dels som et kriterium i detektorer for AI-genereret tekst, selv om artiklen ikke behandler dette).

Forfatterne undersøger også kædede substantivsammensætninger, som eksemplificeres i den problematiske overskrift Enhed hjælper hundebid^†:

»På engelsk kan substantiver frit modificere andre substantiver på adjektivisk vis: I udtrykket kaffebar, kaffe modificerer bar, selv om det normalt optræder som et substantiv. Denne egenskab gør det muligt at kæde flere substantiver sammen til righoldige sammensatte ord, der betegner meget specifikke betydninger.

Sådanne kæder kan imidlertid skabe tvetydighed om, hvordan ordene hænger sammen, som i overskriften Enhed hjælper hundebidsoffer, og forstyrre læsningen.«

Hvis LLM’er bliver ordrige gennem komprimering, er de så dobbelt ordrige ved at producere store mængder komprimeret tekst som svar på en forespørgsel? Det betyder, at der ikke blot er meget tekst at læse som svar på forespørgslen; selve teksten kan også rumme en stor mængde »implicit« betydning, der skal afkodes.

En artikel fra 2023 fremsatte den hypotese, at LLM’er kan blive unødigt ordrige, fordi AI-dommere bruges under træningen, da de ofte belønner længere svar – selv når mennesker i studiets test foretrak kortere svar.

Forfatterne til det nye arbejde tilskriver (se det tidligere citat) nogle af de førende modellers tendenser til komprimering en arkitektonisk tilbøjelighed til at spare på tokens, hvilket er en generøs tanke i disse dage.

Lad os se nærmere på de metoder, data og test, som forfatterne brugte i studiet.

Data og metoder

Usædvanlige ordkombinationer blev undersøgt med hensyn til deres uforudsigelighed og målt ved hjælp af n-grammer, dvs. ordsekvenser; sjældne kombinationer blev forbundet med større læsevanskeligheder.

Afhængighedslængde (afstanden mellem grammatisk forbundne ord) blev også målt, fordi længere afstande stiller større krav til arbejdshukommelsen – især når et subjekt og dets verbum er adskilt af flere mellemliggende ord.

Objektrelativsætninger (konstruktioner som »huset, håndværkerne byggede«) blev undersøgt, især når valgfrie ord blev udeladt (for eksempel »som« i »huset, som håndværkerne byggede«).

De førnævnte sammensatte substantivkæder (tre eller flere substantiver sat sammen, som i »gyserfilmsoundtrackgenerator«) blev også undersøgt, fordi forholdet mellem de enkelte ord kan være tvetydigt.

Substantivafledte verber (substantiver brugt som verber, for eksempel »gaffel det« i stedet for »sæt det på gaflen«) blev undersøgt sammen med livløse subjekter kombineret med verber, der normalt forbindes med levende væsener (som omtalt tidligere). Begge konstruktioner gør det muligt at udtrykke betydninger med færre ord, men læseren kan være nødt til at foretage yderligere fortolkning.

Kandidaterne

Forskerne indsamlede AI-genererede samtaler fra 14 modeller: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 og Fable 5; GPT-5.6 Luna, Terra og Sol; Olmo Base, Instruct og Think; samt Llama Base and Instruct.

Testene omfattede ti indledende prompts til almindelig samtale og fem til programmering. I hver opgave skulle modellen klone et ægte, offentligt GitHub-arkiv, finde fejl og rette dem i et sandkassemiljø.

Samtalerne var begrænset til 12 udvekslinger, mens programmeringssessionerne var begrænset til 11, efterfulgt af en fast afsluttende besked. I en separat test blev hver model bedt om at skrive syv essays baseret på opgaver fra datasættet PERSUADE 2.0.

Til sammenligning hentede forskerne menneskeskrevne tekster fra kilder, der så vidt muligt svarede til de tre typer AI-output: OpenSubtitles (en samling film- og tv-undertekster uden forbindelse til open source-undertekstplatformen) blev brugt til almindelig samtale; StackExchange (det online netværk af spørgsmål-og-svar-fora) til programmeringsdiskussioner; og studenteressays fra det førnævnte PERSUADE 2.0-datasæt til skriveopgaverne. Wikipedia blev også brugt som en ekstra sammenligningskilde.

Når der forelå egnede menneskeskrevne data, blev de samme sproglige træk målt i både menneskeskrevne og AI-genererede tekster. Disse referencesamlinger blev også brugt til at vurdere hyppigheden af ordkombinationer.

Oversættelse frem og tilbage (fra engelsk til japansk og tilbage igen ved hjælp af modellen NLLB-200) blev brugt til at skelne mellem stilistiske præferencer og sproglige nødvendigheder. Betydningen blev i vid udstrækning bevaret, mens sætningsstrukturen blev ændret, hvilket gjorde det muligt at identificere unødigt komplekse formuleringer.

Resultater

Eksperiment 1

Som vist nedenfor forekom flere vanskelige konstruktioner hyppigere i den oprindelige AI-genererede tekst, især blandt frontier-modellerne. Det blev tolket som tegn på en præference for unødigt komplekse formuleringer:

Sammenligning af oprindelig AI-genereret tekst med versioner, der er oversat til japansk og tilbage til engelsk. Grønne prikker viser sproglige mønstre, der forekommer oftere i originalerne; lyserøde prikker viser mønstre, der forekommer oftere efter oversættelsen. Forskellene var generelt større for GPT- og Claude-modeller. Kilde

De seks sproglige træk blev sammenlignet på tværs af 14 AI-modeller i tre sammenhænge (chat, programmering og essayskrivning). Tolv modeller blev testet i chat, ni i programmering og alle 14 i essayskrivning:

Sammenligning af seks sproglige træk på tværs af AI-modeller inden for chat, programmering og essayskrivning. Hver diamant repræsenterer et samlet resultat for en model; de vandrette bjælker viser 95 % konfidensintervaller. De stiplede lodrette linjer angiver baselines for menneskeskrevet tekst fra OpenSubtitles (chat), StackExchange (programmering) og studenteressays fra PERSUADE 2.0 (essayskrivning). De prikkede linjer viser sammenligninger med Wikipedia. Højere værdier angiver generelt hyppigere brug af den målte konstruktion eller større sproglig kompleksitet. Se kildens forskningsartikel for en version med højere opløsning.

Den oprindelige AI-genererede tekst blev også sammenlignet med versioner, der var oversat tilbage, så forskelle i sætningsstruktur kunne måles:

Sammenligning af original AI-genereret tekst (udfyldte diamanter) med versioner, der er oversat til japansk og tilbage til engelsk med NLLB-200 (åbne cirkler). Lyserøde linjer viser træk, der bruges oftere efter oversættelse; grønne linjer viser træk, der bruges oftere i originalerne. Stjerner angiver statistisk signifikans (én, to eller tre stjerner repræsenterer stadig stærkere statistisk evidens). De fleste konstruktioner, der forbindes med læsevanskeligheder, blev mindre hyppige efter oversættelse, især blandt frontier-modellerne. Se venligst kildeteksten for en version med højere opløsning.

Det viste sig, at frontier-modeller og modeller tæt på frontier-niveau overforbrugte usædvanlige ordkombinationer, denominale verber, livløse subjekter og objektive relativsætninger, hvor valgfrie ord var udeladt (se grafen ovenfor). Disse tendenser var generelt mindre udtalte i Llama og Olmo Base, men mere udtalte i Olmo Think.

Der blev observeret mindre forskelle i essayskrivning end i chat eller programmering. Det blev tilskrevet, at essays bygger på én enkelt prompt, mens længere samtaler med gentagne frem-og-tilbage-udvekslinger muligvis tilskynder til større sproglig komprimering.

Forfatterne bemærker:

‘PERSUADE-essayene viser mindre ændringer efter oversættelse frem og tilbage inden for flere kategorier (n-gram-mål, afhængighedslængder, stakkede substantiver og denominale verber) end chat og [coding].’

‘Vi antager, at det skyldes, at de bygger på én enkelt prompt i modsætning til de mange gentagne samtalerunder inden for chat og programmering. Vi formoder, at visse mønstre kan opstå i lange samtaler med gentagne frem-og-tilbage-udvekslinger (som kan kræve større informationskomprimering).’

Llama samt Olmo Base- og Olmo Instruct-modellerne ændrede sig mindst efter oversættelse, og deres ordkombinationer og brug af verber lå også tættest på dem i studenteressays. Olmo Think viste sig derimod at opføre sig mere som frontier-modellerne. Claude Opus 5.5 brugte ifølge observationerne færre vanskelige konstruktioner end Opus 5 i 19 af 21 sammenligninger; i otte af disse overlappede 95 % konfidensintervallerne ikke.

Eksperiment 2

Det andet eksperiment skulle undersøge, om et underliggende pres for at producere kortere og mere informationstætte svar kunne få modeller til at foretrække sproglige konstruktioner, der er sværere for mennesker at forstå.

Her blev Qwen2.5-1.5B-Instruct finjusteret ved hjælp af Group Relative Policy Optimization (GRPO), og modellen blev sat til at omdanne strukturerede, JSON-formaterede beskrivelser af begivenheder til engelske sætninger.

De to aspekter af træningen, der blev justeret, var, hvor meget modellen måtte afvige fra sit sædvanlige ordvalg (β), og hvor hårdt den blev straffet for at producere længere svar (λ). Hver begivenhed kunne udtrykkes på to grammatisk korrekte måder, hvis tokenantal var forskelligt og kendt.

For eksempel krævede »He sent us a photo« seks tokens, mens »He sent a photo to us« krævede syv. Der blev også udført en separat test, hvor to måder at sige det samme på krævede det samme antal tokens, for at undersøge, om forskellene skyldtes sætningslængden.

Effekten blev testet på hidtil usete sætninger med fire konstruktioner, der var blevet brugt under træningen; to utrænede konstruktioner med det valgfrie ord »that«; samt andre, ikke-relaterede konstruktioner med ejefald, kvantorer, passivformer og formålsled.

Testene skulle fastslå, om en præference for kortere formuleringer ville blive indlært og overført til konstruktioner, som modellen aldrig havde mødt under træningen:

Virkningen af at straffe længere svar under træningen. Et eksempel på kortere og længere formuleringer vises i A. Præferencer for kortere konstruktioner måles i B, mens test af konstruktioner, der ikke tidligere er indgået i træningen, vises i C og D. Orange angiver træning uden begrænsninger på ændringer af den oprindelige model; blå angiver træning med sådanne begrænsninger. Stiplede linjer viser den oprindelige models præferencer. Stærkere straffe førte generelt til en større præference for kortere formuleringer, også i konstruktioner, der ikke indgik i træningen. Se kildestudiet for en version med højere opløsning.

Efterhånden som straffen for længere svar blev øget, valgte modellen oftere kortere formuleringer (som vist lige ovenfor). Uden KL-straffen (en begrænsning på, hvor langt modellen kunne afvige fra sine oprindelige ordforudsigelser) skete skiftet hurtigt; med straffen sås den samme effekt mere gradvist. Uden nogen af straffene varierede præferencerne betydeligt mellem træningsforløb, men selv en lille straf for længde skabte en konsekvent præference for kortere alternativer.

Denne præference blev også observeret i tidligere usete sætningskonstruktioner med det valgfrie ord ‘at’. Overførslen til mere fjerntliggende grammatiske konstruktioner var langt svagere, og der blev kun fundet en effekt for possessiver, når KL-straffen var fraværende.

Forfatterne konkluderer:

‘Vi betragter disse resultater som et proof of concept på, at en længdestraf under reinforcement learning med GRPO direkte kan påvirke grammatiske træk.

‘Vi bemærker, at modellen ikke direkte blev instrueret i at bruge et komprimeret eller kompakt sprog, og at den heller ikke direkte fik oplysninger om, at der fandtes syntaktiske alternativer.

‘Straffen førte derimod til en fremvoksende præference for de kortere varianter af syntaktiske alternativer.’

Konklusion

Jeg har i nogen tid interesseret mig for de holdepunkter – både utilsigtede og tilsigtede – der kendetegner AI-genereret tekst. Derfor kaster denne nye undersøgelse lys over den tilsyneladende konflikt mellem LLM’ers velkendte ordrigdom og deres nu lige så velkendte tendens til at komprimere information på måder, der virker ‘lette at læse’, blot fordi der ikke bruges mange ord – men det er tydeligvis en forkert fortolkning af dette signal.

I LLM’er kan kortfattet tekstoutput være et tegn på kompleksitet snarere end en væsentlig kondensering, som om AI’en rakte os en gåde i stedet for de direkte begreber bag ordene. Alt sammen tilsyneladende, så én enkelt model kan kode og skrive.

* Med titlen ‘Hvorfor er AI-genereret sprog så svært at forstå?’ og skrevet af to forfattere fra New York University og The University of Texas.

^† Min omdannelse af forfatternes kildehenvisninger i teksten til hyperlinks.

^†† https://mikeydoes.com/glossary/p600/

Først offentliggjort mandag den 26. oktober 2026