Hvorfor AI-generert tekst er vanskeligere å forstå enn du tror

AI-modeller kan være i ferd med å bli vanskeligere å forstå fordi treningen deres i økende grad belønner effektiv problemløsning fremfor tydelige forklaringer for mennesker.

Setningen ovenfor, uten redigering, ble skrevet av ChatGPT som svar på en forespørsel om en ELI5-oppsummering av en vitenskapelig artikkel på én setning. Den inneholder minst noen av de språkforvanskende trekkene som forklares i den nye studien*. Den nye studien konkluderer med at dette problemet gjelder alle frontmodeller, så vel som modeller som ligger nær fronten, og noen modeller med åpne vekter som også ble testet.

For eksempel illustrerer den første delen av sekvensen «treningen deres i økende grad belønner effektiv problemløsning» artikkelens syn på at AI-modeller noen ganger tillegger livløse ting menneskelige handlinger (siden «trening» i eksempelet ovenfor beskrives som noe som aktivt belønner noe).

Dette kan gjøre det vanskeligere å tolke uttrykket raskt, ettersom vi må innse at tilskrivningen er ment som en illustrerende måte å uttrykke seg på, i stedet for å forstå den bokstavelig (noe som er langt enklere).

Den siste delen «i økende grad belønner effektiv problemløsning» presser også flere ideer sammen, slik at leserne må finne ut hva som belønnes, hva som løses, og hva som blir mer effektivt.

Artikkelen sier^†:

«[Readers] bruker animathet som et signal under setningsanalysen, og uten ytterligere kontekst kan et misforhold utløse en P600-respons^†† som forbindes med omtolkning.

«Å omformulere disse setningene for å unngå livløse subjekter kan imidlertid kreve at setningen blir lengre: Ordet «biter» står for eksempel i stedet for «forårsaker et problem».

«Vi antar at modellene under treningen kan ha endt opp med å bruke slike konstruksjoner som effektive, om enn uvanlige, måter å uttrykke betydning på, som ellers ville ha krevd flere tokener.»

Hæ?

Dette er hovedpoenget i artikkelen: Fordi moderne AI-modeller som ChatGPT, Claude og Gemini er optimalisert for flere typer problemløsning, snarere enn spesifikt for kommunikasjon, har de en tendens til å levere språk i form av svært komprimerte innholdspakker som må tydes.

Dette overrasket meg, siden jeg stadig prøver å overtale ChatGPT og lignende modeller til å være mindre ordrike og mer komprimerte – et problem som er blitt anerkjent og tatt tak i i faglitteraturen.

I stedet beskriver artikkelen ordrikhet som en slags zip-bombe som gjør teksten vanskelig å forstå, selv når setningen ikke er særlig lang. Når vi dermed kombinerer de to problemene – at standardsvarene som regel er for lange, og artikkelens observasjon om overdreven komprimering – kan vi se for oss at frontmodellenes karakteristiske standardsvarstil er ganske særegen. (Denne nokså knappe stilen brukes antakelig delvis som et kjennetegn på AI-generert tekst i detektorer, selv om artikkelen ikke tar for seg dette.)

Forfatterne undersøker også kjeder av sammensatte substantiver, illustrert med det problematiske uttrykket Troppen hjelper hundebitt^†:

«På engelsk kan substantiver fritt modifisere andre substantiver på adjektivisk vis: I uttrykket kaffebutikk, modifiserer kaffe butikk, selv om kaffe vanligvis opptrer som et substantiv. Denne egenskapen gjør det mulig å stable flere substantiver i innholdsrike sammensatte ord med svært spesifikke betydninger.

Slike kjeder kan imidlertid skape tvetydighet om hvordan uttrykket skal deles opp, som i overskriften Troppen hjelper offer for hundebitt, og gjøre teksten vanskeligere å lese.»

Hvis LLM-er er ordrike gjennom komprimering, blir de da dobbelt så ordrike ved å produsere store mengder komprimert tekst som svar på en forespørsel? Det betyr at det ikke bare er mye tekst å lese gjennom som svar på forespørselen din, men også at selve teksten kan inneholde mye «implisitt» betydning som må tydes.

En artikkel fra 2023 hevdet at LLM-er kan bli unødvendig ordrike fordi AI-dommere brukes under treningen, ettersom disse ofte belønner lengre svar – selv når mennesker foretrakk kortere svar i studiens tester.

Forfatterne av den nye studien tilskriver (se sitatet ovenfor) noen av frontmodellenes komprimeringstendenser en arkitektonisk tilbøyelighet til å spare på tokener, noe som er en raus tanke i våre dager.

La oss se nærmere på metodene, dataene og testene forfatterne brukte i studien.

Data og metoder

Uvanlige ordkombinasjoner (målt ved hjelp av n-grammer, altså ordsekvenser) ble undersøkt med tanke på hvor uforutsigbare de var. Sjeldne kombinasjoner ble knyttet til større lesevansker.

Avhengighetslengde (avstanden mellom grammatisk forbundne ord) ble også målt, siden større avstand stiller større krav til arbeidsminnet – særlig når subjektet og verbet er skilt av flere mellomliggende ord.

Objektrelativsetninger (konstruksjoner som «huset entreprenørene bygde») ble undersøkt, særlig når valgfrie ord var utelatt (som «som» i «huset som entreprenørene bygde»).

De tidligere nevnte substantivkjedene (tre eller flere substantiver satt sammen, som i «generator for lydspor til skrekkfilmer») ble også undersøkt, fordi forholdet mellom leddene kan være tvetydig.

Substantivavledede verb (substantiver brukt som verb, som «gaffelér det» i stedet for «sett det på gaffelen») ble undersøkt, sammen med inanimate subjekter koblet til verb som vanligvis forbindes med levende vesener (som omtalt tidligere). Begge konstruksjonene gjør det mulig å uttrykke betydninger med færre ord, men kan kreve at leserne tolker mer.

Kandidatene

Forskerne samlet inn KI-genererte samtaler fra 14 modeller: Kimi K2.5, GLM 5, Claude Sonnet 5, Opus 5, Opus 5.5 og Fable 5; GPT-5.6 Luna, Terra og Sol; Olmo Base, Instruct og Think; samt Llama Base and Instruct.

Testene besto av ti startspørsmål for generelle samtaler og fem for programmering. Hver oppgave krevde at modellen klonet et ekte, offentlig GitHub-arkiv, fant feil og rettet dem i et sandkassemiljø.

Samtalene var begrenset til 12 utvekslinger, mens programmeringsøktene var begrenset til 11, etterfulgt av en fast avslutningsmelding. I en separat test ble hver modell bedt om å skrive sju essays basert på oppgaver fra datasettet PERSUADE 2.0.

Til sammenligning hentet forskerne tekster skrevet av mennesker fra kilder som samsvarte så godt som mulig med de tre typene KI-generert tekst: OpenSubtitles (en samling film- og TV-undertekster som ikke er knyttet til en åpen kildekode-plattform for undertekster) ble brukt for generelle samtaler, StackExchange (et nettverk av nettbaserte spørsmål-og-svar-fora) for programmeringsdiskusjoner, og studentessays fra det tidligere nevnte PERSUADE 2.0-datasettet for skriveoppgavene. Wikipedia ble også brukt som en ekstra sammenligningskilde.

Der det fantes egnede data fra mennesker, målte forskerne de samme språklige trekkene i tekster skrevet av mennesker og KI, og brukte også disse referansesamlingene til å vurdere hvor ofte ordkombinasjoner forekom.

For å skille stilistiske preferanser fra språklige nødvendigheter brukte forskerne rundtur-oversettelse (fra engelsk til japansk og tilbake, med modellen NLLB-200). Betydningen ble i stor grad bevart, samtidig som setningsstrukturen ble endret, slik at unødvendig komplisert formulering kunne identifiseres.

Resultater

Eksperiment 1

Som vist nedenfor forekom flere krevende konstruksjoner oftere i den opprinnelige KI-genererte teksten, særlig blant de mest avanserte modellene. Forskerne tolket dette som tegn på en preferanse for unødvendig kompliserte formuleringer:

Sammenligning av opprinnelig KI-generert tekst med versjoner som først ble oversatt til japansk og deretter tilbake til engelsk. Grønne prikker viser språkmønstre som forekom oftere i originaltekstene, mens rosa prikker viser mønstre som forekom oftere etter oversettelsen. Forskjellene var generelt større for GPT- og Claude-modellene. Kilde

De seks språklige trekkene ble sammenlignet på tvers av 14 KI-modeller i tre sammenhenger (chat, programmering og essayskriving). Tolv modeller ble testet i chat, ni i programmering og alle 14 i essayskriving:

Sammenligning av seks språklige trekk på tvers av KI-modeller innen chat, programmering og essayskriving. Hver diamant viser et samlet resultat for en modell; de vannrette strekene viser 95 % konfidensintervaller. Stiplede loddrette linjer viser referanseverdier for tekster skrevet av mennesker: OpenSubtitles (chat), StackExchange (programmering) og studentessays fra PERSUADE 2.0 (essayskriving). Prikkede linjer viser sammenligningsverdier fra Wikipedia. Høyere verdier viser generelt hyppigere bruk av den målte konstruksjonen eller større språklig kompleksitet. Se kildestudien for bedre oppløsning.

Den opprinnelige KI-genererte teksten ble også sammenlignet med versjonene som var oversatt tilbake, slik at forskjeller i setningsstruktur kunne måles:

Sammenligning av opprinnelig KI-generert tekst (fylte diamanter) med versjoner som er oversatt til japansk og deretter tilbake til engelsk ved hjelp av NLLB-200 (hule sirkler). Rosa linjer viser trekk som forekom oftere etter oversettelsen, mens grønne linjer viser trekk som forekom oftere i originaltekstene. Stjerner angir statistisk signifikans (én, to eller tre stjerner viser til stadig sterkere statistisk evidens). De fleste konstruksjonene som forbindes med lesevansker, ble mindre utbredt etter oversettelsen, særlig blant de mest avanserte modellene. Se kildestudien for bedre oppløsning.

Det viste seg at de mest avanserte modellene og modellene like under toppnivå brukte uvanlige ordkombinasjoner, verb dannet av substantiver, livløse subjekter og objektrelativsetninger der valgfrie ord var utelatt, for ofte (se grafen ovenfor). Disse tendensene var generelt svakere i Llama og Olmo Base, men tydeligere i Olmo Think.

Forskjellene var mindre i essayene enn i chat eller koding. Dette ble tilskrevet at essayene bygger på én enkelt prompt, mens lengre samtaler med gjentatte meldinger kan oppmuntre til større språklig komprimering.

Forfatterne bemerker:

«PERSUADE-essayene viser mindre endringer etter oversettelse fram og tilbake i flere kategorier (n-gram-mål, avhengighetslengder, grupperte substantiver og verb dannet av substantiver) enn chat og [coding].

«Vi antar at dette skyldes at essayene bygger på én enkelt prompt, i motsetning til de mange gjentatte rundene i chat og koding. Vi spekulerer i at visse mønstre kan oppstå i lange samtaler med gjentatte meldinger (som kan kreve større informasjonskomprimering).»

Minst endring etter oversettelsen ble funnet i Llama og Olmo Base og Instruct, som også lå nærmest studentessayene når det gjaldt ordkombinasjoner og verbbruk. Olmo Think viste seg derimot å oppføre seg mer som de mest avanserte modellene. Claude Opus 5.5 så ut til å bruke færre vanskelige konstruksjoner enn Opus 5 i 19 av 21 sammenligninger, og i åtte av disse var 95-prosents konfidensintervallene ikke overlappende.

Eksperiment 2

Det andre eksperimentet skulle undersøke om et underliggende press for å produsere kortere og mer informasjonstette svar kunne få modellene til å foretrekke språklige konstruksjoner som er vanskeligere for mennesker å forstå.

Her ble Qwen2.5-1.5B-Instruct finjustert ved hjelp av Group Relative Policy Optimization (GRPO), og modellen fikk i oppgave å gjøre strukturerte, JSON-formaterte beskrivelser av hendelser om til engelske setninger.

De to aspektene ved treningen som ble justert, var hvor mye modellen fikk endre sitt vanlige ordvalg (β), og hvor hardt den ble straffet for å lage lengre svar (λ). Hver hendelse kunne uttrykkes på to grammatisk gyldige måter, med et kjent antall tokens i hver formulering.

For eksempel krevde «He sent us a photo» seks tokens, mot sju for «He sent a photo to us». Det ble også brukt en separat test der de to måtene å si det samme på krevde like mange tokens, for å kontrollere om forskjellene skyldtes setningslengden.

Effekten ble testet på setninger som ikke hadde vært sett før, ved hjelp av fire konstruksjoner modellen hadde møtt under treningen, to konstruksjoner som ikke var med i treningen og inneholdt det valgfrie ordet «that», samt andre, urelaterte konstruksjoner med eiendomsformer, kvantorer, passivformer og hensiktssetninger.

Testene skulle fastslå om en preferanse for kortere formuleringer ville bli lært og overført til konstruksjoner modellen aldri hadde møtt under treningen:

Effekten av å straffe lengre svar under trening. Et eksempel på kortere og lengre formuleringer vises i A. Preferanser for kortere formuleringer måles i B, mens tester av formuleringer som ikke var brukt under treningen, vises i C og D. Oransje viser trening uten begrensninger på hvor mye den opprinnelige modellen kunne endres, mens blå viser trening med slike begrensninger. Stiplede linjer viser den opprinnelige modellens preferanser. Sterkere straffer førte generelt til større preferanse for kortere formuleringer, også i konstruksjoner som ikke forekom i treningen. Se kildeartikkelen for bedre oppløsning.

Etter hvert som straffen for lengre svar ble økt, valgte modellen oftere kortere formuleringer (illustrert rett ovenfor). Uten KL-straffen (en begrensning på hvor langt modellen kunne avvike fra sine opprinnelige ordprediksjoner) skjedde skiftet raskt; med den samme straffen ble effekten observert mer gradvis. Uten noen av straffene varierte preferansene mye mellom treningskjøringer, men selv en liten straff for lengde ga en konsekvent preferanse for kortere alternativer.

Denne preferansen ble også observert i tidligere usette setningskonstruksjoner der det valgfrie ordet «that» inngikk. Overføringen til mer avvikende grammatiske konstruksjoner var langt svakere; en effekt ble bare funnet for eiendomsformer når KL-straffen var fraværende.

Forfatterne konkluderer:

«Vi ser på disse resultatene som et bevis på konseptet: En lengdestraff brukt under forsterkningslæring med GRPO kan påvirke grammatiske trekk direkte.

«Vi bemerker at modellen ikke fikk direkte instruksjoner om å bruke et komprimert eller tett språk, og heller ikke direkte informasjon om at syntaktiske alternativer var tilgjengelige.

«I stedet førte straffen til en fremvoksende preferanse for de kortere variantene av syntaktiske alternativer.»

Konklusjon

Jeg har lenge vært interessert i ankrene – både utilsiktede og tilsiktede – som kjennetegner KI-generert tekst. Denne nye studien kaster derfor lys over den tilsynelatende motsetningen mellom den velkjente ordrikheten til store språkmodeller og deres nå like velkjente tendens til å komprimere informasjon på måter som virker «lette å lese», rett og slett fordi det brukes få ord – men dette er tydeligvis feil måte å tolke dette signalet på.

I tekst fra store språkmodeller kan kortfattethet signalisere kompleksitet snarere enn en konsentrert formidling av det vesentlige, som om KI-en ga oss en gåte i stedet for de direkte begrepene bak ordene. Alt dette, tilsynelatende, for at én og samme modell skal kunne kode og skrive.

* Artikkelen har tittelen «Hvorfor er KI-generert språk så vanskelig å forstå?» og er skrevet av to forfattere fra New York University og The University of Texas.

^† Min omgjøring av forfatternes henvisninger i teksten til hyperlenker.

^†† https://mikeydoes.com/glossary/p600/

Først publisert mandag 26. oktober 2026