Varför AI-genererad text är svårare att förstå än du tror

AI-modeller kan bli svårare att förstå eftersom deras träning i allt högre grad belönar effektiv problemlösning snarare än tydliga förklaringar för människor.

Meningen ovan, helt oredigerad, skrevs av ChatGPT som svar på en begäran om en ELI5-sammanfattning av en vetenskaplig artikel i en enda mening. Den uppvisar åtminstone några av de språkligt förvrängande dragen som förklaras i den nya studien*. Det nya arbetet drar slutsatsen att problemet påverkar alla ledande modeller, liksom modeller som ligger nära utvecklingsfronten och vissa modeller med öppna vikter som också testades.

Till exempel illustrerar den inledande delen av avsnittet ”deras träning belönar i allt högre grad effektiv problemlösning” artikelns ståndpunkt att AI-modeller ibland tillskriver livlösa ting mänskliga handlingar (eftersom ”träning” i exemplet ovan beskrivs som något som aktivt belönar något).

Det kan försvåra en snabb tolkning av frasen, eftersom vi mentalt måste förstå tillskrivningen som ett illustrativt grepp i stället för att tolka den bokstavligt, vilket vore mycket enklare.

Den senare delen, ”belönar i allt högre grad effektiv problemlösning”, pressar också ihop flera idéer och tvingar läsaren att reda ut vad som belönas, vad som löses och vad som blir effektivare.

I artikeln står det^†:

”[Readers] använder animacitet som en ledtråd vid tolkningen, och utan ytterligare sammanhang kan en avvikelse framkalla en P600-respons^†† som är kopplad till omtolkning.

”Att formulera om de här meningarna för att undvika livlösa subjekt skulle dock kunna kräva att meningen görs längre: till exempel står ordet ”bites” i stället för ”causes an issue”.

”Vi spekulerar i att modellerna under träningen kan ha börjat använda sådana konstruktioner som effektiva, om än icke-standardiserade, sätt att uttrycka betydelser som annars skulle kräva fler token.”

Va?

Det här är artikelns huvudpoäng: eftersom moderna AI-modeller som ChatGPT, Claude och Gemini optimeras för flera slags problemlösning i stället för specifikt för kommunikation, tenderar de att uttrycka sig i form av mycket komprimerade informationspaket som behöver avkodas.

Det här förvånade mig, eftersom jag ständigt försöker få ChatGPT och liknande modeller att vara mindre omständliga och mer komprimerade – ett problem som uppmärksammas och behandlas i forskningslitteraturen.

I stället beskriver artikeln ordrikedom som en sorts zipbomb som försvårar förståelsen även i meningar som inte är särskilt långa. Om man därför kombinerar de två problemen – alltför långa standardsvar och artikelns iakttagelse om överdriven komprimering – kan man föreställa sig att det typiska mönstret i de ledande AI-modellernas standardsvar är mycket särpräglat. (Den här ganska kärnfulla stilen används förmodligen delvis som en faktor i detektorer för AI-genererad text, även om artikeln inte behandlar detta.)

Författarna undersöker också staplade substantiviska sammansättningar, som exemplifieras av den problematiska frasen Patrull hjälper hund att bita^†:

”På engelska kan substantiv fritt modifiera andra substantiv på ett adjektiviskt sätt: i frasen coffee shop, coffee modifierar shop, trots att det vanligtvis förekommer som substantiv. Den här egenskapen gör det möjligt att stapla flera substantiv i innehållsrika sammansättningar som betecknar mycket specifika betydelser.

Sådana staplingar kan dock skapa en tvetydighet kring hur orden hör ihop, som i rubriken Patrull hjälper offer för hundbett, och störa läsningen.”

Om stora språkmodeller alltså blir ordrika genom komprimering, blir de då dubbelt ordrika genom att ge stora mängder komprimerad text som svar på en fråga? Det innebär att du inte bara får mycket text att läsa som svar på din fråga, utan att själva texten dessutom kan innehålla mycket ”underförstådd” betydelse som måste avkodas.

En artikel från 2023 hävdade att AI-domare som används under träningen kan göra stora språkmodeller onödigt ordrika, eftersom de ofta belönar längre svar – även när människorna i studiens tester föredrog kortare svar.

Författarna till det nya arbetet tillskriver (se det tidigare citatet) en del av de ledande modellernas tendens att komprimera en arkitektonisk benägenhet att spara token, vilket är en välvillig tanke numera.

Låt oss se närmare på metoderna, dataunderlaget och testerna som författarna använde i studien.

Data och metoder

Ovanliga ordkombinationer undersöktes med avseende på hur oförutsägbara de var, mätt med n-gram, det vill säga ordsekvenser. Sällsynta kombinationer förknippades med större svårigheter vid läsning.

Dependency length (avståndet mellan grammatiskt sammanbundna ord) mättes också, eftersom längre avstånd ställer högre krav på arbetsminnet – särskilt när subjekt och verb skiljs åt av flera mellanliggande ord.

Objektsrelativa bisatser (konstruktioner som ”huset entreprenörerna byggde”) undersöktes, särskilt när valfria ord utelämnades (som ”som” i ”huset som entreprenörerna byggde”).

De tidigare nämnda sammansatta nominalfraserna (tre eller fler substantiv som satts ihop, som i ”generator för skräckfilmsoundtrack”) undersöktes också, eftersom sambanden mellan de ingående orden kan vara tvetydiga.

Denominala verb (substantiv som används som verb, till exempel ”gaffla det” i stället för ”sätt det på gaffeln”) undersöktes tillsammans med opersonliga subjekt som kombineras med verb som vanligtvis förknippas med levande varelser (som diskuterats tidigare). Båda konstruktionerna gör det möjligt att uttrycka betydelser med färre ord, men läsaren kan behöva göra ytterligare tolkningar.

Utmanarna

Forskarna samlade in AI-genererade konversationer från 14 modeller: Kimi K2.5, GLM 5, Claude Sonnet 5, Opus 5, Opus 5.5 och Fable 5; GPT-5.6 Luna, Terra och Sol; Olmo Base, Instruct och Think; samt Llama Base and Instruct.

Testerna omfattade tio startprompter för allmän konversation och fem för programmering. I varje uppgift skulle en modell klona ett verkligt offentligt GitHub-arkiv, hitta buggar och åtgärda dem i en sandlådemiljö.

Konversationerna begränsades till 12 utbyten och programmeringssessionerna till 11, följt av ett fast avslutningsmeddelande. I ett separat test ombads varje modell att skriva sju uppsatser utifrån uppgifter från datamängden PERSUADE 2.0.

Som jämförelsematerial hämtades människoskrivna texter från källor som så långt som möjligt motsvarade de tre typerna av AI-genererat innehåll: OpenSubtitles (en samling film- och tv-undertexter som inte har någon koppling till plattformen för undertexter med öppen källkod) användes för allmän konversation, StackExchange (det nätbaserade nätverket av fråge- och svarforum) för programmeringsdiskussioner och studentuppsatser från den tidigare nämnda datamängden PERSUADE 2.0 för skrivuppgifterna. Wikipedia användes också som ytterligare jämförelsematerial.

Där lämpliga data från människor fanns tillgängliga mättes samma språkliga egenskaper i både människoskrivna och AI-genererade texter. Dessa referenssamlingar användes också för att bedöma hur ofta ordkombinationer förekom.

Översättning fram och tillbaka (från engelska till japanska och sedan tillbaka igen, med modellen NLLB-200) användes för att skilja stilistiska preferenser från språkliga nödvändigheter. Betydelsen bevarades i stort sett samtidigt som meningsbyggnaden ändrades, vilket gjorde det möjligt att identifiera onödigt komplicerade formuleringar.

Resultat

Experiment 1

Som framgår nedan förekom flera svårbegripliga konstruktioner oftare i den ursprungliga AI-genererade texten, särskilt bland de mest avancerade modellerna. Detta tolkades som ett tecken på en preferens för onödigt komplicerade formuleringar:

Jämförelse mellan ursprunglig AI-genererad text och versioner som översatts till japanska och tillbaka till engelska. Gröna prickar visar språkbruk som förekom oftare i originaltexterna, medan rosa prickar visar språkbruk som förekom oftare efter översättningen. Skillnaderna var i allmänhet större för GPT- och Claude-modellerna. Källa

De sex språkliga egenskaperna jämfördes mellan 14 AI-modeller i tre sammanhang (chatt, programmering och uppsatsskrivande). Tolv modeller testades i chatt, nio i programmering och samtliga 14 i uppsatsskrivande:

Jämförelse av sex språkliga egenskaper mellan AI-modeller i chatt, programmering och uppsatsskrivande. Varje diamant visar ett sammanvägt resultat för en modell; de vågräta strecken visar 95-procentiga konfidensintervall. Streckade lodräta linjer markerar referensvärden för människoskrivna texter från OpenSubtitles (chatt), StackExchange (programmering) och studentuppsatser från PERSUADE 2.0 (uppsatsskrivande). Prickade linjer markerar jämförelser med Wikipedia. Högre värden innebär i allmänhet att den uppmätta konstruktionen används oftare eller att den språkliga komplexiteten är större. Se källartikeln för bättre upplösning.

Den ursprungliga AI-genererade texten jämfördes också med versioner som översatts tillbaka, vilket gjorde det möjligt att mäta skillnader i meningsbyggnad:

Jämförelse mellan ursprunglig AI-genererad text (fyllda diamanter) och versioner som översatts till japanska och sedan tillbaka till engelska med NLLB-200 (ihåliga cirklar). Rosa linjer visar egenskaper som användes oftare efter översättningen, medan gröna linjer visar egenskaper som användes oftare i originaltexterna. Asterisker anger statistisk signifikans (en, två eller tre asterisker representerar allt starkare statistiska belägg). De flesta konstruktioner som förknippas med lässvårigheter blev mindre vanliga efter översättningen, särskilt bland de ledande modellerna. Se källartikeln för bättre upplösning.

De ledande och nästan ledande modellerna visade sig överanvända ovanliga ordkombinationer, denominala verb, livlösa subjekt och objektrelativsatser där valfria ord utelämnats (se diagrammet ovan). Dessa tendenser var i allmänhet svagare hos Llama och Olmo Base, men mer uttalade hos Olmo Think.

Mindre skillnader observerades i uppsatsskrivande än i chatt eller kodning. Detta tillskrevs att uppsatser bygger på en enda prompt, medan längre samtal med många turer potentiellt kan uppmuntra till större språklig komprimering.

Författarna konstaterar:

”PERSUADE-uppsatserna uppvisar mindre förändringar vid rundturöversättning inom flera kategorier (n-grammått, beroendelängder, staplade substantiv och denominala verb) än chatt och [coding].

”Vi antar att det beror på att uppsatser bygger på en enda prompt, till skillnad från de många upprepade turerna i chatt och kodning. Vi spekulerar i att vissa mönster kan uppstå i långa samtal med många turer (som kan kräva att information komprimeras i högre grad).”

Minst förändring efter översättningen sågs hos Llama och Olmo Base och Instruct, som också låg närmast studentuppsatserna när det gäller ordkombinationer och verbbruk. Olmo Think visade sig däremot bete sig mer som de ledande modellerna. Claude Opus 5.5 använde färre svårbegripliga konstruktioner än Opus 5 i 19 av 21 jämförelser; i åtta av dessa överlappade inte konfidensintervallen på 95 procent.

Experiment 2

Det andra experimentet utformades för att undersöka om ett underliggande tryck att generera kortare och mer informationstäta svar kan få modeller att föredra språkliga konstruktioner som är svårare för människor att förstå.

Här Qwen2.5-1.5B-Instruct finjusterades med Group Relative Policy Optimization (GRPO), och modellen fick i uppgift att omvandla strukturerade, JSON-formaterade beskrivningar av händelser till engelska meningar.

Två aspekter av träningen justerades: hur mycket modellen fick ändra sitt vanliga ordval (β) och hur hårt den straffades för att generera längre svar (λ). Varje händelse kunde uttryckas på två grammatiskt korrekta sätt, med en känd skillnad i antal token.

Till exempel krävde ”He sent us a photo” sex token, jämfört med sju för ”He sent a photo to us”. Ett separat test användes också där två sätt att säga samma sak krävde lika många token, för att kontrollera om skillnaderna berodde på meningslängden.

Effekten testades på tidigare osedda meningar med fyra konstruktioner som förekommit under träningen, två konstruktioner som inte tränats och som innehöll det valfria ordet ”that”, samt orelaterade konstruktioner med possessiver, kvantifierare, passivformer och syftesbisatser.

Testerna utformades för att fastställa om en preferens för kortare formuleringar skulle läras in och överföras till konstruktioner som modellen aldrig stött på under träningen:

Effekten av att bestraffa längre svar under träningen. Ett exempel på kortare och längre formuleringar visas i A. Preferenser för kortare konstruktioner mäts i B, medan tester av konstruktioner som inte förekommit under träningen visas i C och D. Orange visar träning utan begränsningar för hur mycket den ursprungliga modellen får ändras, medan blått visar träning med sådana begränsningar. Streckade linjer visar den ursprungliga modellens preferenser. Starkare straff ledde i allmänhet till en större preferens för kortare formuleringar, även i konstruktioner som inte förekom under träningen. Se källartikeln för en bild med högre upplösning.

När straffet för längre svar ökades valdes kortare formuleringar oftare (vilket visas direkt ovan). Utan KL-straffet (en begränsning av hur långt modellen fick avvika från sina ursprungliga ordprediktioner) skedde förskjutningen snabbt; med straffet observerades samma effekt mer gradvis. Utan något av straffen varierade preferenserna kraftigt mellan träningsomgångar, men även ett litet längdstraff gav en konsekvent preferens för kortare alternativ.

Denna preferens observerades också i tidigare osedda meningskonstruktioner med det valfria ordet ”that”. Överföringen till mer avlägsna grammatiska konstruktioner var betydligt svagare, och en effekt påträffades endast för possessiva former när KL-straffet saknades.

Författarna drar följande slutsats:

”Vi ser dessa resultat som ett principbevis för att ett längdstraff som används under förstärkningsinlärning med GRPO direkt kan påverka grammatiska egenskaper.”

”Vi noterar att modellen inte fick någon direkt instruktion om att använda ett komprimerat eller informationstätt språk, och inte heller någon direkt information om att syntaktiska alternativ fanns tillgängliga.”

”I stället ledde straffet till en framväxande preferens för kortare varianter av syntaktiska alternativ.”

Slutsats

Jag har länge intresserat mig för de ankare – både oavsiktliga och avsiktliga – som kännetecknar AI-genererad text. Därför kastar denna nya studie ljus över den skenbara konflikten mellan LLM:ers omtalade ordrikedom och deras numera lika omtalade tendens att komprimera information på sätt som verkar ”lättlästa”, helt enkelt för att få ord används – men det är uppenbart fel sätt att tolka den signalen.

I LLM:ers text kan kortfattadhet signalera komplexitet snarare än en koncentrerad kärna, som om AI:n räckte oss en gåta i stället för de direkta begreppen bakom orden. Allt detta, tydligen, för att en enda modell ska kunna programmera och skriva.

* Med titeln ”Varför är AI-genererat språk så svårt att förstå?”, skriven av två författare från New York University och The University of Texas.

^† Min omvandling av författarnas löpande källhänvisningar till hyperlänkar.

^†† https://mikeydoes.com/glossary/p600/

Först publicerad måndagen den 26 oktober 2026