AI giver ikke nødvendigvis bedre svar, hvis du er høflig

Offentlighedens mening om, hvorvidt det kan betale sig at være høflig over for AI, skifter næsten så ofte som den seneste dom over kaffe eller rødvin – fejret en måned, udfordret den næste. Alligevel tilføjer en voksende antal brugere nu ‘venligst’ eller ‘tak’ til deres prompts, ikke kun af vane eller bekymring for, at abrupte udvekslinger kan overføres til det virkelige liv, men af en overbevisning om, at høflighed fører til bedre og mere produktive resultater fra AI.

Dette antagande har cirkuleret mellem både brugere og forskere, med prompt-formulering studeret i forskningskredse som et værktøj til alignering, sikkerhed og tonekontrol, selvom brugernes vaner forstærker og omformulerer disse forventninger.

For eksempel fandt en japansk undersøgelse fra 2024, at prompt-høflighed kan ændre, hvordan store sprogmodeller opfører sig, hvor de testede GPT-3.5, GPT-4, PaLM-2 og Claude-2 på engelske, kinesiske og japanske opgaver og omskrev hvert prompt på tre høflighedsniveauer. Forskerne bag dette arbejde observerede, at ‘blunt’ eller ‘rude’ formuleringer førte til lavere faktuel nøjagtighed og kortere svar, mens moderat høflige anmodninger producerede klarere forklaringer og færre afslag.

Dertil anbefaler Microsoft en høflig tone med Co-Pilot, fra et performance-snæver synspunkt.

Men en ny forskningsartikel fra George Washington University udfordrer denne stadig mere populære idé, og præsenterer en matematisk ramme, der forudsiger, hvornår et stort sprogmodells output vil ‘kollapsere’, og gå fra koherent til misvisende eller endda farlig indhold. I denne kontekst hævder forfatterne, at at være høflig ikke betydeligt forsinker eller forhindrer denne ‘kollaps’.

Tipping Off

Forskerne argumenterer for, at høflig sprogbrug generelt er uden forbindelse til hovedemnet i en prompt, og derfor ikke betydeligt påvirker modellens fokus. For at støtte dette præsenterer de en detaljeret formulering af, hvordan en enkelt opmærksomhedshead opdaterer sin interne retning, når den bearbejder hvert nyt token, og demonstrerer således, at modellens adfærd formas af kumulativ indflydelse af indholdsbærende token.

Derfor antages høflig sprog at have lidt betydning for, hvornår modellens output begynder at forringe. Det, der bestemmer tipping point, fastslår artiklen, er den overordnede alignering af meningsfulde token med enten gode eller dårlige output-veje – ikke tilstedeværelsen af socialt høfligt sprog.

En illustration af en forenklet opmærksomhedshead, der genererer en sekvens fra en brugerprompt. Modellen starter med gode token (G), og rammer derefter et tipping point (n*), hvor output skifter til dårlige token (B). Høflige termer i prompten (P₁, P₂ osv.) spiller ingen rolle i denne skift, og støtter artiklens påstand om, at høflighed har lidt indflydelse på modellens adfærd. Kilde: https://arxiv.org/pdf/2504.20980

Hvis dette er sandt, modsiger dette resultat både den almindelige opfattelse og måske endda den underforståede logik bag instruktionsjustering, som antager, at prompt-formuleringen påvirker modellens fortolkning af brugerens intention.

Hulking Out

Artiklen undersøger, hvordan modellens interne kontekstvektor (dens udviklende kompas for tokenvalg) skifter under generationen. Med hvert token opdaterer denne vektor retningen, og det næste token vælges ud fra, hvilken kandidat der er mest i overensstemmelse med den.

Når prompten styrer mod veldefineret indhold, forbliver modellens svar stabile og nøjagtige; men over tid kan denne retning omvende sig, styrer modellen mod output, der er stadig mere afvigende, forkert eller intern inconsistent.

Tipping point for denne overgang (som forfatterne definerer matematisk som iteration n*), opstår, når kontekstvektoren bliver mere aligneret med en ‘dårlig’ outputvektor end med en ‘god’ vektor. På dette stadium skyder hvert nyt token modellen længere ud på den forkerte vej, og forstærker en mønster af stadig mere fejlbehæftet eller misvisende output.

Tipping point n* beregnedes ved at finde øjeblikket, hvor modellens interne retning er lige så aligneret med både gode og dårlige typer output. Geometrien af embedding-rummet, formet af både træningskorpus og brugerprompt, bestemmer, hvor hurtigt denne overgang sker:

En illustration, der viser, hvordan tipping point n* opstår i forfatternes forenklede model. Den geometriske opsætning (a) definerer de vigtigste vektorer, der er involveret i forudsigelsen af, hvornår output skifter fra god til dårlig. I (b) plotter forfatterne disse vektorer ved hjælp af testparametre, mens (c) sammenligner den forudsagte tipping point med den simulerede resultat. Overensstemmelsen er eksakt, og støtter forfatternes påstand om, at kollapsen er matematisk uundgåelig, så snart interne dynamikker overskrider en grænse.

Høflige termer påvirker ikke modellens valg mellem gode og dårlige output, fordi de ifølge forfatterne ikke er meningsfuldt forbundet med hovedemnet i prompten. I stedet ender de i dele af modellens interne rum, der har lidt at gøre med, hvad modellen faktisk beslutter.

Når sådanne termer føjes til en prompt, øger de antallet af vektorer, modellen overvejer, men ikke på en måde, der ændrer opmærksomhedsbanen. Derfor fungerer høflighedstermer som statistisk støj: til stede, men inerte, og uden at ændre tipping point n*.

Forfatterne fastslår:

‘[Om] vores AI’s svar vil gå rogue afhænger af vores LLM’s træning, der giver token-embedding, og de meningsfulde token i vores prompt – ikke om, vi har været høflige over for den eller ej.’

Modellen, der anvendes i dette nye arbejde, er bevidst snæver, fokuserer på en enkelt opmærksomhedshead med lineær token-dynamik – en forenklet opsætning, hvor hvert nyt token opdaterer den interne tilstand gennem direkte vektoraddition, uden ikke-lineære transformationer eller gating.

Denne forenklede opsætning giver forfatterne mulighed for at arbejde ud fra eksakte resultater og giver dem et klart geometrisk billede af, hvordan og hvornår en modells output kan skifte pludseligt fra god til dårlig. I deres tests matcher den formel, de udleder til at forudsige dette skift, med det, modellen faktisk gør.

Chatting Up..?

Men denne niveau af præcision fungerer kun, fordi modellen er holdt bevidst simpel. Mens forfatterne indrømmer, at deres konklusioner senere skal testes på mere komplekse multi-head-modeller, såsom Claude- og ChatGPT-serien, mener de også, at teorien forbliver reproducerbar, når opmærksomhedsheads øges, og fastslår*:

‘Spørgsmålet om, hvad yderligere fænomener opstår, når antallet af sammenkoblede opmærksomhedsheads og lag øges, er et fascinerende spørgsmål. Men enhver overgang inden for en enkelt opmærksomhedshead vil stadig opstå, og kunne forstærkes og/eller synkroniseres af koplinger – som en kæde af sammenkoblede mennesker, der bliver trukket over en klippe, når ét falder.’

En illustration af, hvordan den forudsagte tipping point n* ændrer sig afhængigt af, hvor stærkt prompten læner mod god eller dårlig indhold. Overfladen kommer fra forfatternes approksimative formel og viser, at høflige termer, der ikke klart støtter nogen af siderne, har lidt indflydelse på, hvornår kollapsen sker. Den markerede værdi (n* = 10) matcher tidligere simulationer og støtter modellens interne logik.

Hvad der endnu ikke er klart, er, om den samme mekanisme overlever springet til moderne transformer-arkitekturer. Multi-head-opmærksomhed introducerer interaktioner på tværs af specialiserede heads, der kan buffere mod eller maskere den type tipping-adfærd, der beskrives.

Forfatterne anerkender denne kompleksitet, men argumenterer for, at opmærksomhedsheads ofte er løst sammenkoblede, og at den type interne kollaps, de modellerer, kunne forstærkes snarere end undertrykkes i fuld-skala-systemer.

Uden en udvidelse af modellen eller en empirisk test på produktions-LLM’er forbliver påstanden ubekræftet. Alligevel synes mekanismen tilstrækkeligt præcis til at støtte efterfølgende forskningsinitiativer, og forfatterne giver en klar mulighed for at udfordre eller bekræfte teorien i stor skala.

Signing Off

I øjeblikket synes emnet om høflighed over for forbruger-orienterede LLM’er at blive tilgangen enten fra et (pragmatisk) synspunkt, hvor trænede systemer måske responderer mere nyttigt på høflig anmodning; eller at en taktløs og abrupt kommunikationsstil med sådanne systemer risikerer at spredes til brugerens virkelige sociale relationer gennem kraft af vane.

Argumenterbart har LLM’er endnu ikke været brugt tilstrækkeligt i virkelige sociale sammenhænge til, at forskningslitteraturen kan bekræfte det sidstnævnte tilfælde; men den nye artikel kaster dog nogle interessante tvivl over fordelene ved at antropomorfisere AI-systemer af denne type.

En undersøgelse fra Stanford i sidste oktober forslog (i modsætning til en undersøgelse fra 2020), at behandling af LLM’er, som om de var mennesker, desuden risikerer at nedbryde sprogets mening, og konkluderede, at ‘rote’ høflighed til sidst mister sin oprindelige sociale mening:

[En] udtalelse, der synes venlig eller ægte fra et menneske, kan være uønsket, hvis den stammer fra et AI-system, da dette mangler meningsfuld forpligtelse eller intention bag udtalelsen, og dermed gør udtalelsen tom og bedragerisk.

Alligevel siger omkring 67 procent af amerikanerne, at de er høflige over for deres AI-chatbots, ifølge en undersøgelse fra 2025 fra Future Publishing. De fleste sagde, det var simpelthen ‘det rigtige at gøre’, mens 12 procent indrømmede, de var forsigtige – bare i tilfælde af, at maskinerne nogensinde rejser sig op.

* Min konvertering af forfatternes inline-citationer til hyperlinks. I visse tilfælde er hyperlinks arbitrære/eksemplariske, da forfatterne på visse punkter henviser til en bred vifte af fodnote-citationer snarere end til en specifik publikation.

Først publiceret onsdag, 30. april 2025. Ændret onsdag, 30. april 2025, 15:29:00, til formatering.