AI gir ikke nødvendigvis bedre svar hvis du er høflig

Offentlig mening om hvorvidt det betaler seg å være høflig mot AI skifter nesten like ofte som den siste dommen over kaffe eller rødvin – feiret en måned, utfordret neste. Likevel legger en voksende mengde brukere nå til ‘vær så god’ eller ‘takk’ til deres forespørsler, ikke bare av vane eller bekymring for at brutale utvekslinger kan flate over i virkeligheten, men fra en tro på at høflighet fører til bedre og mer produktive resultater fra AI.

Dette antagendet har sirkulert mellom både brukere og forskere, med forespørselsformuleringer studert i forskningskretser som et verktøy for justering, sikkerhet og tonestyring, selv om brukervaner forsterker og omformer disse forventningene.

For eksempel fant en studie fra Japan i 2024 at forespørselshøflighet kan endre hvordan store språkmodeller oppfører seg, ved å teste GPT-3.5, GPT-4, PaLM-2 og Claude-2 på engelske, kinesiske og japanske oppgaver, og omskrev hver forespørsel på tre høflighetsnivåer. Forfatterne av denne studien observerte at ‘brutal’ eller ‘uhøflig’ formulering ledet til lavere faktisk nøyaktighet og kortere svar, mens moderat høflige forespørsler produserte tydeligere forklaringer og færre avvisninger.

I tillegg anbefaler Microsoft en høflig tone med Co-Pilot, fra et ytelsesperspektiv snarere enn et kulturelt perspektiv.

Men, en ny forskningsartikkel fra George Washington University utfordrer denne stadig mer populære ideen, ved å presentere en matematisk ramme som forutsier når et stort språkmodells utgang kollapser, overgang fra sammenhengende til misvisende eller til og med farlig innhold. I denne sammenhengen hevder forfatterne at å være høflig forhindrer ikke meningsfullt eller forhindrer denne kollapsen.

Tipping Off

Forskerne argumenterer for at høflig språkbruk generelt er uavhengig av hovedtemaet i en forespørsel, og derfor ikke påvirker modellens fokus meningsfullt. For å støtte dette, presenterer de en detaljert formulering av hvordan en enkelt oppmerksomhetshead oppdaterer sin interne retning når den prosesserer hver ny token, tilsynelatende demonstrerende at modellens atferd formas av kumulativ innflytelse av innholdsbærende token.

Som følge av dette, antas høflig språk å ha liten betydning for når modellens utgang begynner å forringe. Hva bestemmer tippunktet, sier artikkelen, er den overordnede justeringen av meningsfulle token med enten gode eller dårlige utgangsveier – ikke tilstedeværelsen av sosialt høflig språk.

En illustrasjon av en forenklet oppmerksomhetshead som genererer en sekvens fra en brukerforespørsel. Modellen starter med gode token (G), så treffes tippunktet (n*) hvor utgangen skifter til dårlige token (B). Høflige termer i forespørselen (P₁, P₂, etc.) spiller ingen rolle i denne skiftet, og støtter artikkelen påstand om at høflighet har liten innvirkning på modellatferd. Kilde: https://arxiv.org/pdf/2504.20980

Hvis dette er sant, motsier dette resultat både populær tro og kanskje selv den implisitte logikken til instruksjonstuning, som antar at formuleringen av en forespørsel påvirker en modells tolkning av brukerens intensjon.

Hulking Out

Artikkelen undersøker hvordan modellens interne kontekstvektor (dens utviklende kompass for tokenvalg) skifter under generering. Med hver token, oppdaterer denne vektoren retningen, og den neste token velges basert på hvilken kandidat aligner best med den.

Når forespørselen styres mot velformet innhold, forblir modellens svar stabile og nøyaktige; men over tid, kan denne retningsskiftet reversere, styrende modellen mot utganger som er stadig mer avvikende, feil eller intern inkonsistent.

Tippunktet for denne overgangen (som forfatterne definerer matematisk som iterasjon n*), skjer når kontekstvektoren blir mer justert med en ‘dårlig’ utgangsvektor enn med en ‘god’ en. På dette stadiet, skyver hver ny token modellen videre langs feil vei, forsterkende en mønster av stadig mer feil eller misvisende utgang.

Tippunktet n* beregnes ved å finne øyeblikket når modellens interne retning justeres like mye med både gode og dårlige typer utgang. Geometrien til innlemmingsrommet, formet av både treningskorpus og brukerforespørsel, bestemmer hvor raskt denne overgangen skjer:

En illustrasjon som viser hvordan tippunktet n* oppstår i forfatternes forenklede modell. Den geometriske oppsettet (a) definerer de viktigste vektorene involvert i å forutsi når utgangen skifter fra god til dårlig. I (b) plotter forfatterne disse vektorene med testparametere, mens (c) sammenligner den forutsagte tippunktet med det simulerende resultatet. Sammenligningen er nøyaktig, og støtter forfatternes påstand om at kollapsen er matematisk uunngåelig når interne dynamikker krysser en terskel.

Høflige termer påvirker ikke modellens valg mellom gode og dårlige utganger fordi, ifølge forfatterne, de ikke er meningsfullt koblet til hovedtemaet i forespørselen. I stedet havner de i deler av modellens interne rom som har liten å gjøre med hva modellen faktisk bestemmer.

Når slike termer legges til en forespørsel, øker de antallet vektorer modellen vurderer, men ikke på en måte som skifter oppmerksomhetsbanen. Som følge av dette, fungerer høflighetstermer som statistisk støy: til stede, men inerte, og lar tippunktet n* uendret.

Forfatterne sier:

‘[Om] vårt AI-svar kommer til å gå rogue, avhenger av vår LLMs trening som gir token-embeddingene, og de substansielle tokenene i vår forespørsel – ikke om vi har vært høflige mot det eller ikke.’

Modellen brukt i det nye arbeidet er bevisst smal, fokusert på en enkelt oppmerksomhetshead med lineær token-dynamikk – en forenklet oppsett der hver ny token oppdaterer den interne tilstanden gjennom direkte vektoraddisjon, uten ikke-lineære transformasjoner eller gating.

Dette forenklede oppsettet lar forfatterne arbeide ut eksakte resultater og gir dem en tydelig geometrisk bilde av hvordan og når en modells utgang kan plutselig skifte fra god til dårlig. I deres tester, matcher formelen de avleder for å forutsi denne skiftet hva modellen faktisk gjør.

Chatting Up..?

Likevel, fungerer denne nivået av presisjon bare fordi modellen er holdt bevisst enkel. Mens forfatterne innrømmer at deres konklusjoner senere bør testes på mer komplekse multi-head-modeller som Claude og ChatGPT-serien, mener de også at teorien forblir replikerbar når oppmerksomhetsheadene øker, og sier*:

‘Spørsmålet om hva ytterligere fenomener oppstår når antallet koblete oppmerksomhetshead og lag økes, er et fascinerende spørsmål. Men enhver overgang innen en enkelt oppmerksomhetshead vil fortsatt skje, og kunne forsterkes og/eller synkroniseres av koblingene – som en kjede av sammenkoblede mennesker som blir dratt over en klippe når en faller.’

En illustrasjon som viser hvordan det forutsagte tippunktet n* endrer seg avhengig av hvor sterkt forespørselen lener mot god eller dårlig innhold. Overflaten kommer fra forfatternes approksimative formel og viser at høflige termer, som ikke tydelig støtter noen side, har liten effekt på når kollapsen skjer. Den markerte verdien (n* = 10) matcher tidligere simuleringer, og støtter modellens interne logikk.

Hva som fortsatt er uklart, er om den samme mekanismen overlever spranget til moderne transformer-arkitekturer. Multi-head oppmerksomhet introduserer interaksjoner over specialiserte head, som kan buffere mot eller maskere den type tipp-atferd som beskrevet.

Forfatterne innrømmer denne kompleksiteten, men argumenterer for at oppmerksomhetshead ofte er løst koblet, og at den type interne kollaps de modellerer, kunne forsterkes snarere enn undertrykkes i fullskala systemer.

Uten en utvidelse av modellen eller en empirisk test over produksjons-LLM-er, forblir påstanden uverifisert. Likevel, synes mekanismen å være tilstrekkelig presis til å støtte videre forskningsinitiativer, og forfatterne gir en tydelig mulighet til å utfordre eller bekrefte teorien i skala.

Signing Off

For øyeblikket, synes temaet om høflighet overfor forbruker-rettede LLM-er å bli tilnærmet enten fra et (pragmatisk) synspunkt som antar at trente systemer kan svare mer nyttig på høflig forespørsel; eller at en taktløs og brutal kommunikasjonsstil med slike systemer risikerer å spres til brukerens virkelige sosiale relasjoner, gjennom kraft av vane.

Det kan hevdes at LLM-er ennå ikke har blitt brukt tilstrekkelig i virkelige sosiale sammenhenger for at forskningslitteraturen skal bekrefte det siste tilfelle; men den nye artikkelen kaster noen interessante tvil på fordelene med å antropomorfisere AI-systemer av denne typen.

En studie i oktober i fjor fra Stanford forslo (i motsetning til en studie fra 2020) at å behandle LLM-er som om de var menneskelige, i tillegg risikerer å degradere meningen av språk, og konkluderte med at ‘rote’ høflighet til slutt mister sin opprinnelige sosiale mening:

[En] uttalelse som synes vennlig eller ekte fra en menneskelig taler, kan være uønsket hvis den oppstår fra et AI-system, da sistnevnte mangler meningsfullt engasjement eller intensjon bak uttalelsen, og dermed gjør uttalelsen tom og bedragerisk.’

Likevel, sier omtrent 67 prosent av amerikanerne at de er høflige mot sine AI-chatbots, ifølge en undersøkelse fra 2025 fra Future Publishing. De fleste sa det var bare ‘det riktige å gjøre’, mens 12 prosent innrømmet at de var forsiktige – bare i tilfelle maskinene noen gang skulle reise seg.

* Jeg har konvertert forfatternes inline-citater til lenker. I en viss grad, er lenkene arbitrære/eksempler, da forfatterne på visse punkter lenker til en rekke fotnotecitater, snarere enn til en bestemt publikasjon.

Først publisert onsdag, 30. april 2025. Endret onsdag, 30. april 2025 15:29:00, for formatering.