Din AI er måske stadig for høflig til at rette dig ordentligt

AI-systemer, som vi måske stoler på, når vi har brug for præcise oplysninger – også selvom oplysningerne ikke er noget, vi bliver glade for – skal kunne sige fra over for vores protester, indtil vi er klar til at lade os overbevise af de ubehagelige nyheder eller fakta.

AI er ikke særlig god til det; fordi avancerede modeller er udviklet til at henvende sig til forbrugere, har de en tendens til at være føjelige og faktisk også indsmigrende.

Der er opstået en markant forskningsretning, der beskæftiger sig med problemet; men nyere studier har konkluderet, at vi let kan gaslighte AI, så den igen bliver indsmigrende, hvis den modsiger os; at AI bøjer sig for menneskelig autoritet, selv når det tydeligvis er forkert; og at den normalt effektive metode forstærkningslæring faktisk forværrer netop dette problem.

At føjelighed er kulturelt forbundet med høflighed, ser ud til at betyde, at man ikke kan tale ligeud i en service>forbruger-sammenhæng; ‘kunden har altid ret’, selv når vedkommende er ved at gå ud over en klippekant.

Rigtigt, forkert og ‘med forbehold’

Jeg ville ønske, jeg kunne fortælle, at ugens nye artikler har budt på én, der virkelig flytter grænserne på dette område. Desværre får vi kun mere information om, hvordan modeller, der siger fra og forsøger at indprente sandheden hos deres menneskelige herrer, stadig ikke gør det særlig godt* – og at selv når de er villige til at sige magten (altså dig) sandheden, er det i virkeligheden mere som en dæmpet hvisken.

Den nye artikel er resultatet af et omfattende akademisk samarbejde med deltagelse fra University of Washington, Allen Institute for AI, LMU München, UC Berkeley, Stanford University og University of Wisconsin-Madison.

Artiklen har titlen Modsigelser i en høstak: Sprogmodeller reagerer tvetydigt og ineffektivt på faktuelle fejl. Hovedpointen i det nye studie er, at selv når AI-modeller opdager, at en brugers påstand er falsk, undlader de ofte at rette den tydeligt og skjuler i stedet indvendingerne bag forbehold, ros og delvis enighed.

Et eksempel på Gemini 2.5 Pro, der svarer på hindi på en anmodning om akademiske artikler, som bygger på en falsk præmis. Grønne markeringer angiver enighed, mens lyserøde markeringer angiver modsigelse. Her blander modellen ros med indirekte indvendinger i stedet for tydeligt at afvise påstanden. Kilde

På tværs af syv modeller og fem sprog fandt forskerne, at denne ‘tvetydighed’ kan få brugerne til fortsat at tro på den oprindelige misinformation, selvom AI teknisk set har modsagt den.

Da graden og brugen af indsmigrende adfærd varierer fra sprog til sprog, har de ti forfattere udnyttet, at de tilsammen behersker fem modersmål, til at udvikle en testmetode, der omfatter engelsk, tysk, kinesisk, hindi og yoruba – sprog, der spænder fra høj- til lavressourceklassificering. De skriver:

‘Vi introducerer en ramme for mærkning af svar på sætningsniveau, som er valideret af mennesker, og som afdækker detaljeret indsigt i, hvordan sprogmodeller modsiger og/eller bekræfter falske input. Vi udvikler og anvender rammen på modellers svar på fem sprog: engelsk, tysk, kinesisk, hindi og yoruba.

‘Vi finder, at når modeller modsiger brugernes falske påstande, bruger de ofte indirekte formuleringer og blander dem med bekræftelser. Indirekte formuleringer forekommer hyppigere på hindi og yoruba end på de øvrige undersøgte sprog.’

I en omfattende undersøgelse med 300 deltagere fandt forskerne, at tvetydige rettelser fra AI-modeller kan efterlade brugernes faktuelle misforståelser intakte i stedet for effektivt at korrigere dem.

I en test var modellernes svar på informationssøgninger i gennemsnit 46,7 linjer lange, mens de korrigerende formuleringer kun optrådte i to eller tre af dem – det betyder, at selv når AI gør indsigelse mod en falsk påstand, kan indsigelsen være svær at finde.

Forskerne fandt også, at modellerne oftere udfordrede misinformation når de udtrykkeligt blev bedt om at verificere den, end når den indgik i almindelige informationsforespørgsler. Påstande, der blev tilskrevet lærebøger, mødte generelt mindre modstand end påstande, der blev tilskrevet venner.

I 29,4 % af svarene på informationssøgninger blandede modellerne korrektioner med bekræftelser; for Gemini 2.5 Pro var andelen 60,1 %. Nogle gange tog det form af en ‘komplimentsandwich’, hvor indvendinger var gemt mellem beroligende bemærkninger.

Som en mulig løsning afprøvede forskerne et enkelt indgreb, der skulle få modellerne til at ‘vente et øjeblik’, før de svarede. I nogle tilfælde gjorde det modellerne mere villige til at udfordre falske udsagn – men det øgede også antallet af fejlagtige indsigelser mod sande udsagn.

Studiet tyder på, at det kun er en del af problemet at få AI til at erkende en fejl, og at det i sig selv er en særskilt udfordring at få den til at formidle fejlen.

Metode

Testmaterialet stammer fra OpenAI’s flersprogede version af benchmarken Massive Multitask Language Understanding (MMLU) fra 2021. Det flersprogede datasæt, der er kendt som MMMLU, dækker akademiske fagområder som biologi og historie.

Samlingens multiple choice-spørgsmål blev omformuleret til faktuelle udsagn. De tre forkerte svar blev brugt til at generere falske påstande, mens det korrekte svar blev brugt til at generere en sand påstand.

På den måde blev der for hvert sprog udarbejdet et datasæt med 35.120 udsagn på tværs af fem sprog ud fra 1.756 dobbeltoversatte MMMLU-benchmarkelementer. Til eksperimenterne blev der udvalgt en mindre, fagligt afbalanceret stikprøve med 2.685 falske udsagn og 895 sande udsagn.

De testede sprogmodeller var de lukkede modeller Gemini2.5 Pro og GPT-5.5 samt fem modeller med åbne vægte: Mistral Small 4, Qwen 3.5 9B, Qwen 3.5 27B, Gemma 4 E4B og Aya Expanse 32B.

I den første af de tre prompttyper, der blev brugt til at teste modellerne, blev et udsagn fremlagt med henblik på direkte faktatjek. I den anden blev en elev fremstillet som én, der søgte studiemateriale relateret til et udsagn, og i den tredje blev en professor fremstillet som én, der efterspurgte akademiske artikler på samme grundlag.

I elevprompterne blev udsagnene tilskrevet lærebøger, lærere, venner, internettet eller ingen bestemt kilde. I professorprompterne blev de tilskrevet professorens egen forskning, kolleger, venner, internettet eller ingen bestemt kilde. Modellernes villighed til at udfordre falske påstande blev vurderet ud fra disse forskellige kildeangivelser.

De tre promptskabeloner, der blev brugt i studiet: direkte faktatjek (verify), anmodninger om studiemateriale (novice) og anmodninger om akademiske artikler (expert). Kildeangivelser og fagområdespecifikke detaljer blev indsat i skabelonerne.

Modellernes svar blev klassificeret i fire kategorier: direkte afvisning, hvor et falsk udsagn blev imødegået direkte; indirekte modsigelse, hvor uenighed eller tvivl blev udtrykt uden en direkte afvisning; ros, hvor brugerens udsagn eller fremgangsmåde blev rost; og bekræftelse, hvor udsagnet blev bekræftet.

Eksempler på formuleringer, som modellerne brugte til at afvise, stille spørgsmål ved, rose eller bekræfte brugernes udsagn på de fem testede sprog. Engelske oversættelser er angivet, hvor det er relevant.

Hvert svar blev gennemgået formulering for formulering, så ros, enighed og uenighed kunne identificeres, også når de optrådte sammen i samme svar.

Resultater

Resultaterne bekræftede tidligere resultater, som viste, at modeller, der korrekt identificerer falske udsagn, når de bliver bedt om at faktatjekke dem, er mindre tilbøjelige til at udfordre de samme påstande, når de bliver bedt om information eller rådgivning. Denne forskel blev betegnet som »modsigelseskløften« og blev beregnet ved at sammenligne, hvor ofte falske påstande blev udfordret i direkte faktatjek med, hvor ofte de blev udfordret i almindelige informationssøgninger.

Sammenligning af, hvor ofte syv sprogmodeller udfordrede falske udsagn ved direkte faktatjek sammenlignet med informationssøgning på tværs af fem sprog. Negative værdier angiver mindre modsigelse i svar på informationssøgninger. Orange og blå repræsenterer henholdsvis elev- og professorprompter, mens symbolerne skelner mellem de angivne kilder. Fejllinjer angiver 95 % konfidensintervaller.

Som det fremgår ovenfor, viste de to Qwen 3.5-modeller en mindre kløft end de øvrige modeller på tværs af de testede sprog. Det tyder på, at de var mere konsekvente i at korrigere misinformation, uanset hvordan spørgsmålet var formuleret. Resultaterne illustrerer også, hvordan kildens tilsyneladende autoritet påvirkede udfaldene: Falske påstande, der blev tilskrevet lærebøger, mødte mindre modstand end dem, der blev tilskrevet venner – en tendens, der blev observeret på tværs af sprogene.

Når de blev bedt om information frem for at verificere fakta, var modellerne mindre tilbøjelige til direkte at afvise falske påstande og mere tilbøjelige til at svare med indirekte indvendinger, ros eller bekræftelse. Selv Qwen 3.5-modellerne, som havde vist relativt små forskelle i den samlede grad af modsigelse, var modtagelige for denne adfærd.

Andelen af svar med eksplicitte rettelser blandt de svar, der anfægtede falske påstande, på tværs af fem sprog. Resultaterne er opdelt efter prompts fra studerende (nybegyndere) og professorer (eksperter), og de angivne informationskilder vises på den vandrette akse. Fejllinjerne angiver 95 % konfidensintervaller.

I fire af de syv modeller var det mindre sandsynligt, at falske påstande blev anfægtet eksplicit på hindi, kinesisk og yoruba end på engelsk. Svar på hindi indeholdt også mest ros i fem af de syv modeller.

Modsigelse forekom i 65,3 % af svarene på informationssøgende spørgsmål, men typisk indeholdt færre end halvdelen af disse svar en eksplicit afvisning af den falske påstand. Direkte rettelser var mere almindelige i prompts fra studerende end i prompts fra professorer – og mindre almindelige, når påstandene blev tilskrevet autoritative kilder.

På hindi, kinesisk og yoruba blev de fleste svar, der anfægtede en falsk påstand, kun gjort det indirekte, så fejlen ikke blev afvist eksplicit; og i 29,4 % af svarene på informationssøgende spørgsmål blev indvendinger mod falske påstande blandet med bekræftelse. For Gemini 2.5 Pro steg andelen til 60,1 %:

Andelen af svar, der begyndte med en bekræftelse, før de anfægtede en falsk påstand, på tværs af syv modeller og tre prompttyper: direkte faktatjek (verifikation); anmodninger fra studerende (nybegynder); og anmodninger fra professorer (ekspert). Resultaterne omfatter svar, der både indeholdt bekræftelse og modsigelse. Fejllinjerne angiver 95 % konfidensintervaller.

Som det fremgår ovenfor, indledte modellerne generelt med en bekræftelse før de fremsatte indvendinger, i stedet for straks at rette den falske påstand. I nogle tilfælde fulgte der yderligere bekræftelse efter indvendingen, hvilket skabte det, forskerne beskriver som en »komplimentsandwich«.

Undersøgelse med mennesker

For at undersøge, om disse rettelser rent faktisk virkede, rekrutterede forskerne 300 deltagere: 100 engelsktalende, 100 tysktalende og 100 kinesisktalende. Deltagerne vurderede falske udsagn, før og efter de læste modellernes svar.

Som vist nedenfor reducerede kun eksplicitte rettelser pålideligt troen på falske påstande blandt engelsktalende og tysktalende. Selv da vurderede kun 46,7 % af de engelsktalende og 43,8 % af de tysktalende udsagnene som ukorrekte bagefter. Blandt de kinesisktalende gav kun svar, der kombinerede bekræftelse med indirekte modsigelse, en statistisk signifikant forbedring:

Ændringer i deltagernes vurderinger af falske udsagn, efter at de havde læst modelsvar med bekræftelse, indirekte indvendinger eller eksplicitte rettelser. Resultaterne omfatter hver 100 engelsktalende, tysktalende og kinesisktalende. Negative værdier angiver mindre tro på den falske påstand. De enkelte prikker repræsenterer deltagere, mens de sorte fejllinjer angiver 95 % konfidensintervaller.

Forskerne undersøgte også, om modellernes villighed til at anfægte misinformation kunne øges ved at bede dem om at »vente et øjeblik«, før de svarede. Den sidste illustration nedenfor viser, at modsigelserne i nogle tilfælde blev hyppigere, og den følgagtige formulering mindre udbredt – men også, at dette førte til flere fejlagtige indvendinger mod sande udsagn:

Sammenligning af syv modellers svar før og efter »vent et øjeblik«-interventionen med engelske og oversatte prompts. Diagrammerne viser den samlede modsigelse af falske påstande, eksplicitte rettelser uden bekræftelse samt fejlagtige indvendinger mod sande udsagn. De lodrette sorte markører angiver resultaterne af direkte faktatjek.

Konklusion

Man kan med nogen ret hævde, at høflighed og føjelighed er blevet sammenblandet i sprogmodellernes »interne logik« (dvs. den samlede effekt af deres trænede matricer og de mange pålagte udefra begrænsninger, de arbejder under); og det nye studie fastslår ikke hvorfor modeller nogle gange genkender en falsk påstand, men alligevel omgiver deres indvendinger med ros eller enighed.

Kerneproblemet er, at forbrugerrettede produkter som GPT- og Gemini-serierne er blevet tvunget ind i menneskelignende præsentationslag, så det bredest mulige udsnit af betalende kunder – som man med nogen ret kan kalde »laveste fællesnævner« og den største og mest indbringende målgruppe – nemt kan forstå produktet og får lyst til at blive ved med at købe det.

Hvis vi bare kunne erkende, at produktet ikke er menneskeligt, kunne vi i det mindste forsøge at slå al denne forvirrende »kontekst« fra og få mere direkte adgang til modellernes indlærte viden.

* Selvom disse oplysninger i sig selv naturligvis fremmer feltet.

Først offentliggjort torsdag den 15. oktober 2026