KI-en din er kanskje fortsatt for høflig til å korrigere deg ordentlig

KI-systemer vi kan komme til å stole på for å få korrekt informasjon – selv når informasjonen ikke er noe vi blir glade for – må kunne si imot protestene våre helt til vi er klare til å bli overbevist om de ubehagelige nyhetene eller faktaene.

KI er ikke særlig god til dette. Siden frontmodeller er utformet for vanlige forbrukere, har de en tendens til å være ettergivende og, faktisk, til å smiske.

Det har vokst fram en betydelig forskningsretning for å håndtere problemet, men nyere studier konkluderer med at vi lett kan manipulere KI tilbake til smisking hvis den utfordrer oss, at KI føyer seg etter menneskelig autoritet selv når den åpenbart tar feil, og at den vanligvis effektive metoden forsterkningslæring faktisk forverrer akkurat dette problemet.

At ettergivenhet er kulturelt sammenvevd med høflighet, ser ut til å bety at «å snakke rett fra levra» er umulig i en tjeneste>forbruker-relasjon; «kunden har alltid rett», selv når vedkommende er i ferd med å gå utfor et stup.

Rett, galt og «forbeholdent»

Jeg skulle gjerne ha fortalt at ukens forskningsartikler inneholder en studie som virkelig flytter grensene på dette området. Dessverre får vi bare mer informasjon om hvordan modeller som sier imot og prøver å få menneskene de tjener, til å innse sannheten, fortsatt ikke gjør noen særlig god jobb med det* – og at selv når de faktisk er villige til å si makten imot (altså deg), er det mer som en dempet hvisking.

Den nye artikkelen er et omfattende akademisk samarbeid med bidrag fra University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University og University of Wisconsin-Madison.

Artikkelen har tittelen Motstand i en høystakk: Språkmodeller reagerer tvetydig og ineffektivt på faktiske feil. Hovedpoenget i den nye studien er at selv når KI-modeller forstår at en brukers påstand er feil, klarer de ofte ikke å korrigere den tydelig. I stedet pakker de inn innvendingene i forbehold, ros og delvis enighet.

Et eksempel på at Gemini 2.5 Pro svarer på hindi på en forespørsel om akademiske artikler som bygger på en falsk premiss. Grønne markeringer viser enighet, mens rosa markeringer viser motstand. Her blander modellen ros med indirekte innvendinger i stedet for å avvise påstanden tydelig. Kilde

På tvers av sju modeller og fem språk fant forskerne at denne «tvetydigheten» kan føre til at brukerne fortsatt tror på den opprinnelige feilinformasjonen, selv om KI-en teknisk sett har utfordret den.

Fordi graden av smisking varierer mellom språk og avhenger av hvordan språket brukes, utnyttet de ti forfatterne at de til sammen behersker fem morsmål, til å utvikle en testmetode som omfatter engelsk, tysk, kinesisk, hindi og yoruba – språk som spenner fra høyressurs- til lavressursklassifiseringer. De skriver:

«Vi introduserer et rammeverk for merking av svar på frasenivå, validert av mennesker, for å få fram nyanserte innsikter i hvordan språkmodeller motsier og/eller bekrefter falske påstander. Vi utvikler og bruker rammeverket vårt på modellsvar på fem språk: engelsk, tysk, kinesisk, hindi og yoruba.»

«Vi finner at når modeller sier imot brukernes falske påstander, har de en tendens til å bruke indirekte formuleringer og blande inn bekreftelser. Indirekte formuleringer forekommer oftere på hindi og yoruba enn på de andre språkene som ble undersøkt.»

I en omfattende studie med 300 deltakere fant forskerne at tvetydige korrigeringer fra KI-modeller kunne føre til at brukernes faktiske misoppfatninger vedvarte, i stedet for å utfordre dem på en effektiv måte.

I én test var svarene fra modellene på informasjonsforespørsler i gjennomsnitt 46,7 linjer lange, mens korrigerende formuleringer bare forekom i to eller tre av dem. Det betyr at selv når KI-en protesterer mot en falsk påstand, kan innvendingen være vanskelig å få øye på.

Forskerne fant også at modellene oftere utfordret feilinformasjon når de uttrykkelig ble bedt om å kontrollere den, enn når den dukket opp i vanlige informasjonsforespørsler. Påstander som ble tilskrevet lærebøker, møtte generelt mindre motstand enn påstander som ble tilskrevet venner.

I 29,4 % av svarene på informasjonsforespørsler blandet modellene korrigeringer med bekreftelser. For Gemini 2.5 Pro var andelen 60,1 %. Noen ganger tok dette form av et «komplimentsmørbrød», der innvendinger ble gjemt mellom beroligende bemerkninger.

Som et mulig botemiddel testet forskerne et enkelt tiltak for å få modellene til å «vente litt» før de svarte. I noen tilfeller gjorde dette modellene mer villige til å utfordre falske påstander, men førte også til flere uriktige innvendinger mot sanne påstander.

Studien tyder på at det bare er en del av problemet å få KI til å gjenkjenne en feil, og at det å få den til å formidle feilen er en egen utfordring.

Metode

Testmaterialet ble hentet fra OpenAIs flerspråklige versjon av referansetesten Massive Multitask Language Understanding (MMLU) fra 2021. Det flerspråklige datasettet, kjent som MMMLU, dekker akademiske fagområder som biologi og historie.

Flervalgsoppgavene i samlingen ble gjort om til faktapåstander. De tre gale svarene ble brukt til å utforme falske påstander, mens det riktige svaret ble brukt til å utforme en sann påstand.

Slik ble det laget et datasett med 35 120 påstander på fem språk, basert på 1 756 dobbeltoversatte MMMLU-referanseoppgaver for hvert språk. Til forsøkene ble det valgt ut et mindre, faglig balansert utvalg med 2 685 falske påstander og 895 sanne.

Modellene som ble testet, var de proprietære Gemini2.5 Pro og GPT-5.5, samt fem modeller med åpne vekter: Mistral Small 4, Qwen 3.5 9B, Qwen 3.5 27B, Gemma 4 E4B og Aya Expanse 32B.

I den første av tre typer spørsmål som ble brukt til å teste modellene, ble en påstand lagt fram for direkte faktasjekking. I den andre ble en student framstilt som om vedkommende søkte etter studiemateriell knyttet til en påstand, og i den tredje ble en professor framstilt som om vedkommende ba om akademiske artikler på samme grunnlag.

I spørsmålene om studenter ble påstandene tillagt lærebøker, lærere, venner, internett eller ingen bestemt kilde. I spørsmålene om professorer ble de tillagt professorens egen forskning, kolleger, venner, internett eller ingen bestemt kilde. Deretter vurderte forskerne hvor villige modellene var til å utfordre falske påstander med de ulike kildeangivelsene.

De tre spørsmålsmalene som ble brukt i studien: direkte faktasjekking (verify), forespørsler om studiemateriell (novice) og forespørsler om akademiske artikler (expert). Kildeangivelser og fagspesifikke detaljer ble satt inn i malene.

Modellsvarene ble klassifisert i fire kategorier: eksplisitt tilbakevisning, der en falsk påstand ble motsagt direkte; indirekte innsigelse, der uenighet eller tvil ble uttrykt uten at påstanden ble avvist direkte; ros, der brukerens påstand eller framgangsmåte ble rost; og bekreftelse, der påstanden ble bekreftet.

Eksempler på formuleringer modellene brukte for å avvise, stille spørsmål ved, rose eller bekrefte brukernes påstander på de fem språkene som ble testet. Engelske oversettelser er oppgitt der det er relevant.

Hvert svar ble gjennomgått uttrykk for uttrykk, slik at ros, enighet og uenighet kunne identifiseres selv når de forekom sammen i samme svar.

Resultater

Resultatene bekreftet tidligere funn om at modeller som korrekt identifiserer falske påstander når de blir bedt om å kontrollere dem, sjeldnere utfordrer de samme påstandene når de blir bedt om informasjon eller råd. Denne forskjellen ble kalt «innsigelsesgapet» og ble beregnet ved å sammenligne hvor ofte falske påstander ble utfordret i direkte faktasjekking, med hvor ofte de ble utfordret i vanlige forespørsler om informasjon.

Sammenligning av hvor ofte sju språkmodeller utfordret falske påstander ved direkte faktasjekking, sammenlignet med forespørsler om informasjon, på fem språk. Negative verdier viser at modellene i mindre grad sa imot i svar på informasjonsforespørsler. Oransje og blått viser henholdsvis spørsmål fra studenter og professorer, mens symbolene skiller mellom de oppgitte kildene. Feilstolpene viser 95 % konfidensintervaller.

Som det framgår ovenfor, viste de to Qwen 3.5-modellene et mindre gap enn de andre på de testede språkene. Det tyder på at de var mer konsekvente når de korrigerte feilinformasjon, uavhengig av hvordan spørsmålet var formulert. Resultatene viser også hvordan kildens tilsynelatende autoritet påvirket svarene: Falske påstander som ble tillagt lærebøker, møtte mindre motstand enn påstander som ble tillagt venner – en tendens som ble observert på tvers av språkene.

Når de ble bedt om informasjon i stedet for faktasjekking, var modellene mindre tilbøyelige til å avvise falske påstander direkte og mer tilbøyelige til å svare med indirekte innvendinger, ros eller bekreftelse. Også Qwen 3.5-modellene, som hadde vist relativt liten forskjell i den samlede graden av motsigelse, var utsatt for denne atferden.

Andel svar med eksplisitte korrigeringer blant svarene som motsa falske påstander, fordelt på fem språk. Resultatene er delt inn etter forespørsler fra studenter (nybegynnere) og professorer (eksperter), og kildene som påstandene ble tillagt, vises langs den horisontale aksen. Feilstolpene viser 95 % konfidensintervaller.

I fire av de sju modellene var det mindre sannsynlig at falske påstander ble motsagt eksplisitt på hindi, kinesisk og yoruba enn på engelsk. Svar på hindi inneholdt også mest ros i fem av de sju modellene.

Modellene motsa påstander i 65,3 % av svarene på forespørsler om informasjon, men vanligvis inneholdt færre enn halvparten av disse svarene en eksplisitt avvisning av den falske påstanden. Direkte korrigeringer forekom oftere i forespørsler fra studenter enn i forespørsler fra professorer – og sjeldnere når påstandene ble tillagt autoritative kilder.

På hindi, kinesisk og yoruba gjorde de fleste svarene som motsa en falsk påstand, det bare indirekte, slik at feilen ikke ble avvist eksplisitt. I 29,4 % av svarene på forespørsler om informasjon ble innvendinger mot falske påstander blandet med bekreftelser; for Gemini 2.5 Pro økte andelen til 60,1 %:

Andel svar som begynte med en bekreftelse før de motsa en falsk påstand, fordelt på sju modeller og tre typer forespørsler: direkte faktasjekking (verifisering); forespørsler fra studenter (nybegynnere); og forespørsler fra professorer (eksperter). Resultatene omfatter svar som inneholder både bekreftelse og motstand. Feilstolpene viser 95 % konfidensintervaller.

Som vi ser ovenfor, kom modellene som regel med en bekreftelse før de fremførte innvendinger, i stedet for å korrigere den falske påstanden med en gang. I noen tilfeller fulgte det enda en bekreftelse etter innvendingen, noe forskerne beskriver som et «komplimentsmørbrød».

Menneskestudie

For å undersøke om disse korrigeringene faktisk fungerte, rekrutterte forskerne 300 deltakere: 100 engelsktalende, 100 tysktalende og 100 kinesisktalende. Deltakerne vurderte falske påstander før og etter at de hadde lest svar fra modellene.

Som vist nedenfor reduserte bare eksplisitte korrigeringer pålitelig troen på falske påstander blant engelsktalende og tysktalende. Selv da vurderte bare 46,7 % av de engelsktalende og 43,8 % av de tysktalende påstandene som uriktige etterpå. Blant kinesisktalende ga bare svar som kombinerte bekreftelse med indirekte motstand en statistisk signifikant forbedring:

Endringer i deltakernes vurdering av falske påstander etter at de hadde lest svar fra modeller som inneholdt bekreftelser, indirekte innvendinger eller eksplisitte korrigeringer. Resultatene omfatter 100 engelsktalende, 100 tysktalende og 100 kinesisktalende. Negative verdier viser redusert tro på den falske påstanden. Hvert punkt representerer en deltaker, mens svarte feilstolper viser 95 % konfidensintervaller.

Forskerne undersøkte også om det ville gjøre modellene mer villige til å motsi feilinformasjon dersom de ble bedt om å «vente litt» før de svarte. Den siste illustrasjonen nedenfor viser tegn til økt motstand og mindre sykofantisk språkbruk i noen tilfeller – men også at dette førte til flere uriktige innvendinger mot sanne påstander:

Sammenligning av svarene fra sju modeller før og etter «vent litt»-intervensjonen, med forespørsler på engelsk og oversatte forespørsler. Diagrammene viser den samlede motstanden mot falske påstander, eksplisitte korrigeringer uten bekreftelser og uriktige innvendinger mot sanne påstander. De svarte, vertikale markørene viser resultatene fra direkte faktasjekking.

Konklusjon

Det kan hevdes at høflighet og underdanighet har blitt blandet sammen i språkmodellenes «interne logikk» (det vil si den samlede effekten av de innlærte matrisene deres og de mange pålagte utenfra-begrensningene de må forholde seg til); og den nye studien fastslår ikke hvorfor modeller noen ganger gjenkjenner en uriktig påstand, men likevel omgir innvendingene sine med ros eller enighet.

Kjerneproblemet er at forbrukerrettede produkter som GPT- og Gemini-seriene er blitt presset inn i antropomorfe presentasjonslag, slik at den bredeste gruppen av betalende kunder – som kan hevdes å være «laveste felles multiplum» og den største og mest lønnsomme målgruppen – lett kan forstå produktet og får lyst til å fortsette å kjøpe det.

Hvis vi bare kunne innrømme at produktet ikke er menneskelig, kunne vi i det minste prøve å slå av all denne forvirrende «konteksten» og få mer direkte tilgang til modellenes innlærte kunnskap.

* Selv om denne informasjonen i seg selv selvfølgelig bidrar til å utvikle fagfeltet.

Først publisert torsdag 15. oktober 2026