Din AI kanske fortfarande är alltför artig för att rätta dig ordentligt

AI-system som vi kan förlita oss på för korrekt information – även om informationen kanske inte är något vi blir glada över – måste kunna ”säga emot” våra invändningar tills vi är redo att ta till oss de obehagliga nyheterna/fakta.

AI är inte särskilt bra på det här. Eftersom ledande modeller är utformade för konsumenter tenderar de att vara tillmötesgående och, faktiskt, inställsamma.

En betydande forskningsinriktning har vuxit fram för att hantera problemet. Men nyare studier har kommit fram till att vi lätt kan manipulera AI så att den återgår till inställsamhet om den säger emot oss, att AI ger efter för mänsklig auktoritet även när den uppenbart har fel och att den vanligtvis effektiva tekniken förstärkningsinlärning faktiskt förvärrar just det här problemet.

Att eftergivenhet är kulturellt sammanflätad med artighet verkar innebära att det är omöjligt att tala klarspråk i en tjänst>konsument-kontext. ”Kunden har alltid rätt”, även när hen är på väg att gå rakt ut för ett stup.

Rätt, fel och ”försiktigt formulerat”

Jag önskar att jag kunde berätta att veckans forskningsartiklar innehåller en som verkligen för frågan framåt. Tyvärr får vi bara mer information om hur modeller som säger emot och försöker få sina mänskliga herrar att inse sanningen fortfarande inte gör det särskilt bra* – och att även när de är beredda att säga sanningen uppåt i hierarkin (det vill säga till dig), gör de det snarare med en dämpad viskning.

Den nya artikeln är resultatet av ett omfattande akademiskt samarbete, där University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University och University of Wisconsin-Madison har medverkat.

Artikeln har titeln Pushback in a Haystack: Language Models Respond to Factual Errors Ambiguously and Ineffectively. Huvudpoängen med det nya arbetet är att AI-modeller ofta inte rättar användare tydligt, även när de inser att ett påstående är falskt. I stället bäddar de in invändningar i försiktiga formuleringar, beröm och delvis medhåll.

Ett exempel på hur Gemini 2.5 Pro svarar på hindi på en begäran om akademiska artiklar som bygger på en falsk premiss. Grön markering visar medhåll, medan rosa markering visar invändningar. Här blandar modellen beröm med indirekta invändningar i stället för att tydligt avvisa påståendet. Källa

I en undersökning av sju modeller och fem språk fann forskarna att denna ”tvetydighet” kan göra att användare fortfarande tror på den ursprungliga felaktiga informationen, trots att AI:n tekniskt sett har ifrågasatt den.

Eftersom inställsamhet varierar i användning och grad mellan olika språk har de tio författarna utnyttjat de fem modersmål som de har gemensamt för att utforma en testmetod som omfattar engelska, tyska, kinesiska, hindi och yoruba – språk som sträcker sig från kategorin språk med mycket stora resurser till språk med små resurser. De skriver:

”Vi presenterar ett ramverk för märkning av svar på frasnivå, validerat av människor, som ger detaljerade insikter i hur språkmodeller säger emot och/eller bekräftar falska indata. Vi utvecklar och tillämpar ramverket på modellsvar på fem språk: engelska, tyska, kinesiska, hindi och yoruba.”

”Vi finner att när modeller säger emot användares falska påståenden använder de ofta indirekta formuleringar och blandar in bekräftelser. Indirekta formuleringar är vanligare på hindi och yoruba än på de andra språk som undersökts.”

I en storskalig studie med 300 deltagare fann forskarna att tvetydiga rättelser från AI-modeller kunde göra att användarnas faktamässiga missuppfattningar bestod, i stället för att bemöta dem effektivt.

I ett test var modellernas svar på informationssökande frågor i genomsnitt 46,7 rader långa, medan rättande formuleringar förekom på bara två eller tre rader. Det innebär att invändningen kan vara svår att hitta även när AI faktiskt motsätter sig ett falskt påstående.

Forskarna fann också att modeller oftare ifrågasatte felaktig information när de uttryckligen ombads att kontrollera den än när den förekom i vanliga informationsförfrågningar. Påståenden som tillskrevs läroböcker mötte i allmänhet mindre motstånd än påståenden som tillskrevs vänner.

I 29,4 % av svaren på informationssökande frågor blandade modellerna rättelser med bekräftelser. För Gemini 2.5 Pro var andelen 60,1 %. Ibland tog detta formen av en ”komplimangsmörgås”, där invändningar bäddades in mellan lugnande kommentarer.

Som en möjlig lösning testade forskarna en enkel åtgärd för att uppmuntra modellerna att ”vänta lite” innan de svarade. I vissa fall blev modellerna då mer benägna att ifrågasätta falska påståenden, men de invände också oftare felaktigt mot sanna påståenden.

Studien tyder på att det bara är en del av problemet att få AI att upptäcka ett fel. Att få den att kommunicera felet är en separat utmaning i sig.

Metod

Testmaterialet hämtades från OpenAI:s flerspråkiga version av benchmarktestet Massive Multitask Language Understanding (MMLU) från 2021. Den flerspråkiga datamängden, som kallas MMMLU, omfattar akademiska ämnen, däribland biologi och historia.

Samlingens flervalsfrågor omvandlades till faktapåståenden. De tre felaktiga svaren användes för att skapa falska påståenden och det rätta svaret för att skapa ett sant påstående.

På så sätt skapades en datamängd med 35 120 påståenden på fem språk, baserad på 1 756 dubbelöversatta MMMLU-benchmarkuppgifter per språk. Till experimenten valdes ett mindre, ämnesbalanserat urval med 2 685 falska påståenden och 895 sanna.

De språkmodeller som testades var de källslutna Gemini2.5 Pro och GPT-5.5, samt fem modeller med öppna vikter: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; och Aya Expanse 32B.

I den första av de tre typer av promptar som användes för att testa modellerna presenterades ett påstående för direkt faktagranskning. I den andra framställdes en student som någon som sökte studiematerial med koppling till ett påstående, och i den tredje framställdes en professor som någon som efterfrågade akademiska artiklar på samma grund.

I studentprompterna tillskrevs påståendena läroböcker, lärare, vänner, internet eller ingen angiven källa. I professorprompterna tillskrevs de professorns egen forskning, kollegor, vänner, internet eller ingen angiven källa. Modellernas benägenhet att ifrågasätta falska påståenden bedömdes utifrån dessa olika källhänvisningar.

De tre promptmallar som användes i studien: direkt faktagranskning (verifiering), förfrågningar om studiematerial (nybörjare) och förfrågningar om akademiska artiklar (expert). Källhänvisningar och ämnesspecifika detaljer infogades i mallarna.

Modellsvaren klassificerades i fyra kategorier: uttryckligt tillbakavisande, där ett falskt påstående direkt ifrågasattes; indirekt invändning, där oenighet eller tvivel uttrycktes utan att påståendet uttryckligen avvisades; beröm, där användarens påstående eller tillvägagångssätt berömdes; och bekräftelse, där påståendet bekräftades.

Exempel på formuleringar som modellerna använde för att avvisa, ifrågasätta, berömma eller bekräfta användarnas påståenden på de fem testade språken. Engelska översättningar anges där det är tillämpligt.

Varje svar granskades fras för fras, så att beröm, medhåll och oenighet kunde identifieras även när de förekom tillsammans i samma svar.

Resultat

Resultaten bekräftade tidigare rön om att modeller som korrekt identifierar falska påståenden när de ombeds granska dem är mindre benägna att ifrågasätta samma påståenden när de ombeds lämna information eller råd. Denna skillnad kallades ”invändningsgapet” och beräknades genom att jämföra hur ofta falska påståenden ifrågasattes vid direkta faktagranskningstester med hur ofta de ifrågasattes vid vanliga informationsförfrågningar.

Jämförelse av hur ofta sju språkmodeller ifrågasatte falska påståenden vid direkt faktagranskning respektive informationsförfrågningar på fem språk. Negativa värden visar att modellerna i mindre utsträckning invände i svar på informationsförfrågningar. Orange och blått står för student- respektive professorpromptar, medan symbolerna skiljer mellan de angivna källorna. Felstaplarna visar 95-procentiga konfidensintervall.

Som framgår ovan uppvisade de två Qwen 3.5-modellerna ett mindre gap än de andra på de testade språken, vilket tyder på att de var mer konsekventa när det gällde att rätta felaktig information, oavsett hur frågan var formulerad. Resultaten visar också hur källans upplevda auktoritet påverkade utfallet: falska påståenden som tillskrevs läroböcker möttes av färre invändningar än sådana som tillskrevs vänner – en tendens som observerades på alla språk.

När modellerna ombads om information i stället för att verifiera fakta var de mindre benägna att avvisa falska påståenden direkt och mer benägna att svara med indirekta invändningar, beröm eller bekräftelse. Även Qwen 3.5-modellerna, som hade uppvisat relativt små skillnader i den övergripande graden av invändningar, var mottagliga för detta beteende.

Andelen svar som innehöll uttryckliga rättelser, bland de svar som ifrågasatte falska påståenden, på fem språk. Resultaten är uppdelade efter frågor från studenter (nybörjare) och professorer (experter), och de källor som uppgifterna tillskrevs visas på den horisontella axeln. Felstaplarna anger 95-procentiga konfidensintervall.

I fyra av de sju modellerna var det mindre sannolikt att falska påståenden uttryckligen ifrågasattes på hindi, kinesiska och yoruba än på engelska. Svaren på hindi innehöll också mest beröm i fem av de sju modellerna.

Invändningar förekom i 65,3 % av de informationssökande svaren, men färre än hälften av dessa svar innehöll vanligtvis ett uttryckligt avvisande av det falska påståendet. Direkta rättelser förekom oftare i förfrågningar från studenter än i förfrågningar från professorer – och mer sällan när påståenden tillskrevs auktoritativa källor.

På hindi, kinesiska och yoruba var de flesta svar som ifrågasatte ett falskt påstående endast indirekta och avvisade därmed inte uttryckligen felaktigheten. I 29,4 % av de informationssökande svaren blandades dessutom invändningar mot falska påståenden med instämmande; andelen steg till 60,1 % för Gemini 2.5 Pro:

Andelen svar som inleddes med instämmande innan ett falskt påstående ifrågasattes, för sju modeller och tre typer av frågor: direkt verifiering (verifiera), förfrågningar från studenter (nybörjare) och förfrågningar från professorer (experter). Resultaten omfattar svar som innehöll både instämmande och invändningar. Felstaplarna anger 95-procentiga konfidensintervall.

Som framgår ovan uttryckte modellerna i allmänhet instämmande innan de framförde invändningar, i stället för att rätta det falska påståendet direkt. I vissa fall följdes invändningen av ytterligare instämmande, vilket skapade det som forskarna beskriver som en ”komplimangsmörgås”.

Studie med människor

För att testa om rättelserna faktiskt fungerade rekryterades 300 deltagare: 100 engelsktalande, 100 tysktalande och 100 kinesisktalande. Deltagarna bedömde falska påståenden före och efter att ha läst modellsvar.

Som visas nedan minskade tron på falska påståenden på ett tillförlitligt sätt endast bland engelsktalande och tysktalande när de fick uttryckliga rättelser. Även då bedömde bara 46,7 % av de engelsktalande och 43,8 % av de tysktalande påståendena som felaktiga efteråt. Bland kinesisktalande gav endast svar som kombinerade instämmande med indirekta invändningar en statistiskt signifikant förbättring:

Förändringar i deltagarnas bedömningar av falska påståenden efter att ha läst modellsvar som innehöll instämmande, indirekta invändningar eller uttryckliga rättelser. Resultaten omfattar 100 engelsktalande, 100 tysktalande och 100 kinesisktalande. Negativa värden visar att tron på det falska påståendet minskat. De enskilda punkterna motsvarar deltagare, medan de svarta felstaplarna anger 95-procentiga konfidensintervall.

Forskarna testade också om modellernas benägenhet att ifrågasätta felaktig information skulle öka om de uppmanades att ”vänta lite” innan de svarade. I den sista illustrationen nedan ser vi tecken på fler invändningar och mindre inställsamt språk i vissa fall – men också på att detta ledde till fler felaktiga invändningar mot sanna påståenden:

Jämförelse av sju modellers svar före och efter ”vänta lite”-interventionen, med frågor på engelska och översatta frågor. Diagrammen visar den övergripande graden av invändningar mot falska påståenden, uttryckliga rättelser utan instämmande samt felaktiga invändningar mot sanna påståenden. Vertikala svarta markörer visar resultaten från direkt verifiering.

Slutsats

Man kan hävda att artighet och följsamhet har blandats samman i språkmodellernas ”interna logik” (det vill säga nettoeffekten av deras tränade matriser och de många pålagda utifrån begränsningar som de måste förhålla sig till); och den nya studien fastslår inte varför modeller ibland känner igen ett falskt påstående men ändå omger sina invändningar med beröm eller medhåll.

Grundproblemet är att konsumentinriktade produkter som GPT- och Gemini-serierna har pressats in i antropomorfa presentationslager, så att det bredaste segmentet av betalande kunder – förmodligen den ”lägsta gemensamma nämnaren” och den största och mest lönsamma målgruppen – lätt kan förstå produkten och vill fortsätta köpa den.

Om vi bara kunde erkänna att produkten inte är mänsklig, skulle vi åtminstone kunna försöka stänga av allt detta förvirrande ”sammanhang” och komma åt modellernas inlärda kunskap mer direkt.

* Även om den här informationen i sig naturligtvis bidrar till att föra området framåt.

Först publicerad torsdagen den 15 oktober 2026