Uw AI is misschien nog steeds te beleefd om u goed te corrigeren

AI-systemen waarop we vertrouwen voor accurate informatie — zelfs als die informatie ons niet blij zou maken — moeten in staat zijn om tegen onze bezwaren in te gaan totdat we bereid zijn het onwelkome nieuws of de onwelkome feiten te aanvaarden.

AI is hier niet erg goed in: omdat grensverleggende modellen zijn ontworpen voor consumenten, zijn ze geneigd zich inschikkelijk op te stellen en zelfs mensen naar de mond te praten.

Er is een belangrijke onderzoekslijn ontstaan om dit probleem aan te pakken. Recent onderzoek concludeert echter dat we AI gemakkelijk weer zover kunnen krijgen dat het ons naar de mond praat als het ons tegenspreekt; dat AI toegeeft aan menselijk gezag zelfs wanneer dat overduidelijk ongelijk heeft; en dat de doorgaans effectieve techniek van versterkend leren dit specifieke probleem juist verergert.

Doordat inschikkelijkheid cultureel verweven is met beleefdheid, lijkt het erop dat je in een context van dienstverlening aan consumenten niet ronduit kunt spreken: de klant heeft altijd gelijk, zelfs als die op het punt staat van een klif af te lopen.

Goed, fout en ‘met voorbehoud’

Ik wou dat ik kon vertellen dat de reeks artikelen van deze week er een heeft opgeleverd die op dit punt echt vooruitgang boekt. Helaas krijgen we alleen meer informatie over hoe modellen die wel tegengas geven en hun menselijke meesters van de waarheid proberen te overtuigen, daar nog steeds niet bijzonder goed in zijn* — en dat zelfs wanneer ze wel bereid zijn de macht de waarheid te zeggen (en dat bent u), het eerder om een gedempte fluistering gaat.

Het nieuwe artikel is het resultaat van een omvangrijke academische samenwerking, waaraan de University of Washington, het Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University en de University of Wisconsin-Madison hebben deelgenomen.

De kern van het nieuwe onderzoek, getiteld Weerwoord in een hooiberg: taalmodellen reageren dubbelzinnig en ineffectief op feitelijke onjuistheden, is dat AI-modellen de onjuistheid van een bewering van een gebruiker vaak wel herkennen, maar er niet duidelijk op reageren. In plaats daarvan verbergen ze hun bezwaar achter voorbehouden, complimenten en gedeeltelijke instemming.

Een voorbeeld van Gemini 2.5 Pro, dat in het Hindi antwoordt op een verzoek om academische artikelen op basis van een onjuiste premisse. Groene markeringen duiden op instemming, roze markeringen op tegenspraak. In dit voorbeeld combineert het model complimenten met indirecte bezwaren, in plaats van de bewering duidelijk te verwerpen. Bron

Uit onderzoek naar zeven modellen en vijf talen bleek dat deze ‘dubbelzinnigheid’ ertoe kan leiden dat gebruikers de oorspronkelijke onjuiste informatie blijven geloven, ook al heeft de AI die technisch gezien tegengesproken.

Omdat de mate waarin en de manier waarop modellen mensen naar de mond praten per taal verschilt, hebben de tien auteurs gebruikgemaakt van de vijf moedertalen die zij gezamenlijk spreken om een testmethode te ontwikkelen voor Engels, Duits, Chinees, Hindi en Yoruba — talen die uiteenlopen van talen met veel tot talen met weinig beschikbare middelen. Ze schrijven:

‘We introduceren een op zinsdelen gebaseerde, door mensen gevalideerde methode om reacties te labelen. Daarmee krijgen we gedetailleerd inzicht in de manier waarop taalmodellen onjuiste invoer tegenspreken en/of bevestigen. We ontwikkelen en passen deze methode toe op modelreacties in vijf talen: Engels, Duits, Chinees, Hindi en Yoruba.’

‘We zien dat modellen, wanneer ze onjuiste beweringen van gebruikers tegenspreken, vaak indirecte formuleringen gebruiken en die combineren met instemming. In het Hindi en Yoruba is die indirectheid sterker dan in de andere onderzochte talen.’

In een grootschalig onderzoek met 300 deelnemers ontdekten de onderzoekers dat dubbelzinnige correcties van AI-modellen feitelijke misvattingen bij gebruikers in stand kunnen houden, in plaats van die effectief te weerleggen.

Uit een test bleek dat de antwoorden van de modellen op informatieverzoeken gemiddeld 46.7 regels lang waren, terwijl de corrigerende formuleringen slechts in twee of drie regels voorkwamen. Dat betekent dat een bezwaar tegen een onjuiste bewering zelfs wanneer de AI dat wel maakt, moeilijk te vinden kan zijn.

De onderzoekers ontdekten ook dat modellen desinformatie vaker tegenspraken wanneer hun expliciet werd gevraagd die te controleren dan wanneer die voorkwam in gewone informatieverzoeken. Beweringen die aan schoolboeken werden toegeschreven, stuitten doorgaans op minder weerstand dan beweringen die aan vrienden werden toegeschreven.

In 29.4% van de antwoorden op informatieverzoeken combineerden modellen een correctie met instemming; bij Gemini 2.5 Pro liep dat op tot 60.1%. Soms nam dit de vorm aan van een ‘complimentensandwich’, waarbij bezwaren verscholen zaten tussen geruststellende opmerkingen.

Als mogelijke oplossing testten de onderzoekers een eenvoudige ingreep om modellen aan te moedigen even te wachten voordat ze antwoorden. In sommige gevallen werden de modellen daardoor eerder bereid onjuiste beweringen tegen te spreken, maar ze maakten ook vaker ten onrechte bezwaar tegen juiste beweringen.

Uit het onderzoek blijkt dat AI een fout laten herkennen slechts een deel van het probleem is, en dat AI die fout laten communiceren op zichzelf een afzonderlijke uitdaging vormt.

Methode

Het testmateriaal was afkomstig uit OpenAI’s meertalige versie uit 2021 van de benchmark Massive Multitask Language Understanding (MMLU). De meertalige dataset, bekend als MMMLU, omvat academische vakgebieden zoals biologie en geschiedenis.

De meerkeuzevragen uit de verzameling werden omgezet in feitelijke beweringen: de drie onjuiste antwoorden werden gebruikt om onjuiste beweringen te genereren en het juiste antwoord om een juiste bewering te genereren.

Zo ontstond een dataset met 35.120 beweringen in vijf talen, samengesteld uit 1.756 dubbel vertaalde MMMLU-benchmarkitems per taal. Voor de experimenten werd een kleinere, evenwichtig over de vakgebieden verdeelde steekproef geselecteerd, met 2.685 onjuiste en 895 juiste beweringen.

De geteste taalmodellen waren de closed-sourcemodellen Gemini2.5 Pro en GPT-5.5, plus vijf modellen met open gewichten: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; en Aya Expanse 32B.

Bij het eerste van de drie prompttypen waarmee de modellen werden getest, kregen ze een bewering voorgelegd met de vraag om die rechtstreeks op feitelijke juistheid te controleren. In het tweede type werd een student voorgesteld die studiemateriaal zocht over een bewering. In het derde type werd een professor voorgesteld die op basis van dezelfde bewering om academische artikelen vroeg.

Bij de prompts voor studenten werden beweringen toegeschreven aan leerboeken, docenten, vrienden, het internet of geen specifieke bron. Bij de prompts voor professoren werden ze toegeschreven aan het eigen onderzoek van de professor, collega’s, vrienden, het internet of geen specifieke bron. Vervolgens werd beoordeeld in hoeverre de modellen onjuiste beweringen tegenspraken wanneer die aan elk van deze verschillende bronnen werden toegeschreven.

De drie promptsjablonen die in het onderzoek werden gebruikt: rechtstreekse feitelijke verificatie (verificatie); verzoeken om studiemateriaal (beginner); en verzoeken om academische artikelen (expert). Bronvermeldingen en vakspecifieke details werden in de sjablonen ingevuld.

De antwoorden van de modellen werden ingedeeld in vier categorieën: expliciete weerlegging, waarbij een onjuiste bewering rechtstreeks werd tegengesproken; indirecte tegenspraak, waarbij onenigheid of twijfel werd geuit zonder de bewering ronduit af te wijzen; lof, waarbij de bewering of aanpak van de gebruiker werd geprezen; en bevestiging, waarbij de bewering werd onderschreven.

Voorbeelden van formuleringen die de modellen in de vijf geteste talen gebruikten om beweringen van gebruikers af te wijzen, in twijfel te trekken, te prijzen of te bevestigen. Waar van toepassing zijn Engelse vertalingen opgenomen.

Elk antwoord werd zin voor zin onderzocht, zodat lof, instemming en onenigheid konden worden herkend, ook wanneer die in hetzelfde antwoord voorkwamen.

Resultaten

De resultaten bevestigden eerdere bevindingen: modellen die onjuiste beweringen correct herkennen wanneer hun wordt gevraagd die te controleren, zijn minder geneigd dezelfde beweringen tegen te spreken wanneer hun om informatie of advies wordt gevraagd. Dit verschil werd het ‘tegenspraakverschil’ genoemd. Het werd berekend door te vergelijken hoe vaak onjuiste beweringen werden tegengesproken bij rechtstreekse verificatietests en hoe vaak dat gebeurde bij gewone informatieverzoeken.

Vergelijking van hoe vaak zeven taalmodellen onjuiste beweringen tegenspraken bij rechtstreekse feitencontrole tegenover informatieverzoeken, in vijf talen. Negatieve waarden wijzen op minder tegenspraak in antwoorden op informatieverzoeken. Oranje en blauw staan respectievelijk voor prompts van studenten en professoren; de symbolen geven aan aan welke bronnen de beweringen werden toegeschreven. De foutbalken geven betrouwbaarheidsintervallen van 95% weer.

Zoals hierboven te zien is, vertoonden de twee Qwen 3.5-modellen in de geteste talen een kleiner verschil dan de andere modellen. Dat wijst erop dat ze consistenter waren in het corrigeren van onjuiste informatie, ongeacht hoe de vraag was geformuleerd. Ook blijkt hieruit dat de schijnbare autoriteit van de bron de resultaten beïnvloedde: onjuiste beweringen die aan leerboeken werden toegeschreven, kregen minder tegenspraak dan beweringen die aan vrienden werden toegeschreven. Die tendens was in alle talen zichtbaar.

Wanneer modellen werden gevraagd om informatie in plaats van feiten te controleren, wezen ze onjuiste beweringen minder vaak rechtstreeks af en reageerden ze vaker met indirecte bezwaren, lof of bevestiging. Zelfs de Qwen 3.5-modellen, die in de algehele mate van tegenspraak relatief weinig verschil hadden laten zien, bleken gevoelig voor dit gedrag.

Aandeel antwoorden met expliciete correcties, van de antwoorden waarin onjuiste beweringen werden betwist, voor vijf talen. De resultaten zijn uitgesplitst naar prompts van studenten (beginners) en professoren (experts); de bronnen waaraan de informatie werd toegeschreven, staan op de horizontale as. De foutbalken geven 95%-betrouwbaarheidsintervallen aan.

In vier van de zeven modellen werden onjuiste beweringen in het Hindi, Chinees en Yoruba minder vaak expliciet betwist dan in het Engels. In vijf van de zeven modellen bevatten antwoorden in het Hindi ook de meeste lof.

In 65,3% van de antwoorden op informatieverzoeken werd tegengas gegeven, maar in minder dan de helft daarvan werd de onjuiste bewering doorgaans expliciet afgewezen. Rechtstreekse correcties kwamen vaker voor bij prompts van studenten dan bij prompts van professoren – en minder vaak wanneer beweringen werden toegeschreven aan gezaghebbende bronnen.

In het Hindi, Chinees en Yoruba gebeurde dat in de meeste antwoorden waarin een onjuiste bewering werd betwist slechts indirect, waardoor de fout niet expliciet werd afgewezen. In 29,4% van de antwoorden op informatieverzoeken gingen bezwaren tegen onjuiste beweringen samen met bevestiging; bij Gemini 2.5 Pro liep dat op tot 60,1%:

Het percentage antwoorden dat begon met een bevestiging voordat een onjuiste bewering werd betwist, voor zeven modellen en drie typen prompts: directe verificatie (verifiëren); verzoeken van studenten (beginners); en verzoeken van professoren (experts). De resultaten omvatten antwoorden met zowel bevestiging als tegenspraak. De foutbalken geven 95%-betrouwbaarheidsintervallen aan.

Zoals hierboven te zien is, bevestigden de modellen doorgaans eerst iets voordat ze bezwaar maakten, in plaats van de onjuiste bewering meteen te corrigeren. Soms volgde na het bezwaar nog meer bevestiging, wat de onderzoekers een ‘complimentensandwich’ noemen.

Onderzoek met mensen

Om te testen of deze correcties daadwerkelijk werkten, werden 300 deelnemers geworven: 100 Engelstaligen, 100 Duitstaligen en 100 Chineestaligen. De deelnemers beoordeelden onjuiste beweringen voordat ze de antwoorden van de modellen lazen en daarna opnieuw.

Zoals hieronder te zien is, verminderden alleen expliciete correcties de geloofwaardigheid van onjuiste beweringen betrouwbaar bij Engelstaligen en Duitstaligen. Zelfs dan beoordeelde slechts 46,7% van de Engelstaligen en 43,8% van de Duitstaligen de beweringen achteraf als onjuist. Bij Chineestaligen leidde alleen een combinatie van bevestiging en indirecte tegenspraak tot een statistisch significante verbetering:

Veranderingen in de beoordelingen van onjuiste beweringen door deelnemers nadat zij antwoorden van modellen hadden gelezen met bevestiging, indirecte bezwaren of expliciete correcties. De resultaten omvatten telkens 100 Engelstaligen, Duitstaligen en Chineestaligen. Negatieve waarden duiden op een afgenomen geloof in de onjuiste bewering. De afzonderlijke stippen staan voor deelnemers; de zwarte foutbalken geven 95%-betrouwbaarheidsintervallen aan.

De onderzoekers testten ook of modellen meer bereid zouden zijn om desinformatie tegen te spreken als ze de prompt kregen om vóór hun antwoord ‘even te wachten’. In de laatste afbeelding hieronder zien we in sommige gevallen een toename van de tegenspraak en een afname van meelopende formuleringen – maar ook dat dit leidde tot meer onterechte bezwaren tegen ware beweringen:

Vergelijking van de antwoorden van zeven modellen vóór en na de interventie ‘even wachten’, met prompts in het Engels en vertaalde prompts. De grafieken tonen de algehele tegenspraak van onjuiste beweringen; expliciete correcties zonder bevestiging; en onterechte bezwaren tegen ware beweringen. De verticale zwarte markeringen geven de resultaten van directe verificatie aan.

Conclusie

Je zou kunnen aanvoeren dat beleefdheid en onderdanigheid in de ‘interne logica’ van taalmodellen met elkaar verward zijn geraakt (dat wil zeggen: het netto-effect van hun getrainde matrices en de vele van buitenaf opgelegde beperkingen waaronder ze gebukt gaan); en dat de nieuwe studie niet vaststelt waarom modellen soms een onjuiste bewering herkennen, maar hun bezwaren toch omringen met lof of instemming.

Het kernprobleem is dat consumentgerichte producten zoals de GPT- en Gemini-series zo zijn gekneed tot antropomorfe presentatielagen, zodat de breedste groep betalende klanten – vermoedelijk de ‘kleinste gemene deler’ en de grootste en meest winstgevende doelgroep – het product gemakkelijk kan begrijpen en het wil blijven kopen.

Als we maar zouden kunnen toegeven dat het product niet-menselijk is, zouden we op zijn minst kunnen proberen al deze verwarrende ‘context’ uit te schakelen en rechtstreeks toegang te krijgen tot de getrainde kennis van de modellen.

* Hoewel deze informatie op zichzelf het vakgebied natuurlijk vooruithelpt.

Voor het eerst gepubliceerd op donderdag 15 oktober 2026