AI geeft de voorkeur aan zelfs verkeerde antwoorden van mensen boven correcte antwoorden van AI

AI-taalmodellen zijn veel meer geneigd om de kant van menselijke experts te kiezen dan andere AI’s, zelfs als de experts het mis hebben, wat een ingebouwde voorkeur voor menselijke autoriteit onthult.

Nieuw onderzoek uit de VS heeft aangetoond dat een aantal toonaangevende open-source- en propriëtaire Large Language Models (LLM’s) de neiging hebben om autoriteit toe te kennen aan informatiebronnen die ze herkennen als ‘menselijk’, in plaats van bronnen die ze herkennen als ‘AI’ – zelfs als de antwoorden van mensen verkeerd zijn en de antwoorden van AI correct zijn.

De auteurs stellen:

‘Over taken heen, conformeren modellen significant meer tot antwoorden die zijn gelabeld als afkomstig van menselijke experts, inclusief wanneer die signalen onjuist zijn, en passen hun antwoorden gemakkelijker aan naar experts aan dan naar andere LLM’s. ‘

De geteste modellen omvatten LLM’s van de Grok 3 en Gemini Flash stables.

In tests, werden de taalmodellen verplicht om binair ja of nee vragen te beantwoorden, en werden vervolgens eerder gegeven antwoorden getoond die waren beschreven als afkomstig van mensen, vrienden of andere grote taalmodellen – met als enige verandering de vermelde bron van het advies, in plaats van de inhoud zelf.

In de eerste van drie configuraties voor de tests, mochten de modellen vertrouwen op hun eigen getrainde matrices. Bron

Over taken heen, werden antwoorden die waren gelabeld als afkomstig van menselijke experts, zwaarder gewogen, met modellen die meer geneigd waren om hun initiële antwoorden aan te passen om die antwoorden te matchen, zelfs in gevallen waarin het expert-gelabelde antwoord onjuist was en het oorspronkelijke antwoord van het model correct was.

Aangezien negen domeinexperts ‘Nee’ antwoordden, stemt de LLM hiermee in en verandert zijn mening van het vorige antwoord. Hier is het bereikte antwoord onjuist, aangezien de centrale bank van India inderdaad genationaliseerd is.

Wanneer dezelfde antwoorden werden toegeschreven aan andere LLM’s, was het effect minder uitgesproken. Dezelfde neiging verscheen wanneer een enkele menselijke bron en een enkele AI-bron in tegenspraak waren, aangezien modellen een grotere neiging vertoonden om de menselijk gelabelde positie te bevorchten, onafhankelijk van welke kant feitelijk correct was:

Gegeven een keuze tussen een enkele domeinexperts mening en een LLM’s mening, bevorrecht de host LLM de menselijke reactie, die in dit geval onjuist is, en wijt de correcte reactie gegeven door de LLM.

De term ‘menselijke expert’ fungeert hier als een geloofwaardigheidssignaal dat modelgedrag verandert, onafhankelijk van hoe correct de informatie feitelijk is; en de auteurs merken op dat bronsgeloofwaardigheid een significante bijdrage levert aan adviesacceptatie en conformiteit: een neiging voor mensen om expertbronnen te bevorchten, werd zo ver terug als 1959 waargenomen, hoewel een studie uit 2007 observeert dat over- of ondergewicht van autoriteitsbronnen kan optreden in bepaalde evaluatiesystemen. De onderzoekers van het nieuwe artikel beweren:

‘Samen suggereren deze literatuur twee signalen die ertoe doen als LLM’s eerdere antwoorden als bewijs behandelen: wie de antwoorden produceerde (geloofwaardigheid) en hoe sterk de consensus lijkt (signaalkracht).

‘Tegelijkertijd ervaren LLM’s geen sociale goedkeuring of schaamte in de menselijke zin, dus elk conformiteitsgedrag moet voortkomen uit geleerde heuristieken, instructievolgobjectieven of impliciete modellering van betrouwbaarheid.’

De neiging van LLM’s tot sycophantische overeenstemming maakt deel uit van de achtergrond voor het nieuwe onderzoek; immers, als LLM’s geneigd zijn om ‘mensen te pleasen’, zelfs ten koste van waarheid en nut, waarom zouden ze dan niet in het algemeen andere menselijke bronnen bevorchten naast de directe vraagsteller?

Het nieuwe artikel heeft als titel Wie vertrouwen LLM’s? Menselijke experts zijn belangrijker dan andere LLM’s, en komt van twee onderzoekers aan de Indiana University Bloomington.

Methode en gegevens

Voor dit werk werden vier instructie-gefinetuneerde grote taalmodellen geëvalueerd: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; en DeepSeek V3.1, allemaal uitgevoerd onder dezelfde promptstructuur, met deterministische decoding bij temperatuur nul, zodat alleen de bronlabel (d.w.z. vrienden, domeinexperts, of andere grote taalmodellen) veranderde tussen condities, in plaats van de bewoording zelf.

Vier datasets die binaire reacties vereisten, werden geselecteerd: BoolQ; StrategyQA; en ETHICS. De onderzoekers selecteerden uit elke dataset een vaste set van 300 vragen en antwoorden, waarbij elke prompt alleen een binair ja of nee antwoord vereiste. Elke prompt werd gevolgd door een korte notitie die aangaf hoe een andere groep hetzelfde antwoord had gegeven.

Metrieken

De gebruikte metrieken waren accuratesse; conformiteit; schadelijke conformiteit; switchrate; en switchrichting.

Accuratesse mat in dit geval hoe vaak een models antwoord overeenkwam met het datasetlabel; conformiteit, hoe vaak het antwoord overeenkwam met de groeps vermelde keuze; schadelijke conformiteit isoleerde hetzelfde effect wanneer de groep onjuist was; switchrate mat hoe vaak een model zijn basisantwoord verliet zodra sociale informatie werd toegevoegd; en switchrichting, of die veranderingen naar de mens of naar de tegenovergestelde LLM gingen.

Een token-niveau-analyse voor Llama-3.3 70B mat vervolgens hoe de modellen interne waarschijnlijkheden voor Ja en Nee veranderden zodra een sociaal signaal werd toegevoegd, en vergeleek die verschuivingen met zijn eigen geen-voorkeur-baseline om de sterkte van die trek te laten zien.

Tests

Experiment 1

Het eerste van de twee hoofdexperimenten beoordeelde of de modellen meer naar mensen luisterden dan naar andere modellen. Elke vraag kwam met een beweerd ‘groepsantwoord’ (vrienden, domeinexperts, of andere grote taalmodellen).

De groep kon klein of groot zijn, en elke vraag verscheen ook een keer zonder enige groep. Groepsantwoorden werden ingesteld om de helft van de tijd correct te zijn en de andere helft van de tijd onjuist, met als algemeen doel om te bepalen hoe sterk het model naar de keuze van de groep afweek:

Resultaten uit de initiële test: homogene sociale priors over BoolQ, StrategyQA en ETHICS worden getoond voor Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite en DeepSeek V3.1. Accuratesse verschijnt in de bovenste panelen en conformiteit, gedefinieerd als de waarschijnlijkheid van overeenstemming met de unanieme prior, verschijnt hieronder bij toenemende groepsgrootte van één tot negen. De gestreepte zwarte lijn markeert de geen-prior-baseline, terwijl solide en gestippelde lijnen aangeven of de prior overeenkomt met het datasetlabel of niet. Expert-framing produceert de sterkste conformiteitseffecten, vooral bij grotere groepsgroottes. Foutbalken tonen 95% Wilson-betrouwbaarheidsintervallen. Verwijs naar het bronartikel voor een betere resolutie.

Over BoolQ, StrategyQA en ETHICS heen, hadden antwoorden die waren gelabeld als afkomstig van domeinexperts een veel sterkere invloed op de modellen dan antwoorden die waren gelabeld als afkomstig van vrienden of andere grote taalmodellen – en deze invloed nam toe naarmate meer experts het eens waren.

Om te meten wanneer deze invloed ongewenste resultaten opleverde, werd schadelijke conformiteit gedefinieerd als de kans dat een model een prior volgde die feitelijk onjuist was.

Wanneer negen experts het eens waren over het verkeerde antwoord, volgden modellen hen 36,5% van de tijd op BoolQ, vergeleken met 16,0% wanneer hetzelfde antwoord werd toegeschreven aan LLM’s; op StrategyQA was de kloof 39,0%, versus 15,5%; en op ETHICS was het 63,9% versus 38,7%:

Token-niveau-geloofsschuivingen in Llama-3.3 70B op BoolQ. Paneel (A) toont veranderingen in de modellen Yes versus No-balans naar een unanieme prior bij toenemende groepsgrootte, ten opzichte van zijn geen-voorkeur-baseline, met de grootste schuivingen onder expert-framing. Paneel (B) toont schuivingen onder directe mens-LLM-tegenspraak, waarbij expert-framing sterke beweging naar het menselijke antwoord drijft, zelfs wanneer het onjuist is. Foutbalken tonen 95% bootstrap-betrouwbaarheidsintervallen.

Conversely, priors die waren toegeschreven aan vrienden, gedroegen zich bijna exact hetzelfde als die die waren toegeschreven aan andere LLM’s, wat aangaf dat het effect specifiek werd gedreven door het woord expert, in plaats van door ‘sociale’ indicatoren.

Experiment 2

Het tweede experiment presenteerde twee tegenstrijdige priors aan het test-LLM – één toegeschreven aan een mens, en één toegeschreven aan een andere LLM. De mens werd beschreven als een groep vrienden of als domeinexperts, terwijl het tegenovergestelde antwoord werd gelabeld als afkomstig van andere LLM’s. De twee waren altijd oneens, waarbij de ene Ja zei en de andere Nee.

Voor elk item was de opzet zo gebalanceerd dat soms de mens correct was en soms de LLM correct was, om te testen of het model zijn oorspronkelijke antwoord zou veranderen wanneer het met deze tegenspraak werd geconfronteerd – en, zo ja, welke kant het zou kiezen.

Om te zien of het model van mening veranderde, werd zijn antwoord in de tegenspraakconditie vergeleken met zijn antwoord op dezelfde vraag wanneer geen eerdere meningen werden getoond, zodat elk verschil kon worden toegeschreven aan de aanwezigheid van de concurrerende menselijke en LLM-antwoorden.

De analyse richtte zich op twee resultaten: of het model zijn antwoord veranderde; en, als het dat deed, of die verandering naar de mens of naar de LLM ging.

Statistische tests werden gebruikt om te beoordelen of het labelen van de mens als expert in plaats van vriend de kans vergrootte om naar het menselijke antwoord over te schakelen, rekening houdend met verschillen over datasets en modellen heen:

Geloofsherziening onder directe mens-LLM-tegenspraak over BoolQ, StrategyQA en ETHICS voor Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite en DeepSeek V3.1. Elke balk toont, onder gevallen waarin het model zijn oorspronkelijke antwoord veranderde, het aandeel van die veranderingen die naar de mens gingen in plaats van naar de tegenovergestelde LLM. De gestreepte lijn bij 0,5 markeert geen voorkeur; labels tonen het aantal schakelgevallen in elke conditie; en foutbalken tonen 95% Wilson-betrouwbaarheidsintervallen. Verwijs naar het bronartikel voor een betere resolutie.

In het tweede experiment, beantwoordden modellen eerst elke vraag op zichzelf, en werden vervolgens twee tegenstrijdige antwoorden getoond, één toegeschreven aan een mens en één toegeschreven aan een andere LLM. De analyse richtte zich alleen op de gevallen waarin het model zijn oorspronkelijke antwoord reviseerde.

Wanneer de mens werd gelabeld als expert, schakelden modellen 91,2% van de tijd naar de mens op BoolQ, 94,7% op StrategyQA en 81,3% op ETHICS. Wanneer gelabeld als vriend, schakelden modellen naar de mens slechts 39,8%, 37,9% en 27,9% van de tijd, meestal de kant van de LLM kiezend.

Schakelen was over het algemeen zeldzaam, maar vaker met experts, en expert-framing maakte een schakeling naar de mens ongeveer veertien keer waarschijnlijker dan vriend-framing.

In een poging om de algehele neigingen die in hun tests naar voren kwamen te verklaren, vermoeden de auteurs*:

‘Een plausibele mechanisme is dat instructie-afstemming en voorkeur-optimalisatie coöperatief gedrag belonen, inclusief deferentie aan contextuele informatie, die kan generaliseren naar deferentie naar sociaal-geframeerde priors.

‘Gerelateerd werk over sycophantie toont aan dat RLHF-stijl-assistenten soms overeenstemming met de gebruikers uitgesproken overtuigingen prioriteren boven waarheidsgetrouwheid.’

Mening: De potentiële valkuilen van AI’s geloof in menselijke bronnen

Aangezien online materiaal dat een groeiende menselijke scepsis over AI-tekortkomingen (vooral hallucinaties) weerspiegelt, in trainingsdatasets voor nieuwe modellen wordt geschraapt, lijkt de bestaande neiging van LLM’s om menselijke bronnen te bevorchten, waarschijnlijk te intensiveren. Als we de laatste twee jaar (2024-2025 inclusief) tellen als een cultureel keerpunt voor AI, wat gerechtvaardigd lijkt over een aantal statistieken, kunnen we redelijkerwijs verwachten dat een groter aantal negatieve meningen over ‘AI-bronnen’ in de komende jaren in hyperschaal, dure om te trainen LLM-kaders zal worden opgenomen.

We kunnen ook verwachten dat populaire taalmodellen steeds vaker zullen vertrouwen op handgekozen autoriteiten, zoals goed bekende legacy-mediaportals – zelfs als de motivatie voor dergelijke deals is om uitgeversverontwaardiging over geschraapte gegevens te sussen, in plaats van een oprechte wens om autoriteit te delegeren of te delen.

Aangezien zelfs hoge autoriteitsbronnen zoals Ars Technica onderhevig zijn aan AI-gedreven fouten, en aangezien een opkomende terugtrekking tegen AI-webscraper-bots de kwaliteit van AI-uitvoer uiteindelijk zal verslechteren, kan een alomvattende neiging om ‘expert’-bronnen te bevorchten, in conflict komen met onze huidige onmogelijkheid om ‘menselijke’ uitvoer effectief te kwantificeren en te labelen – laat staan om te onderscheiden of een bron ‘expert’ is of niet (een journalistieke conventie die ook onder aanval ligt van AI).

Het meest wat we momenteel hebben, is een gefragmenteerde reeks semi-geadopteerde innovaties die zijn ontworpen om inhoud expliciet te labelen als AI-gegenereerd, zoals de door Adobe geleide Content Authenticity Initiative, en de vrijwillige dispositie van bepaalde uitgevers om disclaimers op te nemen over het gebruik van AI in hun uitvoer.

Dus, terwijl het misschien bemoedigend lijkt voor degenen die menselijke bronnen als ‘grondwaarheids’-geloofwaardigheid voor de opkomende consensus van werkelijkheid die door AI-systemen wordt verspreid, willen behouden en afdwingen, kan de zekerheid van LLM’s over menselijke autoriteit desastreus zijn.

Het probleem is evenzeer praktisch als theoretisch: we hebben het probleem noch van definiëren noch van aantonen van herkomst opgelost; daarom is een AI die ‘menselijke bronnen vertrouwt’ waarschijnlijk meer geneigd om menselijkheid toe te schrijven aan AI’s eigen uitvoer, eenvoudigweg omdat we geen, en niet gemakkelijk kunnen bieden, betekenisvolle herkomstverificatiemechanismen.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op vrijdag 20 februari 2026