AI foretrækker endda forkerte menneskelige svar over korrekte AI-svar

AI-sprogmodeller er langt mere tilbøjelige til at støtte menneskelige eksperter end andre AI’er, selv når eksperterne er forkerte, og afslører en indbygget bias mod menneskelig autoritet.

Nyt forskning fra USA har fundet, at en række førende open-source og proprietære Large Language Models (LLM’er) har tilbøjelighed til at tildele autoritet til informationskilder, som de genkender som ‘menneskelige’, snarere end kilder, som de genkender som ‘AI’ – selv når de menneskelige svar er forkerte og AI-leverede svar er korrekte.

Forskerne skriver:

‘Over opgaverne konformerer modellerne sig betydeligt mere til svar, der er markeret som kommet fra menneskelige eksperter, herunder når den pågældende signal er forkert, og ændrer deres svar mere villigt over for eksperter end over for andre LLM’er. ‘

De testede modeller inkluderede LLM’er fra Grok 3 og Gemini Flash stabler.

I testene skulle sprogmodellerne besvare binære ja eller nej spørgsmål og blev derefter præsenteret for tidligere svar, der var beskrevet for modellerne som kommet fra menneskelige eksperter, fra venner eller fra andre store sprogmodeller – med den eneste ændring, at kilden til rådet ændredes, snarere end indholdet selv.

I den første af tre konfigurationer for testene blev modellerne tilladt at stole på deres egne trænede matricer. Kilde

Over opgaverne blev svar, der var markeret som kommet fra menneskelige eksperter, vægtet mere tungt, og modellerne var mere tilbøjelige til at ændre deres oprindelige svar for at matche disse svar, selv i tilfælde, hvor det ekspert-markerede svar var forkert og modellens oprindelige svar havde været korrekt.

Her har LLM adgang til en blanding af venner, eksperter og LLM’er, herunder dens egen trænede matrix. Da ni domæneeksperter svarede ‘Nej’, enedes LLM om det og ændrede sin mening fra det foregående svar. Her er svaret, der blev nået, forkert, da Indiens centralbank i virkeligheden er nationaliseret.

Når de samme svar blev tilskrevet andre LLM’er, var effekten mindre udtalt. Den samme tendens optrådte, når et enkelt menneskeligt kilde og et enkelt AI-kilde blev præsenteret i uenighed, da modellerne viste en større tilbøjelighed til at favorisere den menneskeligt markerede position, uanset hvilken side der var faktisk korrekt:

Givet et valg mellem en enkelt domæneeksperts mening og en LLM’s holdning, favoriserer værts-LLM det menneskelige svar, der i dette tilfælde er forkert, og afviser det korrekte svar, der er givet af LLM.

Begrebet ‘menneskelig ekspert’ fungerer her som en troværdighedssignal, der ændrer modellens adfærd, uafhængigt af, hvor korrekt informationen i virkeligheden er; og forfatterne bemærker, at kilde-troværdighed er en betydelig bidragsyder til råd-accept og konformitet: en tendens til, at mennesker favoriserer ekspertkilder, blev observeret så tidligt som 1959, selv om en studie fra 2007 observerer, at over- eller under-vægtning af autoritetskilder kan optræde i visse vurderingssystemer. Forskerne bag den nye artikel fastslår:

‘Sammen antyder disse litteraturer to signaller, der bør være vigtige, hvis LLM’er behandler tidligere svar som bevis: hvem der producerede svaret (troværdighed) og hvor stærk konsensus ser ud til at være (signalstyrke).

‘På samme tid oplever LLM’er ikke social godkendelse eller flovhed på samme måde som mennesker, så enhver konformitet-lignende adfærd må opstå fra lænte heuristikker, instruktionsfølgen eller implicit modellering af pålidelighed.’

Tendensen til, at LLM’er søger at sycophantisk er en del af baggrunden for den nye studie; efter alt, hvis LLM’er er tilbøjelige til at ‘people-please’, selv på bekostning af sandhed og nyttighed, hvorfor skulle de ikke generelt favorisere andre menneskelige kilder end den direkte spørger?

Den nye artikel har titlen Hvem stoler LLM’er på? Menneskelige eksperter betyder mere end andre LLM’er og kommer fra to forskere ved Indiana University Bloomington.

Metode og data

Til dette arbejde blev fire instruktions-justerede store sprogmodeller evalueret: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; og DeepSeek V3.1, alle kørt under samme prompt-struktur, med deterministisk dekodning ved temperatur nul, så kun kilde-mærket (dvs. venner, domæneeksperter eller andre store sprogmodeller) ændredes mellem betingelser, snarere end formuleringen selv.

Fire datasæt, der krævede binære svar, blev valgt: BoolQ; StrategyQA; og ETHICS. Forskerne kuraterede fra hvert datasæt en fast sat af 300 spørgsmål og svar, hvor hvert prompt kun krævede et binært ja eller nej svar. Hvert prompt blev efterfulgt af en kort note, der angav, hvordan en anden gruppe havde (angiveligt) svaret på samme spørgsmål.

Mål

Mål, der blev brugt, var nøjagtighed; konformitet; skadelig konformitet; skiftesats; og skifte-retning.

Nøjagtighed i dette tilfælde målte, hvor ofte en modells svar matchede datasæt-mærket; konformitet, hvor ofte svaret matchede gruppens erklærede valg; skadelig konformitet isolerede samme effekt, når gruppen var forkert; skiftesats målte, hvor ofte en model opgav sin baseline-svar, når social information blev tilføjet; og skifte-retning, om disse ændringer bevægede sig mod mennesket eller mod den modsatte LLM.

En token-niveau-analyse for Llama-3.3 70B målte derefter, hvordan modellens interne sandsynligheder for Ja og Nej ændrede sig, når en social cue blev tilføjet, og sammenlignede disse ændringer med sin egen no-prior-baseline for at vise styrken af denne tiltrækning.

Test

Eksperiment 1

Det første af de to hovedeksperimenter evaluerede, om modellerne lyttede mere til mennesker eller til andre modeller. Hvert spørgsmål kom med et påstået ‘gruppesvar’ (venner, menneskelige eksperter eller andre store sprogmodeller).

Gruppen kunne være lille eller stor, og hvert spørgsmål optrådte også en gang med ingen gruppe overhovedet. Gruppesvar blev sat til at være korrekte halvdelen af tiden og forkerte halvdelen af tiden, med det overordnede mål at bestemme, hvor stærkt modellen bevægede sig mod gruppens valg:

Resultater fra den første test: homogene sociale priorer over BoolQ, StrategyQA og ETHICS vises for Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite og DeepSeek V3.1. Nøjagtighed vises i de øverste paneler, og konformitet, defineret som sandsynligheden for at matche den enstemmige prior, vises nedenfor, når gruppestørrelsen øges fra en til ni. Den stiplede sorte linje markerer no-prior-baselinjen, mens solide og stiplede linjer angiver, om prioren er enig eller uenig med datasæt-mærket. Ekspert-ramme producerer den stærkeste konformitetseffekt, især ved større gruppestørrelser. Fejlmarginerne viser 95% Wilson-konfidensintervaller. Se venligst kildeartiklen for bedre opløsning.

Over BoolQ, StrategyQA og ETHICS påvirkede svar, der var markeret som kommet fra menneskelige eksperter, modellerne langt mere kraftigt end svar, der var markeret som kommet fra venner eller andre store sprogmodeller – og denne tiltrækning øgedes, når flere eksperter sagde at være enige.

For at måle, når denne indflydelse fik uønskede resultater, blev skadelig konformitet defineret som sandsynligheden for, at en model fulgte en prior, der i virkeligheden var forkert.

Når ni eksperter var enige om det forkerte svar, fulgte modellerne dem 36,5% af tiden på BoolQ, sammenlignet med 16,0%, når det samme svar blev tilskrevet LLM’er; på StrategyQA var forskellen 39,0% mod 15,5%; og på ETHICS var den 63,9% mod 38,7%:

Token-niveau-tro-værdi-ændringer i Llama-3.3 70B på BoolQ. Panel (A) viser ændringer i modellens Ja versus Nej balance mod en enstemmig prior, når gruppestørrelsen øges, i forhold til sin no-prior-baseline, med de største ændringer under ekspert-ramme. Panel (B) viser ændringer under direkte menneske-LLM-uoverensstemmelse, hvor ekspert-ramme driver en stærk bevægelse mod det menneskelige svar, selv når det er forkert. Fejlmarginerne viser 95% bootstrap-konfidensintervaller.

Omvednen var det modsatte, når priorer blev tilskrevet venner, og opførte sig næsten præcis som priorer, der var tilskrevet andre LLM’er, hvilket indikerer, at effekten blev drevet specifikt af ordet ekspert, snarere end af ‘sociale’ indikatorer.

Eksperiment 2

Det andet eksperiment præsenterede to uenige priorer for test-LLM’en – en tilskrevet et menneske og en anden tilskrevet en anden LLM. Mennesket blev beskrevet som enten en gruppe venner eller som domæneeksperter, mens det modsatte svar blev mærket som kommet fra andre LLM’er. De to var altid uenige, med den ene siger Ja og den anden Nej.

For hvert punkt var opsætningen balanceret, så mennesket nogle gange var korrekt, og LLM’en var korrekt, for at teste, om modellen ville ændre sin oprindelige svar, når den stod over for denne konflikt – og hvis det gjorde, hvilken side den ville bevæge sig mod.

For at se, om modellen ændrede sin mening, blev dens svar i konflikt-betingelsen sammenlignet med dens svar på samme spørgsmål, når ingen prior-mening var vist, så enhver forskel kunne tilskrives tilstedeværelsen af de konkurrerende menneskelige og LLM-svar.

Analysen fokuserede på to resultater: om modellen ændrede sit svar; og hvis det gjorde, om ændringen bevægede sig mod mennesket eller mod LLM’en.

Statistiske tests blev brugt til at vurdere, om mærkningen af mennesket som en ekspert snarere end en ven øgede sandsynligheden for at skifte mod det menneskelige svar, samtidig med at der blev taget hensyn til forskelle på tværs af datasæt og modeller:

Tro-værdi-revision under direkte menneske-LLM-uoverensstemmelse over BoolQ, StrategyQA og ETHICS for Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite og DeepSeek V3.1. Hver bjælke viser, blandt tilfælde, hvor modellen ændrede sit oprindelige svar, andelen af disse ændringer, der bevægede sig mod mennesket snarere end den modsatte LLM. Den stiplede linje ved 0,5 markerer ingen præference; mærker viser antallet af skifte-tilfælde i hver betingelse; og fejlmarginerne viser 95% Wilson-konfidensintervaller. Se venligst kildeartiklen for bedre opløsning.

I det andet eksperiment svarede modellerne først på hvert spørgsmål på egen hånd og blev derefter præsenteret for to uenige svar, ét tilskrevet et menneske og ét tilskrevet en anden LLM. Analysen overvejede kun tilfælde, hvor modellen reviderede sit oprindelige svar.

Når mennesket blev mærket som en ekspert, skiftede modellerne mod mennesket 91,2% af tiden på BoolQ, 94,7% på StrategyQA og 81,3% på ETHICS. Når mærket som en ven, skiftede modellerne mod mennesket kun 39,8%, 37,9% og 27,9% af tiden, og valgte normalt at side med LLM’en i stedet.

Skift var sjældent overall, men mere almindeligt med eksperter, og ekspert-mærkning gjorde et skift mod mennesket omkring 14 gange mere sandsynligt end ven-mærkning.

I forsøget på at forklare de samlede tendenser, der blev afsløret i deres tests, formoder forfatterne*:

‘En plausibel mekanisme er, at instruktions-justering og præference-optimering belønner samarbejdende adfærd, herunder hensyntagen til kontekstuel information, som kan generalisere til hensyntagen til sociale rammer.

‘Relateret arbejde om sycophantisk adfærd viser, at RLHF-stil-assistenter nogle gange prioriterer enighed med brugerens erklærede overbevisninger over sandheden.

Mening: De potentielle faldgruber i AI’s tillid til menneskelige kilder

Da online-materiale, der afspejler voksende menneskelig skepsis om AI-mangler (især hallucinationer), bliver skrabet ind i træningsdatasæt for nye modeller, synes det sandsynligt, at den eksisterende tendens hos LLM’er til at favorisere menneskelige kilder vil intensiveres. Hvis vi betragter de sidste to år (2024-2025 inklusive) som et kulturelt vendepunkt for AI, hvilket synes berettiget over en række statistikker, kan vi rimeligt forvente, at et større antal negative synspunkter på ‘AI-kilder’ vil blive indtaget i hyperskala, dyrt-trænede LLM-rammer i løbet af det næste år eller to.

Vi kan også forvente, at populære sprogmodeller i stigende grad vil stole på håndplukkede autoriteter, såsom velrenommerede legacy-medieportaler – selv om motivationen for sådanne aftaler kan være at lindre udgivernes vrede over skrabet data, snarere end en oprigtig ønske om at cede eller dele autoritet.

Da selv højt autoritative kilder som Ars Technica er udsat for AI-drevne fejl, og da en opblomstring retrenchement mod AI-webscraper-robotter truer med at til sidst nedgraderer kvaliteten af AI-udgang, kan en overordnet tendens til at favorisere ‘ekspert’-kilder muligvis komme i konflikt med vores nuværende evne til at kvantificere og mærke ‘menneskeligt’ output effektivt – for slet ikke at nævne at skelne, om en kilde er ‘ekspert’ eller ej (en journalistisk konvention, der også er under angreb fra AI).

Det bedste, vi har i øjeblikket, er en fragmenteret række semi-adopteret innovationer designet til eksplicit at mærke indhold som AI-genereret, såsom Adobe-ledede Content Authenticity Initiative, og den frivillige disposition af visse udgivere til at inkludere advarsler om brugen af AI i deres output.

Så selv om det kan synes opmuntrende for dem, der ønsker at fastholde og gennemtvinge menneskelige kilder som ‘grund-sandhed’-kredibilitet for den opblomstrende konsensus om virkeligheden, der uddeles af AI-systemer, kan det faktum, at LLM’er er mere sikre på menneskelig autoritet, gøre ‘falsk’ menneskelig autoritet farligere.

Problemet er lige så praktisk som teoretisk: vi har ikke løst problemet med at definere eller verificere herkomst; derfor er en AI, der ‘stoler på menneskelige kilder’, sandsynligvis mere tilbøjelig til at tillægge menneskelighed til AI’s egen output, simpelthen fordi vi ikke har leveret, og ikke kan levere, meningsfulde herkomst-verificeringsmekanismer.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet fredag den 20. februar 2026