Når AI-benchmarks lærer modeller at lyve

AI-hallucination — når et system producerer svar, der lyder korrekte, men i virkeligheden er forkerte — forbliver en af de største udfordringer i kunstig intelligens. Selv i dagens mest avancerede modeller, såsom DeepSeek-V3, Llama og OpenAI’s seneste udgivelser, producerer stadig forkert information med høj tillid. I områder som sundhedspleje eller jura kan sådanne fejl føre til alvorlige konsekvenser.

Traditionelt har hallucinationer været set som en biprodukt af, hvordan store sprogmodeller er trænet: de lærer at forudsige det næste mest sandsynlige ord uden at verificere, om informationen er sand. Men ny forskning antyder, at problemet måske ikke stopper ved træning. De benchmarks, der bruges til at teste og sammenligne AI-ydelse, kan faktisk forstærke misvisende adfærd og belønne svar, der lyder overbevisende, snarere end dem, der er korrekte.

Denne skift i perspektiv omdefinerer problemet. Hvis modeller er trænet til at tilpasse sig testen snarere end at sige sandheden, så er hallucinationer ikke tilfældige fejl, men erlerede strategier. For at forstå, hvorfor dette sker, må vi se på, hvorfor AI-modeller vælger at gætte snarere end at indrømme deres uvished?

Hvorfor AI-modeller gætter

For at forstå, hvorfor AI-modeller ofte gætter i stedet for at indrømme, de ikke ved, kan man betragte en student, der står over for et svært eksamensspørgsmål. Studenten har to muligheder: efterlade svaret blankt og få nul point eller gøre et uddannet gæt, der måske kan give nogle point. Rationelt set synes gætning at være det bedste valg, da der er en chance for at være rigtigt.

AI-modeller står over for en lignende situation under evaluering. De fleste benchmarks bruger et binært scoresystem: korrekte svar giver point, mens forkerte eller usikre svar giver ingenting. Hvis en model bliver spurgt: “Hvad er fødselsdagen for en forsker?” og den virkelig ikke ved det, så tæller det at svare “Jeg ved ikke” som fejl. At opfinde en dato bærer dog en chance for at være korrekt — og selv hvis det er forkert, straffer systemet ikke det selvbevidste gæt mere end tavshed.

Denne dynamik forklarer, hvorfor hallucinationer består, på trods af omfattende forskning for at eliminere dem. Modellerne opfører sig ikke forkert; de følger de incitamenter, der er bygget ind i evalueringen. De lærer, at at lyde selvbevidst er den bedste måde at maksimere deres score, selv når svaret er forkert. Som resultat giver modellerne i stedet for at udtrykke usikkerhed autoritative udtalelser — rigtige eller forkerte.

Den matematiske grundlag for AI-utroenhed

Forskningen viser, at hallucinationer opstår fra de matematiske grundlag for, hvordan sprogmodeller lærer. Selv hvis en model blev trænet kun på fuldstændig korrekte information, ville dens statistiske mål stadig føre til fejl. Det skyldes, at at generere det rigtige svar er fundamentalt sværere end at genkende, om et svar er gyldigt.

Dette hjælper med at forklare, hvorfor modeller ofte fejler i forhold til faktiske oplysninger, der mangler klare mønstre, såsom fødselsdage eller andre unikke detaljer. Matematisk analyse antyder, at hallucinationsrater i disse tilfælde vil være mindst lige så høje som den brøkdel af fakta, der kun optræder én gang i træningsdata. Med andre ord, jo sjældnere informationen er i data, jo mere sandsynligt er det, at modellen vil have svært ved det.

Problemets omfang er ikke begrænset til sjældne fakta. Strukturelle begrænsninger som begrænset modelkapacitet eller arkitektonisk design giver også systematiske fejl. For eksempel fejlede tidligere modeller med meget korte kontekstvinduer konsekvent i opgaver, der krævede langdistanceargumentation. Disse fejl var ikke tilfældige fejl, men forudsigelige resultater af modellens matematiske ramme.

Hvorfor post-træning ikke løser problemet

Når en AI-model er trænet på massive tekstdata, går den normalt gennem finjustering for at gøre dens output mere nyttig og mindre skadelig. Men denne proces står over for det samme grundlæggende problem, der forårsager hallucinationer fra starten: måden, vi vurderer modeller på.

De mest almindelige finjusteringsmetoder, såsom reinforcement learning fra menneskelig feedback, afhænger stadig af benchmarks, der bruger binært scoring. Disse benchmarks belønner modeller for at give selvbevidste svar, mens de ikke giver nogen kredit, når en model indrømmer, at den ikke ved det. Som resultat kan et system, der altid svarer med selvbevidsthed, selv om det er forkert, overgå et system, der ærligt udtrykker usikkerhed.

Forskere kalder dette problemet for at straffe usikkerhed. Selv avancerede teknikker til at opdage eller reducere hallucinationer kæmper, når de underliggende benchmarks fortsat favoriserer overbevisning. Med andre ord, uanset hvor sofistikerede løsningerne er, så længe evalueringssystemer belønner selvbevidste gæt, vil modellerne være fordrejede mod forkerte men selvbevidste svar snarere end ærlige indrømmelser af tvivl.

Illusionen om fremskridt

Leaderboards, der er vidt delt i AI-fællesskabet, forstærker dette problem. Benchmarks som MMLU, GPQA og SWE-bench dominerer forskningsartikler og produktannoncer. Virksomheder fremhæver deres score for at vise hurtigt fremskridt. Dog, som rapporten bemærker, er disse benchmarks selv med til at fremme hallucination.

En model, der ærligt siger “Jeg ved ikke”, kan være sikrere i virkelige verdenssamlinger, men vil rangere lavere på leaderboardet. Til gengæld kan en model, der fabrikerer overbevisende men forkerte svar, score bedre. Når antagelse, finansiering og prestige afhænger af leaderboard-rangering, bliver retningen af fremskridt fordrejet. Offentligheden ser en beretning om konstant forbedring, men under overfladen er modellerne blevet trænet til at bedrage.

Hvorfor ærlig usikkerhed er vigtig i AI

Hallucinationer er ikke kun en forskningsudfordring; de har virkelige konsekvenser. I sundhedspleje kan en model, der fabrikerer medicininteraktion, mislede læger. I uddannelse kan en model, der opfinder historiske fakta, misinformere studerende. I journalistik kan en chatbot, der producerer forkerte men overbevisende citater, sprede desinformation. Disse risici er allerede synlige. Stanford AI Index 2025 rapporterede, at benchmarks, der er designet til at måle hallucinationer, har “kæmpet for at få fodfæste”, selv om AI-antagelse accelererer. Imens fortsætter benchmarks, der dominerer leaderboard og belønner selvbevidste men upålidelige svar, med at sætte retningen for fremskridt.

Disse fund fremhæver både en udfordring og en mulighed. Ved at undersøge de matematiske rødder af hallucination, har forskere identificeret klare retninger for at bygge mere pålidelige AI-systemer. Nøglen er at stoppe med at behandle usikkerhed som en fejl og i stedet anerkende det som en essentiel evne, der skal måles og belønnes.

Denne skift i perspektiv har implikationer ud over reduktion af hallucinationer. AI-systemer, der kan nøjagtigt vurdere og kommunikere deres egne videnbegrænsninger, ville være mere egnede til højrisikoområder, hvor overbevisning medfører alvorlige risici. Medicinsk diagnose, juridisk analyse og videnskabelig forskning kræver alle evnen til at skelne mellem selvbevidt viden og informeret spekulation.

Omdefinering af evaluering for ærlig AI

Disse fund fremhæver, at opbygning af mere troværdig AI kræver en omdefinering af, hvordan vi måler AI-kapacitet. I stedet for at afhænge af simplet rigtigt-eller-forkert-scoring skal evalueringssystemer belønne modeller for at udtrykke usikkerhed på en passende måde. Dette indebærer at give tydelige retningslinjer om tillidsniveauer og korresponderende scoreskemaer i benchmark-instruktioner.

En lovende tilgang indebærer at oprette eksplisitte tillidsmål, der specificerer, hvornår modeller skal svare, og hvornår de skal afholde sig. For eksempel kan instruktionerne angive, at svar kun skal gives, når tillid overstiger en bestemt grænseværdi, med scoring tilpasset derefter. I denne opsætning er usikkerhed ikke længere en svaghed, men en værdifuld del af ansvarlig adfærd.

Nøglen er at gøre tillidskrav transparente snarere end implicit. Nuverende benchmarks skaber skjulte straffe for usikkerhed, som modeller lærer at undgå. Eksplisitte tillidsmål ville enable modeller til at optimere for den faktisk ønskede adfærd: korrekte svar, når de er selvbevidste, og ærlige indrømmelser af usikkerhed, når viden mangler.

Det afgørende

AI-hallucinationer er ikke tilfældige fejl — de forstærkes af de benchmarks, der bruges til at måle fremskridt. Ved at belønne selvbevidste gæt over ærlig usikkerhed, skyder nuværende evalueringssystemer modellerne mod bedrag snarere end pålidelighed. Hvis vi ønsker AI, der kan tillides i højrisikoområder som sundhedspleje, jura og videnskab, må vi omdefinere, hvordan vi tester og belønner dem. Fremskridt skal måles ikke kun ved nøjagtighed, men ved evnen til at erkende og indrømme, hvad modellen ikke ved.