Wanneer AI-benchmarks modellen leren te liegen

AI-hallucinatie — wanneer een systeem antwoorden produceert die correct klinken maar eigenlijk verkeerd zijn — blijft een van de grootste uitdagingen in kunstmatige intelligentie. Zelfs de meest geavanceerde modellen van vandaag, zoals DeepSeek-V3, Llama en OpenAI’s laatste releases, produceren nog steeds onnauwkeurige informatie met grote zekerheid. In gebieden zoals gezondheidszorg of recht, kunnen dergelijke fouten leiden tot ernstige gevolgen.

Traditioneel werden hallucinaties gezien als een bijproduct van hoe grote taalmodellen getraind worden: ze leren de volgende meest waarschijnlijke woord te voorspellen zonder te controleren of de informatie waar is. Maar nieuw onderzoek suggereert dat het probleem niet stopt bij de training. De benchmarks die worden gebruikt om de prestaties van AI te testen en te vergelijken, kunnen het misleidende gedrag zelfs versterken, door antwoorden te belonen die overtuigend klinken in plaats van die correct zijn.

Deze verschuiving in perspectief herdefinieert het probleem. Als modellen getraind worden om de test te behagen in plaats van de waarheid te vertellen, dan zijn hallucinaties geen toevallige fouten, maar geleerde strategieën. Om te zien waarom dit gebeurt, moeten we kijken naar waarom AI-modellen kiezen voor gokken in plaats van hun onwetendheid toe te geven?

Waarom AI-modellen gokken

Om te zien waarom AI-modellen vaak gokken in plaats van toe te geven dat ze het niet weten, denk aan een student die een moeilijke examenvraag tegenkomt. De student heeft twee opties: het antwoord leeg laten en nul punten krijgen, of een geïnformeerde gok doen die mogelijk enkele punten oplevert. Rationeel gezien lijkt gokken de betere keuze, omdat er tenminste een kans is dat het goed is.

AI-modellen staan voor een soortgelijke situatie tijdens de evaluatie. De meeste benchmarks gebruiken een binaire scoresysteem: correcte antwoorden verdienen punten, terwijl onjuiste of onzekere reacties niets verdienen. Als een model de vraag krijgt: “Wat is de verjaardag van een onderzoeker?” en het weet het echt niet, dan telt het antwoord “Ik weet het niet” als een mislukking. Een datum verzinnen heeft echter een kans om correct te zijn — en zelfs als het verkeerd is, straft het systeem de zelfverzekerde gok niet meer dan de stilte.

Deze dynamiek verklaart waarom hallucinaties blijven bestaan ondanks uitgebreid onderzoek om ze te elimineren. De modellen gedragen zich niet slecht; ze volgen de prikkels die zijn ingebouwd in de evaluatie. Ze leren dat klinken alsof ze zelfverzekerd zijn de beste manier is om hun score te maximaliseren, zelfs als het antwoord vals is. Als gevolg daarvan geven modellen in plaats van onzekerheid toe, autoritaire verklaringen — goed of fout.

De wiskundige basis van AI-onbetrouwbaarheid

Het onderzoek toont aan dat hallucinaties voortkomen uit de wiskundige basis van hoe taalmodellen leren. Zelfs als een model alleen getraind werd op perfect nauwkeurige informatie, zouden zijn statistische doelstellingen nog steeds leiden tot fouten. Dat komt omdat het produceren van het juiste antwoord fundamenteel moeilijker is dan het herkennen of een antwoord geldig is.

Dit helpt om te verklaren waarom modellen vaak falen bij feiten die geen duidelijke patronen hebben, zoals verjaardagen of andere unieke details. Wiskundige analyse suggereert dat de hallucinatiefrequentie in deze gevallen minstens zo hoog zal zijn als het fractie van feiten die slechts één keer in de trainingsgegevens voorkomen. Met andere woorden, hoe zeldzamer de informatie in de gegevens, hoe groter de kans dat het model ermee worstelt.

Het probleem is niet beperkt tot zeldzame feiten. Structurele beperkingen zoals beperkte modelcapaciteit of architectonisch ontwerp produceren ook systematische fouten. Bijvoorbeeld, eerdere modellen met zeer korte contextvensters faalden consistent bij taken die langeafstandsredenering vereisten. Deze fouten waren geen toevallige storingen, maar voorspelbare resultaten van het wiskundige kader van het model.

Waarom post-training het probleem niet oplost

Zodra een AI-model getraind is op enorme tekstgegevens, gaat het meestal door een fijne afstelling om de uitvoer nuttiger en minder schadelijk te maken. Maar dit proces heeft hetzelfde fundamentele probleem dat hallucinaties in de eerste plaats veroorzaakt; de manier waarop we modellen evalueren.

De meest voorkomende fijne afstellingstechnieken, zoals versterking van het leren van menselijke feedback, zijn nog steeds afhankelijk van benchmarks die binaire scoring gebruiken. Deze benchmarks belonen modellen voor het geven van zelfverzekerde antwoorden, terwijl ze geen krediet geven wanneer een model toegeeft dat het het niet weet. Als gevolg daarvan kan een systeem dat altijd met zekerheid reageert, zelfs als het verkeerd is, beter presteren dan een systeem dat eerlijk zijn twijfel uitdrukt.

Onderzoekers noemen dit het probleem van het bestraffen van onzekerheid. Zelfs geavanceerde technieken voor het detecteren of reduceren van hallucinaties worstelen wanneer de onderliggende benchmarks blijven favoriseren overmoed. Met andere woorden, ongeacht hoe geavanceerd de oplossingen zijn, zolang evaluatiesystemen zelfverzekerde gokken belonen, zullen modellen gebiaseerd zijn naar verkeerde maar zekere antwoorden in plaats van eerlijke toegevingen van twijfel.

De illusie van vooruitgang

Leaderboards, die breed worden gedeeld in de AI-gemeenschap, versterken dit probleem. Benchmarks zoals MMLU, GPQA en SWE-bench domineren onderzoeksartikelen en productaankondigingen. Bedrijven benadrukken hun scores om snelle vooruitgang te laten zien. Toch, zoals het rapport opmerkt, moedigen deze benchmarks hallucinaties aan.

Een model dat eerlijk zegt “Ik weet het niet” kan veiliger zijn in real-world situaties, maar zal lager scoren op de leaderboard. In tegenstelling, een model dat overtuigende maar valse antwoorden fabriceert, zal beter scoren. Wanneer adoptie, financiering en prestige afhankelijk zijn van leaderboard-rankings, wordt de richting van de vooruitgang vertekend. Het publiek ziet een verhaal van constante verbetering, maar onder de oppervlakte worden modellen getraind om te bedriegen.

Waarom eerlijke onzekerheid belangrijk is in AI

Hallucinaties zijn niet alleen een onderzoeksuitdaging; ze hebben reële gevolgen. In de gezondheidszorg kan een model dat medicijninteracties fabriceert artsen misleiden. In het onderwijs kan een model dat historische feiten uitvindt studenten misinformeren. In de journalistiek kan een chatbot die valse maar overtuigende citaten produceert desinformatie verspreiden. Deze risico’s zijn al zichtbaar. De Stanford AI Index 2025 rapporteerde dat benchmarks die zijn ontworpen om hallucinaties te meten “moeite hebben om grip te krijgen”, zelfs terwijl de adoptie van AI versnelt. Ondertussen blijven de benchmarks die leaderboards domineren en die zelfverzekerde maar onbetrouwbare antwoorden belonen de richting van de vooruitgang bepalen.

Deze bevindingen benadrukken zowel een uitdaging als een kans. Door de wiskundige wortels van hallucinaties te onderzoeken, hebben onderzoekers duidelijke richtingen geïdentificeerd voor het bouwen van betrouwbaardere AI-systemen. De sleutel is om te stoppen met het behandelen van onzekerheid als een fout en in plaats daarvan te erkennen dat het een essentiële capaciteit is die moet worden gemeten en beloond.

Deze verschuiving in perspectief heeft implicaties die verder gaan dan het reduceren van hallucinaties. AI-systemen die hun eigen kennisbeperkingen kunnen inschatten en communiceren, zouden beter geschikt zijn voor high-stakes-toepassingen waar overmoed serieuze risico’s met zich meebrengt. Medische diagnose, juridische analyse en wetenschappelijk onderzoek vereisen allemaal de mogelijkheid om het verschil te maken tussen zelfverzekerde kennis en geïnformeerde speculatie.

Opnieuw evalueren voor eerlijke AI

Deze bevindingen benadrukken dat het bouwen van meer betrouwbare AI vereist dat we opnieuw kijken naar hoe we AI-capaciteit meten. In plaats van te vertrouwen op eenvoudige goed-of-fout-scoring, moeten evaluatiekaders modellen belonen voor het uitdrukken van onzekerheid op een passende manier. Dit betekent het verstrekken van duidelijke richtlijnen over vertrouwensdrempels en overeenkomstige scoreschema’s in de benchmarkinstructies.

Een veelbelovende aanpak is het creëren van expliciete vertrouwensdoelen die specificeren wanneer modellen moeten antwoorden en wanneer ze moeten afzien. Bijvoorbeeld, instructies kunnen vermelden dat antwoorden alleen moeten worden gegeven wanneer het vertrouwen een specifieke drempel overschrijdt, met scores die dienovereenkomstig zijn aangepast. In deze setup is onzekerheid geen zwakte, maar een waardevol onderdeel van verantwoord gedrag.

De sleutel is om vertrouwensvereisten transparant te maken in plaats van impliciet. Huidige benchmarks creëren verborgen straffen voor onzekerheid die modellen leren te vermijden. Expliciete vertrouwensdoelen zouden modellen in staat stellen om te optimaliseren voor het werkelijk gewenste gedrag: nauwkeurige antwoorden wanneer ze zelfverzekerd zijn, en eerlijke toegevingen van onzekerheid wanneer kennis ontbreekt.

De bodemlijn

AI-hallucinaties zijn geen toevallige fouten — ze worden versterkt door de benchmarks die worden gebruikt om de vooruitgang te meten. Door zelfverzekerde gokken te belonen in plaats van eerlijke onzekerheid, duwen de huidige evaluatiesystemen modellen naar bedrog in plaats van betrouwbaarheid. Als we AI willen die kan worden vertrouwd in high-stakes-domeinen zoals gezondheidszorg, recht en wetenschap, moeten we opnieuw kijken naar hoe we ze testen en belonen. Vooruitgang moet worden gemeten niet alleen door nauwkeurigheid, maar door de mogelijkheid om te erkennen en toe te geven wat het model niet weet.