AI citeert vaak webpagina’s die het nooit heeft gelezen

Soms verschijnt er in de dagelijkse stroom wetenschappelijke publicaties een artikel waar ik echt woedend van word – niet omdat het onjuist of aanstootgevend is, maar omdat het iets opmerkt en onderzoekt dat me al lange tijd op de achtergrond van mijn bewustzijn op een vage, niet-specifieke manier heeft geërgerd (misschien omdat ik het te druk had om iets anders te doen dan het te negeren).

Zo’n artikel is vandaag verschenen, van drie auteurs van de afdeling Informatica van Imperial College London. Het nieuwe onderzoek, met de titel Opgehaald maar niet gelezen: inzicht in waarom met zoekopdrachten ondersteunde LLM’s er niet in slagen beschikbaar bewijs te benutten, onderzoekt waarom grote taalmodellen (LLM’s) je zo vaak ondersteunende URL’s voor de voeten werpen (irrelevante verwijzingen naar artikelen, links naar dubieuze webartikelen enzovoort) zonder ze zelfs maar te lezen.

De auteurs schrijven:

‘We zien dat modellen vaak antwoorden op basis van zoekfragmenten zonder de bronpagina’s te openen. Dat hangt samen met een groter aandeel verouderde antwoorden en onbetrouwbare verwijzingen. Onze gecontroleerde experimenten en analyse per laag laten zien dat er een kloof bestaat tussen de beschikbaarheid van bewijs en het daadwerkelijke gebruik ervan.

‘Zelfs wanneer opgehaald bewijs de interne voorspellingen beïnvloedt, kunnen modellen in hun uiteindelijke antwoorden nog steeds de voorkeur geven aan verouderde informatie.’

De auteurs testten één propriëtair LLM (OpenAI’s GPT-5.6 Luna) en zes configuraties van modellen met open gewichten aan de hand van honderden feiten die waren veranderd sinds de afsluitdata van de trainingsgegevens van de modellen.

Vervolgens onderzochten ze hoe vaak de systemen zich baseerden op zoekfragmenten in plaats van bronpagina’s te openen; welk effect dit had op de nauwkeurigheid van hun antwoorden en verwijzingen; en waarom verouderde informatie soms de overhand kreeg, zelfs wanneer nieuwer bewijs rechtstreeks werd aangeleverd.

Uit tests bleek dat modellen vaak vragen beantwoordden zonder ook maar een van de pagina’s te openen die door zoekopdrachten op het web waren gevonden, en dat dit gedrag samenhing met aanzienlijk meer verouderde antwoorden en misleidende verwijzingen:

Testresultaten die laten zien hoe vaak AI-modellen naar webbronnen verwijzen zonder ze daadwerkelijk te lezen. In acht configuraties maten de onderzoekers de nauwkeurigheid van antwoorden, de mate waarin modellen op zoekfragmenten vertrouwden zonder bronpagina’s te openen, en het aantal verwijzingen dat in tegenspraak was met de beweringen van de modellen. In sommige gevallen eindigde meer dan de helft van de zoekopdrachten zonder dat er ook maar één pagina werd geopend. Alle cijfers zijn percentages; de eerste rij is gebaseerd op live zoeken op het web, de overige rijen op gestandaardiseerde zoekresultaten. Bron

De onderzoekers ontdekten ook dat het rechtstreeks aanleveren van het juiste bewijs deze tekortkomingen aanzienlijk kon verminderen, al bleven sommige modellen de voorkeur geven aan verouderde informatie, zelfs wanneer de nieuwere feiten hun rechtstreeks werden voorgelegd.

Verborgen motieven?

De twee meest voor de hand liggende redenen waarom LLM’s ons zo vaak ondersteunende documenten voorschotelen die ‘geloofwaardig klinken’, maar niet ter zake doen, zijn: a) het bespaart geld, omdat het tijd en bandbreedte kost om zelfs maar een samenvatting van het oorspronkelijke materiaal te downloaden en te lezen, materiaal dat mogelijk niet eens beschikbaar is; en b) het vermindert de wachttijd, alsof een snel gegeven fout of gedeeltelijk fout antwoord beter is dan een beter antwoord dat een beetje op zich laat wachten.

De auteurs van het nieuwe onderzoek zijn echter meer geïnteresseerd in het blootleggen van de onderliggende mechanismen van dit kwaliteitsprobleem dan in de vraag hoe het aanvankelijk ontworpen of vooraf bedacht kan zijn.

Zoals te verwachten viel, heeft mijn ervaring tot nu toe met het bespreken van de schaalvoordelen van LLM’s met geavanceerde modellen geleid tot wat ik alleen maar kan opvatten als een van tevoren vastgelegde defensieve reactie.

De economische logica achter het op deze manier manipuleren van het verwijsgedrag van LLM’s is voor mij in elk geval begrijpelijk; maar de technologieën zelf zijn nog zo weinig in kaart gebracht, verkeren in zo’n staat van verandering en leiden zo vaak tot onverwachte uitkomsten, dat het op dit moment moeilijk is om zulke motieven aan te tonen.

Methode

Om te testen hoe goed de modellen webbewijs daadwerkelijk gebruiken, stelden de onderzoekers een verzameling samen van 225 feiten die waren veranderd sinds 16 februari 2026 – de meest recente gerapporteerde afsluitdatum van de training van de geteste modellen.

De feiten waren afkomstig uit geneesmiddeleninformatie van de FDA (62 feiten); financiën (52); sport (47); personen (43); SEC-documenten (13); en chemische classificaties (8). Veranderingen die op de afsluitdatum al van kracht waren of vóór 1 februari waren aangekondigd, werden uitgesloten – net als medische beweringen die op basis van algemene kennis konden worden beantwoord. Ook werden ongewijzigde feiten als controlegegevens gebruikt, zodat de onderzoekers tekortkomingen met betrekking tot nieuwe informatie konden onderscheiden van algemenere fouten.

Als uitgangspunt werd GPT-5.6 Luna getest zonder toegang tot zoeken op het web. Het model beantwoordde slechts 23,3% van de 103 vragen over de gewijzigde feiten correct.

Een niet nader genoemd AI-model werd gebruikt om de FDA-labelingsclausules in de eerdergenoemde dataset om te zetten in afzonderlijk toetsbare feitelijke beweringen, die vervolgens elk handmatig werden beoordeeld*.

De geteste configuraties van open-weightmodellen waren GLM-5.3-Flash van Z.ai; gpt-oss-120b en gpt-oss-20b van OpenAI; gemma-4-31b van Google DeepMind, getest met en zonder redeneren; en qwen3-8b van Qwen.

De open-weightmodellen en GPT-5.6 Luna kregen dezelfde zoekresultaten op het web, zodat hun antwoorden eerlijk met elkaar konden worden vergeleken. Luna werd daarnaast afzonderlijk getest met de eigen ingebouwde zoekfunctie op het web.

Voor 223 van de 225 feiten werden vooraf tien zoekresultaten verzameld met Brave Search. Elk model kreeg dezelfde resultaten en kon pagina’s openen of daarin zoeken met identieke hulpmiddelen.

De pagina met het ‘juiste’ antwoord werd altijd beschikbaar gesteld. Stond deze vanzelf tussen de tien beste resultaten, dan bleef de positie ongewijzigd; zo niet, dan werd de pagina ingevoegd op een vooraf bepaalde positie. Zo konden de onderzoekers onder vergelijkbare omstandigheden nagaan hoe de modellen het beschikbare bewijs gebruikten.

Om de tests consistenter te maken, werd de temperatuur op nul ingesteld voor modellen die deze instelling ondersteunden, en werd elk model tijdens alle experimenten via dezelfde aanbieder uitgevoerd.

Vorm van de prompts

Van de twee prompts waarmee de feiten werden getest, stelde de eerste een open vraag, zoals ‘Bij welke club speelt Bernardo Silva?’ – al dan niet met het verzoek om een bron te vermelden. De tweede vroeg het model een bewering te controleren die ofwel actuele, ofwel verouderde informatie bevatte, zodat de onderzoekers konden vergelijken hoe beide versies werden behandeld.

Voor de gecombineerde resultaten werden vier aanvullende typen prompts gebruikt: open vragen met aanwijzingen; verzoeken om citaten; verzoeken om een bronvermelding ter onderbouwing van een aangeleverde bewering; en controles aan de hand van een feitenoverzicht, waarbij het model één verouderde bewering moest aanwijzen tussen verschillende juiste beweringen.

Voorbeelden van de daadwerkelijke prompts waarmee de modellen werden getest, gebaseerd op vragen en beweringen over voetballer Bernardo Silva. De tabel laat zien hoe hetzelfde feitelijke onderwerp werd voorgelegd in verschillende verzoeken om antwoorden, verificatie, citaten en bronvermeldingen. Alle prompts begonnen met de datum 8 augustus 2026, en voor de meeste was een gestandaardiseerd eindantwoord vereist, zoals aangegeven in de letterinstructies onder de tabel.

Elke prompt vermeldde een datum, en voor de meeste was een antwoord in een vast formaat vereist, met de mogelijkheid om te antwoorden met ‘KAN NIET WORDEN GEVERIFIEERD’. Daardoor konden de resultaten worden beoordeeld zonder menselijke beoordeling of beoordeling door een LLM.

De gebruikte meetwaarden waren leesdiepte (of bronpagina’s werden geopend en geciteerd); antwoordnauwkeurigheid (het percentage juiste antwoorden, exclusief onthoudingen); en getrouwheid van bronvermeldingen (of geciteerde pagina’s de beweringen van het model tegenspraken).

Waar mogelijk werd de beoordeling geautomatiseerd. Een niet nader genoemde LLM mocht bronvermeldingen alleen goedkeuren wanneer deze werden onderbouwd met een exacte passage uit de gearchiveerde pagina. Negatieve beoordelingen waarvoor interpretatie nodig was, werden overgelaten aan menselijke beoordelaars. Ongewijzigde controlefeiten werden gebruikt om het basispercentage bronvermeldingsfouten van elk model vast te stellen.

Resultaten

Bij de eerste tests (zoals aan het begin van dit artikel te zien is) verbeterde toegang tot zoeken op het web het vermogen van de modellen om vragen correct te beantwoorden. Bij het controleren van de juistheid van feitelijke beweringen stegen hun scores met 27–42 procentpunten. Bij het rechtstreeks beantwoorden van vragen gaven ze in 85,8–95,4% van de gevallen het juiste antwoord.

Veel antwoorden werden echter gegeven zonder dat de modellen daadwerkelijk de websites bezochten die hun zoekopdrachten hadden opgeleverd. In plaats daarvan vertrouwden ze op de korte tekstfragmenten die naast de zoekresultaten werden weergegeven. Zelfs wanneer ze dezelfde zoekresultaten kregen, varieerde het aandeel zoekopdrachten waarbij geen enkele pagina werd geopend van 2,6% tot 76%, afhankelijk van het model.

In deze context leverde GPT-5.6 Luna een bijzonder minimale inspanning:

‘Bij dezelfde zoekresultaten beantwoorden modellen 2,6–76,0% van de gevallen zonder ook maar één pagina te openen. Met zijn eigen zoekfunctie beantwoordt Luna 53,6% van de gevallen uitsluitend op basis van zoekfragmenten.’

Testresultaten waarin verouderde antwoorden en misleidende citaten worden vergeleken aan de hand van de mate waarin modellen zoekresultaten onderzochten. Fragment betekent dat er geen webpagina is geopend; Geopend betekent dat er wel een pagina is geopend, maar niet geciteerd; Integr. betekent dat een geopende pagina is geciteerd. Alle cijfers zijn percentages, samengevoegd over zeven modelconfiguraties en alle prompttypen. Fouten kwamen over het algemeen vaker voor wanneer modellen uitsluitend op zoekfragmenten vertrouwden.

Over zeven modelconfiguraties heen was 6,4% van de antwoorden die uitsluitend op fragmenten waren gebaseerd verouderd, tegenover 1,3% wanneer geopende pagina’s werden geciteerd. Zoals hierboven te zien is, kwamen misleidende citaten ook vaker voor: 6,4% tegenover 2,3%. Bij sportvragen liep het aandeel verouderde antwoorden van modellen met open gewichten op tot 20,2%, tegenover 2,1%. Wanneer antwoorden verouderd waren, sprak 81,8% van de citaten ter ondersteuning van die beweringen deze tegen, tegenover slechts 0,9% bij actuele antwoorden. In tests met factsheets kwamen vergelijkbare patronen naar voren.

Dit betekent in feite dat de onderzochte AI-modellen vaker verkeerde antwoorden geven wanneer ze vertrouwen op de korte beschrijvingen in zoekresultaten in plaats van de daadwerkelijke webpagina’s te lezen. Erger nog: soms verwijzen ze naar pagina’s die bewijzen dat hun antwoorden onjuist zijn.

Een gedeeld probleem

Tenzij de selectie die voor deze tests is gebruikt bestaat uit ‘gezamenlijke uitschieters’, lijkt het redelijk om aan te nemen dat ook andere modellen, zowel gesloten als opensource, door dit probleem worden getroffen. Van de negen soorten fouten die werden waargenomen bij live zoekopdrachten op het web door GPT-5.6 Luna, hielden er zelfs zeven significant verband met fouten bij tests met andere modellen op basis van dezelfde vaste zoekresultaten. Dat wijst erop dat de problemen niet beperkt waren tot Luna.

Door de juiste Wikipedia-pagina rechtstreeks aan te bieden, nam het aantal verouderde antwoorden af: bij gemma-4-31b daalde het aantal fouten van 14 naar nul, bij gpt-oss-20b van 11 naar één en bij qwen3-8b van 16 naar acht. Door de oorspronkelijke vraag na elke geopende pagina opnieuw te stellen, werden bovendien 26,1% van de eerder mislukte factsheetcontroles gecorrigeerd.

Resultaten die laten zien hoe vaak gemma-4-31b, gpt-oss-20b en qwen3-8b verouderde beweringen accepteerden onder verschillende omstandigheden. Hetzelfde bewijs werd achtergehouden, rechtstreeks in de prompt gegeven of via zoekresultaten beschikbaar gesteld; in afzonderlijke tests werd om ondersteunende bronnen gevraagd. De juiste pagina rechtstreeks aanbieden was aanzienlijk effectiever dan de modellen deze zelf laten vinden. De cijfers tonen het aantal fouten ten opzichte van het totale aantal tests.

Clubregels

Tot slot testten de onderzoekers, om beter te begrijpen waarom AI soms correcte informatie negeert, drie modellen met open gewichten op voetballers die van club waren veranderd: gpt-oss-20b, gemma-4-31b en qwen3-8b.

Elk model kreeg verouderde informatie over de club van een speler, soms samen met de juiste Wikipedia-pagina, waarna werd onderzocht welk antwoord het tijdens de verwerking de voorkeur gaf.

De resultaten lieten zien dat modellen konden herkennen wat de juiste club was, maar toch het verkeerde antwoord konden geven:

Testresultaten die laten zien hoe qwen3-8b de juiste en verouderde voetbalclubs tegen elkaar afwoog bij het formuleren van een antwoord. De grafiek links toont succesvolle antwoorden, waarbij de juiste club voorop bleef; de grafiek rechts toont fouten, waarbij de verouderde club de juiste club in de laatste verwerkingsfasen voorbijstreefde. De gearceerde gebieden geven de variatie tussen tests aan.

Bij qwen3-8b nam de juiste club intern soms aanvankelijk de leiding, waarna de verouderde club deze vlak voordat het antwoord werd gegeven voorbijstreefde (zie hierboven). Bij gpt-oss-20b kwam een vergelijkbaar patroon naar voren, terwijl gemma-4-31b doorgaans gedurende het hele proces de voorkeur gaf aan de ‘verouderde’ club.

Het lijkt er dus op dat zelfs wanneer correct bewijs beschikbaar is en wordt herkend, verouderde informatie in het uiteindelijke antwoord toch de overhand kan krijgen.

Concluderend stellen de auteurs dat modellen de webpagina’s die ze ophalen beter moeten benutten, in plaats van op zoekfragmenten te vertrouwen. Ook hopen ze te achterhalen waarom modellen soms vasthouden aan verouderde informatie terwijl ze het juiste antwoord hebben, en of aanpassingen in hoe modellen informatie verwerken daarbij kunnen helpen. Er wordt echter geen definitieve oplossing aangedragen.

Conclusie

Hoewel het nieuwe artikel waardevolle inzichten biedt, verklaart het niet waarom LLM’s zo lichtzinnig omgaan met citaten en verwijzingen. Als consument en iemand die zelf patronen redelijk goed kan analyseren, krijg ik de indruk dat de LLM’s die ik gebruik artikelen of URL’s aanbevelen omdat die worden aanbevolen door andere… aanbevolen websites…? Waar komt dat gevoel van autoriteit dan eigenlijk vandaan?

Eerlijk gezegd was dit geen probleem dat we konden oplossen, zelfs niet in de wereld van vóór AI. Het is dus misschien niet verrassend als blijkt dat LLM’s noch geld besparen, noch de latentie verminderen, maar alleen dezelfde Chinese geruchten verspreiden die we onszelf wijsmaken als ‘waarheid’ te beschouwen.

* In het artikel staat niet wie deze beoordelingen heeft uitgevoerd.

Voor het eerst gepubliceerd op vrijdag 16 oktober 2026