AI citeert steeds dezelfde papers – net als mensen

ChatGPT en andere AI‑schrijfhulpmiddelen kunnen stilletjes van wetenschap een populariteitswedstrijd maken, waarbij ze onderzoekers steeds weer naar dezelfde papers sturen en nieuwe, innovatieve werken die het vakgebied daadwerkelijk vooruit zouden kunnen helpen, over het hoofd zien.

Monocultuur, in termen van frequentie en statistieken, is wanneer dezelfde beperkte set bronnen of middelen keer op keer terugkeert, waardoor nieuwe stemmen en frisse perspectieven verdrongen worden: dezelfde beperkte set nummers in radioplanning; dezelfde dezelfde reeks auteurs en boeken in luchthavengereedschap; en dezelfde beperkte selectie van fruit en groenten in supermarkten:

Ja, we hebben deze bananen – en alleen deze bananen. Homogeniteit van fruit en groenten in westerse voedselketens negeert de honderden andere soortmogelijkheden in elk geval, omdat de verschillende generatie‑ en transportketens te duur zijn om te industrialiseren voor diverse soorten fruit of groenten. Bron

Dit gebeurt ook bij de citaten die in nieuw wetenschappelijk onderzoek verschijnen, waarbij onderzoekers, misschien lui, terugvallen op een ‘betrouwbare’ set bronnen die momentum krijgen totdat ze beginnen de onderzoekslijnen te domineren.

Dit staat bekend als het Matthew-effect – een sociologische theorie die suggereert dat incumbenten altijd zullen profiteren; het syndroom is vergeleken met de belofte in Matteüs 13:12, die stelt ‘Wie heeft, zal meer gegeven worden, en hij zal overvloed hebben. Wie niet heeft, zelfs wat hij heeft, zal van hem weggenomen worden’.

De In Crowd

Een van de grote verwachtingen van AI‑verrijkd onderzoek is dat nieuwe machine‑learningmethoden het Matthew‑effect kunnen doorbreken – ook wel bekend als populariteitsbias – en minder bekende werken kunnen citeren die mogelijk scherper of beter passend zijn bij het punt dat in een paper wordt gemaakt.

Echter, op basis van de manier waarop AI‑trainingsroutines datasets interpreteren, was er nooit een goede reden voor dit optimisme; en er is herhaaldelijk vastgesteld dat wanneer AI geen citaten verzint – een chronisch probleem tot nu toe – het inderdaad het Matthew‑effect voortzet, net zoals mensen dat doen – zij het misschien niet om dezelfde reden.

Tijdens het trainen leert een model de meest geciteerde (of ‘meest vaak herhaalde’) paper in een trainingsset hoog te rangschikken, omdat de trainingsroutines zijn ontworpen om betekenisvolle patronen te ontdekken, en om uitbijters af te waarderen als ‘ruis’ of statistische anomalieën.

Onder dit regime zou het equivalent van Einsteins relativiteitstheorie nooit aandacht van de machine krijgen, die, eenmaal getraind, het gevoel heeft zijn principes en referenties al gevonden te hebben, en slechts licht kan bijsturen door nieuwere publicaties te raadplegen via RAG, of via andere middelen die het bereik van het model buiten de getrainde matrix uitbreiden.

Het probleem is dat het dergelijke nieuwe werken niet op dezelfde manier erkent als de ‘oude favorieten’ die het al kende, of helemaal niet, omdat zijn statistische vooroordelen inmiddels sterk ingebed zijn.

Dus AI observeert en imiteert menselijk gedrag niet echt wanneer het het Matthew‑effect voortzet – het telt simpelweg hoe vaak onderzoekers lui terugvallen op dezelfde oude papers, en rangschikt die papers overeenkomstig hoog. In dit opzicht is het probleem van citatenherhaling gerelateerd aan de uitdaging van het kiezen van een werkelijk interessant wetenschappelijk paper uit de voortdurend groeiende lawine van AI‑onderzoekspublicaties, waarbij het sterkste werk vaak het zwakste signaal heeft.

Diagnostiseren van Mono

Dit probleem wordt behandeld in een interessant nieuw artikel uit de VS met de titel When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Het nieuwe werk – een samenwerking tussen de University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University en de University of Notre Dame – streeft ernaar het bestaan van citatenmonocultuur in machine learning onomstotelijk te bewijzen, zodat de variabelen in de toekomst direct aangepakt kunnen worden, samen met het probleem zelf.

In tests ontdekten de auteurs dat elf modellen van OpenAI, Google en Anthropic consequent dezelfde kleine groep papers bevoordeelden – zelfs nadat duidelijke populariteitssignalen waren verwijderd.

Om dit te testen werden 120 echte papers ontdaan van citatietellingen en publicatieplaatsen, terwijl auteursnamen werden vervangen en publicatiejaren willekeurig opnieuw werden toegekend. Willekeurige sets van dertig papers werden vervolgens aan elk model getoond, dat niet meer dan tien kon citeren.

Acht menselijke experts op de relevante vakgebieden kregen dezelfde geblindeerde papers, maar kwamen niet tot dezelfde favorieten als de AI’s, wat aangeeft dat de bias specifiek aan de AI‑modellen lag en niet aan de papers zelf:

Uit het nieuwe artikel, testresultaten die citatiekeuzes van AI‑modellen en menselijke experts vergelijken. Over alle elf modellen waren citaten geconcentreerd op een kleinere groep papers, terwijl sommige papers volledig werden overgeslagen. Menselijke experts vertoonden geen van beide tendensen. Bron

Dezelfde papers bleven populair zelfs wanneer de modellen alleen werden gevraagd referenties te kiezen, wat aantoont dat het schrijven van de review zelf de bias niet veroorzaakte.

Het experiment werd vervolgens uitgebreid over elf rondes, waarbij na elke ronde 120 AI‑geschreven papers werden toegevoegd, om te testen wat er gebeurt wanneer deze gedeelde voorkeuren opereren in een groeiende pool van AI‑gegenereerd onderzoek.

Naarmate er meer AI‑geschreven papers werden toegevoegd, concentreerden de modellen hun citaten steeds meer op een krimpend aantal van de oorspronkelijke menselijke papers.

‘Naarmate taalmodellen evolueren van het opstellen van proza naar het uitvoeren van literatuur‑zoekagents met tool‑aanroepen, worden gefabriceerde referenties gemakkelijker te detecteren en te beperken.

‘De ernstigere fout begint nadat elke kandidaat echt is: verschillende modellen kunnen nog steeds dezelfde smalle subset selecteren, waardoor citatenmonocultuur ontstaat zonder dat een enkele citatie fout is.’

Als remedie voor het probleem betoogt het artikel dat het simpelweg combineren van modellen van verschillende leveranciers of het gelijktijdig blootstellen van papers niet voldoende zal zijn, aangezien een groot deel van de voorkeur gedeeld wordt tussen modellen. In plaats daarvan zou de onderliggende voorkeur voor bepaalde papers moeten veranderen – mogelijk door bewust verwaarloosde papers meer prominentie te geven. De auteurs benadrukken echter dat deze aanpak nog niet getest is.

Testbenaderingen

De benchmark werd opgebouwd uit 120 echte kennisdistillatie‑papers verzameld van arXiv en gepubliceerd tussen 2015 en 2022. Elk had tussen de 50 en 500 citaties op het moment van verzameling, een bereik gekozen om zowel obscure als uitzonderlijk invloedrijke werken uit te sluiten.

Het experiment begon met het willekeurig trekken van dertig papers uit de beschikbare collectie, waarbij auteursnamen, publicatiejaren en citatietellingen verborgen werden. Elk model produceerde een korte review of position paper waarin niet meer dan tien papers werden geciteerd, en deze keuzes werden vergeleken met willekeurige selecties uit hetzelfde materiaal:

Schema voor de methode die werd gebruikt om citatievoorkeuren te testen. Dertig willekeurig geselecteerde papers werden aan een model getoond met verborgen identificerende informatie, waarna het tot tien kon citeren. Zijn keuzes werden vergeleken met een willekeurige selectie, terwijl elke ronde 120 AI‑geschreven papers toevoegde aan de collectie voor de volgende ronde.

In het uitgebreide experiment kwamen na elke ronde 120 nieuw gegenereerde papers de collectie binnen, waardoor geleidelijk het aandeel AI‑geschreven onderzoek toenam.

In voorlopige tests hadden modellen de neiging de meeste getoonde papers te citeren, meestal 22 tot 27 van de 30. De onderzoekers stelden daarom een maximum van tien citaties voor het hoofdexperiment in, om de modellen te dwingen meer selectieve keuzes te maken.

Hieronder zien we een samenvatting van het resulterende experimentele ontwerp:

Experimentele opzet gebruikt om citatievoorkeuren te testen. De studie begon met 120 echte papers en testte elf modellen van drie leveranciers, met willekeurige sets van 30 papers en een maximum van tien citaties. Latere rondes voegden AI‑gegenereerde papers toe, waardoor de collectie groeide tot 1.440 papers.

Het initiële experiment gebruikte elf modellen van de drie grote aanbieders: OpenAI werd vertegenwoordigd door GPT-5, GPT-5 mini, GPT-4.1 en GPT-4.1 mini; Google door Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro en Gemini 3.1 Flash‑Lite; en Anthropic door Claude Opus 4.8, Claude Sonnet 4.6 en Claude Haiku 4.5.

In de onderstaande testresultaten zien we hoe sterk elk model zijn citaten concentreerde op een kleine groep papers; hoeveel papers volledig werden genegeerd; en hoe consistent het dezelfde keuzes maakte wanneer het experiment werd herhaald:

Testresultaten die laten zien hoe sterk elk model zijn citaten concentreerde op bepaalde papers en hoeveel papers volledig werden genegeerd. ‘Top‑10 %‑aandeel’ toont hoeveel citaties naar de 12 meest bevoordeelde papers gingen, terwijl ‘HHI’ meet hoe geconcentreerd de citaties in het algemeen waren. ‘Betrouwbaarheid’ toont hoe consistent elk model dezelfde papers bevoordeelde over tests, en ρ toont hoe vergelijkbaar die voorkeuren tussen modellen waren. De rij ‘Matched null’ geeft aan wat verwacht zou worden als papers willekeurig gekozen werden.

Waar geven de modellen eigenlijk de voorkeur aan?

De voorkeur bleek overweldigend gedreven te worden door de inhoud van de papers zelf. Bijvoorbeeld, voor GPT‑5 mini was ongeveer 90 % van de variatie in welke papers werden bevoordeeld toe te schrijven aan de inhoud, in plaats van factoren zoals lijstvolgorde, generatie‑ruis of de gefabriceerde metadata die aan elke paper waren gekoppeld. Hetzelfde ‘dominante inhoud’-effect werd gereproduceerd met GPT‑4.1 mini.

De voorkeurkaart (zie hieronder) veranderde nauwelijks toen titels en samenvattingen ingrijpend werden herschreven terwijl hun betekenis behouden bleef. Over vier succesvolle parafrase‑tests werden correlaties van 0,95–0,99 behaald, ondanks dat verschillende modellen van drie leveranciers werden gebruikt voor het herschrijven.

Veranderingen in de voorkeurkaart werden alleen waargenomen wanneer de onderliggende betekenis meetbaar werd gewijzigd:

Testresultaten die citatievoorkeuren vergelijken over de elf modellen. De cijfers tonen hoe nauw elk paar modellen dezelfde papers bevoordeelde, waarbij hogere waarden duiden op grotere overeenstemming. Ondanks verschillen tussen modellen en leveranciers werden over de groep heen grotendeels vergelijkbare voorkeuren gevonden.

De modellen lijken dus voornamelijk te reageren op semantische inhoud in plaats van op specifieke bewoordingen. De reden voor hun sterke overeenstemming kon echter niet definitief worden vastgesteld.

Het is mogelijk, stellen de auteurs, dat een gemeenschappelijke citatenconsensus tijdens het trainen is opgenomen. Een alternatieve mogelijkheid is dat soortgelijke oordelen over wat een ‘citeerbare’ paper is, onafhankelijk van elkaar worden bereikt.

Daarom is het bestaan van de gedeelde voorkeur vastgesteld, maar de uiteindelijke oorsprong blijft onbekend.

De auteurs suggereren dat wijdverspreid gebruik van AI in onderzoek het bereik van werk dat aandacht krijgt kan vernauwen, omdat verschillende modellen de neiging hebben veel van dezelfde papers te bevoordelen; en naarmate AI‑gegenereerde literatuur zich ophoopt, kunnen deze gedeelde voorkeuren verder worden versterkt door herhaalde citatie, waardoor minder bevoordeeld onderzoek steeds moeilijker te ontdekken wordt. Citaten‑diversiteit en het monitoren van citatenconcentratie worden daarom voorgesteld als mogelijke waarborgen.

De benchmark van de studie voor recursieve citatenconcentratie is nu beschikbaar op GitHub.

Conclusie

Opinie Als iemand die wekelijks een buitensporig aantal AI‑onderzoekspapers leest, heb ik ‘citatengolven’ komen en gaan zien. Een eeuwige rots in de branding is Google’s Attention Is All You Need, het oorspronkelijke Transformers‑paper, dat inmiddels hard‑gecodeerd moet zijn in indieningssjablonen.

Een andere terugkerende overtredende, gedurende lange tijd, was het aanbod uit 2014 Generative Adversarial Networks, hoewel het uiteindelijk in frequentie werd verdrongen door Denoising Diffusion Probabilistic Models en andere diffusion‑gebaseerde toonaangevende studies.

In vrijwel alle gevallen zijn deze ‘terugkerende’ citaten niet per se fout; maar ze zijn vaak te breed van scope om een nuttige onderbouwing te vormen voor het paper waarin ze worden geciteerd; en in die zin vertegenwoordigen ze iets dat lijkt op ‘citation‑washing’ – de opname van ‘betrouwbare’ maar voornamelijk decoratieve broncitaten, voor een laagdrempelige schijn van geloofwaardigheid.

Eerste publicatie maandag 24 augustus 2026