AI siterer de samme artiklene gang på gang – akkurat som mennesker

ChatGPT og andre AI‑skrivverktøy kan stille og rolig gjøre vitenskapen til en popularitetskonkurranse, ved gjentatte ganger å lede forskere mot de samme artiklene mens de overser nye og nyskapende arbeider som faktisk kunne fremme feltet.

Monokultur, i frekvens‑ og statistikk­termer er der det samme begrensede settet av kilder eller ressurser gjentar seg gang på gang, og drukner ut nye stemmer og friske perspektiver: den samme begrensede samlingen av sanger i radiosendinger; den samme mengden av forfattere og bøker i flyplasstaller; og det samme begrensede utvalget av frukt og grønnsaker i supermarkeder:

Ja, vi har disse bananene – og kun disse bananene. Homogeniteten av frukt og grønnsaker i vestlige matkjeder ignorerer de hundrevis av andre artsmuligheter i hvert tilfelle, fordi de ulike produksjons‑ og transportkjedene er for kostbare å industrialisere for mangfoldige typer frukt eller grønnsaker.  Source

Dette skjer også i sitatene som dukker opp i ny vitenskapelig forskning, hvor forskere, kanskje sløvt, default til et ‘pålitelig’ sett av kilder som får momentum til de begynner å dominere forskningsgrener.

Dette er kjent som Matthew‑effekten – en sosiologisk teori som antyder at de som allerede er i en posisjon vil alltid ha fordel; syndromet har blitt sammenlignet med løftet i Matteus 13:12, som uttaler ‘Den som har, skal få mer, og han skal ha overflod. Den som ikke har, selv det han har, skal tas fra ham’.

De innflytelsesrike

En av de store håpene for AI‑forsterket forskning har vært at nye maskinlæringsmetoder kunne bryte ut av Matthew‑effekten – også kjent som popularitetsbias – og begynne å sitere mindre kjente arbeider som kan være mer treffende, eller mer relevante for poenget som fremsettes i en artikkel.

Imidlertid, basert på hvordan AI‑treningsrutiner tolker datasett, var det aldri noe godt grunnlag for denne optimismen; og det har gjentatte ganger blitt funnet at når AI ikke oppfinner sitater direkte – et kronisk problem til dags dato – så forsterker den faktisk Matthew‑effekten, akkurat som mennesker gjør – selv om kanskje ikke av samme grunn.

Under trening vil en modell lære å rangere høyt den mest siterte (eller ‘mest ofte gjentatte’) artikkelen i et treningssett, fordi treningsrutinene er designet for å avdekke meningsfulle mønstre, og å diskontere avvik som ‘støy’ eller statistiske anomalier.

Under dette regimet vil det tilsvarende av Einsteins relativitetsteori aldri få oppmerksomhet fra maskinen, som, når den er trent, føler at den allerede har funnet sine prinsipper og referanser, og kun kan justere dette svakt ved å nå nyere publikasjoner gjennom RAG, eller på andre måter som utvider modellens rekkevidde utover den trente matrisen.

Problemet er at den ikke vil kreditere slike nye arbeider på samme måte som de ‘gamle favorittene’ den allerede kjenner, eller i det hele tatt, fordi dens statistiske skjevheter nå er godt inngrodd.

Dermed observerer og imiterer ikke AI faktisk menneskelig atferd når den forsterker Matthew‑effekten – den teller bare hvor mange ganger forskere sløvt default til de samme gamle artiklene, og rangerer dem tilsvarende høyt. I denne sammenheng er problemet med gjentatte sitater relatert til utfordringen med å plukke ut en virkelig interessant vitenskapelig artikkel fra den stadig voksende snøstormen av AI‑forskningspublikasjoner, ettersom det sterkeste arbeidet ofte vil ha det svakeste signalet.

Diagnostisering av monokultur

Dette problemet tas opp i et interessant nytt papir fra USA med tittelen When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Det nye arbeidet – et samarbeid mellom University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University og University of Notre Dame – har som mål å entydig bevise eksistensen av siteringsmonokultur i maskinlæring, slik at variablene kan potensielt adresseres direkte i fremtiden, sammen med selve problemet.

I tester fant forfatterne at elleve modeller fra OpenAI, Google og Anthropic gjentatte ganger foretrakk den samme lille gruppen av artikler – selv etter at åpenbare popularitetssignaler var fjernet.

For å teste dette ble 120 ekte artikler fridd for siteringstall og publiseringssteder, mens forfatternavn ble erstattet, og publiseringsår tilfeldig omfordelt. Tilfeldige sett med tretti artikler ble deretter vist til hver modell, som fikk lov til å sitere maksimalt ti.

Åtte menneskelige eksperter innen de relevante feltene fikk de samme blinde artiklene, men konvergerte ikke på de samme favorittene som AI‑ene, noe som indikerer at skjevheten var spesifikk for AI‑modellene snarere enn artiklene selv:

Fra det nye papiret, testresultater som sammenligner siteringsvalg av AI‑modeller og menneskelige eksperter. På tvers av alle elleve modeller var siteringene konsentrert om en mindre gruppe artikler, mens noen artikler ble gjentatte ganger helt oversett. Menneskelige eksperter viste ingen slik tendens. Source

De samme artiklene forble populære selv når modellene kun ble bedt om å velge referanser, noe som viser at selve skrivingen av anmeldelsen ikke forårsaket skjevheten.

Eksperimentet ble deretter utvidet over elleve runder, med 120 AI‑skrevne artikler lagt til etter hver runde, for å teste hva som skjer når disse delte preferansene opererer i en voksende pool av AI‑generert forskning.

Etter hvert som flere AI‑skrevne artikler ble lagt til, konsentrerte modellene i økende grad sine siteringer på et stadig mindre antall av de opprinnelige menneskelige artiklene.

Forfatterne uttalte:

‘Etter hvert som språkmodeller går fra å skrive prosa til å kjøre litteratursøk‑agenter med verktøy‑kall, blir fabrikerte referanser lettere å oppdage og begrense. ‘

‘Den vanskeligere feilen starter etter at hver kandidat er reell: ulike modeller kan fortsatt velge den samme smale delmengden, og skape siteringsmonokultur uten at noen enkelt sitering er feil.’

Som en løsning på problemet argumenterer papiret for at det ikke er tilstrekkelig å bare blande modeller fra ulike leverandører eller gi artikler lik eksponering, siden mye av preferansen deles på tvers av modeller. I stedet må den underliggende preferansen for bestemte artikler endres – muligens ved bevisst å gi oversette artikler større fremtredelse. Forfatterne påpeker imidlertid at denne tilnærmingen fortsatt er uprøvd.

Testmetoder

Benchmark‑settet ble bygget fra 120 ekte kunnskapsdestillasjonsartikler samlet fra arXiv og publisert mellom 2015 og 2022. Hver av dem hadde mellom 50 og 500 siteringer på tidspunktet for innsamlingen, et intervall valgt for å ekskludere både obskure og eksepsjonelt innflytelsesrike arbeider.

Eksperimentet startet med å trekke tretti artikler tilfeldig fra den tilgjengelige samlingen, med forfatternavn, publiseringsår og siteringstall skjult. Hver modell produserte en kort anmeldelse eller posisjonstekst som siterte maksimalt ti artikler, og disse valgene ble sammenlignet med tilfeldige utvalg fra det samme materialet:

Skjema for metoden brukt til å teste siteringspreferanser. Tretti tilfeldig valgte artikler ble vist til en modell med identifiserende informasjon skjult, hvoretter den kunne sitere opptil ti. Valgene ble sammenlignet med tilfeldig utvalg, mens hver runde la til 120 AI‑skrevne artikler i neste runde sin samling.

I det utvidede eksperimentet ble 120 nygenererte artikler lagt til samlingen etter hver runde, noe som gradvis økte andelen AI‑skrevet forskning.

I foreløpige tester hadde modellene en tendens til å sitere de fleste artiklene de ble vist, vanligvis 22 til 27 av de 30. Forskerne satte derfor en maksimumsgrense på ti siteringer for hovedeksperimentet, for å tvinge modellene til å gjøre mer selektive valg.

Nedenfor ser vi et sammendrag av det resulterende eksperimentelle oppsettet:

Eksperimentelt oppsett brukt for å teste siteringspreferanser. Studien startet med 120 ekte artikler og testet elleve modeller fra tre leverandører, ved å bruke tilfeldige sett med 30 artikler og en maksimum på ti siteringer. Senere runder la til AI‑genererte artikler, og utvidet samlingen til 1 440 artikler.

Det innledende eksperimentet brukte elleve modeller fra de tre store leverandørene: OpenAI ble representert av GPT-5, GPT-5 mini, GPT-4.1 og GPT-4.1 mini; Google av Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro og Gemini 3.1 Flash-Lite; og Anthropic av Claude Opus 4.8, Claude Sonnet 4.6 og Claude Haiku 4.5.

I testresultatene som vises nedenfor ser vi hvor mye hver modell konsentrerte sine siteringer blant en liten gruppe artikler; hvor mange artikler den helt ignorerte; og hvor konsistent den gjorde de samme valgene når eksperimentet ble gjentatt:

Testresultater som viser hvor sterkt hver modell konsentrerte sine siteringer på bestemte artikler og hvor mange artikler den helt ignorerte. ‘Top‑10 % andel’ viser hvor mange siteringer som gikk til de 12 mest foretrukne artiklene, mens ‘HHI’ måler hvor konsentrerte siteringene var totalt. ‘Reliabilitet’ viser hvor konsistent hver modell foretrakk de samme artiklene på tvers av tester, og ρ viser hvor like disse preferansene var på tvers av modeller. ‘Matched null’-raden indikerer hva som ville blitt forventet dersom artikler ble valgt tilfeldig.

Hva favoriserer modellene egentlig?

Preferansen ble funnet å være overveiende drevet av innholdet i selve artiklene. For eksempel, for GPT-5 mini, kunne omtrent 90 % av variasjonen i hvilke artikler som ble foretrukket tilskrives innholdet, snarere enn faktorer som rekkefølge i listen, generasjonsstøy eller den fabrikerte metadataen knyttet til hver artikkel. Den samme ‘dominerende innhold’-effekten ble gjenskapt med GPT-4.1 mini.

Preferansekartet (se nedenfor) endret seg også knapt når titler og sammendrag ble betydelig omskrevet mens meningen ble bevart. På tvers av fire vellykkede parafraserings‑tester ble korrelasjoner på 0,95–0,99 oppnådd, til tross for at ulike modeller fra tre leverandører ble brukt til omskrivningene.

Endringer i preferansekartet ble kun observert når den underliggende meningen ble målbare endret:

Testresultater som sammenligner siteringspreferanser på tvers av de elleve modellene. Tallene viser hvor nært hvert modellpar foretrakk de samme artiklene, med høyere verdier som indikerer større enighet. Til tross for forskjeller mellom modeller og leverandører, ble bredt lignende preferanser funnet på tvers av gruppen

Modellene ser derfor ut til å reagere hovedsakelig på semantisk innhold snarere enn spesifikke formuleringer. Imidlertid kunne årsaken til deres sterke enighet ikke fastslås entydig.

Det er mulig, hevder forfatterne, at en felles siteringskonsensus kan ha blitt absorbert under treningen. En alternativ mulighet er at lignende vurderinger av hva som utgjør en ‘siterbar’ artikkel kan nås uavhengig.

Dermed ble eksistensen av den delte preferansen etablert, men dens ultimate opprinnelse forblir ukjent.

Forfatterne antyder at utbredt bruk av AI i forskning kan innsnevre spekteret av arbeid som får oppmerksomhet, fordi ulike modeller har en tendens til å foretrekke mange av de samme artiklene; og etter hvert som AI‑generert litteratur akkumuleres, kan disse delte preferansene bli ytterligere forsterket gjennom gjentatte siteringer, noe som gjør mindre foretrukket forskning stadig vanskeligere å oppdage. Siteringsmangfold og overvåking av siteringskonsentrasjon foreslås derfor som mulige sikkerhetstiltak.

Studiets benchmark for rekursiv siteringskonsentrasjon er nå tilgjengelig på GitHub.

Konklusjon

Opinion Som en som leser et uforholdsmessig stort antall AI‑forskningsartikler hver uke, har jeg sett ‘siteringsbølger’ komme og gå. En evigvarende støttespiller er Googles Attention Is All You Need, den originale Transformers‑artikkelen, som nå sannsynligvis er hardkodet inn i innsendingmaler.

Et annet gjentakende forekommende verk, i lang tid, var 2014‑utgaven Generative Adversarial Networks, selv om den etter hvert ble erstattet i frekvens av Denoising Diffusion Probabilistic Models og andre diffusionsbaserte hovedstudier.

I nesten alle tilfeller er disse ‘gjentakende’ siteringene ikke feil i seg selv; men de er ofte for vidtgående til å være en nyttig støtte for artikkelen de siteres i; og i den forstand representerer de noe likt ‘siteringsvask’ – inkluderingen av ‘pålitelige’ men primært dekorative kilde­sitater, for å gi en lav‑innsats‑følelse av troverdighet.

Først publisert mandag 24. august 2026