AI citerar samma artiklar om och om igen – precis som människor

ChatGPT och andra AI‑skrivverktyg kan i det tysta förvandla vetenskap till en populärkonkurrens, genom att upprepade gånger styra forskare mot samma artiklar samtidigt som de förbiser nya och nyskapande verk som faktiskt skulle kunna driva fältet framåt.

Monokultur, i termer av frekvens och statistik, är när samma begränsade uppsättning källor eller resurser återkommer om och om igen, och dränker nya röster och fräscha perspektiv: samma begränsade uppsättning låtar i radioprogrammering; samma samma skara författare och böcker i flygplatsens bokhyllor; och samma begränsade urval av frukt och grönsaker i stormarknader:

Ja, vi har dessa bananer – och bara dessa bananer. Homogeniteten av frukt och grönsaker i västerländska livsmedelskedjor bortser från de hundratals andra artmöjligheter i varje fall, eftersom de olika produktions- och transportkedjorna är för dyra att industrialisera för mångfald av frukt eller grönsaker. Källa

Detta sker också i de citeringar som dyker upp i ny vetenskaplig forskning, där forskare, kanske slentrianmässigt, förlitar sig på en ‘pålitlig’ uppsättning källor som får momentum tills de börjar dominera forskningsgrenar.

Detta är känt som Matthew‑effekten – en sociologisk teori som antyder att de som redan har fördelar alltid kommer att gynnas; syndromet har jämförts med löftet i Matteus 13:12, som uttalar ‘Den som har, skall få mer, och han skall ha överflöd. Den som inte har, även det han har skall tas ifrån honom’.

De i mängden

En av de stora förhoppningarna med AI‑förstärkt forskning har varit att nya maskininlärningsmetoder skulle kunna bryta sig loss från Matthew‑effekten – även känd som popularitetsbias – och börja citera mindre kända verk som kan vara mer träffsäkra eller mer relevanta för poängen som görs i en artikel.

Men baserat på hur AI‑träningsrutiner tolkar dataset, har det aldrig funnits någon god grund för denna optimism; och det har upprepade gånger påvisats att när AI inte uppfinner citeringar rakt av – ett kroniskt problem hittills – så förlänger den faktiskt Matthew‑effekten, precis som människor gör – om än kanske av en annan anledning.

Under träning kommer en modell att lära sig att ranka högt den mest citerade (eller ‘mest återkommande’) artikeln i ett träningsset, eftersom träningsrutinerna är utformade för att framkalla meningsfulla mönster, och för att avfärda avvikelser som ‘brus’ eller statistiska anomalier.

Under detta regime skulle motsvarigheten till Einsteins relativitetsteori aldrig få uppmärksamhet från maskinen, som, när den väl är tränad, anser att den redan har hittat sina principer och referenser, och kan bara lätt justera den ståndpunkten genom att nå ut till nyare publikationer via RAG, eller på andra sätt som utökar modellens räckvidd bortom dess tränade matris.

Problemet är att den inte kommer att ge kredit till sådana nya verk på samma sätt som de ‘gamla favoriterna’ den redan kände till, eller alls, eftersom dess statistiska bias nu är ganska inrotade.

Alltså observerar och imiterar AI inte faktiskt mänskligt beteende när den förlänger Matthew‑effekten – den räknar bara antalet gånger forskare slentrianmässigt förlitar sig på samma gamla artiklar, och rankar dessa högt på samma sätt. I detta avseende är problemet med citeringsupprepning relaterat till utmaningen att välja ett genuint intressant vetenskapligt papper ur den ständigt växande snöstormen av AI‑forskningspublikationer, eftersom det starkaste arbetet ofta har den svagaste signalen.

Diagnostisera monokultur

Denna fråga behandlas i ett intressant nytt papper från USA med titeln When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Det nya arbetet – ett samarbete mellan University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University och University of Notre Dame – syftar till att definitivt bevisa existensen av citeringsmonokultur inom maskininlärning, så att dess variabler eventuellt kan adresseras direkt i framtiden, tillsammans med själva problemet.

I testerna fann författarna att elva modeller från OpenAI, Google och Anthropic upprepade gånger föredrog samma lilla grupp av artiklar – även efter att uppenbara popularitetssignaler hade tagits bort.

För att testa detta togs 120 riktiga artiklar bort från citeringsantal och publikationstillfällen, medan författarnamn ersattes och publiceringsår slumpmässigt tilldelades på nytt. Slumpmässiga uppsättningar av trettio artiklar visades sedan för varje modell, som fick citera högst tio.

Åtta mänskliga experter inom de relevanta fälten fick samma blinda artiklar, men konvergerade inte på samma favoriter som AI‑erna, vilket visar att biasen var specifik för AI‑modellerna snarare än för artiklarna själva:

Från det nya papperet, testresultat som jämför citeringsval av AI‑modeller och mänskliga experter. Bland alla elva modeller koncentrerades citeringar på en mindre grupp artiklar, medan vissa artiklar helt ignorerades upprepade gånger. Mänskliga experter visade ingen sådan tendens. Källa

Samma artiklar förblev populära även när modellerna enbart ombads välja referenser, vilket visar att själva skrivandet av recensionen inte orsakade biasen.

Experimentet utökades sedan över elva rundor, med 120 AI‑skrivna artiklar tillagda efter varje runda, för att testa vad som händer när dessa delade preferenser verkar i en växande pool av AI‑genererad forskning.

När fler AI‑skrivna artiklar lades till, koncentrerade modellerna i allt högre grad sina citeringar på ett krympande antal av de ursprungliga mänskliga artiklarna.

The authors state:

‘När språkmodeller går från att skriva prosa till att köra litteratursökande agenter med verktygsanrop, blir fabricerade referenser lättare att upptäcka och begränsa.

‘Det svårare felet börjar när varje kandidat är verklig: olika modeller kan fortfarande välja samma smala delmängd, vilket producerar citeringsmonokultur utan att någon enskild citering är felaktig.’

För att åtgärda problemet argumenterar papperet att enbart blanda modeller från olika leverantörer eller ge artiklar lika exponering inte räcker, eftersom en stor del av preferensen delas mellan modeller. Istället skulle den underliggande preferensen för specifika artiklar behöva förändras – eventuellt genom att medvetet ge försummade artiklar större framträdande. Författarna betonar dock att detta tillvägagångssätt fortfarande är otestat.

Testmetoder

Benchmarken byggdes på 120 riktiga kunskapsdestillationsartiklar insamlade från arXiv och publicerade mellan 2015 och 2022. Varje artikel hade mellan 50 och 500 citeringar vid insamlingstillfället, ett intervall valt för att utesluta både obskyra och exceptionellt inflytelserika verk.

Experimentet inleddes med att slumpmässigt välja trettio artiklar från den tillgängliga samlingen, med författarnamn, publiceringsår och citeringsantal dolda. Varje modell producerade en kort recension eller positionstext som citerade högst tio artiklar, och dessa val jämfördes med slumpmässiga urval från samma material:

Schema för den metod som användes för att testa citeringspreferenser. Trettio slumpmässigt utvalda artiklar visades för en modell med identifierande information dold, varefter den kunde citera upp till tio. Dess val jämfördes med slumpmässigt urval, medan varje runda lade till 120 AI‑skrivna artiklar till nästa rundas samling.

I det utökade experimentet tillkom 120 nygenererade artiklar till samlingen efter varje runda, vilket gradvis ökade andelen AI‑skriven forskning.

I preliminära tester tenderade modellerna att citera de flesta artiklar de visades, vanligtvis valde de 22 till 27 av de 30. Forskarna satte därför ett maximum på tio citeringar för huvudexperimentet, vilket tvingade modellerna att göra mer selektiva val.

Nedan ser vi en sammanfattning av den resulterande experimentdesignen:

Experimentell uppställning som användes för att testa citeringspreferenser. Studien började med 120 riktiga artiklar och testade elva modeller från tre leverantörer, med slumpmässiga uppsättningar av 30 artiklar och ett maximum på tio citeringar. Senare rundor lade till AI‑genererade artiklar, vilket utökade samlingen till 1 440 artiklar.

Det initiala experimentet använde elva modeller från de tre största leverantörerna: OpenAI representerades av GPT-5, GPT-5 mini, GPT-4.1 och GPT-4.1 mini; Google av Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro och Gemini 3.1 Flash-Lite; och Anthropic av Claude Opus 4.8, Claude Sonnet 4.6 och Claude Haiku 4.5.

I testresultaten som visas nedan ser vi hur mycket varje modell koncentrerade sina citeringar till en liten grupp artiklar; hur många artiklar den helt ignorerade; och hur konsekvent den gjorde samma val när experimentet upprepades:

Testresultat som visar hur starkt varje modell koncentrerade sina citeringar på specifika artiklar och hur många artiklar den helt ignorerade. ‘Top-10 % andel’ visar hur många citeringar som gick till de 12 mest föredragna artiklarna, medan ‘HHI’ mäter hur koncentrerade citeringar var totalt. ‘Tillförlitlighet’ visar hur konsekvent varje modell föredrog samma artiklar över tester, och ρ visar hur lika dessa preferenser var mellan modeller. Raden ‘Matched null’ indikerar vad som skulle förväntas om artiklar valdes slumpmässigt.

Vad föredrar modellerna egentligen?

Preferensen visade sig i övervägande grad drivas av innehållet i själva artiklarna. Till exempel, för GPT-5 mini, kunde omkring 90 % av variationen i vilka artiklar som föredrogs tillskrivas innehållet, snarare än faktorer som listordning, genereringsbrus eller den fabricerade metadata som bifogades varje artikel. Samma ‘dominerande innehåll’-effekt reproducerades med GPT-4.1 mini.

Preferenskartan (se nedan) förändrades också knappt när titlar och abstrakt omskrevs väsentligt medan deras betydelse bevarades. Över fyra lyckade parafraseringstester erhölls korrelationer på 0,95–0,99, trots att olika modeller från tre leverantörer användes för omskrivningen.

Förändringar i preferenskartan observerades endast när den underliggande betydelsen mättligt förändrades:

Testresultat som jämför citeringspreferenser över de elva modellerna. Siffrorna visar hur nära varje par modeller föredrog samma artiklar, med högre värden som indikerar större överensstämmelse. Trots skillnader mellan modeller och leverantörer hittades generellt liknande preferenser över gruppen

Modellerna verkar därför huvudsakligen svara på semantiskt innehåll snarare än specifika formuleringar. Orsaken till deras starka överensstämmelse kunde dock inte avgöras entydigt.

Det är möjligt, hävdar författarna, att ett gemensamt citeringskonsensus kan ha absorberats under träningen. Ett alternativt scenario är att liknande bedömningar av vad som utgör en ‘citerbar’ artikel kan nås oberoende.

Därmed fastställdes existensen av den delade preferensen, men dess slutgiltiga ursprung förblir okänt.

Författarna föreslår att omfattande användning av AI i forskning kan begränsa det spektrum av arbete som får uppmärksamhet, eftersom olika modeller tenderar att föredra många av samma artiklar; och när AI‑genererad litteratur samlas kan dessa delade preferenser förstärkas ytterligare genom upprepade citeringar, vilket gör mindre föredragna forskningsresultat allt svårare att upptäcka. Citeringsdiversitet och övervakning av citeringskoncentration föreslås därför som möjliga skyddsåtgärder.

Studiernas benchmark för rekursiv citeringskoncentration finns nu på GitHub.

Slutsats

Åsikt Som någon som läser ett oproportionerligt stort antal AI‑forskningsartiklar varje vecka, har jag sett ‘citeringsvågor’ komma och gå. En evig pelare är Googles Attention Is All You Need, det ursprungliga Transformers‑pappret, som nu troligen är hårdkodat i inlämningsmallar.

En annan återkommande förövare, under en längre tid, var 2014‑utgåvan Generative Adversarial Networks, även om den så småningom ersattes i frekvens av Denoising Diffusion Probabilistic Models och andra diffusion‑baserade huvudstudier.

I nästan alla fall är dessa ‘återkommande’ citeringar inte fel i sig; men de är ofta för brett omfattande för att vara ett användbart stöd till den artikel de citeras i; och i den bemärkelsen representerar de något liknande ‘citeringsvaskning’ – inkluderingen av ‘pålitliga’ men främst dekorativa källcitat, för att ge ett lågt ansträngningsintryck av trovärdighet.

Först publicerad måndag 24 augusti 2026