AI cituje stále stejné články – stejně jako lidé

ChatGPT a další nástroje pro psaní s umělou inteligencí mohou tiše proměňovat vědu v soutěž o popularitu, opakovaně nasměrovávají výzkumníky k těm stejným článkům a přehlížejí nové a originální práce, které by skutečně mohly posunout obor vpřed.

Monokultura, pokud jde o četnost a statistiky, je stav, kdy se stejná omezená sada zdrojů nebo aktiv opakovaně objevuje, utlačujíc nové hlasy a čerstvé pohledy: stejná omezená sada písní v rozvrhu rozhlasových stanic; stejný výběr autorů a knih v regálech na letištích; a stejný omezený výběr ovoce a zeleniny v supermarketech:

Yes, we have these bananas – and only these bananas. Homogeneity of fruit and vegetables in western food chains disregards the hundreds of other species possibilities in each case, because the various generation and transport chains are too expensive to industrialize for diverse types of fruit or vegetables.  Source

To se děje také u citací, které se objevují v novém vědeckém výzkumu, kde výzkumníci – možná lenivě – upřednostňují „spolehlivou“ sadu zdrojů, která získává dynamiku, dokud nezačne dominovat vědeckým liniím.

This is known as the Matthew Effect – a sociological theory which suggests that incumbents will always benefit; the syndrome has been compared to the promise made in Matthew 13:12, which states ‘Whoever has will be given more, and they will have an abundance. Whoever does not have, even what they have will be taken from them’.

V davu

Jedním z velkých očekávání výzkumu podpořeného AI bylo, že nové metody strojového učení by mohly prolomit Matthewův efekt – také známý jako bias popularity – a začít citovat méně známé práce, které by mohly být ostřejší nebo lépe odpovídat argumentu v článku.

Nicméně na základě toho, jak tréninkové rutiny AI interpretují datové sady, nikdy nebyl žádný dobrý důvod pro tento optimismus; a opakovaně se zjistilo, že když AI nepodvádí a nevymýšlí citace zcela sama – chronický problém až dosud – skutečně podporuje Matthewův efekt, stejně jako lidé – byť možná z jiných důvodů.

Během tréninku se model naučí vysoké hodnocení nejčastěji citovaného (nebo „nejčastěji opakovaného“) článku v tréninkové sadě, protože tréninkové rutiny jsou navrženy tak, aby vyvolávaly smysluplné vzorce, a aby odfiltrovaly odlehlé hodnoty jako „šum“ či statistické anomálie.

V tomto režimu by ekvivalent Einsteinovy teorie relativity nikdy nezískal pozornost stroje, který po natrénování má pocit, že již našel své principy a referenční body, a může jen mírně upravit svůj postoj tím, že se obrátí na novější publikace prostřednictvím RAG nebo jiných metod, které rozšiřují dosah modelu mimo jeho natrénovanou matici.

Problém spočívá v tom, že takové nové práce neocení stejným způsobem jako „staré favority“, které již znalo, nebo je vůbec neocení, protože jeho statistické zkreslení je nyní silně zakořeněné.

Takže AI ve skutečnosti nepozoruje a neimituje lidské chování, když podporuje Matthewův efekt – jen počítá, kolikrát výzkumníci lenivě upřednostňují stejné staré články, a podobně je hodnotí vysoko. V tomto ohledu je problém opakování citací spojen s výzvou vybrat skutečně zajímavý vědecký článek z neustále rostoucího sněhové vánice publikací AI výzkumu, protože nejsilnější práce často mají nejslabší signál.

Diagnostika monocultury

Tento problém je řešen v zajímavé nové americké studii nazvané When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Nová práce – spolupráce mezi University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University a University of Notre Dame – usiluje o jednoznačné prokázání existence citátové monokultury v oblasti strojového učení, aby její proměnné mohly být v budoucnu přímo řešeny spolu s samotným problémem.

V testech autoři zjistili, že jedenáct modelů od OpenAI, Google a Anthropic opakovaně upřednostňovalo stejnou malou skupinu článků – i poté, co byly odstraněny zjevné signály popularity.

Pro otestování toho bylo 120 reálných článků zbaveno počtu citací a míst publikace, zatímco jména autorů byla nahrazena a roky publikace náhodně přiděleny. Náhodné sady třiceti článků byly poté předloženy každému modelu, který mohl citovat nejvíce deset.

Osm lidských odborníků v příslušných oborech dostalo stejné zaslepené články, ale neshodlo se na stejných favoritech jako AI, což naznačuje, že zkreslení bylo specifické pro modely AI, nikoli pro samotné články:

From the new paper, test results comparing citation choices by AI models and human experts. Across all eleven models, citations were concentrated on a smaller group of papers, while some papers were repeatedly passed over entirely. Human experts showed neither tendency. Source

Stejné články zůstaly populární i tehdy, když byly modely požádány pouze o výběr odkazů, což ukazuje, že samotné psaní recenze nezpůsobovalo zkreslení.

Experiment byl následně rozšířen na jedenáct kol, přičemž po každém kole bylo přidáno 120 AI‑psaných článků, aby se otestovalo, co se stane, když se tyto sdílené preference uplatňují v rostoucím fondu AI‑generovaného výzkumu.

Jak bylo přidáváno více AI‑psaných článků, modely čím dál více soustředily své citace na ubývající počet původních lidských článků.

‘Jak jazykové modely přecházejí od psaní textu k provozování agentů pro vyhledávání literatury s voláním nástrojů, jsou vytvořené reference snadněji zachytitelné a omezitelné.

‘Závažnější selhání nastává poté, co je každý kandidát reálný: různé modely mohou stále vybírat stejnou úzkou podmnožinu, čímž vzniká citátová monokultura, aniž by jakákoli jednotlivá citace byla špatná.’

Jako náprava problému studie tvrdí, že pouhé míchání modelů od různých dodavatelů nebo rovnoměrné vystavování článků nebude stačit, protože velká část preference je sdílena napříč modely. Spíše by bylo nutné změnit základní preferenci pro konkrétní články – možná vědomým zvýšením viditelnosti opomíjených prací. Autoři však zdůrazňují, že tento přístup zatím nebyl otestován.

Testovací přístupy

Benchmark byl vytvořen ze 120 reálných článků o destilaci znalostí, shromážděných z arXivu a publikovaných mezi lety 2015 a 2022. Každý měl v době sběru mezi 50 a 500 citacemi, což bylo zvoleno tak, aby vyloučilo jak málo známé, tak výjimečně vlivné práce.

Experiment začal náhodným výběrem třiceti článků z dostupné sbírky, přičemž byly skryty jména autorů, roky publikace a počty citací. Každý model vytvořil krátkou recenzi nebo pozicový text, který citoval nejvíce deset článků, a tyto volby byly porovnány s náhodnými výběry ze stejného materiálu:

Schema for the method used for testing citation preferences. Thirty randomly selected papers were shown to a model with identifying information hidden, after which it could cite up to ten. Its choices were compared with random selection, while each round added 120 AI-written papers to the next round’s collection.

V rozšířeném experimentu po každém kole do sbírky vstoupilo 120 nově generovaných článků, čímž se postupně zvyšoval podíl AI‑psaného výzkumu.

V předběžném testování modely měly tendenci citovat většinu předložených článků, typicky vybíraly 22 až 27 z 30. Výzkumníci proto stanovili maximální počet citací na deset pro hlavní experiment, čímž přiměli modely k výběru selektivnějších možností.

Níže vidíme souhrn výsledného experimentálního designu:

Experimental setup used to test citation preferences. The study began with 120 real papers and tested eleven models from three vendors, using randomized sets of 30 papers and a maximum of ten citations. Later rounds added AI-generated papers, expanding the collection to 1,440 papers.

Počáteční experiment použil jedenáct modelů od tří hlavních poskytovatelů: OpenAI byl zastoupen modely GPT-5, GPT-5 mini, GPT-4.1 a GPT-4.1 mini; Google modely Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro a Gemini 3.1 Flash‑Lite; a Anthropic modely Claude Opus 4.8, Claude Sonnet 4.6 a Claude Haiku 4.5.

Ve výsledcích testů uvedených níže vidíme, jak silně každý model soustředil své citace mezi malou skupinu článků; kolik článků úplně ignoroval; a jak konzistentně dělal stejné volby při opakování experimentu:

Test results showing how strongly each model concentrated its citations on particular papers and how many papers it ignored entirely. ‘Top-10% share’ shows how many citations went to the 12 most-favored papers, while ‘HHI’ measures how concentrated citations were overall. ‘Reliability’ shows how consistently each model favored the same papers across tests, and ρ shows how similar those preferences were across models. The ‘Matched null’ row indicates what would be expected if papers were chosen at random.

Co modely ve skutečnosti upřednostňují?

Ukázalo se, že preference jsou převážně řízeny obsahem samotných článků. Například u GPT-5 mini bylo přibližně 90 % variability v tom, které články byly upřednostňovány, přičítáno obsahu, nikoli faktorům jako pořadí v seznamu, šumu generace nebo vymyšleným metadatům připojeným ke každému článku. Stejný „dominantní obsahový“ efekt byl reprodukován u GPT-4.1 mini.

Mapa preferencí (viz níže) se také téměř nezměnila, když byly tituly a abstrakty podstatně přepsány při zachování jejich významu. V průběhu čtyř úspěšných testů parafrázování byly získány korelace v rozmezí 0,95–0,99, a to i přes použití různých modelů od tří dodavatelů pro přepisování.

Změny v mapě preferencí byly pozorovány pouze tehdy, když byl podstatně změněn základní význam:

Test results comparing citation preferences across the eleven models. The numbers show how closely each pair of models favored the same papers, with higher values indicating greater agreement. Despite differences between models and vendors, broadly similar preferences were found across the group

Modely se tedy zdají reagovat především na sémantický obsah, nikoli na konkrétní formulaci. Přesto nebylo možné jednoznačně určit příčinu jejich silné shody.

Je možné, jak autoři uvádějí, že během tréninku byl absorbován společný citátový konsensus. Alternativní možností je, že podobné úsudky o tom, co představuje „citovatelný“ článek, mohou být dosaženy nezávisle.

Takže existence sdílené preference byla prokázána, ale její konečný původ zůstává neznámý.

Autoři naznačují, že široké využití AI ve výzkumu by mohlo zúžit spektrum prací, které získávají pozornost, protože různé modely mají tendenci upřednostňovat mnoho stejných článků; a jak se AI‑generovaná literatura hromadí, mohou být tyto sdílené preference dále posilovány opakovanými citacemi, což činí méně preferovaný výzkum postupně těžší objevit. Diverzita citací a sledování koncentrace citací jsou proto navrhovány jako možné záruky.

Benchmark studie pro rekurzivní koncentraci citací je nyní k dispozici na GitHubu.

Závěr

Názor Jako někdo, kdo týdenně čte neúměrné množství AI výzkumných článků, jsem viděl, jak „vlny citací“ přicházejí a odcházejí. Jedním z trvalých pilířů je Googleův Attention Is All You Need, původní článek o Transformerech, který je nyní pravděpodobně pevně zakódován v šablonách pro podání.

Dalším dlouhodobým opakujícím se případem byl v roce 2014 příspěvek Generative Adversarial Networks, ačkoliv byl nakonec v četnosti nahrazen Denoising Diffusion Probabilistic Models a dalšími studiemi založenými na difúzi.

Ve většině případů tyto „opakující se“ citace nejsou samy o sobě špatné; často jsou však příliš obecné, aby poskytly užitečnou podporu článku, ve kterém jsou citovány; v tomto smyslu představují něco podobného „citátovému mytí“ – zahrnutí „spolehlivých“, ale převážně dekorativních zdrojových citátů, které dodávají povrchní dojem důvěryhodnosti.

Poprvé publikováno v pondělí 24. srpna 2026