KI zitiert dieselben Arbeiten immer wieder – genau wie Menschen

ChatGPT und andere KI‑Schreibwerkzeuge könnten stillschweigend die Wissenschaft in einen Popularitätswettbewerb verwandeln, indem sie Forschende immer wieder zu denselben Arbeiten lenken und dabei neue, innovative Beiträge übersehen, die das Fachgebiet tatsächlich voranbringen könnten.

Monokultur, in Bezug auf Häufigkeit und Statistik, bedeutet, dass dieselbe begrenzte Menge an Quellen oder Ressourcen immer wieder auftaucht und neuartige Stimmen sowie frische Perspektiven erstickt: dieselbe begrenzte Auswahl an Songs in der Radioplanung; dieselbe Menge von Autor*innen und Büchern in Flughafenregalen; und dieselbe eingeschränkte Auswahl an Obst und Gemüse in Supermärkten:

Ja, wir haben diese Bananen – und nur diese Bananen. Die Homogenität von Obst und Gemüse in westlichen Lebensmittelketten ignoriert die Hunderte anderer Artenmöglichkeiten, weil die verschiedenen Anbau‑ und Transportketten zu teuer sind, um für diverse Obst‑ oder Gemüsesorten industrialisiert zu werden. Source

Dies geschieht auch bei den Zitaten, die in neuer wissenschaftlicher Forschung auftauchen, wobei Forschende – vielleicht aus Bequemlichkeit – zu einem „zuverlässigen“ Quellen‑Set greifen, das an Schwung gewinnt, bis es beginnt, Forschungsstränge zu dominieren.

Dies ist als der Matthew‑Effekt bekannt – eine soziologische Theorie, die besagt, dass bestehende Akteure immer profitieren; das Syndrom wurde mit dem Versprechen aus Matthäus 13:12 verglichen, das stellt fest „Wer hat, dem wird mehr gegeben, und er wird im Überfluss haben. Wer nicht hat, dem wird selbst das, was er hat, genommen werden.“.

Die Insider

Eine der großen Hoffnungen der KI‑unterstützten Forschung war, dass neue Methoden des maschinellen Lernens den Matthew‑Effekt – auch bekannt als Popularitätsbias – und beginnen könnten, weniger bekannte Arbeiten zu zitieren, die möglicherweise präziser oder passender für den im Artikel gemachten Punkt sind.

Allerdings zeigte sich, basierend darauf, wie KI‑Trainingsroutinen Datensätze interpretieren, dass es nie einen triftigen Grund für diesen Optimismus gab; und es wurde wiederholt festgestellt, dass wenn KI nicht ausdrücklich Zitate erfindet – ein bislang chronisches Problem – sie tatsächlich den Matthew‑Effekt verstärkt, ebenso wie Menschen – wenn auch möglicherweise aus anderen Gründen.

Während des Trainings lernt ein Modell, die am häufigsten zitierten (oder „am häufigsten wiederholten“) Arbeiten in einem Trainingssatz hoch zu bewerten, weil die Trainingsroutinen darauf ausgelegt sind, sinnvolle Muster zu erfassen und Ausreißer abwerten als „Rauschen“, oder statistische Anomalien.

Unter diesem Regime würde das Äquivalent zur Relativitätstheorie von Einstein nie die Aufmerksamkeit der Maschine erhalten, die, sobald sie trainiert ist, das Gefühl hat, bereits ihre Prinzipien und Referenzen gefunden zu haben und diesen Standpunkt nur leicht anpassen kann, indem sie über RAG oder andere Mittel, die die Reichweite des Modells über seine Trainingsmatrix hinaus erweitern, auf neuere Publikationen zugreift.

Das Problem ist, dass es solche neuen Arbeiten nicht auf dieselbe Weise wie die „alten Favoriten“, die es bereits kannte, anerkennt – oder überhaupt nicht – weil seine statistischen Verzerrungen inzwischen stark verankert sind.

Daher beobachtet und imitiert KI das menschliche Verhalten nicht wirklich, wenn sie den Matthew‑Effekt perpetuiert – sie zählt lediglich, wie oft Forschende aus Bequemlichkeit zu denselben alten Arbeiten greifen und diese ähnlich hoch bewerten. In dieser Hinsicht steht das Problem der Zitierrepetition in Zusammenhang mit der Herausforderung, ein wirklich interessantes Wissenschaftspapier aus dem stets wachsenden Schneesturm der KI‑Forschungs­publikationen auszuwählen, wobei die stärksten Arbeiten oft das schwächste Signal aufweisen.

Diagnose von Monokultur

Dieses Problem wird in einem interessanten neuen Papier aus den USA mit dem Titel When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models behandelt. Die neue Arbeit – eine Zusammenarbeit zwischen der University of Texas at Austin, dem Stevens Institute of Technology, der Washington University at St Louis, der Rice University und der University of Notre Dame – zielt darauf ab, die Existenz einer Zitier‑Monokultur im maschinellen Lernen eindeutig nachzuweisen, damit ihre Variablen künftig direkt angegangen werden können, zusammen mit dem Problem selbst.

In Tests stellten die Autoren fest, dass elf Modelle von OpenAI, Google und Anthropic wiederholt dieselbe kleine Gruppe von Arbeiten bevorzugten – selbst nachdem offensichtliche Popularitätssignale entfernt worden waren.

Um dies zu testen, wurden 120 reale Arbeiten von Zitierzahlen und Publikationsorten befreit, während Autorennamen ersetzt und Publikationsjahre zufällig neu zugeordnet wurden. Zufällige Sätze von dreißig Arbeiten wurden dann jedem Modell gezeigt, das höchstens zehn zitieren durfte.

Acht menschliche Expert*innen in den relevanten Fachgebieten erhielten dieselben verblindeten Arbeiten, kamen jedoch nicht zu denselben Favoriten wie die KIs, was darauf hindeutet, dass die Verzerrung speziell den KI‑Modellen und nicht den Arbeiten selbst zugrunde lag:

Aus dem neuen Papier, Testergebnisse, die die Zitierentscheidungen von KI‑Modellen und menschlichen Expert*innen vergleichen. Bei allen elf Modellen konzentrierten sich die Zitate auf eine kleinere Gruppe von Arbeiten, während einige Arbeiten vollständig übergangen wurden. Menschliche Expert*innen zeigten keine derartigen Tendenzen. Source – https://arxiv.org/pdf/2608.19230 Source

Die gleichen Arbeiten blieben populär, selbst wenn die Modelle nur aufgefordert wurden, Referenzen auszuwählen, was zeigt, dass das Verfassen der Rezension selbst die Verzerrung nicht verursachte.

Das Experiment wurde anschließend über elf Runden erweitert, wobei nach jeder Runde 120 KI‑geschriebene Arbeiten hinzugefügt wurden, um zu testen, was geschieht, wenn diese gemeinsamen Präferenzen in einem wachsenden Pool KI‑generierter Forschung wirken.

Als mehr KI‑geschriebene Arbeiten hinzugefügt wurden, konzentrierten die Modelle ihre Zitate zunehmend auf eine schrumpfende Anzahl der ursprünglichen menschlichen Arbeiten.

The authors state:

‘Wenn Sprachmodelle vom Verfassen von Prosa zu Literatur‑Such‑Agenten mit Werkzeugaufrufen übergehen, werden erfundene Referenzen leichter zu erfassen und zu begrenzen.

‘Das gravierendere Versagen beginnt, nachdem jeder Kandidat real ist: verschiedene Modelle können dennoch dieselbe enge Untermenge auswählen, wodurch eine Zitier‑Monokultur entsteht, ohne dass ein einzelnes Zitat falsch ist.’

Zur Behebung des Problems argumentiert das Papier, dass das bloße Mischen von Modellen verschiedener Anbieter oder das gleichmäßige Aussetzen von Arbeiten nicht ausreichen wird, da ein Großteil der Präferenz modellübergreifend geteilt wird. Stattdessen müsste die zugrundeliegende Präferenz für bestimmte Arbeiten geändert werden – möglicherweise durch gezielte stärkere Sichtbarmachung vernachlässigter Arbeiten. Die Autoren betonen jedoch, dass dieser Ansatz noch nicht getestet wurde.

Testansätze

Der Benchmark wurde aus 120 echten Knowledge‑Distillation‑Papieren erstellt, die von arXiv gesammelt und zwischen 2015 und 2022 veröffentlicht wurden. Jede Arbeit hatte zum Zeitpunkt der Sammlung zwischen 50 und 500 Zitationen, ein Bereich, der gewählt wurde, um sowohl obskure als auch außergewöhnlich einflussreiche Arbeiten auszuschließen.

Das Experiment begann damit, zufällig dreißig Arbeiten aus der verfügbaren Sammlung zu ziehen, wobei Autorennamen, Publikationsjahre und Zitierzahlen verborgen wurden. Jedes Modell erstellte eine kurze Rezension oder Positionsschrift, die höchstens zehn Arbeiten zitierte, und diese Entscheidungen wurden mit zufälligen Auswahlen aus demselben Material verglichen:

Methode zur Prüfung von Zitierpräferenzen. Dreißig zufällig ausgewählte Arbeiten wurden einem Modell mit versteckten Identifikationsinformationen gezeigt, danach konnte es bis zu zehn zitieren. Seine Entscheidungen wurden mit einer Zufallsauswahl verglichen, während jede Runde 120 KI‑geschriebene Arbeiten zur Sammlung der nächsten Runde hinzufügte.

Im erweiterten Experiment traten nach jeder Runde 120 neu generierte Arbeiten in die Sammlung ein, wodurch der Anteil KI‑geschriebener Forschung allmählich zunahm.

In vorläufigen Tests neigten die Modelle dazu, die meisten gezeigten Arbeiten zu zitieren, typischerweise 22 bis 27 von 30 auszuwählen. Die Forschenden setzten daher für das Hauptexperiment ein Maximum von zehn Zitaten fest, um die Modelle zu selektiveren Entscheidungen zu zwingen.

Unten sehen wir eine Zusammenfassung des resultierenden Versuchsaufbaus:

Experimenteller Aufbau zur Prüfung von Zitierpräferenzen. Die Studie begann mit 120 echten Arbeiten und testete elf Modelle von drei Anbietern, wobei zufällige Sätze von 30 Arbeiten und ein Maximum von zehn Zitaten verwendet wurden. Spätere Runden fügten KI‑generierte Arbeiten hinzu, wodurch die Sammlung auf 1.440 Arbeiten anwuchs.

Das Anfangsexperiment nutzte elf Modelle der drei großen Anbieter: OpenAI war vertreten durch GPT-5, GPT-5 mini, GPT-4.1 und GPT-4.1 mini; Google durch Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro und Gemini 3.1 Flash‑Lite; und Anthropic durch Claude Opus 4.8, Claude Sonnet 4.6 und Claude Haiku 4.5.

In den unten gezeigten Testergebnissen sehen wir, inwieweit jedes Modell seine Zitate auf eine kleine Gruppe von Arbeiten konzentrierte; wie viele Arbeiten es vollständig ignorierte; und wie konsequent es dieselben Entscheidungen traf, wenn das Experiment wiederholt wurde:

Testergebnisse, die zeigen, wie stark jedes Modell seine Zitate auf bestimmte Arbeiten konzentrierte und wie viele Arbeiten es vollständig ignorierte. ‘Top‑10‑%‑Anteil’ zeigt, wie viele Zitate auf die 12 am meisten favorisierten Arbeiten entfielen, während ‘HHI’ misst, wie stark die Zitate insgesamt konzentriert waren. ‘Reliabilität’ zeigt, wie konsequent jedes Modell dieselben Arbeiten über Tests hinweg favorisierte, und ρ zeigt, wie ähnlich diese Präferenzen zwischen den Modellen waren. Die Zeile ‘Matched null’ gibt an, was zu erwarten wäre, wenn Arbeiten zufällig ausgewählt würden.

Was die Modelle tatsächlich favorisieren?

Die Präferenz wurde überwiegend durch den Inhalt der Arbeiten selbst bestimmt. Beispielsweise war bei GPT‑5 mini etwa 90 % der Variation, welche Arbeiten favorisiert wurden, auf den Inhalt zurückzuführen, nicht auf Faktoren wie Listenreihenfolge, Generierungsrauschen oder die erfundenen Metadaten, die jeder Arbeit angehängt waren. Der gleiche ‘dominante Inhalts’-Effekt wurde bei GPT‑4.1 mini reproduziert.

Die Präferenzkarte (siehe unten) änderte sich kaum, selbst wenn Titel und Abstracts wesentlich umgeschrieben wurden, während ihre Bedeutung erhalten blieb. In vier erfolgreichen Paraphrasierungstests wurden Korrelationen von 0,95–0,99 erzielt, obwohl für das Umschreiben Modelle von drei Anbietern verwendet wurden.

Veränderungen der Präferenzkarte wurden nur beobachtet, wenn die zugrundeliegende Bedeutung messbar verändert wurde:

Testergebnisse, die die Zitierpräferenzen über die elf Modelle hinweg vergleichen. Die Zahlen zeigen, wie stark jedes Modellpaar dieselben Arbeiten favorisierte, wobei höhere Werte auf größere Übereinstimmung hinweisen. Trotz Unterschieden zwischen Modellen und Anbietern wurden im Großen und Ganzen ähnliche Präferenzen in der Gruppe festgestellt.

Die Modelle scheinen daher hauptsächlich auf semantischen Inhalt und nicht auf bestimmte Formulierungen zu reagieren. Der Grund für ihre starke Übereinstimmung konnte jedoch nicht eindeutig ermittelt werden.

Die Autoren vermuten, dass ein gemeinsamer Zitierkonsens während des Trainings aufgenommen worden sein könnte. Eine alternative Möglichkeit ist, dass ähnliche Urteile darüber, was eine ‚zitierbare‘ Arbeit ausmacht, unabhängig voneinander erreicht werden.

Daher wurde die Existenz der geteilten Präferenz festgestellt, aber ihr endgültiger Ursprung bleibt unbekannt.

Die Autoren schlagen vor, dass die weit verbreitete Nutzung von KI in der Forschung das Spektrum der beachteten Arbeiten einschränken könnte, da verschiedene Modelle dazu neigen, viele derselben Arbeiten zu favorisieren; und mit dem Anwachsen KI‑generierter Literatur könnten diese geteilten Präferenzen durch wiederholte Zitation weiter verstärkt werden, wodurch weniger favorisierte Forschung zunehmend schwerer zu entdecken ist. Zitier‑Vielfalt und die Überwachung der Zitierkonzentration werden daher als mögliche Schutzmaßnahmen vorgeschlagen.

Der Benchmark der Studie für rekursive Zitierkonzentration ist jetzt auf GitHub verfügbar.

Fazit

Meinung Als jemand, der wöchentlich eine übermäßige Anzahl an KI‑Forschungspapieren liest, habe ich „Zitationswellen“ kommen und gehen sehen. Ein beständiger Klassiker ist Googles Attention Is All You Need, das ursprüngliche Transformers‑Paper, das inzwischen wohl fest in Einreichungsvorlagen verankert ist.

Ein weiterer wiederkehrender Täter war lange Zeit das 2014 erschienene Generative Adversarial Networks, das jedoch letztlich in der Häufigkeit von Denoising Diffusion Probabilistic Models und anderen diffusion‑basierten Leitstudien verdrängt wurde.

In nahezu allen Fällen sind diese „wiederkehrenden“ Zitate nicht per se falsch; sie sind jedoch oft zu breit gefasst, um eine nützliche Unterstützung für das Papier zu bieten, in dem sie zitiert werden; und in diesem Sinne stellen sie etwas Ähnliches wie „Citation‑Washing“ dar – die Einbindung von „zuverlässigen“, aber hauptsächlich dekorativen Quellenzitaten, um mit geringem Aufwand einen Anschein von Glaubwürdigkeit zu erzeugen.

Erstmals veröffentlicht am Montag, 24. August 2026