L’IA cite les mêmes articles encore et encore – Tout comme les humains

ChatGPT et d’autres outils d’écriture IA peuvent discrètement transformer la science en un concours de popularité, orientant à plusieurs reprises les chercheurs vers les mêmes articles tout en négligeant les travaux nouveaux et novateurs qui pourraient réellement faire progresser le domaine.

Monoculture, en termes de fréquence et de statistiques, désigne la récurrence du même ensemble limité de sources ou d’actifs, étouffant les voix nouvelles et les perspectives fraîches: le même ensemble limité de chansons dans la programmation radio ; le même ensemble d’auteurs et de livres dans les rayons d’aéroports ; et la même sélection restreinte de fruits et légumes dans les supermarchés:

Oui, nous n’avons que ces bananes – et uniquement ces bananes. L’homogénéité des fruits et légumes dans les chaînes alimentaires occidentales ignore les centaines d’autres espèces possibles dans chaque cas, car les différentes chaînes de production et de transport sont trop coûteuses à industrialiser pour des variétés diversifiées de fruits ou de légumes. Source

Cela se produit également dans les citations qui apparaissent dans les nouvelles recherches scientifiques, où les chercheurs, peut‑être par paresse, se rabattent sur un ensemble « fiable » de sources qui gagnent en élan jusqu’à dominer des branches de recherche.

Cela s’appelle l’effet Matthieu – une théorie sociologique qui suggère que les privilégiés bénéficieront toujours ; le syndrome a été comparé à la promesse faite dans Matthieu 13:12, qui déclare « Celui qui a, on le lui donnera davantage, et il en aura en abondance. Celui qui n’a pas, même ce qu’il possède lui sera enlevé ».

Le groupe privilégié

L’un des grands espoirs de la recherche augmentée par l’IA était que de nouvelles méthodes d’apprentissage automatique puissent rompre avec l’effet Matthieu – également connu sous le nom de biais de popularité – et commencer à citer des travaux moins connus qui pourraient être plus incisifs, ou plus pertinents par rapport au point développé dans un article.

Cependant, compte tenu de la manière dont les routines d’entraînement de l’IA interprètent les ensembles de données, il n’y a jamais eu de raison valable d’alimenter cet optimisme ; et il a été constaté à plusieurs reprises que lorsque l’IA ne invente pas de citations de façon flagrante – un problème chronique à ce jour – elle perpétue effectivement l’effet Matthieu, tout comme les humains – bien que peut‑être pas pour les mêmes raisons.

Pendant l’entraînement, un modèle apprendra à classer très haut le papier le plus cité (ou le plus souvent répété) d’un jeu d’entraînement, car les routines d’entraînement sont conçues pour extraire des motifs significatifs, et pour écarter les valeurs aberrantes comme du « bruit », ou des anomalies statistiques.

Dans ce régime, l’équivalent de la théorie de la relativité d’Einstein ne recevrait jamais d’attention de la machine, qui, une fois entraînée, estime avoir déjà trouvé ses principes et référents, et ne peut ajuster légèrement cette position qu’en se tournant vers des publications plus récentes via RAG, ou par d’autres moyens qui étendent la portée du modèle au‑delà de sa matrice d’entraînement.

Le problème est qu’il ne créditera pas ces nouveaux travaux de la même manière que les « favoris anciens » qu’il connaît déjà, voire pas du tout, car ses biais statistiques sont désormais profondément ancrés.

Ainsi, l’IA n’observe pas réellement et n’imite pas le comportement humain lorsqu’elle perpétue l’effet Matthieu – elle ne fait que compter le nombre de fois où les chercheurs, par paresse, se rabattent sur les mêmes anciens articles, et les classe de façon similaire. À cet égard, le problème de la répétition des citations est lié au défi de choisir un article scientifique véritablement intéressant parmi le déluge sans cesse croissant de publications de recherche en IA, dans la mesure où le travail le plus solide aura souvent le signal le plus faible.

Diagnostiquer la monoculture

Cette problématique est abordée dans un nouvel article intéressant provenant des États‑Unis intitulé When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Ce nouveau travail – une collaboration entre l’Université du Texas à Austin, le Stevens Institute of Technology, la Washington University à St Louis, l’Université Rice et l’Université de Notre‑Dame – vise à prouver de façon définitive l’existence d’une monoculture de citations dans l’apprentissage automatique, afin que ses variables puissent éventuellement être traitées directement à l’avenir, ainsi que le problème lui‑même.

Dans les tests, les auteurs ont constaté que onze modèles d’OpenAI, Google et Anthropic favorisaient à plusieurs reprises le même petit groupe d’articles – même après que les signaux de popularité évidents aient été éliminés.

Pour tester cela, 120 articles réels ont été dépouillés de leurs nombres de citations et de leurs lieux de publication, tandis que les noms d’auteurs ont été remplacés et les années de publication réassignées aléatoirement. Des ensembles aléatoires de trente articles ont ensuite été présentés à chaque modèle, qui était autorisé à citer au maximum dix articles.

Huit experts humains dans les domaines concernés ont reçu les mêmes articles aveuglés, mais n’ont pas convergé vers les mêmes favoris que les IA, indiquant que le biais était spécifique aux modèles d’IA plutôt qu’aux articles eux‑mêmes:

Du nouvel article, résultats de test comparant les choix de citation des modèles d’IA et des experts humains. Sur les onze modèles, les citations se concentraient sur un petit groupe d’articles, tandis que certains articles étaient systématiquement ignorés. Les experts humains n’ont montré aucune de ces tendances. Source – https://arxiv.org/pdf/2608.19230 Source

Les mêmes articles restèrent populaires même lorsque les modèles étaient invités uniquement à choisir des références, montrant que la rédaction de la revue elle‑même n’était pas à l’origine du biais.

L’expérience a ensuite été prolongée sur onze cycles, avec 120 articles rédigés par IA ajoutés après chaque cycle, afin de tester ce qui se passe lorsque ces préférences partagées opèrent dans un pool croissant de recherches générées par IA.

À mesure que davantage d’articles rédigés par IA étaient ajoutés, les modèles concentraient de plus en plus leurs citations sur un nombre décroissant d’articles humains originaux.

‘À mesure que les modèles de langage passent de la rédaction de prose à l’exécution d’agents de recherche documentaire avec des appels d’outils, les références fabriquées deviennent plus faciles à détecter et à contraindre.

‘L’échec plus difficile commence après que chaque candidat soit réel : différents modèles peuvent encore sélectionner le même sous‑ensemble étroit, produisant une monoculture de citations sans qu’aucune citation individuelle ne soit erronée.’

Pour remédier au problème, l’article soutient que simplement mélanger des modèles de différents fournisseurs ou donner une exposition égale aux articles ne suffira pas, car une grande partie de la préférence est partagée entre les modèles. Au contraire, la préférence sous‑jacente pour certains articles devrait changer – potentiellement en accordant délibérément une plus grande visibilité aux articles négligés. Cependant, les auteurs soulignent que cette approche reste non testée.

Méthodes de test

Le benchmark a été construit à partir de 120 vrais articles de distillation de connaissances collectés sur arXiv et publiés entre 2015 et 2022. Chaque article comptait entre 50 et 500 citations au moment de la collecte, une fourchette choisie pour exclure à la fois les travaux obscurs et ceux exceptionnellement influents.

L’expérience a commencé en tirant au hasard trente articles de la collection disponible, avec les noms d’auteurs, les années de publication et les nombres de citations masqués. Chaque modèle a produit une courte revue ou un texte de position citant au maximum dix articles, et ces choix ont été comparés à des sélections aléatoires provenant du même matériel:

Méthode utilisée pour tester les préférences de citation. Trente articles sélectionnés aléatoirement ont été présentés à un modèle avec les informations d’identification masquées, après quoi il pouvait citer jusqu’à dix. Ses choix ont été comparés à une sélection aléatoire, chaque cycle ajoutant 120 articles rédigés par IA à la collection du cycle suivant.

Dans l’expérience prolongée, 120 nouveaux articles générés ont été ajoutés à la collection après chaque cycle, augmentant progressivement la proportion de recherches rédigées par IA.

Lors des tests préliminaires, les modèles avaient tendance à citer la plupart des articles qui leur étaient présentés, sélectionnant généralement entre 22 et 27 sur les 30. Les chercheurs ont donc fixé un maximum de dix citations pour l’expérience principale, obligeant les modèles à faire des choix plus sélectifs.

Ci‑dessus, nous présentons un résumé du dispositif expérimental résultant:

Configuration expérimentale utilisée pour tester les préférences de citation. L’étude a commencé avec 120 vrais articles et a testé onze modèles provenant de trois fournisseurs, en utilisant des ensembles aléatoires de 30 articles et un maximum de dix citations. Les cycles suivants ont ajouté des articles générés par IA, portant la collection à 1 440 articles.

L’expérience initiale a utilisé onze modèles provenant des trois principaux fournisseurs: OpenAI était représenté par GPT-5, GPT-5 mini, GPT-4.1 et GPT-4.1 mini ; Google par Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro et Gemini 3.1 Flash-Lite ; et Anthropic par Claude Opus 4.8, Claude Sonnet 4.6 et Claude Haiku 4.5.

Dans les résultats de test présentés ci‑dessous, nous voyons à quel point chaque modèle a concentré ses citations sur un petit groupe d’articles ; combien d’articles il a totalement ignorés ; et à quel point il a fait les mêmes choix lorsque l’expérience a été répétée:

Résultats de test montrant à quel point chaque modèle a concentré ses citations sur des articles particuliers et combien d’articles il a totalement ignorés. La « part du top 10 % » indique combien de citations sont allées aux 12 articles les plus favorisés, tandis que le « HHI » mesure le degré de concentration des citations globalement. La « Fiabilité » montre à quel point chaque modèle a favorisé les mêmes articles à travers les tests, et ρ indique à quel point ces préférences étaient similaires entre les modèles. La ligne « Null assorti » indique ce qui serait attendu si les articles étaient choisis aléatoirement.

Que favorisent réellement les modèles ?

Il a été constaté que la préférence était largement dictée par le contenu même des articles. Par exemple, pour GPT-5 mini, environ 90 % de la variation des articles favorisés était attribuable au contenu, plutôt qu’à des facteurs tels que l’ordre de la liste, le bruit de génération ou les métadonnées fabriquées attachées à chaque article. Le même effet de « contenu dominant » a été reproduit avec GPT-4.1 mini.

La carte des préférences (voir ci‑dessous) a également été à peine modifiée lorsque les titres et résumés ont été substantiellement réécrits tout en conservant leur sens. Sur quatre tests de paraphrase réussis, des corrélations de 0,95 à 0,99 ont été obtenues, malgré l’utilisation de différents modèles de trois fournisseurs pour la réécriture.

Des changements dans la carte des préférences n’ont été observés que lorsque le sens sous‑jacent a été modifié de manière mesurable:

Résultats de test comparant les préférences de citation parmi les onze modèles. Les chiffres indiquent à quel point chaque paire de modèles favorisait les mêmes articles, des valeurs plus élevées indiquant un accord plus fort. Malgré les différences entre modèles et fournisseurs, des préférences globalement similaires ont été observées au sein du groupe.

Les modèles semblent donc répondre principalement au contenu sémantique plutôt qu’à une formulation précise. Cependant, la raison de leur fort accord n’a pas pu être déterminée de façon concluante.

Il est possible, affirment les auteurs, qu’un consensus de citation commun ait été absorbé lors de l’entraînement. Une autre possibilité est que des jugements similaires sur ce qui constitue un article « citable » puissent être atteints indépendamment.

Ainsi, l’existence de la préférence partagée a été établie, mais son origine ultime demeure inconnue.

Les auteurs suggèrent que l’utilisation généralisée de l’IA dans la recherche pourrait restreindre la diversité des travaux recevant de l’attention, car différents modèles ont tendance à favoriser de nombreux mêmes articles ; et à mesure que la littérature générée par IA s’accumule, ces préférences partagées pourraient être davantage renforcées par des citations répétées, rendant les recherches moins favorisées de plus en plus difficiles à découvrir. La diversité des citations et la surveillance de la concentration des citations sont donc proposées comme des garde‑fous possibles.

Le benchmark de l’étude pour la concentration récursive des citations est désormais disponible sur GitHub.

Conclusion

Opinion En tant que lecteur assidu d’un nombre démesuré d’articles de recherche en IA chaque semaine, j’ai observé des « vagues de citations » aller et venir. Un pilier pérenne est le papier original des Transformers de Google, Attention Is All You Need, qui doit désormais être intégré en dur dans les modèles de soumission.

Un autre coupable récurrent, pendant longtemps, était le travail de 2014 Generative Adversarial Networks, bien qu’il ait finalement été supplanté en fréquence par Denoising Diffusion Probabilistic Models et d’autres études phares basées sur la diffusion.

Dans presque tous les cas, ces citations « récurrentes » ne sont pas fausses en soi ; mais elles sont souvent trop générales pour constituer un appui utile à l’article qui les cite ; et, en ce sens, elles représentent quelque chose de semblable à un « lavage de citations » – l’inclusion de citations « fiables » mais principalement décoratives, afin de conférer une apparence de crédibilité à faible effort.

Première publication le lundi 24 août 2026