L’« Attaque DDoS de l’article de synthèse » qui submerge la recherche scientifique

Les modèles de langage génératifs tels que ChatGPT inondent désormais les plateformes de publication académique avec des articles de synthèse générés par IA à des niveaux qui rendent le rapport signal/bruit critique. Une nouvelle étude affirme que ce flot submerge les chercheurs, fausse les citations et érode la confiance dans les archives scientifiques, comparant le flot de documents aidés par l’IA à une « attaque DDoS » contre la science elle-même.

(Partiellement) opinion  La semaine dernière, pour la première fois en sept ans de suivi de la littérature scientifique liée à l’IA, j’ai dû admettre la défaite et reconnaître que, au moins aux heures de pointe, je devais choisir entre rester au courant des nouvelles publications essentielles ou avoir du temps pour écrire sur certaines d’entre elles.

Le nombre total d’entrées dans un nombre limité de catégories pertinentes (Vision par ordinateur, Apprentissage automatique, Modèles de langage, et quelques autres sections moins fréquentées) dépassait significativement mille – pour une seule journée de soumissions.

À un tel volume, même parcourir tous les nouveaux titres et ne lire occasionnellement que certains des résumés aurait fait d’une journée improductive.

C’était mardi 7 octobre. En revanche, dans la catégorie Apprentissage automatique, ce mardi dernier (14 octobre) offrait un volume de publication légèrement moins intense que les 400 entrées environ pour le mardi de la semaine précédente ; il avait un modeste 354 entrées:

354 soumissions pour la catégorie Apprentissage automatique en une journée. Source: https://arxiv.org/

Il faudrait avoir lu Arxiv tous les jours pendant quelques années pour réaliser à quel point ces chiffres sont devenus insensés.

Il est vrai que mardi est la journée de « rush » d’Arxiv pour les soumissions, peut-être parce que c’est le premier jour ouvrable qui se produit loin des longs week-ends appréciés par les personnes influentes que les chercheurs espèrent atteindre ; et la catégorie Apprentissage automatique est une section « attrape-tout » avec un nombre inférieur de papiers uniques (papiers qui ne sont pas publiés simultanément dans des canaux plus spécialisés) que la plupart des autres catégories.

Cependant, l’augmentation des soumissions de papiers est déjà un phénomène noté dans le monde universitaire et dans les médias.

Peut-être l’aspect le plus choquant de cette escalade est la façon dont toutes les autres catégories adjacentes sont plus ou moins inchangées dans leur fréquence au cours des trois dernières années, alors que la catégorie Informatique (voir si vous pouvez la repérer dans les chiffres officiels d’Arxiv ci-dessous) est sur une trajectoire ascendante sévère:

L’augmentation des papiers d’informatique (CS) au cours des trois dernières années. Source: https://info.arxiv.org/about/reports/submission_category_by_year.html

Il y a un peu plus de trois ans, la production de papiers d’IA sur Arxiv était estimée doubler tous les quelques années ; et il sera intéressant de lire le résumé annuel d’Arxiv sur les tendances à la fin de 2025.

Volume à 11

Les deux raisons les plus évidentes pour lesquelles cela se produit sont a) l’engagement financier sans précédent en faveur de l’IA générative attire des niveaux massifs d’investissement dans la recherche dans les secteurs privé et universitaire, qui collaborent souvent ; et b) le fait que les systèmes de modèles de langage d’IA tels que ChatGPT rendent maintenant la soumission de papiers de recherche un processus presque industrialisé.

Cependant, la qualité des soumissions de recherche n’augmente pas en parallèle avec le volume (bien que la sortie erronée de l’IA tende à faire plus de titres dans le secteur juridique que dans le secteur universitaire, ne serait-ce que parce que les conséquences sont plus évidentes là-bas).

Une politique de tolérance zéro est difficile à mettre en œuvre dans ce cas, même si reconnaître le contenu généré par l’IA était plus facile ; outre le fait que l’IA elle-même est un avantage manifeste pour la recherche scientifique en général, son utilisation dans les soumissions de papiers de recherche a généralement* amélioré la clarté du travail de nombreux soumissionnaires non anglophones – des individus et des équipes qui, jusqu’à présent, opéraient avec un désavantage.

Mais le problème de la réduction de la barrière linguistique de cette manière est qu’il augmente également le nombre de soumissionnaires mondiaux, sans augmenter le niveau de surveillance humaine qui donne de la valeur à un tel travail.

Si les niveaux de soumission continuent d’augmenter de manière exponentielle, le rapport signal/bruit deviendra tellement ingérable que seul l’IA elle-même pourrait possiblement naviguer dans les nouveaux flots et affluents de papiers d’IA ; une tâche pour laquelle elle n’est pas plus adaptée que la vérification de sa propre sortie. Ironiquement, la recherche scientifique est une entreprise humaine intense.

Attaque contre la recherche

La cause de cette réflexion est une collaboration intéressante de Chine intitulée Arrêter l’attaque DDoS contre la communauté de recherche avec des articles de synthèse générés par l’IA.

Le nouveau document de position se concentre spécifiquement sur les soumissions de synthèse – des résumés de haute intensité de certains fils de recherche, qui ont traditionnellement à la fois répertorié et contextualisé, interprété les tendances et fait des prédictions éclairées:

Une fraction infinitésimale du vaste et toujours croissant corps de synthèses disponibles dans les sections liées à l’apprentissage automatique et à l’IA, sur arxiv.org

Puisque les synthèses créent plutôt qu’originent, elles sont inhabituellement faciles à automatiser avec l’IA, et les auteurs du nouveau travail caractérisent la prolifération de synthèses de faible effort en termes de menace pour la sécurité du secteur de la recherche^†:

‘[La] récente vague de synthèses générées par l’IA, en particulier facilitée par les grands modèles de langage (LLM), a transformé ce genre traditionnellement intensif en main-d’œuvre en une sortie à haut volume et à faible effort. Bien que cette automatisation réduise les barrières à l’entrée, elle introduit également une menace critique: le phénomène que nous appelons l’« attaque DDoS de l’article de synthèse » contre la communauté de recherche.

‘Cela fait référence à la prolifération incontrôlée de manuscrits de synthèse superficiellement complets mais souvent redondants, de mauvaise qualité ou même hallucinés, qui inonde les plateformes de prépublication, submerge les chercheurs et érode la confiance dans les archives scientifiques.

‘[Nous] soutenons que nous devons arrêter de télécharger de grandes quantités de papiers de synthèse générés par l’IA (c’est-à-dire l’attaque DDoS de l’article de synthèse) à la communauté de recherche, en instituant de fortes normes pour la rédaction d’articles aidés par l’IA.’

Les auteurs affirment que cette accélération non entravée de la production de synthèse menace de submerger l’écosystème de la recherche avec des rapports polissés qui manquent cependant de profondeur critique, et qui sont susceptibles de propager des erreurs factuelles et/ou hallucinations de citations.

Le document met en garde contre le fait que, sans meilleures règles ou surveillance, les synthèses générées par l’IA pourraient se transformer en copies superficielles qui déforment les sujets importants, cachent l’analyse significative et rendent les revues de littérature moins fiables:

‘Les implications pour la qualité de la recherche et la confiance sont profondes. Tout d’abord, les avancées réelles risquent d’être obscurcies par des réécritures algorithmiques de travaux existants.

‘Les nouveaux venus et les chercheurs interdisciplinaires peuvent avoir du mal à trouver des aperçus fiables au milieu du bruit. De plus, les erreurs ou les préjugés introduits par la rédaction automatisée peuvent se propager sans contrôle, ensemencant les recherches ultérieures avec des prémisses erronées.

‘En somme, l’inondation de synthèses non révisées générées par l’IA met en danger à la fois la rigueur des revues de littérature et la crédibilité des archives scientifiques.’

‘Auteurs anormaux’

Les chercheurs du nouveau document fournissent certaines analyses intéressantes sur l’évolution des soumissions de synthèse:

Gauche: le nombre annuel de papiers de synthèse d’informatique de 2020 à 2024. Milieu: scores moyens de génération par IA pour ces papiers sur la même période. Droite: nombre d’auteurs signalés comme anormaux (ceux avec une sortie de synthèse inhabituellement élevée, une diversité de co-auteur limitée et des modèles institutionnels récurrents) chaque année. Les trois tendances montrent une augmentation brutale à partir de 2023, coïncidant avec la sortie de ChatGPT et d’autres modèles de langage à grande échelle.

Dans la première colonne, nous voyons les tendances de croissance: la courbe commence à s’accentuer autour de 2022, juste au moment où ChatGPT est apparu et où les grands modèles de langage ont commencé à devenir mainstream, et les modèles suivants tels que Claude, PaLM et Gemini maintiendraient cet élan tout au long de 2023.

Le graphique du milieu montre une augmentation brutale des soumissions après 2022, coïncidant avec le lancement de ChatGPT. Une équipe de recherche a découvert qu’en 2024, plus de 10 % des résumés scientifiques avaient été passés par un LLM. Un rapport distinct d’une société de détection d’IA a estimé le saut post-ChatGPT à 72 % pour les papiers sur arXiv qui pourraient avoir été rédigés avec l’aide de l’IA. Le nombre de papiers avec des scores de génération par IA élevés a également doublé en un an, passant de 3,6 % à 6,2 %.

Le graphique de droite montre une augmentation régulière du nombre de modèles d’auteurs « anormaux » (chercheurs soumettant trois synthèses ou plus dans un mois tout en travaillant avec moins de deux collaborateurs), avec une augmentation plus brutale à partir de 2022.

Les auteurs affirment que beaucoup de ces papiers de synthèse peuvent avoir été rédigés par l’IA, pour diverses raisons ; certains sont écrits par des auteurs solo ou de petits groupes qui soumettent plusieurs synthèses en peu de temps ; beaucoup couvrent des sujets sans rapport ; et dans certains cas, les auteurs n’ont pas d’antécédents dans les domaines qu’ils résument.

De plus, certains sont publiés sous des collectifs anonymes sans liens institutionnels clairs – des modèles suggérant un débordement coordonné du domaine avec des synthèses rapides, peut-être pour gagner des citations ou améliorer les profils universitaires, plutôt que pour apporter une véritable contribution à la littérature.

Problèmes

Bien que nous ne puissions pas couvrir tous les points de discorde du nouveau document, nous devrions jeter un œil sur certaines des observations les plus notables, ainsi que porter un regard critique sur les solutions proposées par les auteurs à ces problèmes.

Qualité et originalité

Le problème n’est pas seulement le volume: de nombreuses synthèses écrites par l’IA sautent ce qui rend une bonne synthèse utile: une structure claire, une analyse approfondie, un crédit correct et assidu, et une véritable perspicacité. Au lieu de cela, le document suggère que les synthèses aidées par l’IA lisent souvent comme des résumés cousus, sans les soins ou la curation requis.

Les auteurs observent, en outre, que les synthèses écrites par l’IA manquent souvent de structure, mais listent simplement des papiers sans direction claire, en sautant des sections clés et en ne créant pas de contexte. Les synthèses rédigées par des humains, en revanche, ont tendance à établir des catégories appropriées et à raconter une histoire plus cohérente.

De plus, de nombreuses synthèses potentiellement aidées par l’IA semblent simplement copier les décompositions de sujets existants, parfois directement à partir de Wikipedia. Par exemple, le document note que plusieurs synthèses sur les Transformateurs de vision contiennent des titres de section et une structure communs, trahissant une sortie d’IA basée sur des modèles:

‘En revanche, une synthèse bien rédigée par un humain pourrait introduire une nouvelle taxonomie, par exemple en catégorisant les transformateurs de vision par stratégies d’efficacité. Le manque de telle structure originale dans de nombreuses prépublications de synthèse récentes soulève des inquiétudes quant à leur possible génération par l’IA avec une insight humaine limitée.’

Ne me citez pas sur cela

Peut-être l’aspect le plus embarrassant publiquement, les synthèses écrites par l’IA obtiennent souvent des citations incorrectes, en manquant des papiers clés, y compris des papiers non pertinents, et parfois même en listant des papiers inexistants – des erreurs qui suggèrent que les références proviennent d’une correspondance de modèles de surface plutôt que d’une véritable expertise.

Les auteurs soulignent également que certaines synthèses récentes, souvent de la part d’équipes entièrement différentes, partagent jusqu’à 70 % de leurs listes de références – un niveau de chevauchement si élevé qu’il suggère, selon eux, une dépendance partagée à l’égard des LLM, qui puisent dans le même bassin restreint de matériel source.

En effet, les utilisateurs occasionnels de ChatGPT savent que plus le sujet est obscur, moins il y a de sources diverses pour que le modèle généralise ; très souvent, localiser les sources limitées du modèle sur le Web est plus utile que d’interagir avec ces informations via un IA qui n’a pas eu de données adéquates dans un domaine particulier.

Un style homogène émergeant

Les auteurs notent également que de nombreuses synthèses écrites par l’IA sur le même sujet se ressemblent et sonnent presque identiquement, car les LLM réutilisent des expressions et des structures, en particulier pour les sujets populaires, aboutissant à un torrent de papiers presque identiques qui ajoutent peu de valeur et ajoutent également du bruit important aux chercheurs cherchant des réponses de domaine*:

‘Lorsque plusieurs auteurs demandent à un LLM d’« écrire une revue de littérature sur X », le modèle produit souvent des réponses très similaires, en particulier pour les définitions communes ou les faits bien connus. Des recherches récentes ont montré une augmentation brutale de l’utilisation de certains modèles d’écriture liés aux LLM, suggérant que de nombreux papiers partagent maintenant le même style.’

Votre ChatGPT est visible

Le document observe qu’une façon rapide de repérer les synthèses écrites par l’IA est la présence de phrases telles que ‘en tant que modèle de langage d’IA’ ou ‘ma date de coupure de connaissance’, suggérant une curation minimale ou même nulle de la sortie des modèles de langage avant de soumettre les papiers (bien qu’une recherche ciblée au moment de la rédaction n’ait pas révélé de tels indices indexés dans la recherche Google).

Le document note que de nombreuses synthèses « suspectes » présentent une diversité de mots plus faible et des phrases répétées, par exemple en commençant plusieurs paragraphes par De plus. Ce type de modèle, suggèrent les auteurs, est typique de l’écriture de style GPT, et pourrait être un indicateur utile pour détecter le texte auto-généré.

(Mon commentaire personnel à ce sujet est que les contraintes du journalisme en ligne obligent souvent un écrivain à lister de nombreux éléments dans un formulaire de prose non stylisé. Par conséquent, ChatGPT et ses pairs ont probablement appris cette mauvaise habitude des écrivains humains qui ont été confrontés à un nombre limité d’alternatives lexicales. De plus, la conjecture des auteurs les amène à s’engager dans les principes de la détection de contenu d’IA, qui est un domaine complexe et en développement, avec peu de constantes durables de la nature de celles que les auteurs suggèrent)

Bien que les chercheurs poursuivent un discours fascinant sur l’impact négatif des synthèses d’IA sur la culture de la recherche et la confiance, nous devons renvoyer le lecteur au document source pour une plus grande profondeur sur ce sujet.

Solutions ?

La solution du document est fascinante, radicale et en même temps étrangement peu originale: que l’utilité des papiers de synthèse devrait être remplacée par une synthèse dynamique en direct – par interprétation, une sorte d’hybride entre un Wiki et une page GitHub, constamment alimentée avec de nouvelles données à partir de LLM et d’autres systèmes d’IA, mais avec des validations effectuées uniquement par des humains, de sorte que l’IA ne puisse pas essentiellement « auto-publier » de mises à jour.

Le système proposé partagerait le versionnage et la ramification de GitHub, transformant essentiellement une ressource d’information en une liste constamment mise à jour similaire à la ‘incroyable’ lignée de listes curatoriales sur GitHub:

‘Dans ce cadre, un membre de la communauté établit d’abord un wiki de synthèse en spécifiant la portée, les questions de recherche clés et les références fondamentales, qui fixe ainsi une limite thématique claire et une structure initiale.

‘Ensuite, un agent d’ingestion basé sur le LLM surveille en continu les archives de prépublication, les actes de conférence et les tableaux de bord de référence. Il extrait automatiquement les résumés, les figures et les métriques de performance clés ; synthétise des résumés concis de nouveaux résultats ; met à jour le graphique de citation pour refléter les relations inter-papiers ; et signale les tendances de recherche émergentes pour un examen plus approfondi.

‘Par conception, ces mises à jour automatisées se produisent dans les heures suivant la publication, garantissant que le référentiel reste à la pointe de l’actualité.

‘Les contributeurs humains interviennent ensuite pour fournir la profondeur interprétative que les machines seules ne peuvent pas offrir. Ils affinent les taxonomies évolutives pour capturer les distinctions méthodologiques subtiles, coordonnent les interprétations contradictoires des innovations algorithmiques à travers différents sous-domaines et fournissent des comparaisons critiques plus approfondies au document.’

Le Livre des Changements

Les auteurs exposent avec enthousiasme et en détail cette proposition, et la justifient essentiellement avec quelque chose de très vrai: les synthèses de haute intensité rédigées par des humains sur des sujets volatils autour de l’IA se démodent si rapidement qu’elles ne valent presque pas la peine d’être écrites ; et le document note qu’un délai de trois mois pour un nouveau papier de synthèse signifiera probablement qu’il sera obsolète (ou même gravement obsolète) au moment de sa publication prévue:

‘Année après année, les communautés sont inondées de synthèses répétitives ou superficielles qui perdent rapidement leur pertinence, laissant les praticiens et les nouveaux venus lutter pour distinguer le signal du bruit. Le cycle de publication traditionnel (c’est-à-dire, brouillon, soumission, examen et publication) peut s’étendre sur plusieurs mois, au cours desquels des avancées critiques peuvent déjà avoir modifié le paysage.

‘De plus, le volume croissant de synthèses statiques ajoute à la surcharge cognitive, car les lecteurs doivent parcourir de nombreux documents chevauchants pour trouver des idées substantielles.’

Malheureusement, la solution du document partage de nombreuses qualités les plus critiquées et les plus détestées de Discord: en particulier qu’il serait une ressource constamment changeante et évolutive.

Étant donné que n’importe quelle partie d’une synthèse dynamique en direct pourrait disparaître ou être modifiée à tout moment, il serait impossible de l’utiliser comme source citable et stable ; sauf, peut-être, en lien vers un « commit précédent », de la même manière que les sites d’archive tels que archive.is et la Wayback Machine, entre autres, fournissent des liens vers des captures d’écran de contenu Web, gelées à un moment précis. Mais quels ressources un tel commit nécessiterait-il, et pourrait-il être compté pour rester actif dans le temps ?

De plus, une plateforme/Wiki avec des définitions et un contenu constamment changeants serait difficile à indexer, soit par les moteurs de recherche traditionnels, soit par les LLM.

Peut-être la partie la plus faible du système proposé est l’idée que de vraies personnes devraient superviser les validations des agents LLM ; comme toujours, les vraies personnes sont coûteuses. Ce qui est proposé est quelque chose entre un musée et une bibliothèque – les deux devant avoir des dispositions en main-d’œuvre proportionnelles au volume de données et au nombre de sujets couverts.

Si « utiliser de vraies personnes » est la seule réponse à un problème de développement d’IA, il est juste de dire que le problème reste ouvert et non résolu.

Conclusion

Pour l’instant, la durée de vie courte des papiers de synthèse sur l’IA est ennuyeuse ; si la tendance actuelle vers l’écriture automatisée à grande échelle et la soumission se poursuit, comme le prévoit le nouveau document, le rapport signal/bruit deviendra chronique et la littérature ingérable.

Dans une telle situation, il serait encore plus difficile qu’il ne l’est déjà pour les voix mineures, non FAANG, d’être entendues dans la tempête de soumissions, et les leaders du marché majeurs gagneraient probablement une importance encore plus grande.

Outre les synthèses en direct, le nouveau document propose que les auteurs ne soient pas seulement contraints de déclarer lorsqu’ils utilisent l’IA dans une partie de la soumission, mais aussi que les sections aidées par l’IA soient explicitement étiquetées dans un document (peut-être avec un fichier JSON annexé…?).

Puisque c’est une perspective fastidieuse, le document suggère alternativement ce que je ne peux caractériser que comme un « ghetto d’IA » – une section distincte dans la soumission qui est réservée aux contributions d’IA.

En bref, le nouveau travail n’a, à mon avis, pas de réponses réalistes à offrir ; mais les auteurs ont rendu un service utile en mettant en évidence les défis à venir.

Le document Arrêter l’attaque DDoS contre la communauté de recherche avec des articles de synthèse générés par l’IA peut être trouvé à https://arxiv.org/abs/2510.09686, et est écrit par six auteurs issus de divers départements de l’Université de Shanghai Jiao Tong.

___________________________________

* Pas tous estiment que tel est le cas.

^† Insistance des auteurs, et non la mienne. De plus, lorsque cela s’applique, ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois vendredi 17 octobre 2025