Le langage généré par l’IA commence à polluer la littérature scientifique

Des chercheurs de France et de Russie ont publié une étude indiquant que l’utilisation de générateurs de texte probabilistes basés sur l’IA, tels que GPT-3, introduit un langage « torturé », des citations de littérature inexistante et une réutilisation d’images non créditées dans des canaux précédemment respectables pour la publication de nouvelles littératures scientifiques.

Peut-être plus préoccupant encore, les articles étudiés contiennent également des contenus scientifiquement inexacts ou non reproductibles présentés comme les fruits d’une recherche objective et systématique, indiquant que les modèles de langage génératifs sont utilisés non seulement pour améliorer les compétences limitées en anglais des auteurs, mais également pour effectuer le travail difficile (et, invariablement, pour le faire mal).

Le rapport, intitulé Phrases torturées: un style d’écriture douteux émergeant dans la science, a été compilé par des chercheurs du département d’informatique de l’Université de Toulouse et par le chercheur de Yandex, Alexander Magazinov, actuellement à l’Université de Tel Aviv.

L’étude se concentre particulièrement sur la croissance de publications scientifiques nonsensiques générées par l’IA dans la revue Elsevier Microprocessors and Microsystems.

Sous un autre nom

Les modèles de langage autoregressifs tels que GPT-3 sont formés sur de grands volumes de données et conçus pour paraphraser, résumer, compiler et interpréter ces données contributives en modèles de langage génératifs cohérents capables de reproduire des modèles de parole et d’écriture naturels, tout en conservant l’intention originale des données de formation.

Étant donné que ces cadres sont fréquemment pénalisés au stade de la formation du modèle pour proposer une régurgitation directe et « non absorbée » des données originales, ils cherchent inévitablement des synonymes – même pour des phrases bien établies.

Les soumissions scientifiques apparemment créées ou aidées par l’IA mises à jour par les chercheurs comprennent un nombre extraordinaire de tentatives ratées pour trouver des synonymes créatifs pour des phrases connues dans le secteur de l’apprentissage automatique:

Réseau neuronal profond: ‘organisation neuronale profonde’
Réseau neuronal artificiel: ‘‘(faux | contrefait) organisation neuronale’
Réseau mobile: ‘‘organisation versatile’
Attaque de réseau: ‘organisation (embuscade | assaut)’
Connexion de réseau: ‘association d’organisation’
Données massives: ‘(énormes | énormes | immenses | colossales) informations’
Entrepôt de données: ‘informations (entrepôt | centre de distribution)’
Intelligence artificielle (IA): ‘(fausse | créée par l’homme) conscience’
Calcul haute performance: ‘calcul élite’
Calcul en nuage/brouillard: ‘calcul brumeux’
Unité de traitement graphique (GPU): ‘unité de préparation de conception’
Unité centrale de traitement (CPU): ‘unité de préparation focale’
Moteur de workflow: ‘moteur de processus de travail’
Reconnaissance faciale: ‘reconnaissance faciale’
Reconnaissance vocale: ‘reconnaissance de discours’
Erreur quadratique moyenne: ‘erreur quadratique moyenne (erreur | gaffe)’
Erreur absolue moyenne: ‘erreur absolue moyenne (erreur | gaffe)’
Signal sur bruit: ‘(mouvement | drapeau | indicateur | signe | signal) sur (clamour | agitation | bruit)’
Paramètres globaux: ‘paramètres mondiaux’
Accès aléatoire: ‘(arbitraire | irrégulier) accès’
Forêt aléatoire: ‘(arbitraire | irrégulier) (arrière-pays | forêt | territoire luxuriant)’
Valeur aléatoire: ‘(arbitraire | irrégulier) valeur’
Colonie de fourmis: ‘(insecte souterrain | région | zone | région | établissement) de fourmis’
Colonie de fourmis: ‘(insecte rampant | région | zone | région | établissement) de fourmis’
Énergie restante: ‘énergie restante’
Énergie cinétique: ‘énergie motrice’
Bayes naïf: ‘(crédule | innocent | naïf) Bayes’
Assistant numérique personnel (PDA): ‘collaborateur informatique personnel’

En mai 2021, les chercheurs ont interrogé le moteur de recherche académique Dimensions à la recherche de ce type de langage automatisé déformé, en prenant soin d’exclure des phrases légitimes telles que « informations énormes » (qui est une phrase valide et non un synonyme raté pour « données massives »). À ce stade, ils ont observé que Microprocessors and Microsystems avait le plus grand nombre d’occurrences de paraphrasage mal géré.

Actuellement, il est encore possible de récupérer (capture d’archive, 15/07/2021) un certain nombre d’articles scientifiques pour la phrase sans sens « organisation neuronale profonde » (c’est-à-dire « réseau neuronal profond »), et d’autres phrases de la liste ci-dessus donnent des résultats similaires.

Résultats de recherche pour ‘organisation neuronale profonde’ (‘réseau neuronal profond’) sur Dimensions. Source: https://app.dimensions.ai/

La revue Microprocessors a été fondée en 1976 et renommée Microprocessors and Microsystems deux ans plus tard.

Une croissance de langage sans sens

Les chercheurs ont étudié une période allant de février 2018 à juin 2021 et ont observé une augmentation marquée du volume de soumissions au cours des deux dernières années, et en particulier au cours des 6-8 derniers mois;

Corrélation ou causalité? L’augmentation des soumissions à la revue Microprocessors and Microsystems semble coïncider avec la croissance de ‘textes sans sens’ et de synonymes dans des soumissions apparemment respectables. Source: https://arxiv.org/pdf/2107.06751.pdf

Le jeu de données final réuni par les collaborateurs contient 1 078 articles complets obtenus via l’abonnement Elsevier de l’Université de Toulouse.

Diminution de la surveillance éditoriale pour les articles scientifiques chinois

L’article observe que la période allouée pour l’évaluation éditoriale des soumissions signalées devient radicalement raccourcie en 2021, tombant à moins de 40 jours; une diminution six fois plus rapide que le temps standard pour la révision par les pairs, évidente à partir de février 2021.

Le plus grand nombre d’articles signalés proviennent d’auteurs ayant des affiliations avec la Chine continentale: sur 404 articles acceptés en moins de 30 jours, 97,5 % sont liés à la Chine. À l’inverse, dans les cas où le processus éditorial a dépassé 40 jours (615 articles), les soumissions liées à la Chine ne représentaient que 9,5 % de cette catégorie – un déséquilibre dix fois plus important.

Le rapport attribue l’infiltration des articles signalés à des lacunes dans le processus éditorial et à un manque possible de ressources face à un nombre croissant de soumissions.

Les chercheurs hypothèsent que des modèles de langage génératifs de type GPT, et des types similaires de cadres de génération de langage, ont été utilisés pour produire une grande partie du texte des articles signalés; cependant, la façon dont un modèle de langage génératif abstrait ses sources rend cela difficile à prouver, et la principale preuve réside dans une évaluation commune du sens des synonymes inutiles et dans un examen méticuleux de la cohérence logique de la soumission.

Les chercheurs observent en outre que les modèles de langage génératifs qu’ils pensent contribuer à ce flot de nonsens sont capables non seulement de créer les textes problématiques, mais également de les reconnaître et de les signaler systématiquement, de la même manière que les chercheurs eux-mêmes ont effectué manuellement. Le travail détaille une telle mise en œuvre, en utilisant GPT-2, et propose un cadre pour que les systèmes futurs identifient les soumissions scientifiques problématiques.

L’incidence de soumissions « polluées » est nettement plus élevée dans la revue Elsevier (72,1 %) par rapport aux autres revues étudiées (13,6 % maximum).

Plus qu’une question de sémantique

Les chercheurs soulignent que de nombreuses revues en question ne font pas que utiliser un langage incorrect, mais contiennent également des déclarations scientifiquement inexactes, indiquant la possibilité que les modèles de langage génératifs ne soient pas seulement utilisés pour améliorer les compétences linguistiques limitées des scientifiques, mais puissent également être utilisés pour formuler au moins certains des théorèmes et des données fondamentaux de l’article.

Dans d’autres cas, les chercheurs posent l’hypothèse d’une « résynthèse » ou d’un « retournement » de travaux antérieurs abstraits (et supérieurs) afin de répondre aux pressions de la culture de recherche académique « publier ou périr », et possiblement pour améliorer les classements nationaux de prééminence dans la recherche en IA, grâce à un volume important.

Contenu sans sens dans un article soumis. Dans ce cas, les chercheurs ont constaté que le texte a été dérivé, ad hoc, d’un article EDN, d’où l’illustration accompagnante est également empruntée sans attribution. La réécriture du contenu original est si extrême qu’elle le rend sans sens.

En analysant plusieurs articles soumis à Elsevier, les chercheurs ont trouvé des phrases pour lesquelles ils n’ont pas pu déduire de sens; des références à une littérature inexistante; des références à des variables et des théorèmes dans des formules qui n’apparaissent pas réellement dans le matériel de support (suggérant une abstraction basée sur le langage ou une « hallucination » de données factuelles apparemment réelles); et une réutilisation d’images sans aucune reconnaissance de leurs sources (que les chercheurs critiquent non pas d’un point de vue de droit d’auteur, mais plutôt comme un indicateur d’une rigueur scientifique insuffisante).

Échecs de citation

Les citations destinées à soutenir les arguments dans un article scientifique ont été trouvées dans de nombreux exemples signalés pour être « soit cassées, soit menant à des publications non liées ».

En outre, les références au « travail lié » incluent souvent des auteurs que les chercheurs pensent avoir été « hallucinés » par un système de type GPT.

Attention errante

Un autre défaut même des modèles de langage les plus avancés, tels que GPT-3, est leur tendance à perdre le fil sur un long discours. Les chercheurs ont constaté que les articles signalés abordent souvent un sujet au début de l’article qui n’est jamais repris après avoir été initialement abordé dans les notes préliminaires ou ailleurs.

Ils théorisent également que certains des pires exemples se produisent par le biais de multiples voyages de texte source à travers une série de moteurs de traduction, chacun déformant davantage le sens.

Sources et raisons

En essayant de discerner ce qui se cache derrière ce phénomène, les auteurs de l’article suggèrent un certain nombre de possibilités: que le contenu de « moulins à papier » est utilisé comme matériau source, introduisant des inexactitudes très tôt dans un processus qui produira inévitablement davantage d’inexactitudes; que des outils de spinning d’articles tels que Spinbot sont utilisés pour masquer le plagiat; et que la pression écrasante pour publier régulièrement pousse des chercheurs sous-dotés en ressources à utiliser des systèmes de type GPT-3 pour soit augmenter, soit entièrement générer de nouveaux articles universitaires.

Les chercheurs concluent avec un appel à l’action pour une surveillance et des normes améliorées dans un domaine de publication universitaire qui s’avère, apparemment, devenir la matière même de son propre sujet – les systèmes d’apprentissage automatique. Ils adjurent également Elsevier et d’autres éditeurs à introduire des procédures de sélection et de révision plus rigoureuses, et critiquent largement les normes et les pratiques actuelles à cet égard, suggérant que « la tromperie avec des textes synthétiques menace l’intégrité de la littérature scientifique. »