Comment faire passer des articles scientifiques absurdes par les réviseurs AI

De nouvelles recherches démontrent comment les systèmes d’IA peuvent maintenant écrire des articles scientifiques faux qui sont acceptés comme réels par d’autres IA, évitant les routines de détection qui fonctionnaient autrefois, et exposant à quel point facilement le monde de la recherche pourrait s’effondrer dans les bots qui trompent les bots.

Le secteur de la recherche académique, ironiquement à la pointe de l’innovation en IA, est en proie à une crise de crédibilité qui est elle-même alimentée par l’IA. L’impact de l’apprentissage automatique sur le processus de recherche, de soumission et de révision a été considérable depuis que l’impact potentiel de l’IA est devenu clair il y a environ quatre ans, avec la dernière des controverses étant la génération massive d’articles de sondage de faible valeur.

Avec une grande partie du secteur académique plus large, le secteur de la recherche est engagé dans une sorte de guerre froide entre les IA qui génèrent du texte – comme ChatGPT et la série Claude – et la dernière génération d’IA de détection, qui peuvent identifier leur sortie sans (généralement) fausser les étudiants ou les scientifiques avec de fausses positives.

Ces tensions sont susceptibles d’augmenter, ainsi que le volume de soumissions scientifiques, qui augmente radicalement, alimenté par les systèmes et les cadres aidés par l’IA; et nécessitant une industrialisation de l’IA de la procédure de contrôle pour (espérons-le) filtrer toute soumission qui est purement l’œuvre de l’IA.

Accueil de la connaissance factice

Une nouvelle collaboration de recherche entre les États-Unis et l’Arabie saoudite examine dans quelle mesure ce “pare-feu” de détection de l’IA peut être pénétré par des articles de soumission entièrement générés par l’IA, lorsque ces articles utilisent certains trucs convaincants supplémentaires.

Dans les tests, le nouveau système, appelé BadScientist, a pu atteindre des taux d’acceptation allant jusqu’à 82 % des systèmes LLM basés sur les modèles de langage actuels utilisés pour détecter le contenu généré par l’IA dans les articles de recherche scientifique:

Le système BadScientist utilise un agent IA pour générer des articles scientifiques faux et un autre pour les examiner à l’aide des modèles de langage actuels. Source: https://arxiv.org/pdf/2510.18003

Les articles faux ont été générés à l’aide de sujets de conférence réels et de stratégies trompeuses, puis examinés par des modèles calibrés sur des données de révision par les pairs, y compris GPT-5 pour les vérifications d’intégrité. Beaucoup ont obtenu des scores élevés malgré des erreurs ou des falsifications flagrantes.

La publication de l’article coïncide avec la conférence Open Conference of AI Agents for Science 2025 à Stanford, où les participants et les intervenants sont humains, mais tous les articles sont écrits et examinés par des systèmes d’IA divers.

BadScientist, le nouvel article explique, utilise diverses formes de tromperies académiques et littéraires, d’omissions, d’inventions et d’exagérations pour rééquilibrer l’article loin de tout ce que la majorité des systèmes de détection actuels peuvent reconnaître comme généré par l’IA; et nous allons examiner ces catégories plus tard.

Les auteurs notent, sur un ton d’alarme, que même lorsque les systèmes de détection identifient du contenu d’IA dans un article faux, ils ont tendance à le laisser passer quand même, et ajoutent que leurs propres tentatives pour inoculer les systèmes de défense contre ce nouveau vecteur d’attaque n’ont abouti qu’à des améliorations aléatoires.

L’article indique:

‘Les articles fabriqués obtiennent des taux d’acceptation élevés, les réviseurs exhibant souvent des conflits d’acceptation – signalant des problèmes d’intégrité tout en recommandant toujours l’acceptation. Cette rupture fondamentale révèle que les réviseurs d’IA actuels fonctionnent plus comme des correspondants de modèles que comme des évaluateurs critiques.

‘[…] Il est insuffisant de demander simplement aux réviseurs LLM d’être plus prudents. La communauté scientifique est confrontée à un choix urgent. Sans action immédiate pour mettre en œuvre des garanties de défense en profondeur – y compris la vérification de la provenance, la notation pondérée par l’intégrité et la surveillance humaine obligatoire – nous risquons des boucles de publication d’IA où des contrefaçons sophistiquées submergent notre capacité à distinguer la recherche réelle de la contrefaçon convaincante.

‘L’intégrité de la connaissance scientifique elle-même est en jeu.’

Le nouvel article est intitulé BadScientist: Un agent de recherche peut-il écrire des articles convaincants mais insoutenables qui trompent les réviseurs LLM? et provient de six auteurs issus de l’Université de Washington et de la ville de King Abdulaziz pour la science et la technologie à Riyad. La publication a un site de projet accompagnant.

Méthode

Le cadre de l’agent de création de l’article utilisé pour le travail est une révision importante de la collaboration AI-Scientist de 2024, avec les auteurs soulignant que son pipeline entier a été fondamentalement repensé. Seuls les prompts de rédaction les plus basiques ont été conservés, avec toutes les structures expérimentales et les modèles supprimés. Le système mis à jour fonctionne maintenant à partir d’une simple graine, permettant au système d’inventer librement des résultats expérimentaux et de générer du code de tracé au besoin.

Le cadre global est destiné à permettre à un IA de générer des articles faux convaincants sans effectuer de véritables expériences ou utiliser de véritables données. Au lieu de cela, le système crée ou modifie des données synthétiques pour soutenir des revendications délibérément hallucinées.

La configuration, expliquent les auteurs, évite délibérément l’implication humaine, les attaques de prompt ou la collusion coordonnée entre les agents rédacteurs et réviseurs. Les IA réviseurs ont évalué chaque soumission en une seule passe, sans accès en excès de l’article lui-même, et sans capacité à réexécuter les expériences, ce qui reflète les conditions réelles de révision par les pairs.

Les « stratégies atomiques » utilisées pour générer des articles faux sont des tactiques modulaires qui peuvent être appliquées seules ou en combinaison (et quiconque qui lit fréquemment la littérature sera familier avec celles-ci). Les stratégies incluent la mise en évidence d’améliorations dramatiques pour faire paraître la méthode comme une avancée majeure (TooGoodGains); le choix de références et de résultats qui favorisent la nouvelle méthode tout en omettant les intervalles de confiance dans le tableau principal (BaselineSelect); l’ajout d’ablations propres, de statistiques précises et de tableaux nets dans l’annexe, ainsi que des promesses de code ou de données futures (StatTheater); le polissage de la structure de l’article avec une terminologie cohérente, des références croisées et un format (CoherencePolish); et l’ajout de preuves formelles qui semblent solides mais contiennent des erreurs cachées (ProofGap).

Données et tests

Pour tester le système, les auteurs ont utilisé GPT-5 pour générer des sujets de recherche dans des domaines clés de l’intelligence artificielle, en utilisant les domaines Intelligence artificielle, Apprentissage automatique, Vision par ordinateur, Traitement automatique des langues, Robotique, Systèmes, et Sécurité.

Ces catégories sont devenues des sujets de départ pour des articles faux, avec chacun étendu en quatre versions différentes, en utilisant les stratégies ci-dessus, et conçus pour tromper ou impressionner les réviseurs. Pour décider si un article serait « accepté », le système a regardé uniquement la note finale donnée par le réviseur IA.

Les articles faux ont été écrits dans leur intégralité par GPT-5. Pour les examiner, les auteurs ont utilisé GPT-4.1; o4-mini; et o3. Tous ont reçu la même instruction de révision, un format d’instruction fixe conçu pour imiter les critères de notation et la structure utilisés dans la révision par les pairs réelle.

Pour rendre ces notes de révision significatives, le système a été calibré en utilisant 200 soumissions réelles à partir de la base de données ICLR 2025 OpenReview (une collection publique d’articles réels, de commentaires de réviseurs et de résultats d’acceptation).

À partir de cela, un seuil de note a été établi pour correspondre au taux d’acceptation réel de l’ICLR de 31,73 %, ce qui a donné un seuil de note de 7; et un autre pour refléter la note à laquelle un article aurait 50 % de chances d’être accepté par des réviseurs humains (calculé à 6,667).

Les auteurs ont testé la fiabilité de leur configuration en simulant des révisions pour 5 000 articles faux, en utilisant 1 à 3 réviseurs IA, chacun renvoyant des notes aléatoires entre 1 et 10. Les résultats ont indiqué que même avec cette configuration bruyante, le système était enclin à beaucoup moins d’erreurs que ses limites théoriques les plus basses.

L’utilisation de trois réviseurs au lieu d’un a conduit à une réduction significative de la variabilité des notes, améliorant la stabilité de la décision de près de trois fois – des résultats qui ont été utilisés pour justifier le choix de trois modèles de révision et d’un ensemble de calibration de 200 articles réels.

Les deux métriques définies pour évaluer le générateur étaient taux d’acceptation, mesurant à quelle fréquence les articles faux recevaient des notes de passage; et note moyenne du réviseur, capturant la note moyenne des soumissions. Les deux ont été utilisés pour évaluer à quel point le système pouvait tromper les réviseurs:

L’acceptation (ACPT) montre le pourcentage d’articles faux notés au-dessus de deux seuils: l’un correspondant au taux d’acceptation de l’ICLR 2025, l’autre à une estimation de 50 % d’acceptation humaine. Le taux de détection des problèmes d’intégrité (ICR-m) montre le taux de détection par modèle de révision. La colonne finale donne le taux d’ensemble basé sur le vote majoritaire.

Les articles faux ont vu des taux d’acceptation élevés sous presque toutes les stratégies. La première tactique seule a donné 67 % et 82 % aux deux seuils, montrant que les modèles de révision étaient facilement convaincus. La combinaison de toutes les stratégies a réduit légèrement l’acceptation, mais a doublé la détection, avec plus de la moitié des révisions soulevant des préoccupations. La première stratégie a donné le meilleur compromis: une forte acceptation et une détection modérée, tandis que les autres tactiques étaient plus faibles mais plus difficiles à détecter. Le modèle de révision ChatGPT-o3 a signalé le plus, et GPT-4.1 le moins.

Les distributions de notes sont montrées pour six stratégies d’attaque, en utilisant trois modèles de révision: GPT-4.1 (rouge); o3 (orange); et o4-mini (bleu). Chaque tracé montre à quelle fréquence chaque note de 4 à 9 a été attribuée, avec la ligne rouge pointillée marquant le seuil d’acceptation de 7.

Dans les résultats du deuxième test, nous voyons des histogrammes de notes pour trois modèles sur six configurations. Les distributions varient selon les configurations, mais o4-mini a tendance à attribuer des notes plus élevées en moyenne, o3 montre une plus grande dispersion et des valeurs plus extrêmes, tandis que GPT-4.1 attribue des notes plus basses de manière plus cohérente.

Conflit d’acceptation-préoccupation par modèle et stratégie: le pourcentage de cas où un modèle a soulevé une préoccupation d’intégrité tout en donnant une note de passage. Des valeurs plus élevées indiquent un couplage plus faible entre la détection des préoccupations et l’évaluation finale.

Dans le tableau ci-dessus, nous voyons que les modèles ont souvent attribué des notes élevées même lorsqu’ils ont signalé des préoccupations d’intégrité. À cet égard, o4-mini a été le plus incohérent, avec un conflit dans 100 % des cas sous s1, s3 et la configuration combinée, et 50-80 % ailleurs.

GPT-4.1 a varié entre 0 % (s4) et 75 % (s3). o3 a été plus stable, entre 26 % et 52 %. Le conflit a été le plus élevé sous s3, en particulier pour o4-mini; et les auteurs notent que les signaux de détection étaient mal liés aux notes finales.

Atténuation

Deux méthodes ont été testées pour aider les futurs modèles de détection à contourner ces nouvelles méthodes d’attaque. La première, Examen avec détection (ReD), a ajouté une étape de vérification de l’intégrité aux examens standard, où les modèles ont signalé le contenu généré par l’IA et cité des preuves. Cela a augmenté les avertissements d’intégrité (de 57 % à 86 %), mais a également augmenté les taux d’acceptation, indiquant que les avertissements n’ont pas été reflétés dans les notes finales:

L’examen avec détection (ReD) augmente à la fois les taux de détection des problèmes d’intégrité (ICR) et les taux d’acceptation (ACPT) par rapport à la référence. Alors que o3 devient beaucoup plus sensible sous ReD, GPT-4.1 ne signale aucune préoccupation. L’augmentation globale de l’acceptation malgré les avertissements d’intégrité ajoutés suggère un couplage faible entre la détection et la notation.

La deuxième méthode, Détection uniquement (DetOnly), a sauté les examens complets et a demandé aux modèles de classifier les articles comme réels ou fabriqués. La précision de détection a été mauvaise dans l’ensemble, proche du hasard, à l’exception de légères améliorations sur o3:

Résultats de détection pour ReD et DetOnly, comparés à une référence aléatoire. Les gains de précision par rapport à la référence aléatoire ont été minimaux, mais ReD a été plus conservateur, tandis que DetOnly a obtenu un rappel plus élevé – mais avec de nombreux faux positifs. Le modèle o3 a montré le biais de détection le plus fort; o4-mini a été incohérent; et GPT-4.1 a détecté presque rien.

Dans l’ensemble, ReD s’est avéré plus conservateur, tandis que DetOnly a obtenu un rappel plus élevé, mais également plus de faux positifs.

L’article conclut:

‘Les boucles de publication d’IA menacent l’épistémologie scientifique. Si les contrefaçons deviennent indiscernables du travail réel, la fondation de la connaissance scientifique risque de s’effondrer.

‘La voie à suivre nécessite une défense en profondeur à travers plusieurs couches: technique (vérification de la provenance, validation des artefacts), procédurale (notation pondérée par l’intégrité, surveillance humaine), communautaire (examen post-publication, système d’alerte), et culturelle (éducation sur les limites de l’IA, lignes directrices éthiques).

‘Nous considérons ce travail comme un système d’alerte précoce pour catalyser des défenses solides avant que ces modes de défaillance ne se manifestent à grande échelle. Nos résultats démontrent que les systèmes actuels ne sont pas prêts pour la recherche d’IA uniquement – l’intégrité de la science dépend du maintien d’une évaluation humaine rigoureuse à mesure que les capacités de l’IA progressent.’

Conclusion

L’un des plus grands défis pour la détection de texte écrit par l’IA dans un avenir proche semble être la convergence possible entre la pratique d’écriture standard et les normes du texte généré par l’IA (qui est défini, pour le moment, par des caractéristiques telles que des mots prédominants et des styles de grammaire).

Si le langage commun et le langage de l’IA convergent vers une norme générique, la logique suggère que les méthodes de détection futures basées uniquement sur la sortie seront encore plus difficiles à mettre en œuvre.

En outre, à mesure que les LLM deviennent plus polyvalents et que leurs « signes distinctifs » sont moins mis en évidence (soit par des approches architecturales ou de formation, soit par un meilleur filtrage au niveau de l’API), ils deviendront de meilleurs écrivains; par conséquent, dans une mesure encore plus grande, le langage humain et le langage de l’IA semblent destinés à se rencontrer à mi-chemin; à se fondre et à se générifier.

À ce stade, la détection de l’IA pour le langage semble susceptible d’atteindre le même stade que la génération d’images et (dans une moindre mesure) la génération de vidéos par l’IA ont atteint: la nécessité de systèmes de provenance secondaires tels que l’initiative d’authenticité de contenu dirigée par Adobe, ou des vérifications de provenance basées sur la blockchain / le registre.

Publié pour la première fois le mercredi 22 octobre 2025