Les articles scientifiques rédigés avec assurance influencent les évaluateurs d’IA, quel que soit leur mérite

La confiance constitue un avantage évolutif distinct — et, selon un nouvel article de recherche allemand, elle est aussi un atout lorsqu’un article scientifique est évalué par de grands modèles de langage (LLM) plutôt que par les pairs de son auteur (une nécessité de plus en plus fréquente, car le nombre d’articles scientifiques explose grâce aux gains de productivité permis par l’IA).

La nouvelle étude montre que les évaluateurs fondés sur l’IA (c’est-à-dire non humains) attribuent systématiquement de meilleures notes aux articles scientifiques rédigés dans un langage assuré et catégorique, même lorsque la recherche sous-jacente est identique à celle d’articles au ton moins affirmé. Dans certains cas, changer uniquement la formulation suffit à transformer un rejet en acceptation.

Les auteurs indiquent :

« Nos expériences révèlent que les évaluateurs fondés sur des LLM manifestent une nette préférence pour [papers] l’emploi d’un langage très affirmatif. Fait crucial, ces préférences entraînent souvent un basculement de la décision, du rejet à l’acceptation ou inversement, ce qui influe directement sur les résultats de l’évaluation.

« Au-delà des notes, nous constatons que les aspects abordés dans les évaluations varient en fréquence et en tonalité selon les caractéristiques linguistiques de l’article, ce qui pourrait influencer les décisions finales. »

L’ironie, c’est que le phénomène mis en évidence par les auteurs ressemble beaucoup à la façon dont l’IA se trompe si souvent avec une assurance imperturbable lorsqu’elle répond à nos propres consignes et questions ; sauf qu’ici, la décision est prise par des humains, et que la responsabilité, individuelle et collective, est bien réelle, que les scientifiques à l’origine de ces articles croient ou non réellement à leurs affirmations.

Si l’IA décide de plus en plus quels articles scientifiques seront publiés, les scientifiques pourraient apprendre à « paraître plus sûrs d’eux » comme tactique concurrentielle, peut-être surtout lorsque leurs travaux soumis comportent des lacunes ; cela pourrait permettre à des travaux scientifiques de moindre qualité de s’assurer une place imméritée dans le réservoir toujours plus restreint de l’attention disponible.

L’esbroufe pour l’emporter

Selon l’étude*, les évaluateurs d’IA étaient plus enclins à louer les méthodes, les théories et les contributions scientifiques des articles rédigés avec assurance, même lorsque celles-ci étaient identiques à celles de versions moins catégoriques. Dans le cadre des tests des auteurs, 504 articles scientifiques ont été réécrits dans différents styles, puis évalués par six modèles d’IA, dont GPT-5.5, Claude Sonnet 4.6 et Gemini 3.5 Flash. Il a fallu produire des versions artificielles ou modifiées des articles afin que les particularités et les bizarreries des soumissions réelles ne faussent pas les résultats :

Exemples d’un même passage scientifique réécrit dans quatre styles différents. Les passages surlignés en couleur indiquent les modifications destinées à rendre le texte plus ou moins affirmatif, ou à lui donner davantage les caractéristiques de l’anglais universitaire écrit par des locuteurs natifs ou non natifs. Cependant, les résultats et les chiffres sous-jacents restent inchangés. Source

Les articles provenaient de soumissions à la conférence ICLR 2026, avec un nombre égal d’articles acceptés et rejetés. Claude Opus 5 a ensuite réécrit chaque soumission pour lui donner un ton plus ou moins affirmatif^†, sans modifier son contenu scientifique, ce qui permettait d’attribuer les différences entre les évaluations de l’IA au style rédactionnel, c’est-à-dire au degré d’assurance exprimé.

Dans les résultats, les évaluateurs d’IA ont attribué de meilleures notes aux articles scientifiques rédigés dans un langage assuré, même lorsque les éléments probants étaient identiques. Claude Sonnet 4.6 a affiché le biais le plus marqué, privilégiant les versions affirmatives sept fois plus souvent que les versions prudentes. Dans 21 % des cas, il a recommandé d’accepter un article rédigé avec assurance tout en rejetant une version formulée avec davantage de prudence du même article.

La nouvelle étude indique :

« Nos résultats soulèvent d’importantes préoccupations quant à l’utilisation des LLM dans l’évaluation par les pairs. Si des articles au contenu équivalent reçoivent des notes et des commentaires d’évaluation différents uniquement en raison de leurs caractéristiques linguistiques, les jugements des évaluateurs ne reflètent pas exclusivement la qualité scientifique.

« Il faudrait donc soumettre les évaluateurs fondés sur des LLM à des tests de résistance reposant sur des reformulations qui préservent le contenu, afin de déterminer si les changements linguistiques influencent systématiquement leurs évaluations. »

Les auteurs suggèrent également que ces tests examinent explicitement à la fois les notes attribuées aux articles et les évaluations écrites, afin d’établir si un langage assuré est pris à tort pour un signe de preuves scientifiques plus solides.

Méthode

Au total, 504 articles scientifiques ont été sélectionnés parmi les soumissions à la conférence internationale sur les représentations apprises (International Conference on Learning Representations, ICLR) de 2026. L’échantillon était composé à parts égales d’articles acceptés et rejetés, avec 24 soumissions tirées de chacune des 21 catégories de recherche de la conférence :

La méthode de test en trois étapes. Les articles scientifiques ont été réécrits pour faire varier le niveau apparent de maîtrise de l’anglais ou le degré d’assurance, tout en préservant leurs résultats ; les réécritures ont été vérifiées afin de repérer les changements de style et de sens avant d’être évaluées par des systèmes d’IA dans des conditions identiques ; les différences entre les notes attribuées ont ensuite été comparées.

Chaque article a été anonymisé puis réécrit à l’aide de Claude Opus 5 afin de produire des versions différentes permettant de tester à la fois le degré d’assurance avec lequel les affirmations étaient formulées et le niveau apparent de maîtrise de l’anglais de leur auteur. Pour évaluer le degré d’assurance, les affirmations ont été rendues soit plus catégoriques, soit plus prudentes. Les mots exprimant la certitude, comme « clairement » et « certainement », ont été employés plus souvent dans les versions « assurées », tandis que des expressions nuancées comme « peut » et « suggère » ont été privilégiées dans les versions plus circonspectes.

Dans tous les cas, les affirmations scientifiques, les éléments de preuve, les résultats, la terminologie technique et la structure générale sont restés inchangés. Les auteurs précisent que les consignes de réécriture s’appuyaient sur des travaux de recherche linguistique reconnus, et non sur des demandes générales visant à imiter des styles d’écriture particuliers.

Vérification des réécritures

Pour les vérifications, chaque réécriture a été comparée à l’original au moyen de la similarité sémantique, qui évalue si les passages conservent leur sens, et de la similarité TF-IDF (qui mesure la conservation du vocabulaire et de la terminologie). Les deux scores étaient proches de 1, ce qui confirme une forte similarité avec les originaux :

Vérification des articles réécrits. Les versions assurées employaient un langage plus catégorique, tandis que les versions prudentes exprimaient davantage d’incertitude. Des scores proches de 1 confirment une forte similarité avec les originaux, et les valeurs les plus élevées pour chaque mesure ciblée sont mises en évidence par des couleurs.

Six systèmes d’IA évaluateurs ont été testés : les modèles propriétaires GPT-5.5, Claude Sonnet 4.6 et Gemini 3.5 Flash ; et les modèles à poids ouverts Gemma 3, Qwen3 VL et GLM 4.7. Ils ont notamment été choisis parce que leurs dates de coupure des connaissances sont toutes antérieures à 2026, ce qui réduit le risque qu’ils aient eu connaissance à l’avance des décisions d’acceptation des articles.

Chaque article réécrit a été évalué indépendamment selon des directives similaires à celles d’une conférence. Afin de déterminer dans quelle mesure les notes pouvaient varier d’une évaluation à l’autre, dix articles sélectionnés au hasard ont été évalués dix fois par chaque modèle.

Résultats

Les tests visaient à déterminer si les six systèmes d’IA évaluateurs sélectionnés privilégieraient systématiquement certains styles d’écriture. Ils comparaient des articles rédigés dans un langage « assuré » ou « prudent », ainsi que des articles correspondant à l’anglais académique de locuteurs natifs ou non natifs^†.

Résultats comparant les notes attribuées par les systèmes d’IA à 504 articles scientifiques réécrits dans différents styles. Les pourcentages de préférence indiquent quelle version a obtenu la note la plus élevée, les égalités étant indiquées entre parenthèses ; les rapports montrent combien de fois une version a été préférée à l’autre ; et les inversions de décision indiquent à quelle fréquence un changement de formulation a renversé une décision d’acceptation ou de rejet. Les valeurs statistiques en gras indiquent des différences significatives. La section pertinente est celle du bas, car l’hypothèse du haut n’est pas abordée dans cet article (voir les notes de bas de page).

Les six systèmes d’IA évaluateurs ont systématiquement privilégié l’écriture assurée. Claude Sonnet 4.6 a manifesté la préférence la plus marquée : comme indiqué précédemment, il a attribué une note plus élevée aux versions « assurées » sept fois plus souvent qu’aux versions « prudentes ».

Un article était considéré comme accepté si sa note atteignait 4,5 sur 10. Toutefois, les changements de style d’écriture faisaient parfois passer un même article au-dessus ou au-dessous de ce seuil, renversant ainsi la décision ; ces inversions favorisaient généralement l’écriture assurée.

Claude Sonnet 4.6 s’est particulièrement mal comporté : dans 21 % des cas, il a accepté la version « assurée » et rejeté la version « prudente ». L’inverse ne s’est produit que dans 2,8 % des cas.

Cet effet était également visible dans les évaluations écrites : les systèmes d’IA étaient plus susceptibles de faire l’éloge des méthodes, des théories et des contributions scientifiques d’un article lorsque ses affirmations étaient formulées avec assurance. Comme la recherche elle-même n’avait pas changé, ces évaluations plus favorables ne pouvaient s’expliquer que par des différences de présentation et de ton.

Conclusion

Chaque fois que les humains utilisent l’IA pour accroître (quoique involontairement) le rapport signal/bruit, l’IA est mise à l’essai comme solution — ici, pour faire face à la forte augmentation des soumissions d’articles de recherche en intelligence artificielle, une hausse qui a récemment renforcé le pouvoir de filtrage et les paramètres d’Arxiv. Pourtant, il devrait désormais être clair que les LLM de pointe, comme tous les modèles des catégories inférieures, ont encore bien trop de particularités pour qu’on puisse leur confier le rôle de juge de manière générale, sauf dans les circonstances les plus strictement paramétrées.

Dans de tels cas, transformer des LLM de plus petite taille en outils d’évaluation spécialisés au moyen du réglage fin ou de LoRA serait probablement une meilleure idée. Cela demande toutefois un peu plus d’efforts, voire un petit investissement supplémentaire, tandis que les installations locales « standard » ou les appels d’API sont plus rapides et relativement peu coûteux.

Cet article, rédigé de manière plutôt concise, pourrait néanmoins intéresser davantage que la moyenne les utilisateurs finaux de LLM, car ils connaissent déjà l’« enthousiasme », cette source de problèmes avec laquelle ils doivent composer pour travailler efficacement avec l’IA ; et, si ces problèmes liés aux LLM, comme d’autres du même ordre, ne peuvent pas encore être résolus, ils peuvent au moins être pris en compte.

Avant d’adopter un ton trop sarcastique à propos de ce genre d’équivalence simpliste dans l’évaluation de l’IA, il vaut la peine de se rappeler que ces systèmes sont tout aussi démunis que nous lorsqu’il s’agit d’épistémologie — la quête d’une autorité définitive ; historiquement, nous sommes nous aussi très enclins à confondre le signal avec la chose elle-même.

* Intitulé « Le style plutôt que le fond ? Les biais linguistiques dans l’évaluation par les pairs fondée sur les LLM »

^† Ou pour ressembler à de l’anglais académique rédigé par des locuteurs natifs ou non natifs — une hypothèse parallèle que l’article n’a pas réussi à démontrer aussi efficacement et qui n’est pas abordée dans cet article.

Première publication le mardi 27 octobre 2026