Angle d’Anderson
Le progrès scientifique porté par l’IA menacé par une étrange obsession

Points clésLes nouveaux évaluateurs IA se focalisent sur les annexes tandis que les évaluateurs…
Voir plus
- Les nouveaux évaluateurs IA se focalisent sur les annexes tandis que les évaluateurs humains se concentrent sur les principales conclusions d'un article.
- Les modèles de langage traitent chaque passage comme également important, de sorte qu'ils manquent quelles sections comptent réellement.
- Le biais en faveur des annexes persiste selon les méthodes d'accès et produit des retours superficiels qui aident à peine les auteurs à s'améliorer.
Une nouvelle étude américaine suggère que les modèles d’IA chargés d’évaluer des articles scientifiques développent une étrange obsession pour les annexes, au détriment du corps principal du texte, accordant souvent davantage d’attention à des détails secondaires qu’aux principaux résultats. Alors que les modèles de langage sont de plus en plus utilisés pour aider les évaluateurs humains, voire les remplacer, cette tendance récemment mise en évidence semble se propager à l’évaluation par les pairs, ce qui pourrait freiner les progrès de la recherche en IA :

D’après la nouvelle étude, les critiques portant sur les annexes dans les évaluations scientifiques par les pairs réalisées par des humains sont en hausse. Après être restée sous les 11 % pendant des années, leur proportion a atteint 27,6 % dans les évaluations les plus récentes, après la sortie de modèles d’IA dont plus de la moitié des critiques portent sur les annexes. Les lignes en pointillé indiquent les sorties de modèles majeurs. Source
En testant 2 000 articles scientifiques issus de quatre conférences populaires, les chercheurs à l’origine de cette étude ont constaté que les modèles les plus récents tirent environ 50 à 70 % de leurs critiques des annexes, contre moins de 30 % pour l’ancien GPT-5.
Deux des modèles d’IA récents les plus en vue, qui semblent inciter même les évaluateurs humains à se tourner vers les annexes plutôt que vers les résultats principaux, plus importants, sont GPT-6.1-Sol et GPT-6-Astra d’OpenAI, tous deux sortis en 2026.
L’article indique* :
« L’écart entre les générations est important. Pour GPT-5, seule une faible proportion des faiblesses relevées concerne les annexes. Les deux modèles plus récents, GPT-6.1-Sol et GPT-6-Astra, s’appuient beaucoup plus sur celles-ci, et ce constat vaut pour toutes les conférences.
« Cela suggère que le biais en faveur des annexes est principalement une caractéristique des modèles les plus récents. Même si les nouveaux modèles représentent une amélioration, leur biais en faveur des annexes s’est accentué. Leur capacité à lire un article en détail ne leur a pas appris à distinguer les parties les plus importantes. »
L’étude a également révélé que cette fixation sur les annexes varie selon les méthodes utilisées pour transmettre l’article à l’IA, car les interfaces API, Codex et Web ne traitent pas les PDF de la même manière. Codex ne lit même pas le milieu d’un PDF de longueur moyenne : si nécessaire, il le parcourt ensuite par « morceaux ». Toutes les méthodes se sont toutefois révélées privilégier le contenu des annexes.
Jusqu’à récemment, les évaluations humaines et celles de l’IA ne partageaient pas cette obsession :
« [Human]Les évaluateurs traitent le corps principal et les documents supplémentaires de façon très différente des LLM. Les LLM attribuent plus de 50 % de leurs critiques à des éléments liés aux annexes, tandis que les humains leur en attribuent moins de 10 %.
« L’écart se manifeste également à l’échelle de chaque évaluation. Sur les 200 articles échantillonnés chaque année de 2021 à 2024, seuls 159 au total ont reçu une évaluation humaine signalant au moins une faiblesse liée aux annexes. En revanche, les 200 évaluations générées par des LLM pour ICLR 2027 comportaient toutes au moins une critique portant sur les annexes. »

Comparaison des critiques portant sur les annexes dans les évaluations par les pairs réalisées par des humains et générées par l’IA. Les évaluateurs humains ont attribué seulement 8,4 % des faiblesses relevées au contenu des annexes, contre 62 % pour les modèles d’IA. La deuxième colonne présente les critiques visant uniquement les annexes, sans problème correspondant dans l’article principal.
Comme le montre le tableau des tests ci-dessus, les évaluateurs d’IA étaient plus de sept fois plus susceptibles que les humains de relever des faiblesses dans les annexes, et plus de trois fois plus susceptibles de formuler des critiques portant uniquement sur les documents supplémentaires. Cela indique que certains des modèles d’IA de pointe les plus récents accordent désormais la priorité à des détails que les évaluateurs humains considèrent traditionnellement comme secondaires par rapport à la contribution scientifique principale d’un article.
Pourquoi ?
Pour autant qu’on puisse en juger — il s’agit de la première étude à avoir mis ce phénomène en évidence —, une partie du problème tient au fait que les IA ne comprennent pas, ou n’ont pas appris au fil de leur entraînement sur d’immenses quantités de données, que le contenu essentiel d’un article ne se trouve généralement pas dans ses annexes. Leur tendance générale à considérer tous les textes comme également importants les empêche de tenir compte du contexte des annexes, souvent peu éditées et présentées de façon beaucoup plus sommaire que le corps principal de l’article :
« Les LLM ne critiquent presque jamais les premières pages, où l’article expose le problème qu’il traite et explique pourquoi il est important. Les humains contestent souvent précisément cette présentation, tandis que les LLM semblent l’accepter et passent aux chiffres.
‘[Humans and LLMs] lisent l’annexe de façon très différente. Les critiques des évaluateurs humains s’estompent rapidement au fil de l’annexe et disparaissent presque dans ses dernières pages. Les faiblesses des LLM, elles, ne s’estompent pas du tout. En fait, elles culminent bien après le début de l’annexe et persistent même au-delà de la page 30, où les évaluateurs humains ne soulèvent presque aucune préoccupation.
‘Pour un LLM, un détail à la page 25 constitue une cible de critique tout aussi légitime que le tableau principal des résultats.’
Les auteurs notent que l’approche égalitaire des LLM à l’égard du texte les a peut-être naturellement amenés à se concentrer davantage sur le contenu des annexes, car, comme indiqué plus haut, celui-ci comporte généralement plus d’erreurs.
Ainsi, l’idée générale que je retiens de cette nouvelle étude est que les LLM se sont progressivement concentrés sur une partie des nouveaux articles scientifiques où les erreurs et les confusions sont souvent nombreuses, tout simplement parce que cette partie est si souvent considérée par les auteurs humains comme un fourre-tout désordonné pour les preuves et les éléments justificatifs secondaires.
C’est pourquoi l’IA trouve de plus en plus les annexes plus intéressantes que le corps principal, soigneusement sélectionné, car elles lui offrent davantage de matière à analyser et à corriger ; par conséquent, indique l’article, les LLM ont tendance à considérer la partie introductive de l’article comme un compte rendu factuel et à la prendre au pied de la lettre :
‘Les humains s’attendent à ce que le corps principal se suffise à lui-même ; ils protestent donc lorsque des sections essentielles sont reléguées dans l’annexe. Les LLM soulèvent presque jamais cette objection.
‘Cela met en évidence une différence fondamentale : les humains comprennent que le corps principal a plus de poids que l’annexe, contrairement aux LLM. ‘
Conséquences et solutions
Cette attention inattendue portée aux détails mineurs pourrait avoir de graves conséquences pour la recherche scientifique assistée par l’IA, en particulier si l’importance des principales conclusions d’un article est négligée. Comme cette tendance semble n’être apparue qu’avec les modèles les plus récents, ses effets à long terme restent inconnus.
L’article reconnaît que les évaluateurs IA peuvent repérer des erreurs importantes, même lorsqu’elles sont enfouies au fond d’une annexe. Il avertit toutefois qu’une attention excessive peut être accordée aux détails mineurs au détriment des principales conclusions d’un article, ce qui donne lieu à de longues évaluations de peu d’utilité pratique :
‘Les évaluateurs LLM rehaussent le niveau d’exigence, puisqu’ils n’omettent aucune partie de l’article. Toutefois, une évaluation efficace exige aussi de savoir juger ce qui compte le plus. Lorsque la plupart des faiblesses d’une évaluation proviennent de contenu d’annexe sans rapport avec la contribution principale, les commentaires restent superficiels. Ils ne s’attaquent pas au cœur de l’article et aident peu les auteurs à l’améliorer. ‘
Les auteurs de ces nouveaux travaux, intitulés Les évaluations par IA sont biaisées en faveur des annexes, ont décidé d’approfondir cette piste après avoir remarqué certaines tendances étranges dans la façon dont les évaluations assistées ou générées par des LLM jugeaient leurs propres soumissions. Le code de l’étude est disponible sur GitHub.
Méthode et tests
Pour les tests, quatre modèles d’IA de premier plan d’OpenAI et d’Anthropic ont été sélectionnés : GPT-6-Astra ; GPT-6.1-Sol ; Claude-Opus-5.5 ; et Claude-Sonnet-5.5. Les modèles ont été utilisés par l’intermédiaire de Codex et de Claude Code, et leur comportement en matière d’évaluation a été comparé à celui observé avec l’accès par API et par interface Web.
Des articles de recherche ont été recueillis auprès de quatre grandes conférences sur l’IA et le traitement automatique des langues : ACL 2026 ; EMNLP 2026 ; COLM 2026 ; et ICLR 2027 – toutes retenues parce qu’elles utilisent des formats de soumission et d’évaluation similaires, avec des limites strictes de longueur pour l’article principal, mais généralement aucune restriction pour les annexes placées après les références.
Au total, 2 000 articles ont été examinés : 1 200 provenant d’ICLR 2021–2026 et 800 de quatre conférences récentes (200 articles ayant été sélectionnés dans chacune). Les 800 articles récents comportaient tous des annexes d’au moins 15 pages. Les soumissions à ICLR 2027 étaient déjà anonymes, tandis que les noms des auteurs, leurs affiliations, leurs adresses électroniques et les liens permettant de les identifier ont été supprimés des articles d’ACL, d’EMNLP et de COLM afin d’empêcher les évaluateurs IA de découvrir leur identité.
L’accès à Internet a été désactivé pour les modèles, afin que les évaluations reposent entièrement sur les fichiers PDF fournis.
Dans un premier temps, il a été demandé à l’IA de produire une évaluation conforme aux pratiques de la conférence concernée, portant sur les points forts et les faiblesses de l’article et lui attribuant une note globale. Les consignes ont été volontairement formulées de manière simple, afin de refléter la façon dont un évaluateur pourrait réellement utiliser l’IA. L’article et l’évaluation achevée ont ensuite été rendus au même modèle d’IA, auquel il a été demandé d’indiquer à quelle section de l’article se rapportait chaque critique. Pour le déterminer, les chercheurs ont examiné chaque critique en parallèle avec l’article original :

Le processus d’évaluation en trois étapes utilisé dans l’étude. Des articles comportant des annexes d’au moins 15 pages ont été sélectionnés dans quatre conférences, puis anonymisés avant d’être évalués par des modèles d’IA. Chaque évaluation a ensuite été examinée en regard de l’article original, et les critiques individuelles ont été attribuées aux sections concernées.
En séparant ces tâches, il était possible d’examiner les parties des articles qui avaient suscité des critiques sans que les évaluations initiales soient influencées par des consignes supplémentaires.
Parmi les résultats que nous n’avons pas encore évoqués figure le test mené par les auteurs pour déterminer où se trouvent les faiblesses des évaluations générées par les LLM :

Comparaison des endroits où les évaluations générées par l’IA ont relevé des faiblesses dans quatre conférences. Le vert représente les critiques portant sur l’article principal, le rouge celles qui concernent les annexes, et les zones hachurées indiquent celles qui visent uniquement les annexes. Dans presque tous les tests, plus de la moitié des critiques ont été attribuées au contenu des annexes ; le biais le plus marqué a été observé avec GPT-6-Astra.
Comme le montre le graphique ci-dessus, environ la moitié, voire davantage, des critiques formulées par chacun des quatre modèles d’IA s’appuyaient sur le contenu des annexes — une tendance observée dans les quatre conférences. Certaines critiques visaient exclusivement les annexes, sans aucun lien avec l’article principal ; elles représentaient 17,33 % des faiblesses relevées par les modèles GPT, contre 10,16 % pour Claude.
Selon l’article, ces résultats indiquent que le contenu des annexes recevait une attention disproportionnée et que des détails relativement mineurs étaient parfois considérés comme des motifs de critique de l’article dans son ensemble.
Une comparaison entre différentes méthodes a été menée afin d’établir si le biais en faveur des annexes dépendait de la manière dont on accédait à l’IA. À l’aide de GPT-6-Astra, cent soumissions à ICLR 2027 ont été examinées au moyen de Codex, de l’interface Web de ChatGPT et d’une API à laquelle était fourni soit le PDF original, soit le texte extrait de celui-ci.
Avec Codex, le texte était extrait puis examiné à l’aide de commandes ; avec l’API, le PDF complet ou le texte qui en avait été extrait était fourni directement ; tandis que les documents téléversés étaient traités par le système propre à l’interface Web, dont le fonctionnement est opaque :

Comparaison des critiques concernant les annexes selon les modèles d’IA et les méthodes d’accès. À gauche, GPT-5 cite le contenu des annexes bien moins souvent que les modèles GPT plus récents dans quatre conférences. À droite, le biais persiste selon les quatre modes d’accès à GPT-6-Astra : les critiques concernant les annexes représentent de 62,2 % à 73,7 % du total. Les zones hachurées indiquent les critiques visant exclusivement les annexes.
Comme le montre le graphique ci-dessus, le contenu des annexes était cité dans 62,2 % à 73,7 % des critiques, toutes méthodes confondues ; la proportion la plus élevée a été observée lorsque le texte extrait était fourni directement par l’API. Le biais persistait donc quel que soit le mode d’accès au modèle.
La majeure partie des autres tests avait déjà été présentée plus tôt dans l’article ; nous renvoyons le lecteur aux sources pour de plus amples informations.
Les manœuvres autour des soumissions
Le sujet est personnel pour les auteurs de la nouvelle étude, et il l’est tout autant pour moi : je lis beaucoup d’articles scientifiques et j’ai appris à mes dépens les règles tacites — et les façons de les contourner — qui déterminent la manière dont les articles sont rédigés et présentés.
L’IA n’est pas globalement en tort lorsqu’elle prête attention aux annexes, même si elle le fait pour de mauvaises raisons, car les auteurs y dissimulent souvent les « pièges » de leur article : des facteurs ou des résultats susceptibles de presque invalider, ou du moins de fortement nuancer, les affirmations formulées dans le corps du texte.
Les auteurs ne sont pas non plus nécessairement en tort de reléguer des éléments importants dans les annexes, puisque les modèles utilisés par des publications populaires, comme celles qui ont fourni les données de la nouvelle étude, imposent un nombre maximal de pages ou de mots pour le corps de l’article.
Pour rendre compte de résultats d’études complexes, de nombreux auteurs considèrent manifestement cette limite comme très contraignante ; dans ce que je qualifierais de « pires cas »†, le corps de l’article se réduit à un simple index des éléments relégués à la fin pour contourner les consignes (les consignes commencent toutefois à rattraper cette « astuce » et à l’interdire).
La tension croissante dans ce scénario oppose la nécessité, pour les institutions, que les auteurs encadrent et limitent leurs présentations — enjeu d’autant plus important que le nombre d’articles soumis augmente — à la frustration manifeste des chercheurs, qui souhaitent présenter les fruits chèrement acquis de leur travail dans un contexte aussi complet et exhaustif que l’effort fourni leur semble le mériter.
* Emphases des auteurs, et non de moi.
† Car, lorsqu’il faut trier les articles à traiter, ce renvoi aux annexes peut être difficile à repérer, même pour une IA ; mais il risque de considérablement désorienter la personne chargée de l’évaluation si elle avait prévu le temps nécessaire pour examiner un article de dix pages et découvre alors qu’elle doit étudier 30 pages de contenu dans le même laps de temps.
Publié pour la première fois le lundi 16 novembre 2026












