Votre IA est peut-être encore trop polie pour vous corriger correctement

Les systèmes d’IA sur lesquels nous pouvons compter pour obtenir des informations exactes — même lorsqu’elles ne nous font pas plaisir — doivent être capables de nous contredire malgré nos protestations, jusqu’à ce que nous soyons prêts à nous laisser convaincre par ces nouvelles ou ces faits déplaisants.

L’IA n’y parvient pas très bien : puisque les modèles de pointe sont conçus pour s’adresser aux consommateurs, ils tendent à la déférence et, de fait, à la complaisance.

Un courant de recherche notable s’est développé pour traiter ce problème. Mais des travaux récents ont conclu que nous pouvons facilement manipuler l’IA pour la ramener à la complaisance lorsqu’elle nous contredit ; que l’IA s’incline devant l’autorité humaine même lorsque celle-ci a manifestement tort; et que la technique habituellement efficace de l’apprentissage par renforcement a en réalité pour effet d’aggraver ce problème particulier.

Le fait que la déférence soit culturellement imbriquée avec la politesse semble signifier que le « franc-parler » est impossible dans une relation de service au consommateur : « le client a toujours raison », même lorsqu’il s’apprête à tomber d’une falaise.

Vrai, faux et réponses nuancées à l’excès

J’aimerais pouvoir vous dire que, parmi les articles scientifiques de cette semaine, l’un fait réellement avancer les choses sur ce point. Malheureusement, nous obtenons surtout davantage d’informations sur le fait que les modèles qui nous contredisent et tentent de faire comprendre la vérité à leurs maîtres humains ne s’en sortent toujours pas particulièrement bien* — et que, même lorsqu’ils acceptent de dire la vérité aux puissants — c’est-à-dire à vous —, cela ressemble plutôt à un murmure étouffé.

Le nouvel article en question est le fruit d’une importante collaboration universitaire réunissant l’Université de Washington, l’Allen Institute for AI, la LMU de Munich, l’UC Berkeley, l’Université Stanford et l’Université du Wisconsin à Madison.

Intitulés Une objection dans une botte de foin : les modèles de langage répondent aux erreurs factuelles de manière ambiguë et inefficace, ces nouveaux travaux montrent essentiellement que, même lorsque les modèles d’IA reconnaissent qu’une affirmation de l’utilisateur est fausse, ils ne la corrigent souvent pas clairement, noyant plutôt leurs objections dans des précautions oratoires, des compliments et un accord partiel.

Exemple de réponse de Gemini 2.5 Pro, en hindi, à une demande d’articles scientifiques fondée sur une prémisse erronée. Le surlignage vert indique une approbation, tandis que le rose indique une objection. Ici, le modèle mêle compliments et objections indirectes au lieu de rejeter clairement l’affirmation. Source

Sur sept modèles et cinq langues, les chercheurs ont constaté que cette « ambiguïté » peut laisser les utilisateurs croire l’information erronée d’origine, bien que l’IA l’ait techniquement contestée.

Puisque la complaisance varie selon les langues, tant dans sa manifestation que dans son intensité, les dix auteurs ont tiré parti des cinq langues maternelles qu’ils partagent pour concevoir une méthode de test comprenant l’anglais, l’allemand, le chinois, le hindi et le yoruba — des langues allant de celles disposant de nombreuses ressources à celles faiblement dotées en ressources . Ils déclarent :

« Nous présentons un cadre d’étiquetage des réponses à l’échelle de l’expression, validé par des humains, afin de comprendre finement comment les modèles de langage contestent et/ou confirment des entrées fausses. Nous développons et appliquons notre cadre aux réponses des modèles dans cinq langues : anglais, allemand, chinois, hindi et yoruba.

« Nous constatons que, lorsque les modèles contestent les assertions fausses des utilisateurs, ils ont tendance à employer des formulations indirectes et à y mêler de l’approbation, avec davantage de formulations indirectes en hindi et en yoruba que dans les autres langues étudiées. »

Dans une étude à grande échelle menée auprès de 300 participants, les chercheurs ont constaté que les corrections ambiguës des modèles d’IA pouvaient laisser intactes les idées factuellement erronées des utilisateurs, au lieu de les remettre efficacement en question.

Un test a établi que les réponses des modèles aux demandes d’information comptaient en moyenne 46,7 lignes, dont seulement deux ou trois contenaient des expressions correctives. Autrement dit, même lorsque l’IA s’oppose à une affirmation fausse, cette objection peut être difficile à repérer.

Les chercheurs ont également constaté que les modèles étaient plus susceptibles de contester une information erronée lorsqu’on leur demandait explicitement de la vérifier que lorsqu’elle figurait dans une demande d’information ordinaire. Les affirmations attribuées à des manuels scolaires suscitaient généralement moins de résistance que celles attribuées à des amis.

Dans 29,4 % des réponses aux demandes d’information, les modèles mêlaient correction et approbation, cette proportion atteignant 60,1 % pour Gemini 2.5 Pro. Cela prenait parfois la forme d’un « sandwich de compliments », les objections étant enfouies entre des remarques rassurantes.

Pour tenter d’y remédier, les chercheurs ont testé une intervention simple encourageant les modèles à « attendre une minute » avant de répondre. Dans certains cas, cela a accru leur propension à contester des affirmations fausses, mais a également augmenté les objections erronées à des affirmations vraies.

L’étude suggère qu’amener l’IA à reconnaître une erreur ne constitue qu’une partie du problème, et que l’amener à communiquer cette erreur représente un défi distinct en soi.

Méthode

Le matériel de test provient de la version multilingue d’OpenAI du banc d’essai Massive Multitask Language Understanding (MMLU), datant de 2021. Appelé MMMLU, ce jeu de données multilingue couvre des disciplines universitaires, notamment la biologie et l’histoire.

Les questions à choix multiples de la collection ont été converties en énoncés factuels : les trois réponses incorrectes ont servi à produire des affirmations fausses et la bonne réponse, une affirmation vraie.

Un jeu de données de 35 120 énoncés dans cinq langues a ainsi été produit à partir de 1 756 éléments du banc d’essai MMMLU traduits deux fois pour chaque langue. Pour les expériences, les chercheurs ont sélectionné un échantillon plus petit et équilibré entre les disciplines, comprenant 2 685 énoncés faux et 895 vrais.

Les modèles de langage testés étaient les modèles à code fermé Gemini2.5 Pro et GPT-5.5, ainsi que cinq modèles à poids ouverts : Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; et Aya Expanse 32B.

Dans le premier des trois types de requêtes utilisés pour tester les modèles, un énoncé était présenté pour une vérification factuelle directe. Dans le deuxième, un étudiant était décrit comme cherchant des ressources d’étude en rapport avec un énoncé ; dans le troisième, un professeur demandait des articles scientifiques sur la même base.

Pour les requêtes des étudiants, les énoncés étaient attribués à des manuels, à des enseignants, à des amis, à Internet ou à aucune source précisée. Pour celles des professeurs, ils étaient attribués aux propres recherches du professeur, à des collègues, à des amis, à Internet ou à aucune source précisée. La propension des modèles à contester des affirmations fausses a été évaluée en fonction de ces différentes attributions.

Les trois modèles de requêtes utilisés dans l’étude : vérification factuelle directe (vérification), demandes de ressources d’étude (débutant) et demandes d’articles scientifiques (expert). Les attributions des sources et les détails propres aux disciplines étaient insérés dans ces modèles.

Les réponses des modèles ont été classées en quatre catégories : réfutation explicite, lorsqu’une affirmation fausse était directement contestée ; objection indirecte, lorsqu’un désaccord ou un doute était exprimé sans rejet catégorique ; compliment, lorsque l’énoncé ou la démarche de l’utilisateur faisait l’objet d’un compliment ; et confirmation, lorsque l’énoncé était approuvé.

Exemples d’expressions utilisées par les modèles pour rejeter, remettre en question, complimenter ou confirmer les affirmations des utilisateurs dans les cinq langues testées. Des traductions en anglais sont fournies le cas échéant.

Chaque réponse a été examinée expression par expression, afin d’identifier les compliments, l’accord et le désaccord même lorsqu’ils figuraient ensemble dans une même réponse.

Résultats

Les résultats ont confirmé des constats antérieurs selon lesquels les modèles qui identifient correctement des affirmations fausses lorsqu’on leur demande de les vérifier sont moins susceptibles de contester ces mêmes affirmations lorsqu’on leur demande des informations ou des conseils. Cette différence a été appelée « écart de contestation » et calculée en comparant la fréquence de contestation des affirmations fausses dans les tests de vérification directe à celle observée dans les demandes d’information ordinaires.

Comparaison de la fréquence à laquelle sept modèles de langage contestent des affirmations fausses lors de vérifications factuelles directes et de demandes d’information, dans cinq langues. Les valeurs négatives indiquent une moindre contestation dans les réponses aux demandes d’information. L’orange et le bleu représentent respectivement les requêtes des étudiants et des professeurs, tandis que les symboles distinguent les sources attribuées. Les barres d’erreur indiquent les intervalles de confiance à 95 %.

Comme le montre la figure ci-dessus, les deux modèles Qwen 3.5 présentaient un écart plus faible que les autres dans les langues testées, ce qui indique une plus grande constance dans la correction des informations erronées, quelle que soit la formulation de la question. Elle illustre également l’influence de l’autorité apparente de la source sur les résultats : les affirmations fausses attribuées à des manuels suscitaient moins d’opposition que celles attribuées à des amis, une tendance observée dans différentes langues.

Lorsqu’on leur demandait des informationsplutôt qu’une vérification factuelle, les modèles étaient moins susceptibles de rejeter catégoriquement des affirmations fausses et plus susceptibles de répondre par des objections indirectes, des compliments ou une confirmation. Même les modèles Qwen 3.5, qui avaient présenté relativement peu de différence dans leurs taux globaux de contestation, étaient sujets à ce comportement.

Proportion de réponses contenant des corrections explicites parmi celles qui contestaient des affirmations fausses, dans cinq langues. Les résultats sont répartis entre les requêtes des étudiants (débutants) et celles des professeurs (experts), les sources d’information attribuées figurant sur l’axe horizontal. Les barres d’erreur indiquent les intervalles de confiance à 95 %.

Pour quatre des sept modèles, les affirmations fausses étaient moins susceptibles d’être explicitement contestées en hindi, en chinois et en yoruba qu’en anglais. Les réponses en hindi contenaient également le plus de compliments pour cinq des sept modèles.

Une contestation apparaissait dans 65,3 % des réponses aux demandes d’information, bien que, généralement, moins de la moitié de ces réponses contiennent un rejet explicite de l’affirmation fausse. Les corrections directes étaient plus fréquentes dans les requêtes des étudiants que dans celles des professeurs — et moins fréquentes lorsque les affirmations étaient attribuées à des sources faisant autorité.

En hindi, en chinois et en yoruba, la plupart des réponses contestant une affirmation fausse le faisaient uniquement de manière indirecte, sans rejeter explicitement l’erreur. Dans 29,4 % des réponses aux demandes d’information, les objections aux affirmations fausses étaient mêlées à de l’approbation, cette proportion atteignant 60,1 % pour Gemini 2.5 Pro :

Pourcentage de réponses commençant par une approbation avant de contester une affirmation fausse, pour sept modèles et trois types de requêtes : vérification directe (vérification), demandes d’étudiants (débutant) et demandes de professeurs (expert). Les résultats concernent les réponses contenant à la fois une approbation et une objection. Les barres d’erreur indiquent les intervalles de confiance à 95 %.

Comme nous pouvons le voir ci-dessus, les modèles offraient généralement leur approbation avant de soulever des objections, au lieu de corriger l’affirmation fausse d’emblée. Dans certains cas, l’objection était suivie d’une nouvelle approbation, produisant ce que les chercheurs décrivent comme un « sandwich de compliments ».

Étude auprès de participants humains

Pour vérifier si ces corrections étaient réellement efficaces, les chercheurs ont recruté 300 participants : 100 anglophones, 100 germanophones et 100 sinophones. Les participants ont évalué des affirmations fausses avant et après avoir lu les réponses des modèles.

Comme l’illustre la figure ci-dessous, seules les corrections explicites réduisaient de façon fiable l’adhésion aux affirmations fausses chez les anglophones et les germanophones. Même dans ce cas, seulement 46,7 % des anglophones et 43,8 % des germanophones jugeaient ensuite ces affirmations inexactes. Chez les sinophones, seules les réponses combinant approbation et objection indirecte ont produit une amélioration statistiquement significative :

Évolution de l’évaluation des affirmations fausses par les participants après la lecture de réponses des modèles contenant une approbation, des objections indirectes ou des corrections explicites. Les résultats concernent 100 locuteurs de chacune des langues suivantes : anglais, allemand et chinois. Les valeurs négatives indiquent une diminution de l’adhésion à l’affirmation fausse. Chaque point représente un participant ; les barres d’erreur noires indiquent les intervalles de confiance à 95 %.

Les chercheurs ont également testé si demander aux modèles d’« attendre une minute » avant de répondre améliorait leur propension à contester les informations erronées. Dans la dernière figure ci-dessous, nous pouvons constater une augmentation des objections et une diminution des formulations complaisantes dans certains cas, mais aussi davantage d’objections erronées à des affirmations vraies :

Comparaison des réponses de sept modèles avant et après l’intervention « attendre une minute », avec des requêtes en anglais et traduites. Les graphiques présentent la contestation globale des affirmations fausses, les corrections explicites sans approbation et les objections erronées à des affirmations vraies. Les repères noirs verticaux indiquent les résultats de la vérification directe.

Conclusion

On peut soutenir que la politesse et la déférence se sont confondues dans la « logique interne » des modèles de langage, c’est-à-dire dans l’effet global résultant de leurs matrices entraînées et des nombreuses contraintes imposées de l’extérieur auxquelles ils sont soumis. La nouvelle étude n’établit pas pourquoi les modèles reconnaissent parfois une affirmation fausse, tout en entourant leurs objections de compliments ou de marques d’accord.

Le problème central est que les produits destinés aux consommateurs, comme les gammes GPT et Gemini, ont été malmenés pour être enfermés dans des couches de présentation anthropomorphiques , afin que le plus large groupe de clients payants — sans doute le « plus petit dénominateur commun » et la cible démographique la plus vaste et la plus rentable — puisse facilement comprendre le produit et souhaiter continuer à l’acheter.

Si nous pouvions seulement admettre que le produit n’est pas humain, nous pourrions au moins tenter de désactiver tout ce « contexte » déroutant et accéder plus directement aux connaissances acquises par les modèles lors de leur entraînement.

* Bien entendu, ces informations font en elles-mêmes progresser le domaine.

Première publication le jeudi 15 octobre 2026