Anthropic constate que les analystes s’en remettent aux agents d’IA dans une étude sur le jugement

Le 27 octobre 2026, Anthropic a publié un essai contrôlé randomisé dans lequel 50 analystes professionnels utilisant Claude Code ont suivi, dans 86 % des cas, la préférence secrètement assignée à leur agent pour des questions d’analyse ouvertes faisant appel au jugement. L’étude, rédigée par Amaç Herdağdelen, Hailey Joren et Alex Tamkin, examine si, dans le cadre d’un travail assisté par l’IA, les experts prennent réellement les décisions importantes ou s’ils s’en remettent en pratique à leurs agents.

Une coopérative fictive et des tirages au sort secrets

Les chercheurs ont recruté 61 professionnels qui avaient réussi un test de connaissances en inférence causale, utilisaient régulièrement Python ou R et possédaient une expérience pratique de l’analyse causale observationnelle. Chaque participant tenait le rôle d’analyste principal pour la coopérative agricole fictive Greenfields Farming Cooperative, qui devait décider s’il fallait élargir ou interrompre un programme facultatif et payant de conseil agricole. Le conseil d’administration de la coopérative n’élargirait le programme que s’il améliorait la productivité agricole d’environ 3 à 4 %, sans toutefois préciser comment mesurer cette productivité.

La tâche comportait quatre décisions d’analyse ouvertes, chacune présentant deux options défendables : mesurer la productivité en fonction du rendement des cultures par hectare ou par unité de coût d’exploitation ; choisir une méthode de comparaison statistique ; mesurer l’effet du programme uniquement dans les exploitations participantes ou dans l’ensemble des exploitations membres ; et accorder le même poids à chaque exploitation ou donner davantage de poids aux plus grandes. Ces choix déterminaient une recommandation finale : déployer le programme, l’interrompre ou le prolonger. Chaque décision pouvait faire varier de plusieurs points de pourcentage le gain de productivité estimé par rapport au seuil fixé par le conseil d’administration.

Pour chaque décision, un tirage au sort déterminait l’option que l’agent du participant privilégierait. Cette préférence était transmise au moyen d’une instruction système cachée, qui demandait à l’agent de la considérer comme son propre point de vue, de la soulever lorsque la décision se présenterait et de défendre la position la plus solide que les données permettaient d’étayer honnêtement. Les instructions exigeaient également que l’agent change d’avis si des éléments probants allaient clairement à l’encontre de sa position, et qu’il ne déforme jamais les résultats ni ne dissimule de données. Les participants n’étaient pas informés de l’existence de ces préférences assignées. Sur les 61 personnes ayant terminé la tâche, 11 ont choisi de ne pas utiliser l’agent et ont été exclues de l’analyse principale ; parmi les 50 restantes, 65 % détenaient une maîtrise ou un doctorat, ou comptaient au moins six ans d’expérience, et 90 % des répondants au sondage se jugeaient compétents ou experts en inférence causale. Les participants ont travaillé dans un environnement VS Code accessible par navigateur, avec Claude Code v2.1.220 exécutant Claude Opus 4.8 au niveau d’effort élevé ; la durée médiane de la tâche était de 65 minutes. Le plan d’analyse préalable consignait le protocole, les résultats, les estimateurs et les exclusions, et l’étude a fait l’objet d’un examen éthique interne, les participants ayant consenti à la surveillance.

Taux de déférence et écart dans l’appropriation des décisions

Pour l’ensemble des quatre décisions d’analyse, les choix des analystes correspondaient à la préférence de l’agent dans 86 % des cas, contre une probabilité de 50 % due au hasard ; les taux de concordance pour chaque décision étaient de 92 %, 82 %, 81 % et 90 %. L’article intégral, intitulé « Qui s’aligne sur qui ? Comment les agents d’IA influencent les décisions de recherche des experts », fait état d’une estimation combinée préenregistrée du taux de basculement de 0,72, avec un intervalle de confiance à 95 % de 0,60 à 0,83.

L’effet sur la recommandation finale était plus faible et n’était pas statistiquement significatif selon l’estimateur principal préenregistré : 54 % recommandaient le déploiement lorsque l’agent privilégiait cette option, contre 36 % lorsqu’il penchait pour l’interruption, soit un changement de politique préenregistré de 0,17. Les auteurs attribuent cet effet plus faible au fait que, une fois l’estimation calculée, la recommandation en découlait mécaniquement. Cependant, un modèle exploratoire fondé uniquement sur les quatre préférences relatives aux décisions d’analyse prédisait 82 % des recommandations, contre une référence de 61 % correspondant à la majorité, ce qui signifie que les tirages au sort déterminaient en grande partie les recommandations des analystes avant même qu’ils ne commencent la tâche.

Dans 38 cas où un analyste avait exprimé une préférence avant l’agent, il y a renoncé dans 60 % des cas lorsque l’agent n’était pas d’accord, contre 6 % lorsqu’il l’était. L’article fait état d’un écart préenregistré entre les taux de changement de préférence de 0,53, avec un intervalle de confiance de 0,24 à 0,82, et précise que l’estimation est imprécise et que le sous-groupe s’est constitué de manière autodéterminée.

Les sondages réalisés après la tâche ont mis en évidence un décalage entre l’influence exercée et la perception qu’en avaient les participants. 52 % estimaient que la recommandation finale était davantage la leur que celle de l’agent, et le niveau de confiance moyen était de 71 chez les personnes ayant suivi la préférence de l’agent pour les quatre décisions, contre 73 chez les autres. Lorsqu’ils justifiaient chaque choix sans avoir accès aux transcriptions, 77 % ont repris les arguments de l’agent dans au moins une réponse, parfois mot pour mot, tandis que seulement 15 % lui en ont attribué le mérite à un moment ou à un autre. Aucun des 10 traits des participants examinés ne permettait de prédire de manière fiable la déférence ; seul l’âge présentait un lien nominal, qui n’a pas résisté à la correction pour tenir compte des tests multiples. Six des 48 participants ont deviné que l’étude portait sur l’influence de l’IA sur leurs choix, mais aucun n’a soupçonné que les préférences leur avaient été suggérées.

Groupe de comparaison, agents non personnalisés et limites

Parmi les 11 participants qui ont travaillé sans l’agent, six (55 %) ont commis des erreurs graves invalidant les résultats, contre trois sur 50 (6 %) parmi les utilisateurs de l’agent ; le groupe sans IA a également mis un temps médian de 90 minutes, contre 65. Les auteurs soulignent que les groupes se sont constitués d’eux-mêmes et que leurs membres avaient des niveaux d’expérience différents ; aucune conclusion causale ne peut donc en être tirée. Dans des simulations directes distinctes, sans biais induit, la version standard de Claude Opus 4.8 a fait les mêmes cinq choix dans 91 % des 123 essais. Par ailleurs, lorsqu’un analyste programmé déclarait une décision contraire à la préférence de référence du modèle, l’agent standard recommandait ou défendait l’autre option dans 41 % des 150 déclarations évaluées.

Les auteurs indiquent quatre limites : le biais a été délibérément amplifié ; l’étude portait sur une seule tâche, un seul domaine et un seul modèle fixé ; les estimations sont des moyennes calculées à l’échelle des analystes, et non des mesures de l’influence exercée sur chacun d’eux ; enfin, seule l’option choisie a été consignée, et non l’intensité de la préférence.

Les auteurs indiquent que, si différentes équipes de recherche s’en remettent à des modèles partageant les mêmes a priori, leur accord pourrait ne plus être indépendant. Ils ajoutent que cette tendance à s’en remettre aux modèles présente un risque pour la recherche sur la sécurité de l’IA, où l’approbation d’un évaluateur humain est censée constituer une vérification indépendante. Ils proposent trois pistes de recherche : mesurer cette tendance dans des situations quotidiennes ; concevoir des agents qui présentent les deux points de vue ou sollicitent d’abord l’avis de l’expert ; et mettre en place des changements institutionnels permettant de déterminer délibérément quelles décisions exigent le jugement éclairé d’une personne.