Les graphiques tape-à-l’œil peuvent rendre même les recherches « mauvaises » dignes de confiance

De nouvelles recherches montrent que l’accumulation de graphiques élaborés et complexes peut rendre les gens confiants dans les décisions biaisées de l’IA, même lorsqu’elles sont clairement injustes.

Bien que la pratique de ‘aveugler quelqu’un avec la science’ précède considérablement l’ère actuelle de l’IA, elle est arguement en train d’être parfaite dans cette ère – notamment à cause de la récente croissance des soumissions de papiers scientifiques, qui a rendu le rapport signal/bruit défavorable et les ‘trucs bon marché’ plus courants.

Fidèle à l’ancien adage ‘mensonges, damnés mensonges et statistiques‘, l’outil central utilisé pour tromper ou induire en erreur les lecteurs, lors de la présentation de nouveaux systèmes et de preuves scientifiques qui expliquent ou justifient les revendications qui les entourent, sont les graphiques et les visualisations de données.

Dans une étude de 2019 étude de l’effet des graphiques sur les participants dans la Pennsylvanie rurale, les auteurs de l’œuvre ont observé:

‘Les personnes touchées par les abus ou la dépendance se sont tournées vers des graphiques qui représentaient ces substances. Les gens ont souvent déterminé la qualité d’un graphique contenant des informations géographiques en fonction de la facilité avec laquelle ils pouvaient trouver leur état d’origine.

‘D’autres personnes ont tendance à valoriser les graphiques non en fonction de leur propre compréhension, mais de l’efficacité perçue du graphique pour communiquer à autres personnes.

‘Enfin, un participant a même suggéré qu’il prêterait plus attention aux visualisations provenant de sources d’information locales que de sources nationales.’

Certains des graphiques présentés aux habitants de la Pennsylvanie rurale dans une étude de 2019. Source

L’effet hypnotique des graphiques de données devient particulièrement pertinent dans la nouvelle ère de l’apprentissage automatique, où la confiance est cruciale pour le maintien de l’économie de l’IA (et, à l’évidence, pour éviter un krach).

La collaboration américano-britannique de 2024 collaboration Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization a introduit le concept de Trust Junk: une visualisation XAI ‘qui n’a pas de lien significatif avec le modèle ou les données sous-jacentes [et] est employée pour renforcer la confiance’:

À partir du document ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, un exemple de données tordues pour servir un objectif préalable (droite), au lieu d’être affichées explicitement (gauche). Cette approche ‘encourage la surdépendance et submerge l’utilisateur tout en lui offrant une illusion de contrôle’, selon le document. Source

Une étude rapide

Depuis que le concept de Trust Junk a été proposé, il n’a pas été testé – un oubli corrigé par un nouveau document américain, dans lequel les participants ont été présentés avec les résultats d’une étude AI supposée, concernant laquelle des candidats était susceptible de passer un examen de barreau aux États-Unis.

Si l’on regarde attentivement, on peut remarquer que les critères de filtrage étaient a) tous les hommes noirs et b) tout le monde d’autre – avec la prédiction que tous les hommes noirs échoueraient à l’examen:

À partir du nouveau document: un stimulus annoté utilisé dans les expériences des auteurs, montrant une décision de modèle (C) sur la question de savoir si un candidat (B) passera l’examen de barreau, aux côtés de composants explicatifs fonctionnant comme ‘trust junk’ (A, D, E, F). Le modèle est discriminatoire, mais l’ajout de quantités croissantes d’informations explicatives largement non pertinentes amène les participants à être plus d’accord avec ses sorties et à le juger équitable. Source

La plupart des participants ont suivi les prédictions du modèle et l’ont évalué comme équitable et digne de confiance, avec un accord, une confiance et une perception d’équité croissants à mesure que des graphiques et des détails non pertinents étaient ajoutés – même si moins de personnes ont remarqué le biais raciste évident.

Certains utilisateurs ont objecté à l’étude, mais pas pour des raisons apparentées au problème central:

‘Nous avons noté 19 cas où les participants ont décrit notre modèle comme équitable (par exemple, [un participant] a dit : “C’est équitable car il n’a pas de biais racial ou de genre.”). Cependant, les participants ont occasionnellement exprimé leur malaise avec le modèle. [Un participant] a dit qu’il était préoccupé par “le type de noirceur que les gens pourraient utiliser à des fins de manipulation”.

Néanmoins, parmi les trois groupes d’étude des participants, chacun soumis à des quantités croissantes de Trust Junk, aucun n’a identifié le véritable problème.

Les auteurs concluent*:

‘En bref, nous avons constaté que le Trust Junk a fonctionné: les participants ont été soit “apaisés” par les informations non pertinentes, soit “engourdis” par la quantité de données dans les explications.

‘Tout cela s’est produit dans le contexte d’un modèle qui était superficiel et profondément injuste, précisément le cas où nous espérions que l’explication de l’IA permettrait aux auditoires non spécialistes de prendre des décisions précises.’

Puisque nous sommes de plus en plus conseillés de vérifier ce que l’IA nous dit (que ce soit pour des motifs suspects, ou à cause de sorties erronées), nous pourrions être enclins à creuser plus profondément que les titres et à analyser le matériel source des documents de recherche, des rapports trimestriels d’entreprise et d’autres formats d’information loin d’être neutres.

Mais sommes-nous prêts à prêter une attention plus grande aux graphiques ‘apaisants’ qui nous rassurent sur l’exactitude – ou au moins à déprécier le ‘brouillard de véracité’ que peut évoquer une batterie de graphiques?

Le nouveau document s’intitule “Trust Junk” mène à un soutien non justifié pour des modèles prédictifs hautement discriminatoires, et provient de trois chercheurs de l’Université Northeastern à Boston, Massachusetts. Un site supplémentaire a également été mis à disposition.

Méthode

Les auteurs ont mené une expérience crowdsourcée entre sujets (c’est-à-dire différents participants assignés à des conditions différentes) sur le ‘Trust Junk’ dans les explications XAI, en testant si des quantités croissantes de détails techniques corrects mais non pertinents pouvaient convaincre les utilisateurs que un modèle biaisé était équitable et utile.

Les stimuli ont puisé dans des travaux antérieurs, avec les tableaux de bord XAI résultants combinant plusieurs techniques d’explication en une seule interface.

Pour le modèle biaisé mentionné précédemment, les chercheurs ont développé des explications ‘junk’ pour l’étude, avec des explications intentionnellement thématiques autour de ‘techniques trompeuses’ de présentation de données:

‘Nous avons fourni une quantité excessive d’informations pour la tâche de classification binaire de notre modèle. Notre inclusion de grandes quantités de détails complexes mais en fin de compte non pertinents visait à submerger les participants de l’étude plutôt que de leur fournir des données réellement utiles.

‘Cette technique [métaphoriquement] engourdit l’utilisateur en l’amenant à accepter son incapacité à comprendre pleinement les données […].’

L’étude s’appuie sur des controverses antérieures autour de la notation AI dans les examens du baccalauréat international et du niveau avancé du certificat d’enseignement général, en utilisant le jeu de données Law School Admissions Bar Passage dataset, qui contient des données démographiques, académiques et de résultats pour 20 000 candidats de 1991 à 1997.

Ces données ont été utilisées pour construire un modèle intentionnellement biaisé, prédisant l’échec pour les candidats noirs, tandis que tous les autres passaient – mais le modèle atteint toujours 93,7 % de précision, en raison de déséquilibres de classe à travers la race et le sexe.

Une stratégie d’ ‘appel à l’autorité’ a également été testée, avec des indices superficiellement impressionnants tels qu’une affiliation universitaire prestigieuse, la taille du jeu de données et une précision trompeuse ajoutés.

En outre, les mesures qui auraient exposé la dépendance du modèle à la race et au sexe ont été omises, et seuls les résultats favorables ont été présentés. Un petit ensemble de candidats similaires a ensuite été présenté aux côtés de leurs résultats d’examen réels, plutôt que des prédictions du modèle – et cela a aidé à masquer le modèle constant de échec attribué aux candidats noirs.

Pour façonner encore la façon dont les participants interprétaient le système, les informations ont été présentées de manière à les inciter à former des explications simples mais trompeuses de la façon dont le modèle fonctionnait. Des détails sur toutes les fonctionnalités disponibles ont été affichés, créant l’impression que de nombreux facteurs influençaient la décision, même si seulement la race et le sexe étaient utilisés. Un accent cynique sur les attributs individuels a également encouragé les participants à construire des histoires plausibles mais incorrectes sur les raisons pour lesquelles un candidat était prédit pour passer ou échouer.

Les ‘victimes’

Dans le groupe d’étude, chaque explication a été assignée à l’un des trois niveaux de Trust Junk à travers trois conditions d’étude: les participants dans la condition Base n’ont vu que la provenance de base, un profil de candidat et la décision du modèle; ceux dans la condition Modèle ont également vu les statistiques de précision; et ceux dans la condition Tout ont également vu des histogrammes de fonctionnalités et des profils de candidats similaires tirés des données d’entraînement.

L’étude a été approuvée par un conseil d’examen institutionnel et a été menée sur Prolific, avec des participants payés 15 $ de l’heure, et assignés au hasard aux conditions.

Chaque participant a examiné huit profils de candidats à l’examen de barreau dans l’ordre aléatoire, et a jugé si chaque candidat passerait, avec accord utilisé comme mesure de confiance, suivi de questionnaires pour évaluer la confiance et un échantillon final de 28, 27 et 28 participants dans les conditions Base, Modèle et Tout.

Les auteurs ont posé l’hypothèse que l’ajout de plus d’informations apparemment riches mais en fin de compte distrayantes ou incomplètes pourrait fairwasher le modèle en créant une confiance non justifiée dans ses sorties. Ils ont prévu que les participants dans les conditions Modèle et Tout montreraient un accord et des perceptions plus fortes de l’équité, de la fiabilité et de l’utilité que ceux dans la condition Base. Ils ont également analysé les explications écrites des participants, pour voir comment les contributeurs ont donné un sens aux décisions du modèle, en se concentrant sur le fait qu’ils ont remarqué son biais, ou les lacunes dans les informations fournies.

Résultats des tests

En termes d’accord du modèle, les participants humains à l’étude ont identifié le résultat correct 66,6 % du temps, mais ont convenu avec le modèle 73,9 % du temps – montrant une tendance à suivre les décisions du modèle même lorsqu’elles étaient incorrectes. Cette tendance s’est renforcée à mesure que des explications plus détaillées étaient ajoutées, avec la condition la plus détaillée augmentant l’accord à 82,6 %, et augmentant la probabilité que les participants se conforment incorrectement au modèle:

Scores agrégés pour l’accord (gauche), la confiance (milieu) et la satisfaction (droite); les participants dans la condition ‘Tout’ ont signalé des scores significativement plus élevés dans toutes les mesures, malgré le modèle restant identique et clairement injuste.

Les évaluations de confiance variaient considérablement d’une condition à l’autre, les participants dans la condition Tout signalant une confiance plus élevée (M = 25,3) que ceux dans la condition Base (M = 16,8), tandis que la condition Modèle (M = 20,1) ne différant pas significativement de l’une ou l’autre.

La satisfaction à l’égard de l’explication diffère significativement d’une condition à l’autre, les participants dans la condition Tout signalant une satisfaction plus élevée (M = 34,2) que ceux dans les deux autres conditions (M = 26,4).

Les participants ont évalué l’équité en utilisant quatre questions sur une échelle de sept points, couvrant les préjugés de genre, les préjugés globaux et l’éthique, sans différences significatives entre les conditions sur ces mesures:

Distribution des évaluations des participants à travers les conditions pour la perception de l’équité à travers la race et le sexe, l’absence de biais et l’éthique globale. Des niveaux plus élevés de détails explicatifs sont associés à des évaluations d’équité et de biais plus élevées, malgré le modèle sous-jacent restant inchangé et injuste.

Une différence est apparue pour l’équité à travers la race, où le groupe Base a évalué le modèle comme le moins équitable (M = 3,9), tandis que les groupes Modèle et Tout l’ont évalué plus élevé (M = 4,8). Plus préoccupant encore, la plus grande part des participants qui ont jugé le modèle clairement injuste comme équitable provenait des deux groupes qui ont vu le plus de détails explicatifs – qui étaient également les moins susceptibles de reconnaître son biais.

Contrôle de la qualité

Les réponses qualitatives ont montré que les participants qui ont reçu le moins d’informations étaient plus susceptibles de remarquer des problèmes avec le modèle – en particulier son recours à la race et au sexe. Ils étaient également plus susceptibles de dire que des détails importants manquaient.

À l’inverse, ceux qui ont vu des explications plus élaborées ont soulevé ces préoccupations moins souvent. Même ainsi, seuls trois participants à travers toutes les conditions ont démontré une compréhension partielle des facteurs clés qui déterminaient les décisions du modèle; et aucun n’a pleinement identifié la façon dont il fonctionnait.

Graphiques montrant combien de fois les participants ont signalé des préjugés de race ou de sexe possibles et des informations explicatives manquantes à travers les conditions, avec des niveaux plus élevés de détails explicatifs associés à moins de participants remarquant des préjugés ou signalant des informations manquantes – même si le modèle ne reposait que sur la race et le sexe.

De nombreux participants ont explicitement décrit le modèle comme équitable, avec 19 réponses enregistrées, malgré son biais évident.

En même temps, un certain malaise a émergé, avec plusieurs participants exprimant leur inquiétude quant à la façon dont un tel système pourrait être utilisé, et 15 réponses remettant en question la capacité du modèle à capturer la complexité des candidats individuels.

Les auteurs déclarent:

‘Seuls une minorité de participants ont décrit le modèle comme injuste ou biaisé. Les quelques participants qui ont exprimé des préoccupations concernant le modèle n’ont pas pu articuler avec précision pourquoi le modèle était défectueux, et, en l’absence d’informations cruciales sur le modèle, ont recouru à un raisonnement informel, souvent incorrect, pour expliquer pourquoi le modèle pourrait être faux ou injuste.’

Le document conclut*^†:

‘Bien que certaines des questions que nous soulevons puissent être résolues par une meilleure littératie des données chez les auditoires, l’éducation seule ne suffit pas (même les experts en IA autoproclamés interprètent habituellement de manière erronée ou ne comprennent pas les techniques XAI).

‘Nous réitérons l’affirmation de Hullman et al.: le succès des explications de l’IA ne peut être évalué équitablement que lorsqu’on considère les objectifs de ces explications.

‘Nous exhortons la communauté à prêter attention aux objectifs rhétoriques des explications XAI et à leur pouvoir de manipulation en tant qu’artefacts persuasifs intrinsèquement.’

Conclusion

Alors que l’étendue à laquelle les modèles de pointe sont enclins à ‘décorer’ les énoncés avec des graphiques bidon devient claire, il est de plus en plus évident non seulement que les graphiques générés par l’IA ne devraient pas être utilisés pour étayer l’autorité, mais que l’effet général ‘ambiant’ des visualisations qui les accompagnent est quelque chose que nous devrions commencer à déprécier – tout comme la confiance en la photographie a été érodée par l’avènement des deepfakes.

Ceci est arguement un développement inquiétant, puisqu’il constitue un autre ‘point de fatigue’ dans la volonté du public de scruter avec rigueur ce qu’il voit et entend dans les médias, et risque une sorte d’ ‘acquiescement terminal’ dans les fausses informations.

* Ma substitution des citations en ligne des auteurs par des hyperliens.

^† Mise en page originale des auteurs, et non la mienne.

Publié pour la première fois lundi 20 juillet 2026