Le rapport de GEPI sur les échecs de l’IA envers les femmes examine comment les algorithmes amplifient les préjugés sexistes

Un score de recrutement, une évaluation de solvabilité ou une recommandation clinique peuvent sembler impartiaux tout en perpétuant les inégalités présentes dans les données qui les sous-tendent. C’est le principal avertissement du nouveau rapport du Gender Equity Policy Institute, Comment l’IA échoue aux femmes : quand les préjugés s’amplifient, qui rassemble des recherches sur la façon dont les systèmes automatisés peuvent reproduire — et parfois accentuer — la discrimination fondée sur le genre.

Rédigé par Myriam Shiran, PhD, chercheuse en apprentissage automatique et chercheuse principale au GEPI, le rapport passe en revue la littérature universitaire et la littérature grise consacrées aux possibilités économiques, aux soins de santé, à la justice pénale, aux contenus générés, à la conception de l’IA grand public et aux violences sexuelles fondées sur des images rendues possibles par l’IA. Il s’agit d’une synthèse des éléments de preuve existants, et non d’une nouvelle expérience évaluant chaque système d’IA selon un critère unique.

Son argument le plus important porte sur ce qui se passe lorsqu’un résultat biaisé sort d’un modèle. Les recommandations influencent les décisions, les contenus générés façonnent les attentes et certains résultats servent de matière à de futurs entraînements. Un schéma inéquitable peut donc devenir plus difficile à repérer à mesure qu’il se propage dans des systèmes successifs.

Des données d’entrée qui ignorent le genre ne garantissent pas des résultats équitables

Supprimer le champ du genre est une réponse intuitive à la discrimination. L’analyse du GEPI explique pourquoi cette seule mesure ne suffit pas : les noms, le niveau d’études, les parcours professionnels et d’autres détails peuvent encore véhiculer des indices liés au genre. Les résultats historiques peuvent également intégrer des traitements inégaux avant même qu’un modèle n’y soit confronté.

Un audit des pratiques de recrutement cité dans le rapport, mené par Wilson et Caliskan en 2024, a comparé plus de trois millions de CV simulés dans neuf professions. Les modèles de présélection testés ont favorisé de manière significative les noms associés aux hommes dans 51,9 % des comparaisons, et les noms associés aux femmes dans 11,1 % d’entre elles. Dans les 37 % restants, aucune préférence significative n’a été observée. Il s’agit de résultats issus de tests contrôlés de modèles, et non du pourcentage de candidats réels à qui un emploi a été refusé.

Les résultats varient également selon la conception des tests. Le rapport décrit un autre audit, mené en 2025, dans lequel plusieurs modèles de langage n’ont montré aucune différence liée au genre lorsque les chercheurs ne modifiaient que les noms, tandis que les changements apportés aux informations sur le niveau d’études influençaient les scores. Un test trop limité peut passer à côté d’informations importantes ailleurs dans le même processus.

Dans le domaine du crédit, l’analyse cite une étude portant sur environ 80 000 prêts personnels non garantis accordés par un grand prêteur américain du secteur des technologies financières. Les prêts consentis à des femmes ont généré des rendements plus élevés pour le prêteur ; l’étude a attribué ce résultat à un modèle qui surestimait leur risque de défaut et fixait les taux en conséquence. Ici, la question porte sur le rapport entre le risque prédit, le remboursement effectif et le prix payé par l’emprunteur — et pas simplement sur la présence ou non du genre dans la demande.

En IA médicale, un bon score moyen ne suffit pas

Le secteur de la santé illustre particulièrement bien pourquoi les performances globales peuvent masquer des différences importantes. Un modèle peut afficher de bons résultats dans l’ensemble tout en commettant davantage d’erreurs pour les personnes sous-représentées dans ses données d’entraînement ou de validation.

Le GEPI cite une étude de 2024 menée par Zack et ses collègues, qui a soumis à GPT-4 des cas de douleurs thoraciques identiques à tous égards, hormis le fait qu’ils concernaient un homme ou une femme. Sur 200 essais pour chaque description, le modèle a jugé les tests d’effort cardiaque très importants dans 71 % des cas masculins et 58 % des cas féminins, soit un écart de 13 points de pourcentage.

Ce résultat concerne les recommandations du modèle dans le cadre d’une évaluation contrôlée, et non les décisions de traitement observées ou les résultats cliniques des patients. Cette distinction est importante, d’autant que le rapport inclut des études exploratoires portant sur différents modèles, maladies et actes cliniques, menées à des moments différents.

L’analyse apporte également une précision essentielle : les différences entre les sexes qui ont une importance clinique ne doivent pas être simplement effacées. Il s’agit de déterminer si une différence dans les conseils d’un modèle reflète une réalité biologique pertinente ou une supposition infondée. Cela exige des données d’évaluation représentatives et un examen attentif des erreurs, plutôt que d’imposer que toutes les recommandations soient identiques.

Les préjugés peuvent façonner les représentations autant que les décisions

Le rapport distingue les atteintes à l’accès d’une personne aux ressources — comme un prêt ou des soins médicaux — des préjudices liés à la représentation des groupes. Les lettres de recommandation générées, les articles de presse et les images de professions peuvent renforcer les stéréotypes, même lorsqu’aucune décision immédiate d’attribution ne s’ensuit.

Les recherches synthétisées par le GEPI ont montré que les modèles de langage décrivaient davantage les femmes en fonction de qualités relationnelles, et les hommes en fonction de leur leadership ou de leurs compétences. Des études sur les générateurs d’images ont mis en évidence une ségrégation entre les genres exagérée dans les représentations des professions. Ces résultats concernent les modèles et les versions examinés ; ils ne doivent pas être interprétés comme un nouvel audit de tous les systèmes actuellement disponibles.

Les assistants et compagnons destinés au grand public soulèvent une autre question. Leur voix, leur personnalité et leurs réactions au harcèlement sont des choix délibérés de conception du produit. Évaluer uniquement l’équilibre statistique de leurs réponses peut faire oublier les présupposés intégrés à la conception même du produit.

L’étude examine également les images sexuelles synthétiques non consenties, que l’IA peut rendre plus faciles à produire et à diffuser dans le cadre d’abus. Il ne s’agit pas seulement d’une représentation inexacte : utiliser l’image d’une personne réelle sans son consentement peut lui causer un préjudice direct. Cela appelle une réponse différente de celle qui consiste à corriger un stéréotype professionnel dans une œuvre générée.

Pourquoi les tests indépendants sont importants

GEPI décrit quatre mécanismes récurrents : l’apprentissage à partir de données historiques inégalitaires, la reproduction de stéréotypes, la présentation de jugements comme des mesures objectives et la possibilité que des résultats biaisés influencent des décisions ou des modèles ultérieurs.

Les audits indépendants contribuent à rendre ces mécanismes visibles. Les chercheurs peuvent faire varier un attribut dans des données d’entrée par ailleurs comparables et examiner l’évolution des résultats, même sans accéder à l’architecture interne d’un modèle propriétaire. Toutefois, la réussite d’un test sur une requête ou un banc d’essai ne suffit pas à établir l’équité de l’ensemble d’un déploiement.

Pour les organisations qui adoptent l’IA, la conséquence pratique est qu’elles doivent tester le cas d’usage réel. Une équipe de recrutement doit examiner le parcours qui mène des résultats du présélectionnement au choix des candidats convoqués en entretien. Un prêteur doit comparer les estimations du risque aux résultats de remboursement. Un organisme de santé doit comprendre quels patients sont représentés dans les données de validation et où se concentrent les erreurs. Ces vérifications répondent à des questions différentes de celles qui consistent à déterminer si un modèle est fluide ou précis en moyenne.

Ce que le rapport établit — et ce qui reste inconnu

Le rapport s’appuie principalement sur des données provenant des États-Unis, tout en signalant les études internationales pertinentes. Ses sources couvrent différentes technologies, périodes et méthodes. Certaines documentent des résultats ; d’autres révèlent des comportements préoccupants dans des simulations. L’étude n’établit pas un taux universel de discrimination et ne montre pas non plus que tous les systèmes produisent les mêmes biais.

Le rapport relève également un problème de mesure : les chercheurs n’ont souvent pas accès aux données institutionnelles nécessaires pour relier un résultat à ses conséquences. Constater une disparité est important, mais en comprendre le coût réel peut nécessiter des dossiers détenus par des employeurs, des fournisseurs, des prêteurs ou des prestataires de soins de santé.

La contribution de GEPI consiste à rapprocher des constats souvent examinés séparément et à se demander si les tests et les mécanismes de responsabilisation accompagnent l’IA jusque dans les décisions qu’elle influence. Le rapport complet, Comment l’IA pénalise les femmes : quand les biais s’amplifient, présente la méthodologie, les références des études et les éléments de preuve par secteur qui étayent cette analyse.