L’IA n’élimine pas les biais humains. Elle les amplifie.

On présente souvent l’IA comme un moyen de rendre les décisions plus objectives : selon cette logique, il suffirait d’éliminer le jugement humain pour éliminer les biais humains. Un nombre croissant de travaux de recherche réfutent cette idée.

Les systèmes d’IA apprennent de l’histoire humaine. Ils sont entraînés à partir de nos décisions, de notre langage, de nos institutions et, inévitablement, de nos angles morts. Lorsqu’ils sélectionnent des candidats, répartissent les soins de santé ou évaluent des employés, ils peuvent reproduire ces biais à une échelle et à une vitesse qu’aucun individu ne pourrait égaler.

Le problème majeur, c’est que les décisions semblent neutres. Un score apparaît. Un classement s’affiche. Une recommandation est générée. Rien ne révèle les présupposés qui les sous-tendent, et personne dans la pièce ne se sent nécessairement responsable du résultat.

C’est pourquoi le biais de l’IA n’est pas avant tout un problème de modèle, mais de gouvernance. Un modèle peut être réentraîné, mais les questions les plus difficiles sont d’ordre organisationnel : qui est responsable de chaque décision, ce que le système cherche à optimiser et qui est en mesure de le contester.

Les biais humains entrent dans l’IA et en ressortent à la vitesse des machines

Le mécanisme n’a rien de mystérieux. Les modèles s’ajustent aux schémas statistiques présents dans leurs données d’entraînement et, lorsque les résultats historiques (qui a été embauché, qui a reçu des soins) intègrent déjà de la discrimination, la cible que le modèle apprend à prédire est biaisée dès le départ. Des études récentes montrent à quel point ce phénomène se produit facilement avec différents fournisseurs et pour diverses tâches :

• Recrutement à grande échelle. Une analyse de Stanford portant sur 4 millions de candidatures à des emplois réels a révélé que 26 % des candidats noirs et 15 % des candidats asiatiques avaient postulé à des postes pour lesquels le système d’IA discriminait leur groupe racial. Les modèles avaient appris à partir de décennies de décisions humaines en matière d’embauche.
• Classement des CV. Des chercheurs de l’University of Washington ont évalué plus de 550 CV réels à l’aide de modèles linguistiques actuels et ont constaté que les noms associés aux personnes blanches étaient favorisés dans 85 % des cas, tandis que les noms d’hommes noirs étaient rarement préférés.
• Communication au travail. Des travaux de recherche de Johns Hopkins publiés plus tôt cette année ont montré que GPT-4, Llama, Gemma et Mistral produisaient des courriels professionnels moins élaborés et moins formels lorsque les consignes contenaient des tournures plus couramment associées aux femmes.

Dès qu’un système de ce type est déployé, ces schémas cessent d’être une caractéristique des données d’entraînement et deviennent une composante des décisions prises au quotidien.

Le véritable danger, c’est l’échelle et le silence

Un recruteur aux préjugés marqués pourrait examiner des centaines de CV en un an. Un système de sélection biaisé peut traiter des millions de candidatures en une nuit, en appliquant à chacune la même logique défaillante. Une décision humaine biaisée reste souvent un cas isolé ; les décisions biaisées d’un modèle peuvent rapidement devenir la norme.

Le secteur de la santé en offre l’un des exemples les plus frappants. Un algorithme largement utilisé, qui a eu des répercussions sur des millions de patients, avait été conçu pour repérer les personnes qui bénéficieraient de soins supplémentaires. Il attribuait aux patients noirs un meilleur état de santé qu’aux patients blancs tout aussi malades. Personne n’avait écrit de règle raciste. L’algorithme utilisait les dépenses de santé comme indicateur des besoins médicaux et, comme les patients noirs avaient historiquement reçu moins de soins et engendré par conséquent des dépenses moindres, il interprétait ces dépenses moins élevées comme le signe d’une meilleure santé. Selon l’analyse des chercheurs publiée dans Science, corriger ce seul choix de conception aurait fait passer de 17,7 % à 46,5 % la proportion de patients noirs repérés comme ayant besoin d’une aide supplémentaire.

Les systèmes d’IA ne se contentent pas de refléter les indicateurs que nous leur fournissons : ils reflètent aussi les présupposés qui les sous-tendent. Les biais humains sont tout aussi réels ; ils sont simplement plus difficiles à repérer et à évaluer. C’est pourquoi la solution réside dans une meilleure gouvernance, plutôt que dans l’abandon de l’automatisation.

Intégrer la responsabilité au processus décisionnel

L’approche habituelle de la mise en œuvre de l’IA consiste à choisir un modèle, à l’intégrer au processus de travail, à surveiller ses performances et à l’améliorer au fil du temps. Lorsque les résultats du système ont des conséquences pour des personnes, cela ne suffit pas.

J’appelle l’approche alternative « l’intégration plutôt que le déploiement » : la personne responsable est au cœur de la décision, dispose d’une véritable autorité pour la modifier, au lieu de consulter des tableaux de bord une fois par trimestre, après coup. Cette approche commence par trois étapes :

1. Répertorier chaque décision que l’IA examine, évalue ou approuve désormais, et désigner nommément une personne responsable de chacune d’elles.
2. Examiner les données historiques fournies au modèle avant qu’elles ne deviennent la norme.
3. Permettre de contester le modèle sans risque et suivre la fréquence de ces interventions.

La troisième étape est la plus importante. Si les employés apprennent que contredire la machine sera considéré comme une erreur, ils cessent de le faire, et l’IA devient de fait la décisionnaire, même si une personne reste techniquement « dans la boucle ». La question n’est pas de savoir si une personne a le dernier mot, mais si elle dispose de l’autorité, des informations et de la sécurité psychologique nécessaires pour dire : « La machine se trompe. »

Le réentraînement est utile, mais les biais s’introduisent par les décisions : ce que le modèle cherche à optimiser, les données prises en compte, les personnes qui vérifient les résultats. C’est là qu’il faut chercher. Il faut aussi des responsables de l’IA capables de demander pourquoi un système a classé un élément d’une certaine façon et qui ont le pouvoir d’agir en fonction de la réponse.

Le taux de dérogation est utile parce qu’il est ambigu. Si les gens ne passent presque jamais outre au système, c’est peut-être tout simplement parce qu’il est exact. Ou bien ils ont peut-être appris qu’il n’est pas prudent de le contredire. Si seules les personnes les plus haut placées passent outre, le personnel junior a peut-être appris à se taire, alors même qu’il est souvent le plus proche des résultats et des personnes concernées. L’objectif n’est pas d’éliminer toute dérogation. Il s’agit de créer une culture où une dérogation dûment justifiée est considérée comme la preuve que le système fonctionne. Lorsqu’une personne passe outre au modèle et s’avère avoir raison, racontez largement son histoire. C’est peut-être le meilleur matériel de formation à l’IA que votre entreprise puisse jamais produire.

Évaluer les résultats, pas les intentions

Les organisations n’ont pas besoin d’attendre un échec majeur pour commencer à détecter les biais. Trois tests peuvent être réalisés dès maintenant :

1. Une comparaison contrôlée. Effectuez la même tâche en ne modifiant que le signal démographique, par exemple le nom sur un CV ou le dialecte utilisé dans une consigne. Maintenez tous les autres éléments constants, y compris le modèle de consigne et l’ordre des entrées. Comme les résultats des modèles varient d’une exécution à l’autre, répétez plusieurs fois chaque paire et utilisez suffisamment de paires pour qu’un écart ne puisse pas être écarté comme du bruit. C’est essentiellement ainsi que les chercheurs ont repéré les disparités dans le classement des CV et les communications professionnelles générées ; une équipe interne peut réaliser une première version en une après-midi.
2. Un audit des variables de substitution. Pour chaque indicateur optimisé par le système, posez-vous deux questions : que mesure réellement cet indicateur et qui risque d’être sous-représenté dans sa mesure ? L’algorithme de santé ne prédisait pas mal l’indicateur qu’il avait choisi. Il prédisait bien les coûts. Le problème, c’est que les coûts tenaient lieu de besoins médicaux. Un système peut être exact selon son propre indicateur et pourtant se tromper lourdement au détriment des personnes concernées.
3. Une comparaison des résultats. Comparez les taux de sélection ou d’approbation entre les groupes en situation réelle. La règle des quatre cinquièmes, utilisée dans les pratiques d’emploi aux États-Unis et qui signale un groupe dont le taux est inférieur à 80 % de celui du groupe ayant le taux le plus élevé, constitue un filtre initial courant. Associez-la au suivi des dérogations décrit plus haut.

Ces tests ont leurs limites. Remplacer un nom permet de repérer les signaux démographiques explicites, mais pas les variables de substitution comme le code postal, l’établissement scolaire ou les interruptions d’emploi ; c’est pourquoi la comparaison des résultats est importante. Les mesures techniques d’atténuation (repondérer les données d’entraînement, ajouter des contraintes d’équité, ajuster les seuils de décision) peuvent réduire les disparités, mais elles obligent à faire un choix. Les travaux de Kleinberg, Mullainathan et Raghavan, ainsi que ceux de Chouldechova, ont montré que lorsque les groupes présentent des taux de base différents, un modèle ne peut généralement pas satisfaire simultanément aux exigences de calibrage et d’égalité des taux d’erreur. La définition de l’équité à privilégier n’est pas une question à laquelle un modèle peut répondre. C’est une décision dont une personne doit assumer la responsabilité et consigner le choix, ce qui nous ramène à la gouvernance.

Examiner l’équité au même titre que l’exactitude

Trop souvent, l’équité est considérée comme une initiative distincte, que les RH ou le service juridique examinent après que l’équipe technique a évalué l’exactitude, l’efficacité et le coût. Cette séparation fait elle-même partie du problème. L’équité devrait être examinée lors de la même réunion que l’exactitude et le coût, avec le même niveau de responsabilité et une personne clairement désignée pour en assumer la responsabilité.

Cette discussion devrait inclure les RH et le service juridique, mais aussi les personnes qui ont été mal évaluées par ce type de systèmes. Les personnes qui ont été sous-estimées voient souvent les premières ce que le système ne détecte pas. C’est une idée centrale de mon livre, The Bias Advantage : les perspectives que les organisations ont historiquement négligées deviennent une puissante source de compréhension dès lors qu’elles sont intégrées au processus décisionnel.

L’objectif n’est pas de créer un système d’IA qui ne commet jamais d’erreurs, ce qui est irréaliste. Il s’agit de bâtir une organisation capable de reconnaître les erreurs de l’IA, d’en comprendre les raisons et d’intervenir avant qu’elles ne deviennent la réalité d’autrui.