Les chercheurs remettent en question une hypothèse longtemps admise en apprentissage automatique

Les chercheurs de l’Université Carnegie Mellon remettent en question une hypothèse longtemps admise en apprentissage automatique, selon laquelle il existe un compromis entre la précision et l’équité dans les algorithmes utilisés pour prendre des décisions de politique publique. 

L’utilisation de l’apprentissage automatique augmente dans de nombreux domaines tels que la justice pénale, le recrutement, la prestation de soins de santé et les interventions de services sociaux. Avec cette croissance, les préoccupations concernant le fait que ces nouvelles applications puissent aggraver les inégalités existantes augmentent également. Elles pourraient être particulièrement préjudiciables aux minorités raciales ou aux individus ayant des désavantages économiques. 

Ajuster un système

Il y a des ajustements constants apportés aux données, aux étiquettes, à la formation de modèles, aux systèmes de notation et à d’autres aspects du système afin de se prémunir contre les biais. Cependant, l’hypothèse théorique a toujours été que le système devient moins précis lorsqu’il y a plus de ces ajustements. 

L’équipe de CMU a entrepris de remettre en question cette théorie dans une nouvelle étude publiée dans Nature Machine Intelligence.

Rayid Ghani est professeur au département d’informatique de l’École des sciences de l’informatique et du département de l’apprentissage automatique (MLD) et du Collège Heinz des systèmes d’information et des politiques publiques. Il a été rejoint par Kit Rodolfa, un scientifique de recherche au MLD ; et Hemank Lamba, un chercheur postdoctoral à la SCS. 

Tester des applications dans le monde réel

Les chercheurs ont testé cette hypothèse dans des applications dans le monde réel, et ce qu’ils ont découvert, c’est que le compromis est négligeable dans de nombreux domaines de politique. 

“Vous pouvez en fait obtenir les deux. Vous n’avez pas à sacrifier la précision pour construire des systèmes équitables et justes”, a déclaré Ghani. “Mais cela nécessite de concevoir délibérément des systèmes pour qu’ils soient équitables et justes. Les systèmes prêts à l’emploi ne fonctionneront pas.”

L’équipe s’est concentrée sur les situations où les ressources demandées sont limitées. L’allocation de ces ressources est aidée par l’apprentissage automatique.

Ils se sont concentrés sur les systèmes dans quatre domaines:

• la priorisation des interventions de soins de santé mentale limitées en fonction du risque de récidive d’une personne pour réduire la réincarcération ;
• la prédiction des violations graves de la sécurité pour déployer de manière plus efficace les inspecteurs du logement d’une ville ;
• la modélisation du risque que les élèves ne terminent pas leurs études secondaires à temps pour identifier ceux qui ont le plus besoin d’un soutien supplémentaire ;
• et aider les enseignants à atteindre leurs objectifs de financement participatif pour les besoins de la classe.

Les chercheurs ont constaté que les modèles optimisés pour la précision pouvaient prédire efficacement les résultats souhaités. Cependant, ils ont également démontré des disparités considérables dans les recommandations pour les interventions. 

Les résultats importants sont venus lorsque les chercheurs ont appliqué les ajustements aux sorties des modèles qui ciblaient l’amélioration de leur équité. Ils ont découvert qu’il n’y avait pas de perte de précision lorsque les disparités basées sur la race, l’âge ou le revenu étaient éliminées. 

“Nous voulons que les communautés d’intelligence artificielle, d’informatique et d’apprentissage automatique cessent d’accepter cette hypothèse d’un compromis entre la précision et l’équité et commencent à concevoir délibérément des systèmes qui maximisent les deux”, a déclaré Rodolfa. “Nous espérons que les décideurs politiques adopteront l’apprentissage automatique comme outil dans leur processus de prise de décision pour les aider à atteindre des résultats équitables.”