Les informaticiens s’attaquent aux biais dans l’IA

Les informaticiens de Princeton et de l’Université Stanford s’attaquent maintenant aux problèmes de biais dans l’intelligence artificielle (IA). Ils travaillent sur des méthodes qui aboutissent à des ensembles de données plus équitables contenant des images de personnes. Les chercheurs travaillent en étroite collaboration avec ImageNet, qui est une base de données de plus de 13 millions d’images. Tout au long de la dernière décennie, ImageNet a contribué à faire progresser la vision par ordinateur. Avec l’utilisation de leurs méthodes, les chercheurs ont ensuite recommandé des améliorations pour la base de données.

ImageNet comprend des images d’objets, de paysages et de personnes. Les chercheurs qui créent des algorithmes d’apprentissage automatique qui classifient des images utilisent ImageNet comme source de données. En raison de la taille massive de la base de données, il a été nécessaire de recourir à une collecte automatisée d’images et à une annotation d’images par crowdsourcing. Maintenant, l’équipe d’ImageNet travaille à corriger les biais et d’autres problèmes. Les images contiennent souvent des personnes qui sont des conséquences involontaires de la construction d’ImageNet.

Olga Russakovsky est le co-auteur et professeur adjoint de sciences informatiques à Princeton.

« La vision par ordinateur fonctionne maintenant vraiment bien, ce qui signifie qu’elle est déployée partout et dans tous les contextes », a-t-il déclaré. « Cela signifie que maintenant est le moment de parler de l’impact qu’elle a sur le monde et de réfléchir à ces questions d’équité. »

Dans le nouveau document, l’équipe d’ImageNet a systématiquement identifié des concepts non visuels et des catégories offensantes. Ces catégories comprenaient des caractérisations raciales et sexuelles, et l’équipe a proposé de les supprimer de la base de données. L’équipe a également développé un outil qui permet aux utilisateurs de spécifier et de récupérer des ensembles d’images de personnes, et cela peut être fait par âge, expression de genre et couleur de peau. L’objectif est de créer des algorithmes qui classifient de manière plus équitable les visages et les activités des personnes dans les images.

Le travail effectué par les chercheurs a été présenté le 30 janvier à la Conférence de l’Association for Computing Machinery sur l’équité, la responsabilité et la transparence à Barcelone, en Espagne.

« Il y a vraiment un besoin pour les chercheurs et les laboratoires avec une expertise technique de base pour s’engager dans ces types de conversations », a déclaré Russakovsky. « Étant donné la réalité que nous devons collecter les données à grande échelle, étant donné la réalité qu’il sera fait avec du crowdsourcing parce que c’est le pipeline le plus efficace et le plus établi, comment faisons-nous cela de manière plus équitable – qui ne tombe pas dans ces pièges antérieurs ? Le message principal de cet article est autour de solutions constructives. »

ImageNet a été lancé en 2009 par un groupe d’informaticiens de Princeton et Stanford. Il était destiné à servir de ressource pour les chercheurs et les éducateurs universitaires. La création du système a été dirigée par un ancien élève et membre du corps professoral de Princeton, Fei-Fei Li.

ImageNet a pu devenir une base de données d’images étiquetées aussi grande grâce à l’utilisation du crowdsourcing. L’une des principales plateformes utilisées était Amazon Mechanical Turk (MTurk), et les travailleurs étaient payés pour vérifier les images candidates. Cela a causé certains problèmes, et il y avait de nombreux biais et catégorisations inappropriées.

L’auteur principal Kaiyu Yang est un étudiant diplômé en sciences informatiques.

« Lorsque vous demandez aux gens de vérifier des images en sélectionnant les bonnes parmi un grand ensemble de candidats, les gens se sentent pressés de sélectionner certaines images et ces images ont tendance à être celles avec des caractéristiques distinctives ou stéréotypées », a-t-il déclaré.

La première partie de l’étude a consisté à filtrer les catégories de personnes potentiellement offensantes ou sensibles d’ImageNet. Les catégories offensantes étaient définies comme celles qui contenaient des gros mots ou des insultes raciales ou sexistes. L’une de ces catégories sensibles était la classification des personnes en fonction de leur orientation sexuelle ou de leur religion. Douze étudiants diplômés de divers horizons ont été amenés à annoter les catégories, et on leur a demandé de marquer une catégorie comme sensible s’ils en étaient incertains. Environ 54 % des catégories ont été éliminées, soit 1 593 des 2 932 catégories de personnes dans ImageNet.

Les travailleurs de MTurk ont ensuite évalué la « capacité à être imagé » des catégories restantes sur une échelle de 1 à 5. 158 catégories ont été classées comme sûres et imagées, avec une note de 4 ou plus. L’ensemble filtré de catégories comprenait plus de 133 000 images, qui peuvent être très utiles pour la formation d’algorithmes de vision par ordinateur.

Les chercheurs ont étudié la représentation démographique des personnes dans les images, et le niveau de biais dans ImageNet a été évalué. Le contenu source provenant des moteurs de recherche fournit souvent des résultats qui surreprésentent les hommes, les personnes à peau claire et les adultes âgés de 18 à 40 ans.

« Les gens ont découvert que les distributions démographiques dans les résultats de recherche d’images sont fortement biaisées, et c’est pourquoi la distribution dans ImageNet est également biaisée », a déclaré Yang. « Dans cet article, nous avons essayé de comprendre à quel point il est biaisé, et également de proposer une méthode pour équilibrer la distribution. »

Les chercheurs ont considéré trois attributs qui sont également protégés par les lois anti-discrimination américaines : la couleur de peau, l’expression de genre et l’âge. Les travailleurs de MTurk ont ensuite annoté chaque attribut de chaque personne dans une image.

Les résultats ont montré que le contenu d’ImageNet a un biais considérable. Les plus sous-représentés étaient les personnes à peau foncée, les femmes et les adultes âgés de plus de 40 ans.

Un outil d’interface web a été conçu pour permettre aux utilisateurs d’obtenir un ensemble d’images qui sont démographiquement équilibrées de la manière dont l’utilisateur le choisit.

« Nous ne voulons pas dire quelle est la bonne façon d’équilibrer les démographies, car ce n’est pas une question très simple », a déclaré Yang. « La distribution pourrait être différente dans différentes parties du monde – la distribution des couleurs de peau aux États-Unis est différente de celle des pays d’Asie, par exemple. Nous laissons donc cette question à notre utilisateur, et nous fournissons simplement un outil pour récupérer un sous-ensemble équilibré des images. »

L’équipe d’ImageNet travaille maintenant sur des mises à jour techniques de son matériel et de sa base de données. Ils tentent également de mettre en œuvre le filtrage des catégories de personnes et l’outil de rééquilibrage développé dans cette recherche. ImageNet doit être réédité avec les mises à jour, ainsi qu’un appel à feedback de la part de la communauté de recherche en vision par ordinateur.

L’article a également été co-écrit par l’étudiant diplômé de Princeton Klint Qinami et le professeur adjoint de sciences informatiques Jia Deng. La recherche a été soutenue par la National Science Foundation.