Des informaticiens s'attaquent aux biais dans l'IA

Des informaticiens de l'Université de Princeton et de Stanford sont maintenant résoudre les problèmes de biais en intelligence artificielle (IA). Ils travaillent sur des méthodes qui aboutissent à des ensembles de données plus justes contenant des images de personnes. Les chercheurs travaillent en étroite collaboration avec ImageNet, une base de données de plus de 13 millions d'images. Au cours de la dernière décennie, ImageNet a contribué à faire progresser la vision par ordinateur. Grâce à l’utilisation de leurs méthodes, les chercheurs ont ensuite recommandé des améliorations à la base de données. 

ImageNet Comprend des images d'objets, de paysages et de personnes. Les chercheurs qui créent des algorithmes d'apprentissage automatique pour classer les images utilisent ImageNet comme source de données. Compte tenu de la taille importante de la base de données, il était nécessaire de procéder à une collecte automatisée et à une annotation participative des images. L'équipe d'ImageNet s'efforce désormais de corriger les biais et autres problèmes. Les images contiennent souvent des personnes qui sont des conséquences imprévues de la construction d'ImageNet.

Olga Russakovsky est co-auteur et professeure adjointe d'informatique à Princeton. 

« La vision par ordinateur fonctionne désormais très bien, ce qui signifie qu'elle est déployée partout dans des contextes très variés », a-t-il déclaré. « Il est donc temps de discuter de son impact sur le monde et de réfléchir à ces questions d'équité. »

Dans le nouvel article, l'équipe d'ImageNet a systématiquement identifié les concepts non visuels et les catégories offensantes. Ces catégories comprenaient des caractérisations raciales et sexuelles, et l'équipe a proposé de les supprimer de la base de données. L'équipe a également développé un outil qui permet aux utilisateurs de spécifier et de récupérer des ensembles d'images de personnes, et il peut le faire par âge, expression de genre et couleur de peau. L'objectif est de créer des algorithmes qui classent plus équitablement les visages et les activités des personnes dans les images. 

Le travail effectué par les chercheurs a été présenté le 30 janvier à la conférence de l'Association for Computing Machinery sur l'équité, la responsabilité et la transparence à Barcelone, en Espagne. 

«Il est absolument nécessaire que des chercheurs et des laboratoires possédant une expertise technique de base dans ce domaine s'engagent dans ce type de conversations», a déclaré Russakovsky. «Étant donné la réalité dont nous avons besoin pour collecter les données à grande échelle, étant donné la réalité que cela va se faire avec le crowdsourcing parce que c'est le pipeline le plus efficace et le mieux établi, comment pouvons-nous le faire d'une manière plus juste - cela ne fonctionne pas» t tomber dans ce genre de pièges antérieurs? Le message central de ce document concerne les solutions constructives. »

ImageNet a été lancé en 2009 par un groupe d'informaticiens de Princeton et de Stanford. Il était destiné à servir de ressource pour les chercheurs universitaires et les éducateurs. La création du système a été dirigée par les anciens de Princeton et membre du corps professoral Fei-Fei Li. 

ImageNet a pu devenir une si grande base de données d'images étiquetées grâce à l'utilisation du crowdsourcing. L'une des principales plateformes utilisées était Amazon Mechanical Turk (MTurk), et les travailleurs étaient payés pour vérifier les images des candidats. Cela a causé quelques problèmes, et il y avait beaucoup de préjugés et de catégorisations inappropriées. 

L'auteur principal Kaiyu Yang est un étudiant diplômé en informatique. 

"Lorsque vous demandez aux gens de vérifier les images en sélectionnant les bonnes parmi un grand nombre de candidats, les gens se sentent obligés de sélectionner certaines images et ces images ont tendance à être celles qui présentent des caractéristiques distinctives ou stéréotypées", a-t-il déclaré. 

La première partie de l'étude consistait à filtrer les catégories de personnes potentiellement offensantes ou sensibles d'ImageNet. Les catégories offensantes ont été définies comme celles qui contenaient des grossièretés ou des insultes raciales ou sexistes. L'une de ces catégories sensibles était la classification des personnes basée sur l'orientation sexuelle ou la religion. Douze étudiants diplômés d'horizons divers ont été invités à annoter les catégories, et on leur a demandé d'étiqueter une catégorie sensible s'ils n'en étaient pas sûrs. Environ 54% des catégories ont été éliminées, soit 1,593 2,932 des XNUMX XNUMX catégories de personnes dans ImageNet. 

Les travailleurs de MTurk ont ​​ensuite évalué l'"imageabilité" des catégories restantes sur une échelle de 1 à 5. 158 catégories ont été classées à la fois sûres et imageables, avec une note de 4 ou plus. Cet ensemble filtré de catégories comprenait plus de 133,000 XNUMX images, ce qui peut être très utile pour la formation d'algorithmes de vision par ordinateur. 

Les chercheurs ont étudié la représentation démographique des personnes dans les images et le niveau de biais dans ImageNet a été évalué. Le contenu provenant des moteurs de recherche fournit souvent des résultats qui surreprésentent les hommes, les personnes à la peau claire et les adultes âgés de 18 à 40 ans.

"Les gens ont constaté que les distributions de données démographiques dans les résultats de recherche d'images sont très biaisées, et c'est pourquoi la distribution dans ImageNet est également biaisée", a déclaré Yang. "Dans cet article, nous avons essayé de comprendre à quel point il est biaisé, et aussi de proposer une méthode pour équilibrer la distribution."

Les chercheurs ont pris en compte trois attributs qui sont également protégés par les lois anti-discrimination américaines : la couleur de la peau, l'expression de genre et l'âge. Les travailleurs de MTurk ont ​​ensuite annoté chaque attribut de chaque personne dans une image. 

Les résultats ont montré que le contenu d'ImageNet a un biais considérable. Les plus sous-représentés étaient les personnes à la peau foncée, les femmes et les adultes de plus de 40 ans.

Un outil d'interface Web a été conçu pour permettre aux utilisateurs d'obtenir un ensemble d'images équilibrées sur le plan démographique d'une manière que l'utilisateur choisit. 

"Nous ne voulons pas dire quelle est la bonne façon d'équilibrer les données démographiques, car ce n'est pas un problème très simple", a déclaré Yang. «La distribution pourrait être différente dans différentes parties du monde - la distribution des couleurs de peau aux États-Unis est différente de celle des pays d'Asie, par exemple. Nous laissons donc cette question à notre utilisateur, et nous fournissons simplement un outil pour récupérer un sous-ensemble équilibré des images. »

L'équipe ImageNet travaille actuellement sur des mises à jour techniques de son matériel et de sa base de données. Ils tentent également de mettre en place le filtrage des catégories de personnes et l'outil de rééquilibrage développé dans cette recherche. ImageNet devrait être réédité avec les mises à jour, ainsi qu'un appel à commentaires de la communauté de recherche sur la vision par ordinateur. 

L'article a également été co-écrit par Princeton Ph.D. étudiant Klint Qinami et professeur adjoint d'informatique Jia Deng. La recherche a été soutenue par la National Science Foundation.