Les chercheurs développent un nouvel outil pour lutter contre les préjugés dans la vision par ordinateur

L’un des problèmes récents qui a émergé dans le domaine de l’intelligence artificielle (IA) est celui des préjugés dans la vision par ordinateur. De nombreux experts découvrent désormais des préjugés au sein des systèmes d’IA, ce qui entraîne des résultats biaisés dans diverses applications, telles que les programmes de condamnation en cour de justice.

Un effort important est en cours pour résoudre certains de ces problèmes, avec le développement le plus récent provenant de l’Université de Princeton. Les chercheurs de l’institution ont créé un nouvel outil capable de signaler les préjugés potentiels dans les images utilisées pour former les systèmes d’IA.

Le travail a été présenté le 24 août à la conférence virtuelle européenne sur la vision par ordinateur.

Préjugés dans les systèmes d’IA

L’une des principales raisons des préjugés présents dans les systèmes d’IA actuels est qu’ils sont souvent formés à partir de grands ensembles d’images provenant de sources en ligne. Ces images peuvent être stéréotypées, et lorsqu’elles sont utilisées pour développer la vision par ordinateur, le résultat peut être influencé de manière involontaire. La vision par ordinateur permet aux ordinateurs d’identifier les personnes, les objets et les actions.

L’outil développé par les chercheurs est open-source et peut révéler automatiquement les préjugés potentiels dans les ensembles de données visuelles. Il fonctionne en agissant avant que les ensembles d’images ne soient utilisés pour former les modèles de vision par ordinateur, et les problèmes liés à la sous-représentation et aux stéréotypes peuvent être résolus avant qu’ils n’aient un impact.

REVISE

Le nouvel outil s’appelle REVISE, et il repose sur des méthodes statistiques pour identifier les préjugés potentiels dans un ensemble de données. Il se concentre sur les trois domaines de l’objet, du genre et de la géographie.

REVISE est entièrement automatique et a été construit sur la base de méthodes précédentes qui incluaient le filtrage et l’équilibrage des images des ensembles de données afin que l’utilisateur puisse avoir plus de contrôle.

Le nouvel outil repose sur les annotations et les mesures d’images existantes pour analyser le contenu d’un ensemble de données. Certaines de ces annotations existantes incluent le comptage d’objets et les pays d’origine des images.

Dans un exemple de l’outil en action, REVISE a montré comment les images de personnes et de fleurs étaient différentes en fonction du genre. Les hommes étaient plus susceptibles d’apparaître avec des fleurs lors de cérémonies ou de réunions, et les femmes étaient plus susceptibles d’apparaître avec des fleurs dans des peintures ou des scénarios mis en scène.

Olga Russaskovsky est professeure adjointe de sciences informatiques et chercheuse principale du laboratoire d’IA visuelle. L’article a été co-écrit avec l’étudiant diplômé Angelina Wang et le professeur agrégé de sciences informatiques, Arvind Narayanan.

Après que l’outil ait identifié les disparités, « alors il y a la question de savoir si c’est un fait tout à fait innocent, ou si quelque chose de plus profond se passe, et c’est très difficile à automatiser », a déclaré Russaskovsky.

Régions sous-représentées ou mal représentées

Différentes régions du monde sont sous-représentées dans les ensembles de données de vision par ordinateur, ce qui peut entraîner des préjugés dans les systèmes d’IA. L’une des découvertes a été qu’une quantité dramatiquement plus grande d’images proviennent des États-Unis et des pays européens. REVISE a également révélé que les images d’autres parties du monde n’ont souvent pas de légendes d’images dans la langue locale, ce qui signifie que de nombreuses images pourraient provenir d’une perspective de touriste.

« … cette analyse de géographie montre que la reconnaissance d’objets peut encore être quite biaisée et exclusive, et peut affecter différentes régions et personnes de manière inégale », a poursuivi Russaskovsky.

« Les pratiques de collecte de données en sciences informatiques n’ont pas été examinées de manière approfondie jusqu’à récemment », a déclaré Wang. Lorsqu’il s’agit de la collecte d’images, elles sont « scrapées sur Internet, et les gens ne réalisent pas toujours que leurs images sont utilisées [dans les ensembles de données]. Nous devrions collecter des images à partir de groupes de personnes plus diversifiés, mais lorsqu’on le fait, nous devons être prudents pour obtenir les images d’une manière respectueuse ».

Vicente Ordonez-Roman est professeur adjoint de sciences informatiques à l’Université de Virginie.

« Les outils et les références sont une étape importante … ils nous permettent de capturer ces préjugés plus tôt dans le processus et de réexaminer notre configuration de problème et nos hypothèses, ainsi que les pratiques de collecte de données », a déclaré Ordonez-Roman. « Dans la vision par ordinateur, il y a des défis spécifiques liés à la représentation et à la propagation des stéréotypes. Des travaux tels que ceux du laboratoire d’IA visuelle de Princeton aident à éclaircir et à attirer l’attention de la communauté de la vision par ordinateur sur certains de ces problèmes et offrent des stratégies pour les atténuer ».

Le nouvel outil développé par les chercheurs est une étape importante pour aider à remédier aux préjugés présents dans les systèmes d’IA. Il est temps de résoudre ces problèmes, car il sera beaucoup plus difficile de les résoudre à mesure que les systèmes progresseront et deviendront plus complexes.