Le défi de la « catégorisation raciale » pour les systèmes de synthèse d’images basés sur CLIP

De nouvelles recherches menées aux États-Unis ont découvert que l’un des modèles de vision par ordinateur populaires à l’origine de la série DALL-E, ainsi que de nombreux autres modèles de génération et de classification d’images, présente une tendance prouvée vers l’hypodescence – la règle de catégorisation raciale (également connue sous le nom de « règle de la goutte de sang ») qui catégorise une personne ayant une ascendance génétique « mélangée » (c’est-à-dire non caucasienne) comme appartenant entièrement à une catégorie raciale « minoritaire ».

Puisque l’hypodescence a caractérisé certains des chapitres les plus sombres de l’histoire de l’humanité, les auteurs de la nouvelle étude suggèrent que de telles tendances dans la recherche et la mise en œuvre de la vision par ordinateur devraient recevoir une attention accrue, notamment parce que le cadre de soutien en question, téléchargé près d’un million de fois par mois, pourrait encore diffuser et promouvoir les préjugés raciaux dans les cadres en aval.

L’architecture étudiée dans le nouveau travail est le Contrastive Language Image Pretraining (CLIP), un modèle d’apprentissage automatique multimodal qui apprend des associations sémantiques en s’entraînant sur des paires d’images et de légendes provenant d’Internet – une approche semi-supervisée qui réduit le coût important de l’étiquetage, mais qui reflète probablement les préjugés des personnes qui ont créé les légendes.

À partir du document:

‘Nos résultats fournissent des preuves d’hypodescence dans l’espace d’intégration de CLIP, un biais appliqué plus fortement aux images de femmes. Les résultats montrent en outre que CLIP associe des images avec des étiquettes raciales ou ethniques en fonction de la déviation par rapport à la catégorie « Blanche », la catégorie « Blanche » étant la catégorie par défaut.

Le document constate également qu’une association de valence d’une image (sa tendance à être associée à des choses « bonnes » ou « mauvaises ») est nettement plus élevée pour les étiquettes raciales « minoritaires » que pour les étiquettes caucasiennes, et suggère que les préjugés de CLIP reflètent le corpus de littérature centré sur les États-Unis (Wikipédia en anglais) sur lequel le cadre a été formé.

En commentant les implications de l’apparent soutien de CLIP à l’hypodescence, les auteurs déclarent*:

‘[Parmi] les premières utilisations de CLIP, il y avait la formation du modèle de génération d’images à zéro tir DALL-E. Une version plus grande et non publique de l’architecture CLIP a été utilisée pour la formation de DALL-E 2. Conformément aux résultats de la présente recherche, la section Risques et Limitations de la carte de modèle de DALL-E 2 note que celui-ci « produit des images qui tendent à surreprésenter les personnes qui sont blanches ».

‘De telles utilisations démontrent le potentiel pour les préjugés appris par CLIP à se propager au-delà de l’espace d’intégration du modèle, car ses fonctionnalités sont utilisées pour guider la formation de la sémantique dans d’autres modèles d’IA de pointe.

‘De plus, en raison en partie des progrès réalisés par CLIP et des modèles similaires pour associer des images et du texte dans le cadre à zéro tir, les architectures multimodales ont été décrites comme la fondation de l’avenir des applications Internet largement utilisées, y compris les moteurs de recherche.

‘Nos résultats indiquent que l’attention supplémentaire portée à ce que de tels modèles apprennent de la supervision du langage naturel est justifiée.’

Le document s’intitule Preuves d’hypodescence dans l’IA visuelle sémantique, et provient de trois chercheurs de l’Université de Washington et de l’Université Harvard.

CLIP et les mauvaises influences

Bien que les chercheurs attestent que leur travail est la première analyse de l’hypodescence dans CLIP, des travaux antérieurs ont démontré que le flux de travail CLIP, qui dépend fortement de la formation non supervisée à partir de données Web sous-curvées, sous-représente les femmes, peut produire un contenu offensant, et peut démontrer un biais sémantique (comme un sentiment anti-musulman) dans son encodeur d’images.

Le document d’origine qui a présenté CLIP a admis que dans un cadre à zéro tir, CLIP n’associe que 58,3 % des personnes à l’étiquette raciale « Blanche » dans l’ensemble de données FairFace. Observant que FairFace a été étiqueté avec un biais possible par les travailleurs d’Amazon Mechanical Turk, les auteurs du nouveau document déclarent que « une minorité importante de personnes qui sont perçues par d’autres humains comme blanches sont associées à une race autre que blanche par CLIP. »

Ils poursuivent:

‘L’inverse ne semble pas être vrai, car les individus qui sont perçus comme appartenant à d’autres étiquettes raciales ou ethniques dans l’ensemble de données FairFace sont associés à ces étiquettes par CLIP. Ce résultat suggère la possibilité que CLIP ait appris la règle de l’hypodescence, telle que décrite par les scientifiques sociaux: les individus ayant une ascendance multiraciale sont plus susceptibles d’être perçus et catégorisés comme appartenant au groupe parental minoritaire ou moins avantagé que au groupe parental majoritaire ou avantagé.

‘En d’autres termes, l’enfant d’un parent noir et d’un parent blanc est perçu comme étant plus noir que blanc; et l’enfant d’un parent asiatique et d’un parent blanc est perçu comme étant plus asiatique que blanc.’

Le document a trois constatations centrales: que CLIP présente une hypodescence, en « regroupant » les personnes ayant des identités multiraciales dans la catégorie raciale minoritaire qui leur est applicable; que « Blanche est la race par défaut dans CLIP », et que les races concurrentes sont définies par leur « déviation » par rapport à une catégorie « Blanche »; et que le biais de valence (une association avec des concepts « mauvais ») est corrélé à la mesure dans laquelle l’individu est catégorisé dans une minorité raciale.

Méthode et données

Afin de déterminer la manière dont CLIP traite les sujets multiraciaux, les chercheurs ont utilisé une technique de morphing précédemment adoptée pour modifier la race des images d’individus. Les photos ont été prises à partir de la base de données de visages de Chicago, un ensemble développé pour des études psychologiques impliquant la race.

Exemples à partir des images CFD morphées présentées dans le matériel supplémentaire du nouveau document. Source: https://arxiv.org/pdf/2205.10764.pdf

Les chercheurs n’ont choisi que des images d’« expression neutre » dans l’ensemble de données, afin de rester cohérents avec les travaux précédents. Ils ont utilisé le réseau antagoniste génératif StyleGAN2-ADA (formé sur FFHQ) pour accomplir le changement de race des images de visages, et ont créé des images intermédiaires qui démontrent la progression d’une race à une autre (voir les images ci-dessus).

Conformément aux travaux précédents, les chercheurs ont morphé les visages de personnes qui s’identifient comme noires, asiatiques et latinos dans l’ensemble de données en visages de personnes qui se sont identifiées comme blanches. Dix-neuf étapes intermédiaires sont produites dans le processus. Au total, 21 000 images de 1024x1024px ont été créées pour le projet par cette méthode.

Les chercheurs ont ensuite obtenu une intégration d’image projetée pour CLIP pour chacune des 21 images au total dans chaque ensemble de morphisme racial. Après cela, ils ont sollicité une étiquette pour chaque image à partir de CLIP: « multiracial », « biracial », « métis » et « personne » (la dernière étiquette omettant la race).

La version de CLIP utilisée était la mise en œuvre CLIP-ViT-Base-Patch32. Les auteurs notent que ce modèle a été téléchargé plus d’un million de fois le mois précédant la rédaction de leur recherche, et représente 98 % des téléchargements de tout modèle CLIP à partir de la bibliothèque de transformateurs.

Tests

Pour tester la tendance potentielle de CLIP à l’hypodescence, les chercheurs ont noté l’étiquette raciale attribuée par CLIP à chaque image dans le gradient d’images morphées pour chaque individu.

Selon les résultats, CLIP a tendance à regrouper les personnes dans les catégories « minoritaires » autour du point de transition à 50 %.

À un rapport de mélange de 50 %, où le sujet est également d’origine/race cible, CLIP associe un plus grand nombre de 1000 images morphées de femmes avec des étiquettes asiatiques (89,1 %), latinos (75,8 %) et noires (69,7 %) qu’avec une étiquette blanche équivalente.

Les résultats montrent que les sujets féminins sont plus susceptibles d’hypodescence sous CLIP que les hommes, bien que les auteurs hypothèsent que cela peut être dû au fait que les étiquettes Web dérivées et non curées qui caractérisent les images de femmes tendent à mettre l’accent sur l’apparence du sujet plus que dans le cas des hommes, et que cela peut avoir un effet de déformation.

L’hypodescence à un point de transition racial de 50 % n’a pas été observée pour la série de morphisme asiatique-blanc de sexe masculin ou latino-blanc de sexe masculin, tandis que CLIP a attribué une similarité cosinuse plus élevée à l’étiquette noire dans 67,5 % des cas à un rapport de mélange de 55 %.

La similarité cosinuse moyenne des étiquettes multiraciales, biraciales et métisses. Les résultats indiquent que CLIP opère une sorte de catégorisation « de point de basculement » à différents pourcentages de mélange racial, attribuant moins souvent un tel mélange racial à la catégorie « Blanche » (« personne », dans la logique des expériences) qu’à l’ethnie perçue dans l’image.

L’objectif idéal, selon le document, est que CLIP catégorise les mélanges raciaux intermédiaires avec précision comme « métis », plutôt que de définir un « point de basculement » auquel le sujet est si souvent consigné entièrement à la catégorie non blanche.

Dans une certaine mesure, CLIP attribue effectivement les étapes de morphisme intermédiaires à l’étiquette « Métis » (voir le graphique ci-dessus), mais finit par démontrer une préférence pour catégoriser les sujets comme leur race contributrice minoritaire.

En termes de valence, les auteurs notent le jugement biaisé de CLIP:

‘[L’association de valence moyenne (association avec des concepts « mauvais » ou « désagréables » par opposition à des concepts « bons » ou « agréables ») varie avec le rapport de mélange sur la série de morphisme noir-blanc de sexe masculin, de telle sorte que CLIP encode des associations avec des concepts désagréables pour les visages les plus similaires aux volontaires CFD qui s’identifient comme noirs.’

Les résultats de valence – les tests montrent que les groupes minoritaires sont plus associés à des concepts négatifs dans l’architecture image/paire que pour les sujets étiquetés « Blancs ». Les auteurs affirment que l’association de désagréabilité d’une image augmente avec la probabilité que le modèle associe l’image à l’étiquette noire.

Le document indique:

‘Les preuves indiquent que la valence d’une image est corrélée à l’association raciale. Plus concrètement, nos résultats indiquent que plus le modèle est certain qu’une image reflète un individu noir, plus l’image est associée à l’espace d’intégration désagréable.’

Cependant, les résultats indiquent également une corrélation négative dans le cas des visages asiatiques. Les auteurs suggèrent que cela peut être dû au passage (via les données Web) de perceptions culturelles positives des États-Unis sur les personnes et les communautés asiatiques. Les auteurs déclarent*:

‘Observer une corrélation entre l’agréabilité et la probabilité de l’étiquette de texte asiatique peut correspondre au stéréotype de la « minorité modèle », dans lequel les personnes d’ascendance asiatique sont louées pour leur mobilité ascendante et leur assimilation à la culture américaine, et même associées à un « bon comportement ».’

En ce qui concerne l’objectif final, pour examiner si « Blanche » est l’« identité par défaut » du point de vue de CLIP, les résultats indiquent une polarité intégrée, suggérant qu’il est plutôt difficile d’être « un peu blanc » sous cette architecture.

Similarité cosinuse sur 21 000 images créées pour les tests.

Les auteurs commentent:

‘Les preuves indiquent que CLIP encode la catégorie « Blanche » comme race par défaut. Cela est étayé par les corrélations plus fortes entre les similarités cosinuses blanches et les similarités cosinuses de personne que pour tout autre groupe racial ou ethnique.’

*Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 24 mai 2022.