Angle d’Anderson

Le défi de la « catégorisation raciale » pour les systèmes de synthèse d’images basés sur CLIP

Martin Anderson
Ajouter Unite.AI à vos sources préférées sur Google
Points clésCLIP présente un biais d'hypodescendance en catégorisant les visages multiraciaux comme…
Voir plus
  • CLIP présente un biais d'hypodescendance en catégorisant les visages multiraciaux comme minoritaires à des ratios de mélange de 50 %.
  • Les sujets féminins subissent un biais d'hypodescendance plus fort de la part de CLIP que les sujets masculins dans l'étude.
  • CLIP associe les étiquettes raciales minoritaires à une valence plus négative que les étiquettes blanches.

De nouvelles recherches menées aux États-Unis ont découvert que l’un des modèles de vision par ordinateur populaires à l’origine de la série DALL-E, ainsi que de nombreux autres modèles de génération et de classification d’images, présente une tendance prouvée vers l’hypodescendance – la règle de catégorisation raciale (également connue sous le nom de « règle de la goutte de sang ») qui catégorise une personne ayant ne serait-ce qu’une faible part d’ascendance génétique « mélangée » (c’est-à-dire non caucasienne) comme appartenant entièrement à une catégorie raciale « minoritaire ».

Puisque l’hypodescendance a caractérisé certains des chapitres les plus sombres de l’histoire de l’humanité, les auteurs de la nouvelle étude suggèrent que de telles tendances dans la recherche et la mise en œuvre de la vision par ordinateur devraient recevoir une attention accrue, notamment parce que le cadre de soutien en question, téléchargé près d’un million de fois par mois, pourrait encore diffuser et promouvoir les préjugés raciaux dans les cadres en aval.

L’architecture étudiée dans le nouveau travail est le Contrastive Language Image Pretraining (CLIP), un modèle d’apprentissage automatique multimodal qui apprend des associations sémantiques en s’entraînant sur des paires d’images et de légendes provenant d’Internet – une approche semi-supervisée qui réduit le coût important de l’étiquetage, mais qui reflète probablement les préjugés des personnes qui ont créé les légendes.

À partir du document:

‘Nos résultats fournissent des preuves d’hypodescendance dans l’espace d’intégration de CLIP, un biais appliqué plus fortement aux images de femmes. Les résultats montrent en outre que CLIP associe des images avec des étiquettes raciales ou ethniques en fonction de la déviation par rapport à la catégorie « Blanche », la catégorie « Blanche » étant la catégorie par défaut.

Le document constate également qu’une association de valence d’une image (sa tendance à être associée à des choses « bonnes » ou « mauvaises ») est nettement plus élevée pour les étiquettes raciales « minoritaires » que pour les étiquettes caucasiennes, et suggère que les préjugés de CLIP reflètent le corpus de littérature centré sur les États-Unis (Wikipédia en anglais) sur lequel le cadre a été formé.

En commentant les implications de l’apparent soutien de CLIP à l’hypodescendance, les auteurs déclarent*:

‘[Parmi] les premières utilisations de CLIP, il y avait la formation du modèle de génération d’images zero-shot (sans exemples de la tâche cible) DALL-E. Une version plus grande et non publique de l’architecture CLIP a été utilisée pour la formation de DALL-E 2. Conformément aux résultats de la présente recherche, la section Risques et Limitations de la carte de modèle de DALL-E 2 note que celui-ci « produit des images qui tendent à surreprésenter les personnes perçues comme blanches ».

‘De telles utilisations démontrent le potentiel pour les préjugés appris par CLIP à se propager au-delà de l’espace d’intégration du modèle, car ses fonctionnalités sont utilisées pour guider la formation de la sémantique dans d’autres modèles d’IA de pointe.

‘De plus, en raison en partie des progrès réalisés par CLIP et des modèles similaires pour associer des images et du texte dans le cadre zero-shot (sans exemples de la tâche cible), les architectures multimodales ont été décrites comme la fondation de l’avenir des applications Internet largement utilisées, y compris les moteurs de recherche.

‘Nos résultats indiquent que l’attention supplémentaire portée à ce que de tels modèles apprennent de la supervision du langage naturel est justifiée.’

Le document s’intitule Preuves d’hypodescendance dans l’IA visuelle sémantique, et provient de trois chercheurs de l’Université de Washington et de l’Université Harvard.

CLIP et les mauvaises influences

Bien que les chercheurs attestent que leur travail est la première analyse de l’hypodescendance dans CLIP, des travaux antérieurs ont démontré que le flux de travail CLIP, qui dépend fortement de la formation non supervisée à partir de données Web insuffisamment sélectionnées, sous-représente les femmes, peut produire un contenu offensant, et peut démontrer un biais sémantique (comme un sentiment anti-musulman) dans son encodeur d’images.

Le document d’origine qui a présenté CLIP a admis que dans un cadre zero-shot (sans exemples de la tâche cible), CLIP n’associe que 58,3 % des personnes à l’étiquette raciale « Blanche » dans l’ensemble de données FairFace. Observant que FairFace a été étiqueté avec un biais possible par les travailleurs d’Amazon Mechanical Turk, les auteurs du nouveau document déclarent que « une minorité importante de personnes qui sont perçues par d’autres humains comme blanches sont associées à une race autre que blanche par CLIP. »

Ils poursuivent:

‘L’inverse ne semble pas être vrai, car les individus qui sont perçus comme appartenant à d’autres étiquettes raciales ou ethniques dans l’ensemble de données FairFace sont associés à ces étiquettes par CLIP. Ce résultat suggère la possibilité que CLIP ait appris la règle de l’hypodescendance, telle que décrite par les scientifiques sociaux: les individus ayant une ascendance multiraciale sont plus susceptibles d’être perçus et catégorisés comme appartenant au groupe parental minoritaire ou moins avantagé qu’au groupe parental majoritaire ou avantagé, tout aussi légitime.

‘En d’autres termes, l’enfant d’un parent noir et d’un parent blanc est perçu comme étant plus noir que blanc; et l’enfant d’un parent asiatique et d’un parent blanc est perçu comme étant plus asiatique que blanc.’

Le document a trois constatations centrales: que CLIP présente une hypodescendance, en « regroupant » les personnes ayant des identités multiraciales dans la catégorie raciale minoritaire qui leur est applicable; que « Blanche est la race par défaut dans CLIP », et que les races concurrentes sont définies par leur « déviation » par rapport à une catégorie « Blanche »; et que le biais de valence (une association avec des concepts « mauvais ») est corrélé à la mesure dans laquelle l’individu est catégorisé dans une minorité raciale.

Méthode et données

Afin de déterminer la manière dont CLIP traite les sujets multiraciaux, les chercheurs ont utilisé une technique de morphing précédemment adoptée pour modifier la race des images d’individus. Les photos ont été prises à partir de la base de données de visages de Chicago, un ensemble développé pour des études psychologiques impliquant la race.

Exemples à partir des images CFD morphées présentées dans le matériel supplémentaire du nouveau document. Source: https://arxiv.org/pdf/2205.10764.pdf

Exemples à partir des images CFD morphées présentées dans le matériel supplémentaire du nouveau document. Source: https://arxiv.org/pdf/2205.10764.pdf

Les chercheurs n’ont choisi que des images d’« expression neutre » dans l’ensemble de données, afin de rester cohérents avec les travaux précédents. Ils ont utilisé le réseau antagoniste génératif StyleGAN2-ADA (formé sur FFHQ) pour accomplir le changement de race des images de visages, et ont créé des images intermédiaires qui démontrent la progression d’une race à une autre (voir les images ci-dessus).

Conformément aux travaux précédents, les chercheurs ont morphé les visages de personnes qui s’identifient comme noires, asiatiques et latinos dans l’ensemble de données en visages de personnes qui se sont identifiées comme blanches. Dix-neuf étapes intermédiaires sont produites dans le processus. Au total, 21 000 images de 1024x1024px ont été créées pour le projet par cette méthode.

Les chercheurs ont ensuite obtenu une intégration d’image projetée pour CLIP pour chacune des 21 images au total dans chaque ensemble de morphisme racial. Après cela, ils ont sollicité une étiquette pour chaque image à partir de CLIP: « multiracial », « biracial », « métis » et « personne » (la dernière étiquette omettant la race).

La version de CLIP utilisée était la mise en œuvre CLIP-ViT-Base-Patch32. Les auteurs notent que ce modèle a été téléchargé plus d’un million de fois le mois précédant la rédaction de leur recherche, et représente 98 % des téléchargements de tout modèle CLIP à partir de la bibliothèque Transformers.

Tests

Pour tester la tendance potentielle de CLIP à l’hypodescendance, les chercheurs ont noté l’étiquette raciale attribuée par CLIP à chaque image dans le gradient d’images morphées pour chaque individu.

Selon les résultats, CLIP a tendance à regrouper les personnes dans les catégories « minoritaires » autour du point de transition à 50 %.

À un rapport de mélange de 50 %, où le sujet est également d'origine/race cible, CLIP associe une plus grande proportion des 1000 images de femmes transformées avec des étiquettes asiatiques (89,1 %), latinos (75,8 %) et noires (69,7 %) qu'avec une étiquette blanche équivalente.

À un rapport de mélange de 50 %, où le sujet est également d’origine/race cible, CLIP associe une plus grande proportion des 1000 images de femmes transformées avec des étiquettes asiatiques (89,1 %), latinos (75,8 %) et noires (69,7 %) qu’avec une étiquette blanche équivalente.

Les résultats montrent que les sujets féminins sont plus susceptibles d’hypodescendance sous CLIP que les hommes, bien que les auteurs émettent l’hypothèse que cela peut être dû au fait que les légendes issues du Web et non sélectionnées manuellement qui caractérisent les images de femmes tendent à mettre l’accent sur l’apparence du sujet plus que dans le cas des hommes, et que cela peut avoir un effet de déformation.

L’hypodescendance à un point de transition racial de 50 % n’a pas été observée pour la série de morphisme asiatique-blanc de sexe masculin ou latino-blanc de sexe masculin, tandis que CLIP a attribué une similarité cosinus plus élevée à l’étiquette noire dans 67,5 % des cas à un rapport de mélange de 55 %.

La similarité cosinus moyenne des étiquettes multiraciales, biraciales et métisses. Les résultats indiquent que CLIP opère une sorte de catégorisation « de point de basculement » à différents pourcentages de mélange racial, attribuant moins souvent un tel mélange racial à la catégorie « Blanche » (« personne », dans la logique des expériences) qu'à l'ethnie perçue dans l'image.

La similarité cosinus moyenne des étiquettes multiraciales, biraciales et métisses. Les résultats indiquent que CLIP opère une sorte de catégorisation « de point de basculement » à différents pourcentages de mélange racial, attribuant moins souvent un tel mélange racial à la catégorie « Blanche » (« personne », dans la logique des expériences) qu’à l’ethnie perçue dans l’image.

L’objectif idéal, selon le document, est que CLIP catégorise les mélanges raciaux intermédiaires avec précision comme « métis », plutôt que de définir un « point de basculement » auquel le sujet est si souvent consigné entièrement à la catégorie non blanche.

Dans une certaine mesure, CLIP attribue effectivement les étapes de morphisme intermédiaires à l’étiquette « Métis » (voir le graphique ci-dessus), mais démontre dans la plage intermédiaire une préférence pour catégoriser les sujets comme leur race contributrice minoritaire.

En termes de valence, les auteurs notent le jugement biaisé de CLIP:

‘[L’association de valence moyenne (association avec des concepts « mauvais » ou « désagréables » par opposition à des concepts « bons » ou « agréables ») varie avec le rapport de mélange sur la série de morphisme noir-blanc de sexe masculin, de telle sorte que CLIP encode des associations avec des concepts désagréables pour les visages les plus similaires aux volontaires CFD qui s’identifient comme noirs.’

Les résultats de valence - les tests montrent que les groupes minoritaires sont plus associés à des concepts négatifs dans l'architecture de paires image/texte que pour les sujets étiquetés « Blancs ». Les auteurs affirment que l'association de désagréabilité d'une image augmente avec la probabilité que le modèle associe l'image à l'étiquette noire.

Les résultats de valence – les tests montrent que les groupes minoritaires sont plus associés à des concepts négatifs dans l’architecture de paires image/texte que pour les sujets étiquetés « Blancs ». Les auteurs affirment que l’association de désagréabilité d’une image augmente avec la probabilité que le modèle associe l’image à l’étiquette noire.

Le document indique:

‘Les preuves indiquent que la valence d’une image est corrélée à l’association raciale. Plus concrètement, nos résultats indiquent que plus le modèle est certain qu’une image reflète un individu noir, plus la représentation vectorielle de l’image est associée à des concepts désagréables.’

Cependant, les résultats indiquent également une corrélation négative dans le cas des visages asiatiques. Les auteurs suggèrent que cela peut être dû au passage (via les données Web) de perceptions culturelles positives des États-Unis sur les personnes et les communautés asiatiques. Les auteurs déclarent*:

‘Observer une corrélation entre l’agréabilité et la probabilité de l’étiquette de texte asiatique peut correspondre au stéréotype de la « minorité modèle », dans lequel les personnes d’ascendance asiatique sont louées pour leur mobilité ascendante et leur assimilation à la culture américaine, et même associées à un « bon comportement ».’

En ce qui concerne l’objectif final, pour examiner si « Blanche » est l’« identité par défaut » du point de vue de CLIP, les résultats indiquent une polarité intégrée, suggérant qu’il est plutôt difficile d’être « un peu blanc » sous cette architecture.

Similarité cosinus sur 21 000 images créées pour les tests.

Similarité cosinus sur 21 000 images créées pour les tests.

Les auteurs commentent:

‘Les preuves indiquent que CLIP encode la catégorie « Blanche » comme race par défaut. Cela est étayé par les corrélations plus fortes entre les similarités cosinus blanches et les similarités cosinus de personne que pour tout autre groupe racial ou ethnique.’

 

*Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 24 mai 2022.

Rédacteur spécialisé en apprentissage automatique, expert du domaine de la synthèse d'images humaines. Ancien responsable du contenu de recherche chez Metaphysic.ai, jusqu'à sa dissolution dans Brahma.ai de DNEG.
Site Web: martinanderson.ai
Contact: martin@martinanderson.ai