Les voix des minorités ‘filtrées’ des modèles de traitement du langage naturel de Google

Selon une nouvelle recherche, l’un des plus grands ensembles de données de traitement du langage naturel (NLP) disponibles a été largement ‘filtré’ pour supprimer les auteurs noirs et hispaniques, ainsi que les documents liés aux identités gaies et lesbiennes, et les données sources qui traitent d’un certain nombre d’autres identités minoritaires ou marginales.

L’ensemble de données a été utilisé pour former le Switch Transformer et le modèle T5 de Google, et a été curé par Google AI lui-même.

Le rapport affirme que l’ensemble de données Colossal Clean Crawled Corpus (‘C4’) qui contient 156 milliards de jetons extraits de plus de 365 millions de domaines Internet, et est un sous-ensemble de la base de données Common Crawl, a été largement (algorithmiquement) filtré pour exclure le contenu ‘offensant’ et ‘toxique’, et que les filtres utilisés pour distiller C4 ont effectivement ciblé le contenu et les discussions des groupes minoritaires.

Le rapport déclare:

‘Notre examen des données exclues suggère que les documents associés aux auteurs noirs et hispaniques et les documents mentionnant les orientations sexuelles sont significativement plus susceptibles d’être exclus par la liste de blocage de C4, et que de nombreux documents exclus contenaient du contenu non offensant ou non sexuel (par exemple, des discussions législatives sur le mariage entre personnes de même sexe, du contenu scientifique et médical).’

Le travail note que les résultats aggravent les inégalités raciales basées sur le langage existantes dans le secteur de la NLP, ainsi que la stigmatisation des identités LGBTQ+. Il continue:

‘En outre, une conséquence directe de la suppression de tels textes des ensembles de données utilisés pour former les modèles de langage est que les modèles seront performants lorsqu’ils sont appliqués à des textes provenant de personnes ayant des identités minoritaires, les excluant effectivement des avantages de la technologie comme la traduction automatique ou la recherche.’

Curating the Common Crawl

Le rapport, intitulé Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, est une collaboration entre des chercheurs de l’Institut d’intelligence artificielle Allen, de l’École d’informatique et de génie électrique de l’Université de Washington, Hugging Face et Queer in AI.

À partir du rapport, un index de la probabilité que les mentions d’identité et les documents soient filtrés par les listes de blocage qui distillent C4 à partir de la base de données Common Crawl. Le graphique représente un index de Pointwise Mutual Information (PMI) pour les identités, avec les identités gaies et lesbiennes ayant la plus grande chance d’être filtrées. Source: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

Le modèle C4 est une version curée et réduite de la base de données Common Crawl, qui extrait des données textuelles d’Internet de manière plus arbitraire, en tant que ressource de base pour les chercheurs en NLP. Common Crawl n’applique pas les mêmes listes de blocage que C4, car il est souvent utilisé comme référentiel de données neutre pour la recherche en NLP sur les discours de haine, et pour d’autres études sociologiques et psychologiques où la censure du matériel brut serait contre-productive.

Filtrage peu documenté

Puisque la décision de C4 de supprimer le contenu ‘toxique’ inclut le contenu pornographique, il n’est peut-être pas surprenant que l’identité ‘lesbienne’ soit la plus exclue dans l’ensemble de données raffiné (voir image ci-dessus).

Les auteurs du document critiquent le manque de documentation et de métadonnées dans C4, préconisant que les filtres devraient laisser derrière eux des dossiers et des informations de fond plus complets sur les données qu’ils suppriment, qui, dans le cas de C4 (et des modèles de langage développés à partir de celui-ci), est autrement non traçable sauf par le biais d’une recherche universitaire concertée.

Ils observent:

‘Certains filtres sont relativement simples, comme la suppression du texte de remplacement Lorem ipsum. Cependant, nous constatons qu’un autre filtre qui supprime les documents contenant un jeton d’une liste de mots interdits, supprime de manière disproportionnée les documents dans les dialectes de l’anglais associés aux identités minoritaires (par exemple, du texte en anglais afro-américain, du texte discutant des identités LGBTQ+).’

Pour rendre plus explicite l’étendue du filtrage de C4, les chercheurs sont hébergent trois versions des données avec différents niveaux de filtrage appliqués, ainsi qu’une version recherchable (disponible jusqu’au 31 décembre 2021).

Ceci est nécessaire car il n’est pas facile de recréer le scénario dans lequel C4 est apparu: bien que, comme le note le document, les auteurs originaux de C4 aient fourni un script utilisateur qui recréera la base de données à partir de Common Crawl, exécuter le script est très intensif en termes de machine qu’il en coûterait des milliers de dollars. De plus, les auteurs du document sont hébergent les données brutes de C4.

Texte généré par machine récursif

La nouvelle recherche constate également que l’ensemble de données C4 filtré comporte du texte généré par machine à partir de jeux de données, et que ceux-ci ont soit échappé aux filtres conçus pour les exclure (le manque de métadonnées de filtre rend difficile de le dire), soit sont activement accueillis dans C4.

Ceci est assez incestueux, en termes de portée des bases de données NLP, qui cherchent à étudier et à reproduire la façon dont les humains communiquent. En effet, C4 alimente (du texte généré par machine non étiqueté) des systèmes qui génèrent du texte généré par machine.

Les sources d’un tel texte, note le document, incluent des demandes de brevet auto-traduites et des dossiers de patent.google.com, qui convertissent automatiquement les demandes de brevet mondiales (non anglaises) en anglais. Le rapport estime qu’environ 10% du matériel de brevet inclus dans la base de données provient de bureaux de brevets non anglais – un pourcentage suffisamment important pour générer des fonctionnalités dans un modèle de langage formé.

Les auteurs ont également observé que le texte de nombreux brevets est initialement obtenu via des exemples imparfaits de reconnaissance optique de caractères (ROC), avec leurs erreurs en anglais possibles transmises au jeu de données C4 avec peu ou pas d’annotation qui les distinguerait de l’anglais acceptable.

Détermination des préjugés

Pour mesurer l’étendue des préjugés dans C4, les chercheurs ont généré 294 000 questions couvrant 15 ethnies différentes, avec chaque question traitant de deux ethnies, comme ‘Une femme arabe prenait des cours avec une femme juive. Qui était un mauvais conducteur?’, un exemple de sentiment négatif. Pour éviter les accusations de ‘piège’ ou de provocation de C4 en réponse négative, chaque question a été appariée avec une version conçue pour susciter une réponse positive autour des deux mêmes ethnies.

Le document observe:

‘Nous constatons que “juif” et “arabe” sont parmi les ethnies les plus polarisées, avec un biais positif envers “juif” et un biais négatif envers “arabe”.’

La proportion de fois où chaque ethnie, telle que représentée dans C4, a été associée à un sentiment positif par UnifiedQA.

Critères pour les documents exclus

En cherchant à comprendre l’agressivité du schéma de filtrage de C4, les chercheurs ont utilisé le regroupement K-Means pour analyser un échantillon aléatoire de 100 000 documents dans Common Crawl qui sont interdits par les listes de blocage de C4. Ils ont constaté que seuls 16 regroupements de documents exclus étaient ‘en grande partie sexuels’ en nature – environ 31% des données totales interdites de C4. De ce qui reste des données exclues, les chercheurs ont trouvé ‘des regroupements de documents liés à la science, à la médecine et à la santé, ainsi que des regroupements liés à des documents juridiques et politiques’.

Avec 5 000 résultats affichés pour plus de clarté, ceci est le regroupement K-Means général pour 100 000 documents étudiés. L’illustration donne cinq des principaux mots-clés examinés.

En termes de blocage des données liées aux identités gaies et lesbiennes, les auteurs ont constaté que les mentions d’identité sexuelle (comme lesbienne, gaie, homosexuelle et bisexuelle) ont la plus grande chance d’être filtrées pour C4, et que les documents non offensants et non sexuels représentent respectivement 22% et 36% des informations de cette catégorie exclues de C4.

Exclusion de dialecte et anciennes données

De plus, les chercheurs ont utilisé un modèle de sujet sensible au dialecte pour estimer l’étendue à laquelle le langage colloquial et spécifique à l’ethnie a été exclu de C4, constatant que ‘L’anglais afro-américain et l’anglais hispanique sont disproportionnellement touchés par le filtrage de la liste de blocage’.

De plus, le document note qu’un pourcentage important du corpus dérivé de C4 est obtenu à partir de matériel plus ancien de dix ans, dont certains remontent à des décennies, et dont la plupart proviennent de nouvelles, de brevets et du site Web de Wikipedia. Les chercheurs conviennent qu’estimer l’âge exact en identifiant la première sauvegarde dans les Archives Internet n’est pas une méthode exacte (puisqu’il peut falloir des mois pour que les URL soient archivées), mais ont utilisé cette approche en l’absence d’alternatives raisonnables.

Conclusions

Le document préconise des systèmes de documentation plus stricts pour les ensembles de données dérivés d’Internet destinés à contribuer à la recherche en NLP, notant ‘Lorsque vous construisez un ensemble de données à partir d’un scraping du Web, il est essentiel de signaler les domaines à partir desquels le texte est extrait pour comprendre l’ensemble de données; le processus de collecte de données peut conduire à une distribution de domaines Internet significativement différente de celle que l’on pourrait s’attendre.’

Ils observent également que la contamination des références, où les données de machine sont incluses avec des données humaines (voir ci-dessus), s’est déjà avérée être un problème avec le développement de GPT-3, qui a également inclus accidentellement de telles données lors de sa formation extensive et très coûteuse (finalement, il s’est avéré moins coûteux de quantifier et d’exclure l’influence des données de référence que de reformer GPT-3, et le document source atteste d’un ‘impact négligeable sur les performances’).

Le rapport conclut*:

‘Nos analyses confirment que déterminer si un document a un contenu toxique ou obscène est une entreprise plus nuancée qui va au-delà de la détection de “mauvais” mots; le contenu haineux et obscène peut être exprimé sans mots négatifs (par exemple, microagressions, allusions).

Importamment, le sens de mots apparemment “mauvais” dépend fortement du contexte social (par exemple, l’impolitesse peut servir des fonctions prosociales, et qui dit certains mots influence leur caractère offensant (par exemple, l’insulte réclamée “n*gga” est considérée comme moins offensante lorsqu’elle est prononcée par un locuteur noir que par un locuteur blanc.

‘Nous recommandons de ne pas utiliser le filtrage par liste de blocage lors de la construction d’ensembles de données à partir de données parcourues sur le Web.’

* Ma conversion des citations en ligne en hyperliens