La solution d'Apple pour traduire les langues genrées

Apple vient de publier un article, en collaboration avec l'USC, qui explore les méthodes d'apprentissage automatique employées pour offrir aux utilisateurs de son système d'exploitation iOS18 plus de choix en matière de genre en matière de traduction.

Bien que les problèmes abordés dans le travail (qu'Apple a annoncé ici) s'engage, dans une certaine mesure, dans les débats d'actualité actuels autour des définitions du genre, il se concentre sur un problème bien plus ancien : le fait que 84 des 229 langues connues dans le monde utiliser un système de genre basé sur le sexe.

Étonnamment, la langue anglaise tombe dans la catégorie fondée sur le sexe, car il attribue des pronoms singuliers masculins ou féminins.

En revanche, tous Langues romanes (y compris plus de un demi-milliard Les hispanophones – et de nombreuses autres langues populaires, comme le russe – nécessitent une concordance de genre qui oblige les systèmes de traduction à tenir compte de l’assignation sexuelle dans la langue.

Le nouvel article illustre cela en observant toutes les traductions espagnoles possibles de la phrase La secrétaire était en colère contre le patron:

La traduction naïve est loin d’être suffisante pour les textes plus longs, qui peuvent établir le genre dès le départ ('Il', 'Elle', etc.) et ne plus faire référence au genre par la suite. Néanmoins, la traduction doit se souvenir du genre attribué au participant tout au long du texte.

Cela peut être difficile pour les approches basées sur des jetons qui traitent les traductions en morceaux discrets et risquent de perdre le contexte de genre attribué pendant toute la durée du contenu.

Pire encore, les systèmes qui fournissent des traductions alternatives pour des attributions de genre biaisées ne peuvent pas le faire sans discrimination, c’est-à-dire en remplaçant simplement le nom de genre, mais doivent s’assurer que toutes les autres parties du langage sont en accord avec le nom de genre modifié.

Dans cet exemple tiré du document Apple/USC, nous voyons que, bien que Secrétaire a été assigné au genre masculin, au passé singulier était a été laissé féminin (était):

Un système de traduction doit également tenir compte des excentricités de certaines langues en matière de genre. Comme le souligne l'article, le pronom I est genré en hindi, ce qui fournit un indice inhabituel sur le genre.

Questions de genre

Dans le nouveau papier, Intitulé Générer des alternatives de genre dans la traduction automatique, les chercheurs d'Apple et de l'USC proposent une semi-supervisé méthode permettant de convertir des entités ambiguës en termes de genre en un ensemble d'alternatives au niveau de l'entité.

Le système, qui a été utilisé pour informer la traduction à partir de l'application Apple Translate dans iOS18, construit un schéma de langue à la fois par l'utilisation de grands modèles de langue (LLM) et par réglage fin modèles de traduction automatique open source pré-entraînés.

Les résultats des traductions de ces systèmes ont ensuite été formés dans une architecture contenant structures de genre – groupes de phrases qui contiennent diverses formes de noms de genres différents représentant la même entité.

Le papier précise* :

« Il est connu que les préjugés sexistes présents dans les données des trains se répercutent sur les systèmes de traitement du langage naturel (TLN), ce qui entraîne une diffusion et une amplification potentielle de ces biais. Ces biais sont souvent aussi à l’origine d’erreurs.

« Un système de traduction automatique (TA) pourrait, par exemple, traduire docteur en espagnol médico (masculin) au lieu de médica (féminin), étant donné l'entrée « Le médecin a demandé à l'infirmière de l'aider dans la procédure ».

« Pour éviter de prescrire une attribution de genre erronée, les systèmes de traduction automatique doivent lever l'ambiguïté du genre grâce au contexte. Lorsque le genre correct ne peut pas être déterminé grâce au contexte, il est raisonnable de proposer plusieurs alternatives de traduction couvrant tous les choix de genre valides. »

L’approche à laquelle parviennent les chercheurs transforme efficacement une traduction d’un seul jeton en un tableau contrôlé par l’utilisateur.

(Bien que le document ne le mentionne pas, cela ouvre la possibilité, soit dans Apple Translate, soit dans des portails similaires qui offrent des services de traduction, que les choix des utilisateurs soient réinjectés dans les itérations ultérieures du modèle)

Le modèle développé par Apple et USC a été évalué sur la GATE et MT-GenEval ensembles de tests. GATE contient des phrases sources avec jusqu'à 3 entités ambiguës en termes de genre, tandis que MT-GenEval contient du matériel où le genre ne peut pas être déduit, ce qui, selon les auteurs, aide à comprendre quand des options de genre alternatives ne doivent pas être proposées à l'utilisateur.

Dans les deux cas, les ensembles de tests ont dû être ré-annotés, pour les aligner sur les objectifs du projet.

Pour entraîner le système, les chercheurs se sont appuyés sur un nouveau système automatique augmentation des données algorithme, contrairement aux ensembles de tests susmentionnés, qui ont été annotés par des humains.

Les ensembles de données contributifs pour la curation Apple étaient Europarl; Titres WikiEt WikiMatrice. Le corpus a été divisé en Étiquette G (avec 12,000 XNUMX phrases), comprenant des phrases avec mots clés pour toutes les entités, accompagnées d'une annotation sans distinction de genre ; et G-Trans (avec 50,000 XNUMX phrases), contenant des entités ambiguës en termes de genre et des alignements de genre.

Les auteurs affirment :

« À notre connaissance, il s’agit du premier corpus à grande échelle qui contient des ambiguïtés de genre et la manière dont elles affectent les formes genrées dans la traduction. »

Des ensembles de données et des données diverses pour le projet ont été mis à disposition sur GitHubLes données présentent cinq paires de langues, opposant l’anglais au russe, à l’allemand, au français, au portugais et à l’espagnol.

Les auteurs ont tiré parti une approche préalable à partir de 2019 pour doter le modèle de la capacité de produire des alignements de genre, formation avec entropie croisée perte et un montant supplémentaire perte d'alignement.

Pour la routine d’augmentation des données, les auteurs ont évité la méthode traditionnelle méthode basée sur des règless en faveur d'une approche centrée sur les données, affinant une BERT modèle de langage pré-entraîné sur l'ensemble de données G-Tag.

Double prise

Dans les cas où des entités de genre ambiguës sont détectées, Apple et l’USC ont exploré deux méthodes : le réglage fin des modèles de langage pré-entraînés et l’utilisation de LLM.

En ce qui concerne la première méthode, le document stipule :

« Nous affinons un modèle MT pré-entraîné M sur un bitexte extrait de l'ensemble de données G-Trans. Les phrases sources de ce bitexte contiennent des entités ambiguës étiquetées comme masculines ou féminines à l'aide de / balises, et la traduction cible a des inflexions de genre correctes compte tenu des balises de genre.

Dans l’image ci-dessus, nous voyons le texte peaufiné dans la colonne inférieure centrale et le résultat souhaité dans la colonne de droite, avec la justification sous-jacente illustrée ci-dessus.

Pour cette approche, les auteurs ont utilisé une re-marquage du treillis méthode d'un travaux antérieurs à 2020. Pour garantir que seul le domaine cible (genre) a été abordé, un recherche de faisceau contraint a été utilisé comme filtre.

Pour l’approche LLM, les auteurs ont conçu une stratégie qui utilise un LLM comme éditeur, en réécrivant les traductions fournies pour fournir des attributions de genre.

Avec les résultats des deux approches concaténés, le modèle a ensuite été affiné pour classer les jetons sources comme aligné (indiqué par « 1 » dans le schéma ci-dessous) ou non aligné (indiqué par « 2 » ci-dessous).

Données et tests

Votre entité ambiguë Le détecteur utilisé pour le projet a été développé en affinant l'IA de Facebook  xlm-roberta-large modèle, en utilisant transformateursPour cela, le G-Tag combiné a été utilisé dans les cinq paires de langues.

Dans la première des deux approches susmentionnées, le M2M 1.2 milliard le modèle a été formé sur Fairseq, conjointement avec les données bi-textuelles de l'ensemble de données G-Trans, avec les inflexions de genre fournies par Wiktionary.

Pour la méthode LLM, les auteurs ont utilisé GPT-3.5-turboPour l'alignement des structures de genre, xlm-roberta-large a de nouveau été utilisé, cette fois avec des alignements de genre extraits de G-Trans.

Métriques pour l'évaluation des alternatives, structure (avec précision et rappeler), Et précision d'alignement.

Bien que les deux premiers soient explicites, la précision de l'alignement mesure le pourcentage de structures de genre de sortie conformes à l'identité source correcte connue et utilise les Méthode δ-BLEU, conformément à la méthodologie MT-GenEval.

Vous trouverez ci-dessous les résultats du pipeline d’augmentation des données :

Ici les auteurs commentent* :

« Les deux systèmes M2M et GPT ont des performances globalement équivalentes, à l'exception de l'anglais-russe, où GPT obtient un taux de rappel des alternatives bien inférieur (58.7 contre 89.3). La qualité des structures de genre générées est meilleure pour GPT sur l'anglais-allemand et l'anglais-portugais et meilleure pour M2M sur l'anglais-espagnol et l'anglais-russe, comme le montrent les mesures de structure.

« Notez que nous n'avons pas de données G-Trans pour l'anglais-italien, donc les résultats du modèle M2M et la précision de l'alignement sur l'anglais-italien sont purement dus à la généralisation à zéro coup de Modèles M2M et XLM.'

Les chercheurs ont également comparé les performances du système d'augmentation des données, via M2M, avec le réécrivain de genre au niveau des phrases de GATE, selon les conditions énoncées par GATE lui-même.

Ici, le document indique :

« Nous constatons des améliorations significatives dans le rappel au prix d'une dégradation relativement faible de la précision (sauf pour l'anglais et l'italien). Notre système est capable de surpasser GATE sur leur métrique F.5 proposée sur les 3 paires de langues. »

Enfin, les auteurs ont formé divers modèles multilingues « vanille » bi-texte vanilleLes ensembles de données contributifs étaient WikiMatrix, Titres Wiki, Multi-ONU, ActualitésCommentaire et Tilde.

Deux modèles vanille supplémentaires ont été formés, l'un incorporant l'ensemble de données G-Trans avec la balise préfixée , qui a été utilisé comme base de référence supervisée ; et un troisième, intégrant la structure et les alignements de genre (sur le modèle local plus petit, car l'utilisation des services basés sur l'API de GPT aurait été très coûteuse à cette fin).

Les modèles ont été testés par rapport à la version 2022 FloRes jeu de données.

L'article résume ces résultats :

« Le modèle vanille ne peut pas générer d'alternatives et montre un biais énorme vers la génération de formes masculines (δ-BLEU allant de 5.3 à 12.5 points).

« Ce biais est considérablement réduit par la ligne de base supervisée. Le modèle formé sur des données augmentées réduit encore le biais et obtient les meilleures performances en termes de métriques alternatives, de précision d'alignement et de δ-BLEU.

« Cela montre l'efficacité du pipeline d'augmentation des données. Les données augmentées nous permettent également de former un système compétitif pour l'anglais et l'italien, qui manque de données supervisées. »

Les auteurs concluent en notant que le succès du modèle doit être considéré dans le contexte plus large de la lutte de la PNL pour rationaliser l'attribution du genre dans une méthode de traduction ; et ils notent que cela reste un problème ouvert.

Bien que les chercheurs considèrent que les résultats obtenus n'atteignent pas pleinement l'objectif de génération de traductions neutres en termes de genre au niveau de l'entité et/ou de désambiguïsations concernant le genre, ils estiment que le travail est un « instrument puissant » pour les explorations futures dans l'un des domaines les plus difficiles de la traduction automatique.

 

* Ma conversion des citations en ligne des auteurs en hyperliens

Première publication le mardi 8er octobre 2024