La solution d’Apple pour traduire les langues à genre

Apple vient de publier un article, en collaboration avec l’USC, qui explore les méthodes d’apprentissage automatique utilisées pour offrir aux utilisateurs de son système d’exploitation iOS18 plus de choix en matière de genre lors de la traduction.

Dans iOS18, les utilisateurs peuvent sélectionner des suggestions de genre alternatives pour un mot traduit dans l’application de traduction native. Source: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

Les problèmes abordés dans cet article (que Apple a annoncé ici) traitent, dans une certaine mesure, des débats actuels sur les définitions de genre, mais se concentrent sur un problème beaucoup plus ancien: le fait que 84 des 229 langues connues dans le monde utilisent un système de genre basé sur le sexe.

Les points rouges indiquent les langues qui utilisent un système de genre basé sur le sexe. Source: https://wals.info/feature/31A#map

Étonnamment, la langue anglaise entre dans la catégorie basée sur le sexe, car elle attribue des pronoms singuliers masculins ou féminins.

En revanche, toutes les langues romanes (y compris plus de 500 millions de locuteurs espagnols) – et de nombreuses autres langues populaires, telles que le russe – nécessitent un accord de genre de manière à forcer les systèmes de traduction à aborder l’attribution de sexe dans la langue.

L’article illustre cela en observant toutes les traductions possibles de la phrase Le secrétaire était en colère contre le patron:

De l’article, un exemple des affectations de genre potentielles dans la phrase ‘Le secrétaire était en colère contre le patron’, en traduisant de l’anglais vers l’espagnol. Source: https://arxiv.org/pdf/2407.20438

Une traduction naïve est loin d’être suffisante pour les textes plus longs, qui peuvent établir le genre au début (‘Il’, ‘Elle’, etc.) et ne pas y faire référence à nouveau. Néanmoins, la traduction doit se souvenir de l’affectation de genre du participant tout au long du texte.

Ceci peut être difficile pour les approches basées sur les jetons qui traitent les traductions en morceaux distincts, et risquent de perdre le contexte de genre tout au long de la durée du contenu.

Pire, les systèmes qui fournissent des traductions alternatives pour les affectations de genre biaisées ne peuvent pas le faire de manière indiscriminée, c’est-à-dire en substituant simplement le nom de genre, mais doivent s’assurer que toutes les autres parties de la langue sont en accord avec le nom de genre modifié.

Dans cet exemple de l’article Apple/USC, nous voyons que même si Secrétaire a été attribué un genre masculin, le singulier passé était a été laissé féminin (estaba):

Les substitutions de genre brutales peuvent négliger les accords de genre nécessaires. Dans cet exemple, le mot ‘enojada’ devrait être ‘enojado’, pour être en accord avec le masculin ‘El secretario’.

Un système de traduction doit également faire face aux particularités de certaines langues en ce qui concerne le genre. Comme l’article le souligne, le pronom Je est genré en hindi, ce qui fournit un indice inhabituel sur le genre.

Problèmes de genre

Dans l’article, intitulé Génération d’alternatives de genre dans la traduction automatique, les chercheurs d’Apple et de l’USC proposent une méthode semi-supervisée pour convertir des entités ambiguës de genre en un tableau d’alternatives d’entité.

Le système, qui a été utilisé pour informer la traduction de l’application de traduction Apple dans iOS18, construit un schéma de langue à la fois en utilisant de grands modèles de langue (LLM) et en affinant des modèles de traduction automatique pré-entraînés en source ouverte.

Les résultats des traductions de ces systèmes ont ensuite été formés dans une architecture contenant des structures de genre – des groupes de phrases qui contiennent des formes diverses de noms genrés représentant la même entité.

L’article indique*:

‘Les biais de genre présents dans les données d’entraînement sont connus pour se propager dans les systèmes de traitement du langage naturel (NLP), ce qui entraîne la diffusion et la potentialisation de ces biais. De tels biais sont souvent également la cause profonde des erreurs.

‘Un système de traduction automatique (MT) peut, par exemple, traduire médecin par le terme espagnol médico (masculin) au lieu de médica (féminin), étant donné l’entrée “Le médecin a demandé à l’infirmière de l’aider dans la procédure”.

‘Pour éviter de prescrire une affectation de genre incorrecte, les systèmes de traduction automatique doivent disambiguer le genre à travers le contexte. Lorsque le genre correct ne peut pas être déterminé à travers le contexte, fournir des alternatives de traduction qui couvrent tous les choix de genre valides est une approche raisonnable.’

L’approche que les chercheurs arrivent à élaborer transforme efficacement une traduction d’un seul jeton en un tableau d’alternatives contrôlées par l’utilisateur.

(Bien que l’article ne le mentionne pas, cela ouvre la possibilité, soit dans Apple Translate, soit dans des portails similaires qui offrent des services de traduction, pour que les choix de l’utilisateur soient réinjectés dans les itérations ultérieures du modèle)

Le modèle que les chercheurs d’Apple et de l’USC ont développé a été évalué sur les ensembles de tests GATE et MT-GenEval. GATE contient des phrases sources avec jusqu’à 3 entités de genre ambiguës, tandis que MT-GenEval contient du matériel où le genre ne peut pas être déduit, ce qui, selon les auteurs, aide à comprendre quand les alternatives de genre ne devraient pas être proposées à l’utilisateur.

Dans les deux cas, les ensembles de tests ont dû être réannotés pour correspondre aux objectifs du projet.

Pour former le système, les chercheurs ont compté sur un nouvel algorithme d’augmentation automatique de données, à la différence des ensembles de tests mentionnés ci-dessus, qui ont été annotés par des humains.

Les ensembles de données contribuant à la curation d’Apple étaient Europarl; WikiTitles; et WikiMatrix. Les corpus ont été divisés en G-Tag (avec 12 000 phrases), comprenant des phrases avec des mots de tête pour toutes les entités, ainsi qu’une annotation de genre ambigu; et G-Trans (avec 50 000 phrases), contenant des entités de genre ambigu et des alignements de genre.

Les auteurs affirment:

‘À notre connaissance, il s’agit du premier grand corpus qui contient des ambiguïtés de genre et leur effet sur les formes genrées dans la traduction.’

Les ensembles de données et les données diverses pour le projet ont été mis à disposition sur GitHub. Les données présentent cinq paires de langues, mettant l’anglais en opposition avec le russe, l’allemand, le français, le portugais et l’espagnol.

Les auteurs ont utilisé une approche antérieure de 2019 pour doter le modèle de la capacité de produire des alignements de genre, en formant avec perte d’entropie croisée et une perte d’alignement supplémentaire.

Pour la routine d’augmentation de données, les auteurs ont rejeté les méthodes traditionnelles basées sur des règles en faveur d’une approche centrée sur les données, en affinant un modèle de langage pré-entraîné BERT sur l’ensemble de données G-Tag.

Double regard

Pour les cas où des entités de genre ambiguës sont détectées, Apple et USC ont exploré deux méthodes – l’affinement de modèles de langage pré-entraînés et l’utilisation de LLM.

En ce qui concerne la première méthode, l’article indique:

‘Nous affinons un modèle de traduction automatique pré-entraîné M sur un bi-texte extrait de l’ensemble de données G-Trans. Les phrases sources de ce bi-texte contiennent des entités ambiguës étiquetées comme masculines ou féminines à l’aide de balises <M>/<F>, et la traduction cible a des inflexions de genre correctes étant donné les balises de genre.’

Une illustration du schéma pour extraire le bi-texte de l’ensemble de données G-Trans.

Dans l’image ci-dessus, nous voyons le texte affiné dans la colonne du milieu, et la sortie souhaitée dans la colonne de droite, avec la raison sous-jacente illustrée ci-dessus.

Pour cette approche, les auteurs ont utilisé une méthode de réévaluation de lattice à partir d’un travail antérieur de 2020. Pour s’assurer que seul le domaine cible (le genre) était abordé, une recherche de faisceau contrainte a été utilisée comme filtre.

Pour l’approche LLM, les auteurs ont conçu une stratégie qui utilise un LLM comme éditeur, en réécrivant les traductions fournies pour fournir des affectations de genre.

Le LLM est incité à l’aide d’un exemple en contexte pour attribuer un genre.

Avec les résultats des deux approches concaténés, le modèle a ensuite été affiné pour classer les jetons source comme alignés (indiqués par ‘1’ dans le schéma ci-dessous) ou non alignés (indiqués par ‘2’ ci-dessous).

Un schéma pour la concaténation des résultats des deux approches.

Données et tests

Le détecteur d’entité ambiguë utilisé pour le projet a été développé en affinant le modèle xlm-roberta-large de Facebook AI, en utilisant des transformateurs. Pour cela, l’ensemble de données G-Tag combiné a été utilisé pour toutes les paires de langues.

Dans la première des deux approches mentionnées, le modèle M2M 1.2B a été formé sur Fairseq, conjointement avec des données bi-texte de l’ensemble de données G-Trans, avec des inflexions de genre fournies par Wiktionnaire.

Pour l’approche LLM, les auteurs ont utilisé GPT-3.5-turbo. Pour l’alignement des structures de genre, xlm-roberta-large a été utilisé à nouveau, cette fois avec des alignements de genre extraits de G-Trans.

Les métriques pour l’évaluation des alternatives, la structure (avec précision et rappel), et précision d’alignement.

Bien que les deux premières soient auto-explicatoires, la précision d’alignement mesure le pourcentage de structures de genre de sortie qui sont conformes à l’identité source connue, et utilise la méthode δ-BLEU, conformément à la méthodologie pour MT-GenEval.

Ci-dessous se trouvent les résultats pour le pipeline d’augmentation de données:

Résultats des tests du pipeline d’augmentation de données. Les flèches vers le haut indiquent ‘plus élevé, mieux’, les flèches vers le bas ‘plus bas, mieux’.

Ici, les auteurs commentent*:

‘Les deux M2M et GPT fonctionnent principalement de la même manière, à l’exception de l’anglais-russe, où GPT atteint un rappel d’alternatives beaucoup plus faible (58,7 par rapport à 89,3). La qualité des structures de genre générées est meilleure pour GPT en anglais-allemand et en anglais-portugais, et meilleure pour M2M en anglais-espagnol et en anglais-russe, comme le montrent les métriques de structure.

‘Notez que nous n’avons aucune donnée G-Trans pour l’anglais-italien, donc les résultats du modèle M2M et la précision d’alignement pour l’anglais-italien sont uniquement dus à la généralisation à zéro tir de M2M et XLM.’

Les chercheurs ont également comparé les performances du système d’augmentation de données, via M2M, par rapport à la méthode de réécriture de phrase de niveau GATE, sur les termes déclarés par GATE.

Le pipeline d’augmentation de données Apple/USC opposé à la méthode de réécriture de phrase de niveau GATE.

Ici, l’article indique:

‘Nous observons des améliorations significatives du rappel au prix d’une dégradation relativement faible de la précision (à l’exception de l’anglais-italien). Notre système est capable de surpasser GATE sur leur métrique F.5 proposée pour les trois paires de langues.’

Enfin, les auteurs ont formé des modèles multilingues ‘vanilla’ divers dans un bi-texte vanilla. Les ensembles de données contributifs étaient WikiMatrix, WikiTitles, Multi-UN, NewsCommentary, et Tilde.

Deux modèles ‘vanilla’ supplémentaires ont été formés, l’un incorporant l’ensemble de données G-Trans avec la balise préfixée <genre>, qui a été utilisé comme ligne de base supervisée; et un troisième, incorporant la structure de genre et les alignements (sur le modèle local plus petit, car utiliser les services API de GPT aurait été très coûteux à cette fin).

Les modèles ont été testés contre l’ensemble de données FloRes 2022.

Modèles de traduction automatique ‘vanilla’ de bout en bout testés (P = précision, R = rappel).

L’article résume ces résultats:

‘Le modèle ‘vanilla’ ne peut pas générer d’alternatives et montre un biais énorme en faveur de la génération de formes masculines (δ-BLEU allant de 5,3 à 12,5 points).

‘Ce biais est fortement réduit par la ligne de base supervisée. Le modèle formé sur des données augmentées réduit encore le biais et obtient les meilleures performances en termes de métriques d’alternatives, de précision d’alignement et de δ-BLEU.

‘Cela montre l’efficacité du pipeline d’augmentation de données. Les données augmentées permettent également de former un système compétitif pour l’anglais-italien qui manque de données supervisées.’

Les auteurs concluent en notant que le succès du modèle doit être considéré dans le contexte plus large de la lutte du traitement du langage naturel pour rationaliser l’affectation de genre dans une méthode de traduction; et ils notent que cela reste un problème ouvert.

Bien que les chercheurs considèrent que les résultats obtenus n’atteignent pas pleinement l’objectif de la génération de traductions et/ou de disambiguïsations de niveau d’entité neutres en genre, ils estiment que le travail est un ‘instrument puissant’ pour les explorations futures dans l’un des domaines les plus difficiles de la traduction automatique.

* Ma conversion des citations en ligne des auteurs en hyperliens

Publié pour la première fois mardi 8 octobre 2024