La solution d’Apple pour traduire les langues à genre

Apple vient de publier un article, en collaboration avec l’USC, qui explore les méthodes d’apprentissage automatique utilisées pour offrir aux utilisateurs de son système d’exploitation iOS18 plus de choix en matière de genre lors de la traduction.

Dans iOS18, les utilisateurs peuvent sélectionner des suggestions de genre alternatives pour un mot traduit dans l’application de traduction native. Source : https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

Bien que les problèmes abordés dans le travail (que Apple a annoncé ici) s’engagent, dans une certaine mesure, dans les débats actuels sur les définitions de genre, il se concentre sur un problème beaucoup plus ancien : le fait que 84 des 229 langues connues dans le monde utilisent un système de genre basé sur le sexe.

Les points rouges indiquent les langues qui utilisent un système de genre basé sur le sexe. Source : https://wals.info/feature/31A#map

Étonnamment, la langue anglaise tombe dans la catégorie basée sur le sexe, car elle attribue des pronoms singuliers masculins ou féminins.

En revanche, toutes les langues romanes (y compris plus de la moitié d’un milliard de locuteurs espagnols) – et de nombreuses autres langues populaires, telles que le russe – nécessitent un accord de genre de manière à forcer les systèmes de traduction à aborder l’attribution de sexe dans la langue.

Le nouvel article l’illustre en observant toutes les traductions possibles en espagnol de la phrase Le secrétaire était en colère contre le patron :

À partir du nouvel article, un exemple des affectations de genre potentielles dans la phrase ‘Le secrétaire était en colère contre le patron’, en traduisant de l’anglais en espagnol. Source : https://arxiv.org/pdf/2407.20438

Une traduction naïve est loin d’être suffisante pour les textes plus longs, qui peuvent établir le genre au début (‘Il’, ‘Elle’, etc.) et ne pas y faire référence à nouveau. Néanmoins, la traduction doit se souvenir du genre attribué au participant tout au long du texte.

Cela peut être difficile pour les approches basées sur des jetons qui traitent les traductions en morceaux distincts et risquent de perdre le contexte de genre tout au long de la durée du contenu.

Pire, les systèmes qui fournissent des traductions alternatives pour des affectations de genre biaisées ne peuvent pas le faire de manière indiscriminée, c’est-à-dire en substituant simplement le nom de genre, mais doivent s’assurer que toutes les autres parties de la langue sont en accord avec le nom de genre modifié.

Dans cet exemple de l’article Apple/USC, nous voyons que même si Secrétaire a été attribué un genre masculin, le singulier du passé était a été laissé comme féminin (estaba) :

Les substitutions de genre brut peuvent négliger l’accord de genre nécessaire. Dans cet exemple, le mot ‘enojada’ devrait être ‘enojado’, pour être en accord avec le masculin ‘El secretario’.

Un système de traduction doit également faire face aux particularités de langues particulières en ce qui concerne le genre. Comme le souligne l’article, le pronom Je est genré en hindi, ce qui fournit un indice inhabituel pour le genre.

Problèmes de genre

Dans l’article nouveau, intitulé Génération d’alternatives de genre dans la traduction automatique, les chercheurs d’Apple et de l’USC proposent une méthode semi-supervisée pour convertir des entités ambigües en matière de genre en un tableau d’alternatives au niveau de l’entité.

Le système, qui a été utilisé pour informer la traduction de l’application de traduction Apple dans iOS18, construit un schéma de langue à la fois en utilisant de grands modèles de langage (LLM) et en affinant des modèles de traduction automatique pré-entraînés en source ouverte.

Les résultats des traductions de ces systèmes ont ensuite été formés dans une architecture contenant des structures de genre – des groupes de phrases qui contiennent des formes diverses de noms genrés représentant la même entité.

L’article indique* :

‘Les biais de genre présents dans les données d’entraînement sont connus pour se propager dans les systèmes de traitement automatique des langues (NLP), entraînant la diffusion et l’amplification potentielle de ces biais. De tels biais sont souvent également à l’origine des erreurs.

‘Un système de traduction automatique (MT) pourrait, par exemple, traduire médecin par le terme espagnol médico (masculin) au lieu de médica (féminin), étant donné l’entrée “Le médecin a demandé à l’infirmière de l’aider dans la procédure”.

‘Pour éviter de prescrire une attribution de genre incorrecte, les systèmes MT doivent clarifier le genre par le contexte. Lorsque le genre correct ne peut pas être déterminé par le contexte, fournir plusieurs alternatives de traduction qui couvrent tous les choix de genre valides est une approche raisonnable.’

L’approche que les chercheurs arrivent effectivement à transformer une traduction d’un seul jeton en un tableau contrôlé par l’utilisateur.

(Bien que l’article ne le mentionne pas, cela ouvre la possibilité, soit dans Apple Translate, soit dans des portails similaires qui offrent des services de traduction, pour que les choix de l’utilisateur soient intégrés dans les itérations ultérieures du modèle)

Le modèle que les chercheurs ont développé a été évalué sur les ensembles de test GATE et MT-GenEval. GATE contient des phrases sources avec jusqu’à 3 entités ambigües en matière de genre, tandis que MT-GenEval contient du matériel où le genre ne peut pas être déduit, ce qui, selon les auteurs, aide à comprendre quand les options de genre alternatives ne devraient pas être proposées à l’utilisateur.

Dans les deux cas, les ensembles de test ont dû être ré-annotés pour correspondre aux objectifs du projet.

Pour former le système, les chercheurs ont compté sur un nouvel algorithme d’augmentation automatique de données, contrairement aux ensembles de test mentionnés, qui ont été annotés par des humains.

Les ensembles de données contribuant à la curation d’Apple étaient Europarl ; WikiTitles ; et WikiMatrix. Le corpus a été divisé en G-Tag (avec 12 000 phrases), comprenant des phrases avec mots clés pour toutes les entités, ainsi qu’une annotation ambiguë en matière de genre ; et G-Trans (avec 50 000 phrases), contenant des entités ambigües en matière de genre et des alignements de genre.