La soluzione di Apple per la traduzione di lingue con genere

Apple ha appena pubblicato un documento, in collaborazione con l’USC, che esplora i metodi di apprendimento automatico utilizzati per offrire agli utenti del sistema operativo iOS18 più opzioni in materia di genere quando si tratta di traduzione.

In iOS18, gli utenti possono selezionare suggerimenti di genere alternativi per una parola tradotta nell’app Translate nativa. Fonte: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

Sebbene le questioni affrontate nel lavoro (che Apple ha annunciato qui) si occupino, in una certa misura, di dibattiti attuali sulla definizione di genere, si concentra su un problema molto più vecchio: il fatto che 84 delle 229 lingue conosciute nel mondo utilizzano un sistema di genere basato sul sesso.

I punti rossi indicano le lingue che utilizzano un sistema di genere basato sul sesso. Fonte: https://wals.info/feature/31A#map

Sorprendentemente, la lingua inglese rientra nella categoria basata sul sesso, poiché assegna pronomi singolari maschili o femminili.

Al contrario, tutte le lingue romanze (compreso oltre mezzo miliardo di parlanti spagnoli) – e molte altre lingue popolari, come il russo – richiedono l’accordo di genere in modi che costringono i sistemi di traduzione ad affrontare l’assegnazione del sesso nella lingua.

Il nuovo documento illustra questo osservando tutte le possibili traduzioni spagnole della frase Il segretario era arrabbiato con il capo:

Dal nuovo documento, un esempio delle possibili assegnazioni di genere nella frase ‘Il segretario era arrabbiato con il capo’, traducendo dall’inglese allo spagnolo. Fonte: https://arxiv.org/pdf/2407.20438

La traduzione ingenua è ben lontana dall’essere sufficiente per testi più lunghi, che possono stabilire il genere all’inizio (‘Lui’, ‘Lei’, ecc.) e successivamente non fare più riferimento al genere. Tuttavia, la traduzione deve ricordare l’assegnazione di genere del partecipante in tutto il testo.

Questo può essere difficile per gli approcci basati su token che affrontano le traduzioni in blocchi discreti e rischiano di perdere il contesto di genere nel corso del contenuto.

Peggio, i sistemi che forniscono traduzioni alternative per assegnazioni di genere pregiudizievoli non possono farlo indiscriminatamente, ovvero sostituendo semplicemente il nome del genere, ma devono assicurarsi che tutte le altre parti della lingua siano d’accordo con il nome del genere modificato.

In questo esempio dal documento Apple/USC, vediamo che sebbene Segretario sia stato assegnato un genere maschile, il singolare passato era è stato lasciato come femminile (estaba):

Le sostituzioni di genere brute-force possono trascurare la necessaria concordanza di genere. In questo esempio, la parola ‘enojada’ dovrebbe essere ‘enojado’, per concordare con il maschile ‘El secretario’.

Un sistema di traduzione deve anche affrontare le eccentricità di particolari lingue in relazione al genere. Come sottolinea il documento, il pronome Io è di genere in hindi, il che fornisce un indizio insolito sul genere.

Questioni di genere

Nel nuovo documento, intitolato Generazione di alternative di genere nella traduzione automatica, i ricercatori di Apple e USC propongono un metodo semi-supervisionato per convertire entità ambigue di genere in un array di alternative a livello di entità.

Il sistema, che è stato utilizzato per informare la traduzione dall’app Apple Translate in iOS18, costruisce uno schema linguistico sia attraverso l’uso di grandi modelli linguistici (LLM), sia attraverso la regolazione fine di modelli di traduzione automatica pre-addestrati open source.

I risultati delle traduzioni da questi sistemi sono stati quindi addestrati in un’architettura che contiene strutture di genere – gruppi di frasi che contengono forme diverse di nomi di genere diversi che rappresentano la stessa entità.

Il documento afferma*:

‘I pregiudizi di genere presenti nei dati di addestramento sono noti per influenzare i sistemi di elaborazione del linguaggio naturale (NLP), portando alla diffusione e alla possibile amplificazione di quei pregiudizi. Tali pregiudizi sono spesso anche la causa radice degli errori.

‘Un sistema di traduzione automatica (MT) potrebbe, ad esempio, tradurre il termine “dottore” con il termine spagnolo “médico” (maschile) invece di “médica” (femminile), dato l’input “Il dottore ha chiesto all’infermiera di aiutarla nella procedura”.

‘Per evitare di prescrivere un’assegnazione di genere errata, i sistemi MT devono disambiguare il genere attraverso il contesto. Quando il genere corretto non può essere determinato attraverso il contesto, fornire più alternative di traduzione che coprono tutte le scelte di genere valide è un approccio ragionevole.’

L’approccio che i ricercatori arrivano a realizzare effettivamente trasforma una traduzione da un singolo token in un array controllato dall’utente.

(Sebbene il documento non lo menzioni, ciò apre la possibilità, sia in Apple Translate che in portali simili che offrono servizi di traduzione, per le scelte dell’utente di essere riportate in iterazioni successive del modello)

Il modello sviluppato da Apple e USC è stato valutato sui set di test GATE e MT-GenEval. GATE contiene frasi sorgente con fino a 3 entità ambigue di genere, mentre MT-GenEval contiene materiale in cui il genere non può essere inferito, il che, secondo gli autori, aiuta a capire quando le alternative di genere non dovrebbero essere offerte all’utente.

In entrambi i casi, i set di test sono stati ri-annotati per allinearsi con gli obiettivi del progetto.

Per addestrare il sistema, i ricercatori hanno fatto affidamento su un algoritmo di aumento dei dati automatico, a differenza dei set di test sopracitati, che sono stati annotati dagli esseri umani.

I dataset che hanno contribuito alla cura di Apple sono stati Europarl; WikiTitles; e WikiMatrix. Il corpus è stato diviso in G-Tag (con 12.000 frasi), che comprende frasi con parole chiave per tutte le entità, insieme a un’annotazione ambigua di genere; e G-Trans (con 50.000 frasi), che contiene entità ambigue di genere e allineamenti di genere.

Gli autori affermano*:

‘A nostro avviso, questo è il primo corpus su larga scala che contiene ambiguità di genere e come influenzano le forme di genere nella traduzione.’

I dati e i dati diversi per il progetto sono stati resi disponibili su GitHub. I dati presentano cinque coppie di lingue, mettendo l’inglese contro il russo, il tedesco, il francese, il portoghese e lo spagnolo.

Gli autori hanno sfruttato un approccio precedente del 2019 per dotare il modello della capacità di output di allineamenti di genere, addestrando con perdita di entropia incrociata e una perdita di allineamento aggiuntiva.

Per la routine di aumento dei dati, gli autori hanno scelto di non utilizzare i metodi basati su regole tradizionali, ma un approccio basato sui dati, regolando un modello linguistico pre-addestrato BERT sul set di dati G-Tag.

Doppia occhiata

Per i casi in cui vengono rilevate entità ambigue di genere, Apple e USC hanno esplorato due metodi – la regolazione fine di modelli linguistici pre-addestrati e l’uso di LLM.

Per quanto riguarda il primo metodo, il documento afferma:

‘Regoliamo un modello MT pre-addestrato M su un bi-testo estratto dal set di dati G-Trans. Le frasi sorgente di questo bi-testo contengono entità ambigue etichettate come maschili o femminili utilizzando <M>/<F> etichette, e la traduzione target ha inflessioni di genere corrette date le etichette di genere.’

Un’illustrazione dello schema per estrarre bi-testo dal set di dati G-Trans.

Nell’immagine sopra, vediamo il testo regolato nella colonna centrale inferiore e l’output desiderato nella colonna destra, con la logica sottostante illustrata sopra.

Per questo approccio, gli autori hanno utilizzato un metodo di ripuntamento della rete da un lavoro precedente del 2020. Per assicurarsi che solo il dominio target (genere) fosse affrontato, è stato utilizzato un ricerca a fascio vincolata come filtro.

Per l’approccio LLM, gli autori hanno elaborato una strategia che utilizza un LLM come editor, riscrivendo le traduzioni fornite per assegnare il genere.

L’LLM viene richiamato utilizzando un esempio in contesto per assegnare il genere.

I risultati di entrambi gli approcci sono stati concatenati, quindi il modello è stato regolato per classificare i token sorgente come allineati (indicati da ‘1’ nello schema sotto) o non allineati (indicati da ‘2’ sotto).

<em Uno schema per la concatenazione dei risultati di entrambi gli approcci.

Dati e test

Il rilevatore di entità ambigue utilizzato per il progetto è stato sviluppato regolando il modello xlm-roberta-large di Facebook AI, utilizzando trasformatori. Per questo, è stato utilizzato il set di dati G-Tag combinato su tutte e cinque le coppie di lingue.

Nel primo dei due approcci sopracitati, il modello M2M 1.2B è stato addestrato su Fairseq, congiuntamente con dati bi-testo dal set di dati G-Trans, con inflessioni di genere fornite da Wiktionary.

Per l’approccio LLM, gli autori hanno utilizzato GPT-3.5-turbo. Per l’allineamento delle strutture di genere, xlm-roberta-large è stato utilizzato nuovamente, questa volta con allineamenti di genere estratti da G-Trans.

Le metriche per la valutazione delle alternative, la struttura (con precisione e richiamo) e accuratezza di allineamento.

Sebbene i primi due siano autoesplicativi, l’accuratezza di allineamento misura la percentuale di strutture di genere di output che si conformano all’identità sorgente corretta conosciuta e utilizza il metodo δ-BLEU, in conformità con la metodologia per MT-GenEval.

Di seguito sono riportati i risultati per la pipeline di aumento dei dati:

Risultati dai test della pipeline di aumento dei dati. Le frecce verso l’alto indicano ‘più alto è meglio’, le frecce verso il basso ‘più basso è meglio’.

Qui gli autori commentano*:

‘Entrambi M2M e GPT si eseguono principalmente allo stesso livello, con l’eccezione dell’inglese-russo, dove GPT raggiunge un richiamo di alternative molto più basso (58,7 rispetto a 89,3). La qualità delle strutture di genere generate è migliore per GPT in inglese-tedesco e inglese-portoghese e migliore per M2M in inglese-spagnolo e inglese-russo, come si può vedere dalle metriche della struttura.

‘Nota che non abbiamo dati G-Trans per inglese-italiano, quindi i risultati del modello M2M e l’accuratezza di allineamento per inglese-italiano sono puramente dovuti alla generalizzazione zero-shot dei modelli M2M e XLM.’

I ricercatori hanno anche confrontato le prestazioni del sistema di aumento dei dati, tramite M2M, contro il metodo di riscrittura di genere a livello di frase di GATE, sui termini dichiarati da GATE.

La pipeline di aumento dei dati Apple/USC contro il metodo di riscrittura di genere a livello di frase di GATE.

Qui il documento afferma:

‘Vediamo miglioramenti significativi nel richiamo al costo di una degradazione relativamente piccola nella precisione (ad eccezione dell’inglese-italiano). Il nostro sistema è in grado di superare GATE sulla loro metrica F.5 proposta su tutte e tre le coppie di lingue.’

Infine, gli autori hanno addestrato modelli multilingui ‘vanilla’ diversi in bi-testo vanilla. I dataset che hanno contribuito sono stati WikiMatrix, WikiTitles, Multi-UN, NewsCommentary e Tilde.

Due modelli ‘vanilla’ aggiuntivi sono stati addestrati, uno che incorpora il set di dati G-Trans con l’etichetta prefissata <genere>, che è stato utilizzato come baseline supervisionata; e un terzo, che incorpora la struttura di genere e gli allineamenti (sul modello locale più piccolo, poiché l’uso dei servizi API di GPT sarebbe stato molto costoso per questo scopo).

I modelli sono stati testati contro il set di dati FloRes del 2022.

Modelli di traduzione automatica vanilla end-to-end testati (P = precisione, R = richiamo).

Il documento riassume questi risultati:

‘Il modello vanilla non può generare alternative e mostra un enorme pregiudizio verso la generazione di forme maschili (δ-BLEU che varia da 5,3 a 12,5 punti).

‘Questo pregiudizio è notevolmente ridotto dalla baseline supervisionata. Il modello addestrato con dati aumentati riduce ulteriormente il pregiudizio e ottiene le migliori prestazioni in termini di metriche alternative, accuratezza di allineamento e δ-BLEU.

‘Ciò dimostra l’efficacia della pipeline di aumento dei dati. I dati aumentati consentono anche di addestrare un sistema competitivo per inglese-italiano, che manca di dati supervisionati.’

Gli autori concludono sottolineando che il successo del modello deve essere considerato nel contesto più ampio della lotta dell’NLP per razionalizzare l’assegnazione di genere in un metodo di traduzione; e notano che questo rimane un problema aperto.

Sebbene i ricercatori ritengano che i risultati ottenuti non raggiungano completamente l’obiettivo della generazione di traduzioni neutre di genere a livello di entità e/o disambiguazioni riguardanti il genere, ritengono che il lavoro sia uno ‘strumento potente’ per future esplorazioni in una delle aree più impegnative della traduzione automatica.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali

Pubblicato per la prima volta martedì 8 ottobre 2024