L’impatto dei Transformer: è stata risolta la sfida della traduzione automatica?

Google ha recentemente annunciato il rilascio di 110 nuove lingue su Google Translate come parte della sua iniziativa di 1000 lingue lanciata nel 2022. Nel 2022, all’inizio avevano aggiunto 24 lingue. Con le ultime 110 lingue aggiunte, sono ora 243 lingue. Questa rapida espansione è stata resa possibile grazie alla Zero-Shot Machine Translation, una tecnologia in cui i modelli di apprendimento automatico imparano a tradurre in un’altra lingua senza esempi precedenti. Ma nel futuro vedremo insieme se questo avanzamento può essere la soluzione definitiva alla sfida della traduzione automatica, e nel frattempo possiamo esplorare i modi in cui può accadere. Ma prima, la sua storia.

Com’era prima?

Traduzione automatica statistica (SMT)

Questo era il metodo originale utilizzato da Google Translate. Si basava su modelli statistici. Analizzavano grandi corpora paralleli, raccolte di traduzioni di frasi allineate, per determinare le traduzioni più probabili. Inizialmente il sistema traduceva il testo in inglese come passaggio intermedio prima di convertirlo nella lingua di destinazione, e aveva bisogno di confrontare le frasi con dataset estensivi tratti da trascrizioni delle Nazioni Unite e del Parlamento europeo. È diverso dagli approcci tradizionali che richiedevano la compilazione di regole grammaticali esaustive. E il suo approccio statistico gli permetteva di adattarsi e imparare dai dati senza affidarsi a framework linguistici statici che potevano diventare rapidamente completamente inutili.

Ma ci sono alcuni svantaggi in questo approccio, anche. Inizialmente Google Translate utilizzava la traduzione basata su frasi, dove il sistema divideva le frasi in singole parole e le traduceva individualmente. Questo era un miglioramento rispetto alla traduzione parola per parola, ma aveva ancora limitazioni come frasi goffe e errori di contesto. Non capiva appieno le sfumature come noi. Inoltre, la SMT si basa fortemente sull’avere corpora paralleli, e qualsiasi lingua relativamente rara sarebbe stata difficile da tradurre perché non aveva abbastanza dati paralleli.

Traduzione automatica neurale (NMT)

Nel 2016, Google è passato alla Traduzione automatica neurale. Utilizza modelli di apprendimento profondo per tradurre intere frasi come un tutto e in una sola volta, fornendo traduzioni più fluide e accurate. La NMT funziona in modo simile a quello di un assistente multilingue sofisticato all’interno del tuo computer. Utilizzando un’architettura sequenza-a-sequenza (seq2seq), la NMT elabora una frase in una lingua per comprenderne il significato. Quindi – genera una frase corrispondente in un’altra lingua. Questo metodo utilizza enormi dataset per l’apprendimento, a differenza della Traduzione automatica statistica, che si basa su modelli statistici che analizzano grandi corpora paralleli per determinare le traduzioni più probabili. A differenza della SMT, che si concentrava sulla traduzione basata su frasi e richiedeva molti sforzi manuali per sviluppare e mantenere regole e dizionari linguistici, la potenza della NMT di elaborare intere sequenze di parole le permette di catturare meglio le sfumature del contesto linguistico. Quindi ha migliorato la qualità della traduzione in vari paia di lingue, spesso raggiungendo livelli di fluidità e accuratezza paragonabili a quelli dei traduttori umani.

In effetti, i modelli di NMT tradizionali utilizzavano reti neurali ricorrenti – RNN – come architettura principale, poiché sono progettate per elaborare dati sequenziali mantenendo uno stato nascosto che evolve con ogni nuovo input (parola o token) elaborato. Questo stato nascosto serve come una sorta di memoria che cattura il contesto degli input precedenti, permettendo al modello di apprendere dipendenze nel tempo. Tuttavia, le RNN erano computazionalmente costose e difficili da parallelizzare efficacemente, il che limitava la loro scalabilità.

Introduzione dei Transformer

Nel 2017, la ricerca di Google ha pubblicato un articolo intitolato “Attention is All You Need,” introducendo i transformer nel mondo e segnando un cambio di direzione fondamentale lontano dalle RNN nell’architettura delle reti neurali.

I transformer si basano solo sul meccanismo di attenzione, – auto-attenzione, che consente ai modelli di traduzione automatica neurale di concentrarsi selettivamente sulle parti più critiche delle sequenze di input. A differenza delle RNN, che elaborano le parole in una sequenza all’interno delle frasi, l’auto-attenzione valuta ogni token in tutta la sequenza, determinando quali altri sono cruciali per comprendere il suo contesto. Questo calcolo simultaneo di tutte le parole consente ai transformer di catturare efficacemente sia le dipendenze a breve che a lungo raggio senza affidarsi a connessioni ricorrenti o filtri convoluzionali.

Quindi, eliminando la ricorrenza, i transformer offrono diversi vantaggi chiave:

• Parallelizzabilità: I meccanismi di attenzione possono essere calcolati in parallelo su diversi segmenti della sequenza, il che accelera l’addestramento su hardware moderno come le GPU.
• Efficienza di addestramento: Richiedono anche significativamente meno tempo di addestramento rispetto ai modelli basati su RNN o CNN tradizionali, offrendo migliori prestazioni in compiti come la traduzione automatica.

Traduzione automatica Zero-Shot e PaLM 2

Nel 2022, Google ha rilasciato il supporto per 24 nuove lingue utilizzando la Traduzione automatica Zero-Shot, segnando un importante traguardo nella tecnologia di traduzione automatica. Hanno anche annunciato l’iniziativa 1.000 Lingue, finalizzata a supportare le 1.000 lingue più parlate del mondo. Hanno ora rilasciato 110 lingue aggiuntive. La traduzione automatica Zero-Shot consente la traduzione senza dati paralleli tra la lingua di origine e la lingua di destinazione, eliminando la necessità di creare dati di addestramento per ogni coppia di lingue – un processo precedentemente costoso e lungo, e per alcune lingue anche impossibile.

Questo avanzamento è stato reso possibile grazie all’architettura e ai meccanismi di auto-attenzione dei transformer. La capacità del modello transformer di apprendere relazioni contestuali tra le lingue, insieme alla sua scalabilità per gestire più lingue contemporaneamente, ha consentito lo sviluppo di sistemi di traduzione multilingue più efficienti ed efficaci. Tuttavia, i modelli Zero-Shot mostrano generalmente una qualità inferiore rispetto a quelli addestrati con dati paralleli.

Quindi, basandosi sul progresso dei transformer, Google ha introdotto PaLM 2 nel 2023, che ha aperto la strada al rilascio di 110 nuove lingue nel 2024. PaLM 2 ha notevolmente migliorato la capacità di Translate di apprendere lingue strettamente correlate come l’Awadhi e il Marwadi (relativi all’hindi) e i creoli francesi come il Seychellois e il Mauritian Creole. I miglioramenti in PaLM 2, come la scalabilità ottimale per il calcolo, i set di dati migliorati e la progettazione raffinata – hanno consentito un apprendimento linguistico più efficiente e hanno sostenuto gli sforzi continui di Google per migliorare e ampliare il supporto linguistico e per adattarsi alle sfumature linguistiche diverse.

Possiamo affermare che la sfida della traduzione automatica sia stata completamente risolta con i transformer?

L’evoluzione di cui stiamo parlando ha richiesto 18 anni, dal momento in cui Google ha adottato la SMT al recente rilascio di 110 lingue aggiuntive utilizzando la Traduzione automatica Zero-Shot. Questo rappresenta un enorme balzo che potrebbe potenzialmente ridurre la necessità di una vasta raccolta di corpora paralleli – un compito storicamente e molto impegnativo che l’industria ha perseguito per oltre due decenni. Ma affermare che la traduzione automatica sia completamente risolta sarebbe prematuro, considerando sia le considerazioni tecniche che etiche.

I modelli attuali ancora lottano con il contesto e la coerenza e fanno errori sottili che possono cambiare il significato che si intendeva per un testo. Questi problemi sono molto presenti in frasi più lunghe e complesse, dove è necessario mantenere il flusso logico e capire le sfumature per ottenere risultati. Inoltre, le sfumature culturali e le espressioni idiomatiche spesso vengono perse o perdono significato, causando traduzioni che possono essere grammaticalmente corrette ma non hanno l’impatto previsto o suonano innaturali.

Dati per il pre-addestramento: PaLM 2 e modelli simili sono pre-addestrati su un corpus di testo multilingue diversificato, superando il suo predecessore PaLM. Questo miglioramento consente a PaLM 2 di eccellere in compiti multilingui, sottolineando l’importanza continua dei dataset tradizionali per migliorare la qualità della traduzione.

Lingue specifiche di dominio o rare: In domini specializzati come legale, medico o tecnico, i corpora paralleli garantiscono che i modelli incontrino terminologie e sfumature linguistiche specifiche. I modelli avanzati possono lottare con gergo specifico di dominio o tendenze linguistiche in evoluzione, ponendo sfide per la Traduzione automatica Zero-Shot. Inoltre, le lingue a bassa risorsa sono ancora tradotte in modo insufficiente, poiché non hanno i dati necessari per addestrare modelli precisi

Confronto: I corpora paralleli rimangono essenziali per valutare e confrontare le prestazioni dei modelli di traduzione, in particolare per le lingue che mancano di dati paralleli sufficienti. Le metriche automatiche come BLEU, BLERT e METEOR hanno limitazioni nell’valutare le sfumature della qualità della traduzione oltre la grammatica. Ma poi, noi esseri umani siamo limitati dai nostri pregiudizi. Inoltre, non ci sono molti valutatori qualificati, e trovare il valutatore bilingue perfetto per ogni coppia di lingue per cogliere errori sottili.

Intensità di risorse: La natura intensiva di risorse dell’addestramento e della distribuzione dei LLM rimane una barriera, limitando l’accessibilità per alcune applicazioni o organizzazioni.

Conservazione culturale. La dimensione etica è profonda. Come descrive Isaac Caswell, uno scienziato di ricerca di Google Translate: “Puoi pensare a Zero-Shot come a un poliglotta che conosce molte lingue. Ma poi, inoltre, si confronta con testi in 1.000 lingue in più che non sono tradotti. Puoi immaginare se sei un grande poliglotta e poi inizi a leggere romanzi in un’altra lingua, puoi iniziare a capire cosa potrebbe significare sulla base della tua conoscenza della lingua in generale.” Tuttavia, è cruciale considerare l’impatto a lungo termine sulle lingue minoritarie che mancano di corpora paralleli, potenzialmente influenzando la conservazione culturale quando la dipendenza si sposta lontano dalle lingue stesse.