Transformer Impact: Is Machine Translation Volledig Opgelost?

Google heeft onlangs de release van 110 nieuwe talen op Google Translate aangekondigd als onderdeel van hun 1000-taleninitiatief dat in 2022 is gelanceerd. In 2022, aan het begin, voegden ze 24 talen toe. Met de laatste 110 extra talen zijn het nu 243 talen. Deze snelle uitbreiding was mogelijk dankzij de Zero-Shot Machine Translation, een technologie waarbij machine learning-modellen leren om te vertalen naar een andere taal zonder voorbeelden. Maar in de toekomst zullen we samen zien of deze vooruitgang de ultieme oplossing kan zijn voor de uitdaging van machinevertaling, en in de tussentijd kunnen we de manieren onderzoeken waarop dit kan gebeuren. Maar eerst het verhaal.

Hoe Was Het Eerder?

Statistische Machinevertaling (SMT)

Dit was de oorspronkelijke methode die Google Translate gebruikte. Het berustte op statistische modellen. Ze analyseerden grote parallelle corpora, verzamelingen van gealigneerde zinvertalingen, om de meest waarschijnlijke vertalingen te bepalen. Eerst vertaalde het systeem tekst in het Engels als tussenstap voordat het deze vertaalde in de doeltaal, en het moest zinnen kruisverwijzen met uitgebreide datasets van transcripten van de Verenigde Naties en het Europees Parlement. Het verschilt van traditionele benaderingen die het samenstellen van uitgebreide grammaticale regels vereisen. En de statistische benadering liet het toe om aan te passen en te leren van gegevens zonder te vertrouwen op statische linguïstische kaders die snel volledig overbodig konden worden.

Maar er zijn ook enkele nadelen aan deze benadering. Ten eerste gebruikte Google Translate frase-gebaseerde vertaling waarbij het systeem zinnen brak in frases en deze individueel vertaalde. Dit was een verbetering ten opzichte van woord-voor-woord-vertaling, maar had nog steeds beperkingen zoals onhandige zinsconstructies en contextfouten. Het begreep gewoon niet volledig de nuances zoals wij dat doen. Bovendien is SMT sterk afhankelijk van het hebben van parallelle corpora, en elke relatief zeldzame taal zou moeilijk te vertalen zijn omdat deze niet genoeg parallelle gegevens heeft.

Neurale Machinevertaling (NMT)

In 2016 maakte Google de overstap naar Neurale Machinevertaling. Het gebruikt diepe leermodellen om hele zinnen als één geheel en tegelijk te vertalen, waardoor meer vloeiende en nauwkeurige vertalingen ontstaan. NMT werkt op een manier die vergelijkbaar is met het hebben van een geavanceerde meertalige assistent in uw computer. Met behulp van een sequentie-naar-sequentie (seq2seq) architectuur verwerkt NMT een zin in één taal om de betekenis ervan te begrijpen. Vervolgens genereert het een overeenkomstige zin in een andere taal. Deze methode gebruikt enorme datasets voor het leren, in tegenstelling tot Statistische Machinevertaling, die berust op statistische modellen die grote parallelle corpora analyseren om de meest waarschijnlijke vertalingen te bepalen. In tegenstelling tot SMT, die zich richtte op frase-gebaseerde vertaling en veel handmatige inspanning vereiste om linguïstische regels en woordenboeken te ontwikkelen en te onderhouden, laat de mogelijkheid van NMT om hele woordsequenties te verwerken het toe om de nuance van taalcontext effectiever te vangen. Dus het heeft de vertaalkwaliteit over verschillende taalparen verbeterd, vaak tot niveaus van vloeiendheid en nauwkeurigheid die vergelijkbaar zijn met die van menselijke vertalers.

Feitelijk gebruikten traditionele NMT-modellen Recurrent Neural Networks (RNN’s) als de kernarchitectuur, aangezien deze zijn ontworpen om sequentiële gegevens te verwerken door een verborgen toestand te behouden die evolueert wanneer elke nieuwe invoer (woord of token) wordt verwerkt. Deze verborgen toestand fungeert als een soort geheugen dat de context van de voorgaande invoer vastlegt, waardoor het model afhankelijkheden over tijd kan leren. Maar RNN’s waren computationeel duur en moeilijk effectief te paralleliseren, wat de schaalbaarheid beperkte.

Inleiding van Transformers

In 2017 publiceerde Google Research een paper met de titel “Attention is All You Need,” waarin transformers aan de wereld werden voorgesteld en een belangrijke verschuiving weg van RNN’s in neurale netwerkarchitectuur markeerden.

Transformers vertrouwen alleen op de aandachtmethode, – self-aandacht, die neurale machinevertalingmodellen in staat stelt om selectief aandacht te besteden aan de meest kritieke delen van invoersequenties. In tegenstelling tot RNN’s, die woorden in een sequentie binnen zinnen verwerken, evalueert self-aandacht elk token over de hele tekst, waardoor het bepaalt welke andere tokens cruciaal zijn voor het begrijpen van de context ervan. Deze gelijktijdige berekening van alle woorden stelt transformers in staat om zowel korte als lange-afstandsafhankelijkheden effectief te vangen zonder te vertrouwen op recurrente verbindingen of convolutionele filters.

Dus door recurrence te elimineren, bieden transformers verschillende belangrijke voordelen:

• Paralleliseerbaarheid: Aandachtmecanismen kunnen parallel worden berekend over verschillende segmenten van de sequentie, waardoor de training op moderne hardware zoals GPU’s wordt versneld.
• TrainingsEfficiëntie: Ze vereisen ook aanzienlijk minder trainings tijd in vergelijking met traditionele RNN-gebaseerde of CNN-gebaseerde modellen, waardoor betere prestaties in taken zoals machinevertaling worden geleverd.

Zero-Shot Machinevertaling en PaLM 2

In 2022 lanceerde Google ondersteuning voor 24 nieuwe talen met behulp van Zero-Shot Machinevertaling, een belangrijke mijlpaal in machinevertalingstechnologie. Ze kondigden ook het 1000-taleninitiatief aan, gericht op ondersteuning van de 1000 meest gesproken talen ter wereld. Ze hebben nu 110 extra talen uitgerold. Zero-shot machinevertaling maakt vertaling mogelijk zonder parallelle gegevens tussen bron- en doeltaal, waardoor de noodzaak om trainingsgegevens voor elke taalcombinatie te creëren wordt geëlimineerd – een proces dat eerder kostbaar en tijdrovend was, en voor sommige taalcombinaties zelfs onmogelijk.

Deze vooruitgang werd mogelijk gemaakt door de architectuur en self-aandachtmecanismen van transformers. De transformermodelcapaciteit om contextuele relaties over talen heen te leren, in combinatie met de schaalbaarheid om meerdere talen tegelijk te verwerken, maakte de ontwikkeling van efficiëntere en effectievere meertalige vertaalsystemen mogelijk. Echter, zero-shot modellen vertonen over het algemeen een lagere kwaliteit dan die getraind op parallelle gegevens.

Vervolgens, op basis van de vooruitgang van transformers, introduceerde Google PaLM 2 in 2023, wat de weg vrijmaakte voor de release van 110 nieuwe talen in 2024. PaLM 2 verbeterde aanzienlijk de mogelijkheid van Translate om nauw verwante talen te leren, zoals Awadhi en Marwadi (gerelateerd aan Hindi) en Franse creoolse talen zoals Seychellen en Mauritius. De verbeteringen in PaLM 2, zoals compute-optimale schaling, verbeterde datasets en verfijnd ontwerp, maakten efficiënter taal leren mogelijk en ondersteunden Google’s voortdurende inspanningen om taalondersteuning te verbeteren en te vergroten en diverse linguïstische nuances te accommoderen.

Kunnen We Zeggen Dat De Uitdaging van Machinevertaling Volledig Is Opgelost Met Transformers?

De evolutie waarover we spreken, duurde 18 jaar vanaf Google’s adoptie van SMT tot de recente 110 extra talen met Zero-Shot Machinevertaling. Dit vertegenwoordigt een enorme sprong die potentieel de behoefte aan uitgebreide parallelle corpuscollectie kan verminderen – een historisch en zeer arbeidsintensieve taak die de industrie meer dan twee decennia lang heeft nagestreefd. Maar het beweren dat machinevertaling volledig is aangepakt, zou prematuur zijn, gezien zowel technische als ethische overwegingen.

Huidige modellen worstelen nog steeds met context en coherentie en maken subtiele fouten die de betekenis van een tekst kunnen veranderen. Deze problemen zijn zeer aanwezig in langere, complexere zinnen waarbij het behoud van de logische flow en het begrijpen van nuances nodig is voor resultaten. Bovendien gaan culturele nuances en idiomatische uitdrukkingen vaak verloren of verliezen ze hun betekenis, waardoor vertalingen ontstaan die grammaticaal correct zijn maar niet de bedoelde impact hebben of onnatuurlijk klinken.

Gegevens voor Pre-training: PaLM 2 en soortgelijke modellen zijn getraind op een diverse meertalige tekstcorpus, dat de voorganger PaLM overtreft. Deze verbetering stelt PaLM 2 in staat om uit te blinken in meertalige taken, waardoor de voortdurende belangrijkheid van traditionele datasets voor het verbeteren van de vertaalkwaliteit wordt onderstreept.

Domein-specifieke of Zeldzame Talen: In gespecialiseerde domeinen zoals juridische, medische of technische gebieden, waarborgen parallelle corpora dat modellen specifieke terminologie en taalnuances tegenkomen. Geavanceerde modellen kunnen worstelen met domein-specifieke jargon of evoluerende taaltrends, waardoor uitdagingen ontstaan voor Zero-Shot Machinevertaling. Ook zijn laag-resourcetalen nog steeds slecht vertaald, omdat ze niet over de gegevens beschikken die nodig zijn om nauwkeurige modellen te trainen

Benchmarking: Parallelle corpora blijven essentieel voor het evalueren en benchmarken van de prestaties van vertaalmodellen, vooral uitdagend voor talen met onvoldoende parallelle corpusgegevens. De geautomatiseerde metrics zoals BLEU, BLERT en METEOR hebben beperkingen bij het beoordelen van nuances in vertaalkwaliteit, los van grammatica. Maar dan zijn wij mensen gehinderd door onze vooroordelen. Bovendien zijn er niet veel gekwalificeerde evaluatoren, en het vinden van de perfecte tweetalige evaluator voor elk taalpaar om subtiele fouten te detecteren.

Resource-intensiteit: De resource-intensieve aard van het trainen en implementeren van LLM’s blijft een barrière, waardoor de toegankelijkheid voor sommige toepassingen of organisaties wordt beperkt.

Culturele behoud. De ethische dimensie is diep. Zoals Isaac Caswell, een onderzoeker van Google Translate, Zero-Shot Machinevertaling beschrijft: “Je kunt het zien als een polyglot die veel talen kent. Maar dan ziet het ook tekst in 1000 andere talen die niet vertaald zijn. Je kunt je voorstellen dat, als je een grote polyglot bent en dan romans in een andere taal begint te lezen, je kunt beginnen te begrijpen wat het zou kunnen betekenen op basis van je kennis van taal in het algemeen.” Yet, het is cruciaal om de langetermijneffecten op minderheidstalen zonder parallelle corpora te overwegen, die potentieel de culturele behoud kunnen beïnvloeden wanneer de afhankelijkheid van de talen zelf afneemt.