Het hoge koolstofvoetafdruk van Duitse auto-vertaalmodellen

Nieuw onderzoek naar de koolstofvoetafdruk die wordt gegenereerd door machine learning-vertaalmodellen, geeft aan dat Duits mogelijk de meest koolstofintensieve populaire taal is om te trainen, hoewel het niet geheel duidelijk is waarom. Het nieuwe rapport is bedoeld om aanvullende onderzoekslijnen te openen naar meer koolstofefficiënte AI-trainingsmethoden, in de context van de groeiende bewustwording van de mate waarin machine learning-systemen elektriciteit verbruiken.

Het preprint-rapport heeft de titel Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation en komt van onderzoekers aan het Manipal Institute of Technology in India.

De auteurs hebben de trainings­tijden en de berekende koolstofemissiewaarden voor verschillende mogelijke intertaalvertaalmodellen getest en vonden ‘een opvallende dispariteit’ tussen de tijd die nodig was om de drie meest koolstofintensieve taalparen en de drie meest koolstofefficiënte modellen te vertalen.

Een gemiddelde van de koolstofemissies die vrijkomen tijdens 10 epochs van training. Links, resultaten met behulp van ConvSeq (zie hieronder), rechts, Transformers. Bron: https://arxiv.org/pdf/2109.12584.pdf

Het rapport vond dat de meest ‘ecologische’ taalparen om te trainen Engels>Frans, Frans>Engels en, paradoxaal genoeg, Duits naar Engels zijn, terwijl Duits voorkomt in alle hoogste verbruikende paren: Frans>Duits, Engels>Duits en Duits>Frans.

Samengestelde interest

De resultaten suggereren dat lexicale diversiteit ‘recht evenredig is met de trainings­tijd om een adequaat niveau van prestaties te bereiken’, en merken op dat de Duitse taal de hoogste lexicale diversiteitsscore heeft onder de drie geteste talen, zoals geschat door zijn Type-Token Ratio (TTR) – een maatstaf voor de grootte van het vocabulaire op basis van de lengte van de tekst.

De toegenomen eisen voor het verwerken van Duits in vertaalmodellen worden niet weerspiegeld in de brondata die voor het experiment zijn gebruikt. In feite heeft de Duitse taal tokens die gegenereerd zijn uit de brondata minder (299445) afgeleide tokens dan Engels (320108) en veel minder dan Frans (335917).

De uitdaging, vanuit het perspectief van Natural Language Processing (NLP), is om samengestelde Duitse woorden te decomponeren in constituerende woorden. NLP-systemen moeten dit vaak doen voor Duits zonder enige van de voorafgaande grammatica of contextuele aanwijzingen die kunnen worden gevonden in talen met lagere TTR-scores, zoals Engels. Het proces wordt compound splitting of decompounding genoemd.

De Duitse taal heeft enkele van de langste individuele woorden ter wereld, hoewel het in 2013 de officiële erkenning van zijn 65-karakter oude recordhouder verloor, die lang genoeg is om zijn eigen regel in dit artikel te vereisen:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

Het woord verwijst naar een wet die de monitoring van vleesetikettering delegeren, maar verloor zijn bestaan door een wijziging in de Europese regelgeving dat jaar, waarbij het plaatsmaakte voor andere populaire standaarden, zoals ‘weduwe van een Donau-stoombootmaatschappijkapitein’ (49 tekens):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

In het algemeen vereist de syntactische structuur van het Duits een afwijking van de woordvolgorde-veronderstellingen die ten grondslag liggen aan NLP-praktijken in veel westerse talen, met de populaire (Berlijn-gebaseerde) spaCY NLP-framework die zijn eigen native language in 2016 heeft overgenomen.

Projective mappings in een Engelse en Duitse zin demonstreren de complexe interrelaties tussen lexicaal elementen in de Duitse taal. Bron: https://explosion.ai/blog/german-model

Gegevens en testen

Voor de brondata hebben de onderzoekers het Multi30k-dataset gebruikt, dat 30.000 samples bevat in de Franse, Duitse en Engelse talen.

Het eerste van de twee modellen die door de onderzoekers zijn gebruikt, was Facebook AI’s 2017 Convolutional Sequence to Sequence (ConvSeq), een neurale netwerk dat convolutionele lagen bevat, maar geen recurrente eenheden heeft en in plaats daarvan filters gebruikt om functies af te leiden uit tekst. Dit maakt het mogelijk dat alle bewerkingen plaatsvinden in een computationeel efficiënte parallelle manier.

Het tweede model dat werd gebruikt, was Google’s invloedrijke Transformers-architectuur, ook uit 2017. Transformers gebruikt lineaire lagen, aandachtmechanismen en normalisatieroutines. Het oorspronkelijke model is onder kritiek komen te staan vanwege koolstofinefficiëntie, met claims van latere verbeteringen betwist.

De experimenten werden uitgevoerd op Google Colab, uniform op een Tesla K80 GPU. De talen werden vergeleken met behulp van een BLEU (Bilingual Evaluation Understudy) score-metric en de CodeCarbon Machine Learning Emissions Calculator. De gegevens werden getraind over 10 epochs.

Resultaten

De onderzoekers vonden dat het de verlengde duur van de training voor Duits-gerelateerde taalparen was die de balans naar hoger koolstofverbruik deed omslaan. Hoewel sommige andere taalparen, zoals Engels>Frans en Frans>Engels, nog hoger koolstofverbruik hadden, trainden ze sneller en losten ze gemakkelijker op, met deze uitbarstingen van verbruik gekarakteriseerd door de onderzoekers als ‘relatief onbeduidend’ in verhouding tot het verbruik door taalparen die Duits bevatten.

Analyse van de taalparen door encoder/decoder-koolstofemissies.

De onderzoekers concluderen:

‘Onze resultaten geven duidelijke aanwijzingen dat sommige taalparen meer koolstofintensief zijn om te trainen dan andere, een trend die zich uitstrekt over verschillende architectuur.’

Ze gaan verder:

‘Er blijven echter onbeantwoorde vragen over waarom er dergelijke grote verschillen zijn in het trainen van modellen voor een bepaalde taalparen over een andere, en of verschillende architectuur mogelijk beter geschikt zijn voor deze koolstofintensieve taalparen, en waarom dit het geval zou zijn als het waar is.’

Het rapport benadrukt dat de redenen voor de dispariteit van koolstofverbruik over trainingsmodellen niet geheel duidelijk zijn. Ze verwachten deze onderzoekslijn te ontwikkelen met niet-Latijnse talen.

1.20 pm GMT+2 – Tekstfout gecorrigeerd.