Det høye karbonavtrykket til tyske maskinoversettelsesmodeller

Ny forskning på karbonavtrykket skapt av maskinoversettelsesmodeller indikerer at tysk kan være det mest karbonintensive språket å trene, selv om det ikke er helt klart hvorfor. Den nye rapporten er ment å åpne opp nye forskningsområder innen mer karbon-effektive AI-treningmetoder, i sammenheng med økende bevissthet om omfanget av hvordan maskinlæringsystemer forbruker elektrisitet.

Forskningsrapporten har tittelen Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation, og kommer fra forskere ved Indias Manipal Institute of Technology.

Forfatterne testet treningstider og beregnede karbonutslippsverdier for en rekke mulige språkoversettelsesmodeller, og fant ‘en merkbart ulikhet’ mellom tiden det tok å oversette de tre mest karbonintensive språkpar og de tre mest karbon-økonomiske modellene.

Gjennomsnittlig karbonutslipp over 10 epoker med trening. Til venstre, resultater ved hjelp av ConvSeq (se under), til høyre, Transformers. Kilde: https://arxiv.org/pdf/2109.12584.pdf

Rapporten fant at de mest ‘økologiske’ språkpar å trene er engelsk>fransk, fransk>engelsk og, paradoksalt, tysk til engelsk, mens tysk er med i alle de høyest forbrukende par: fransk>tysk, engelsk>tysk og tysk>fransk.

Komposisjonsrente

Funnene tyder på at leksikalsk mangfold ‘er direkte proporsjonal med treningstid for å oppnå et adekvat nivå av ytelse’, og merker at det tyske språket har den høyeste leksikalske mangfolds-scoren blant de tre testede språkene, estimert ved sin Type-Token Ratio (TTR) – en måling av ordforråd basert på tekstlengde.

De økte kravene til å prosessere tysk i oversettelsesmodeller reflekteres ikke i kilde-dataene som ble brukt i eksperimentet. Faktisk har det tyske språket tokens generert fra kilde-data færre (299445) avledede tokens enn engelsk (320108), og langt færre enn fransk (335917).

Utfordringen, fra et naturlig språkprosesseringssynspunkt, er å dekomponere sammensatte tyske ord i bestandige ord. NLP-systemer må ofte gjøre dette for tysk uten noen av de forhåndsgående grammatiske eller kontekstuelle hintene som kan finnes i språk med lavere TTR-poeng, som engelsk. Prosessen kalles sammensatt splitting eller dekomponering.

Det tyske språket har noen av de lengste enkeltordene i verden, selv om det i 2013 tapte offisiell anerkjennelse av sin 65-tegn lange tidligere rekordholder, som er langt nok til å kreve sin egen linje i denne artikkelen:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

Ordet refererer til en lov som overfører ansvar for å overvåke kjøttmerking, men falt ut av eksistensen på grunn av en endring i europeiske reguleringer det året, og ga plassen til andre populære standarder, som ‘enke av en Donau-dampbåt-selskaps kaptein’ (49 tegn):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

Generelt krever det tyske språkets syntaktiske struktur en avvik fra ordrekkeantagelsene som ligger til grunn for mange vestlige språks NLP-praksis, med den populære (Berlin-baserte) spaCY NLP-rammeverket som tok i bruk sitt eget innfødt språk i 2016.

Projektive mappinger i en engelsk og tysk setning demonstrerer de komplekse interrelasjonene mellom leksikalske elementer i det tyske språket. Kilde: https://explosion.ai/blog/german-model

Data og testing

For kilde-dataene brukte forskerne Multi30k-datasetten, som inneholder 30 000 eksempler på fransk, tysk og engelsk.

Den første av de to modellene som forskerne brukte var Facebook AI’s 2017 Convolutional Sequence to Sequence (ConvSeq), et neuralt nettverk som inneholder konvolusjonslag, men som mangler rekurrerende enheter, og i stedet bruker filtre for å trekke ut egenskaper fra tekst. Dette tillater alle operasjoner å finne sted på en komputasjonelt effektiv parallell måte.

Den andre tilnærmingen brukte Googles innflytelsesrike Transformers-arkitektur, også fra 2017. Transformers bruker lineære lag, oppmerksomhetsmekanismer og normaliseringsrutiner. Det originale utgitte modellen har kommet under kritikk for karbon-ineffektivitet, med påstander om påfølgende forbedringer kontestert.

Eksperimentene ble utført på Google Colab, enhetlig på en Tesla K80 -GPU. Språkene ble sammenlignet ved hjelp av en BLEU (Bilingual Evaluation Understudy)-score-måling, og CodeCarbon-maskinlæringsutslippskalkulatoren. Dataene ble trent over 10 epoker.

Funn

Forskerne fant at det var den forlengede varigheten av trening for tysk-relaterte språkpar som tipper balansen inn i høyere karbonforbruk. Selv om noen andre språkpar, som engelsk>fransk og fransk>engelsk, hadde enda høyere karbonforbruk, trente de raskere og løste lettere, med disse utbruddene av forbruk karakterisert av forskerne som ‘relativt ubetydelig’ i forhold til forbruket av språkpar som inkluderer tysk.

Analyse av språkpar etter encoder/decoder-karbonutslipp.

Forskerne konkluderer:

‘Våre funn gir en tydelig indikasjon på at noen språkpar er mer karbonintensive å trene enn andre, en trend som går over ulike arkitekturer.’

De fortsetter:

‘Men det finnes fortsatt ubesvarte spørsmål om hvorfor det er så store forskjeller i trening av modeller for et bestemt språkpar enn et annet, og om ulike arkitekturer kan være mer egnet for disse karbonintensive språkpar, og hvorfor dette ville være tilfelle hvis det er sant.’

Rapporten understreker at årsakene til ulikhetene i karbonforbruk over trening av modeller ikke er helt klare. De forventer å utvikle denne forskningslinjen med ikke-latinske språk.

1.20pm GMT+2 – Tekstfeil korrigert.