Andersons Blickwinkel
Der hohe CO2-Fußabdruck von deutschen Auto-Übersetzungsmodellen
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Neue Forschungsergebnisse über den CO2-Fußabdruck, der durch maschinelle Übersetzungsmodelle entsteht, deuten darauf hin, dass Deutsch möglicherweise die sprachintensivste Sprache ist, die am meisten CO2 verbraucht, obwohl die Gründe dafür nicht vollständig klar sind. Der neue Bericht soll zusätzliche Forschungsbereiche für effizientere AI-Trainingsmethoden im Kontext des wachsenden Bewusstseins für den Umfang, in dem maschinelle Lernsysteme Strom verbrauchen, eröffnen.
Der Vorabdruck des Papiers trägt den Titel Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation und stammt von Forschern am Manipal Institute of Technology in Indien.
Die Autoren testeten die Trainingszeiten und berechneten die CO2-Emissionswerte für verschiedene mögliche Übersetzungsmodelle zwischen Sprachen und fanden ‘eine bemerkenswerte Diskrepanz’ zwischen der Zeit, die zum Übersetzen der drei sprachintensivsten Sprachpaare und der drei sprachökonomischsten Modelle benötigt wurde.
Durchschnittliche CO2-Emissionen, die über 10 Trainingszyklen freigegeben werden. Links, Ergebnisse mit ConvSeq (siehe unten), rechts, Transformers. Quelle: https://arxiv.org/pdf/2109.12584.pdf
Die Studie fand heraus, dass die ökologischsten Sprachpaare zum Trainieren Englisch>Französisch, Französisch>Englisch und, paradoxerweise, Deutsch nach Englisch sind, während Deutsch in allen sprachintensivsten Paaren vorkommt: Französisch>Deutsch, Englisch>Deutsch und Deutsch>Französisch.
Compound Interest
Die Ergebnisse deuten darauf hin, dass die lexikalische Vielfalt ‘direkt proportional zur Trainingszeit ist, um ein angemessenes Leistungsniveau zu erreichen’, und bemerken, dass die deutsche Sprache den höchsten lexikalischen Vielfaltscore unter den drei getesteten Sprachen hat, wie durch ihr Type-Token-Verhältnis (TTR) geschätzt wird – ein Maß für die Vokabulargröße auf der Grundlage der Textlänge.
Die erhöhten Anforderungen an die Verarbeitung von Deutsch in Übersetzungsmodellen spiegeln sich nicht in den Quelldaten wider, die für das Experiment verwendet wurden. Tatsächlich hat die deutsche Sprache weniger (299445) abgeleitete Token als Englisch (320108) und wesentlich weniger als Französisch (335917).
Die Herausforderung aus der Sicht der natürlichen Sprachverarbeitung (NLP) besteht darin, zusammengesetzte deutsche Wörter in ihre Bestandteile zu zerlegen. NLP-Systeme müssen dies oft ohne die vorherigen grammatikalischen oder kontextuellen Hinweise tun, die in Sprachen mit niedrigeren TTR-Werten wie Englisch gefunden werden können. Der Prozess wird als Compound-Splitting oder Decompounding bezeichnet.
Die deutsche Sprache hat einige der längsten Einzelwörter der Welt, obwohl sie 2013 die offizielle Anerkennung ihres 65-zeichenlangen ehemaligen Rekordhalters verloren hat, der lang genug ist, um in diesem Artikel eine eigene Zeile zu benötigen:
Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz
Das Wort bezieht sich auf ein Gesetz, das die Überwachung der Rindfleischetikettierung überträgt, aber aufgrund einer Änderung der europäischen Vorschriften in diesem Jahr seine Existenz aufgab und seinen Platz an andere beliebte Stalwarts wie ‘Witwe eines Dampfschiffkapitäns der Donau’ (49 Zeichen) abgab:
Donaudampfschifffahrtsgesellschaftskapitaenswitwe
Im Allgemeinen erfordert die syntaktische Struktur des Deutschen eine Abkehr von den Wortreihenannahmen, die many westliche Sprachen zugrunde liegen, wobei das beliebte (in Berlin ansässige) spaCy-NLP-Framework 2016 seine eigene Muttersprache übernommen hat.
Projektive Zuordnungen in einem englischen und deutschen Ausdruck demonstrieren die komplexen Beziehungen zwischen lexikalischen Elementen in der deutschen Sprache. Quelle: https://explosion.ai/blog/german-model
Daten und Tests
Für die Quelldaten verwendeten die Forscher das Multi30k-Dataset, das 30.000 Beispiele in den Sprachen Französisch, Deutsch und Englisch enthält.
Das erste der beiden von den Forschern verwendeten Modelle war Facebook AI’s 2017 Convolutional Sequence to Sequence (ConvSeq), ein neuronales Netzwerk, das konvolutionale Schichten enthält, aber keine rekurrenten Einheiten aufweist und stattdessen Filter verwendet, um Merkmale aus Texten abzuleiten. Dies ermöglicht es, alle Operationen in einer computationally effizienten parallelen Weise durchzuführen.
Der zweite Ansatz verwendete Google’s einflussreiche Transformers-Architektur, ebenfalls aus 2017. Transformers verwendet lineare Schichten, Aufmerksamkeitsmechanismen und Normalisierungsroutinen. Zugegebenermaßen ist das ursprünglich veröffentlichte Modell für seine CO2-Ineffizienz kritisiert worden, wobei behauptet wird, dass es nachfolgende Verbesserungen gegeben hat.
Die Experimente wurden auf Google Colab durchgeführt, einheitlich auf einem Tesla K80 -GPU. Die Sprachen wurden mithilfe eines BLEU (Bilingual Evaluation Understudy)-Score-Metriks und des CodeCarbon-Machine-Learning-Emissions-Rechners verglichen. Die Daten wurden über 10 Epochen trainiert.
Ergebnisse
Die Forscher fanden heraus, dass es die verlängerte Trainingsdauer für deutsche Sprachpaare war, die die Waage in Richtung höheren CO2-Verbrauchs ausschlug. Obwohl einige andere Sprachpaare, wie Englisch>Französisch und Französisch>Englisch, einen höheren CO2-Verbrauch aufwiesen, trainierten sie schneller und lösten sich leichter, wobei diese Konsumschübe von den Forschern als ‘relativ unbedeutend’ im Vergleich zum Verbrauch durch Sprachpaare, die Deutsch enthalten, bezeichnet wurden.
Analyse der Sprachpaare nach Encoder/Decoder-CO2-Emissionen.
Die Forscher kommen zu dem Schluss:
‘Unsere Ergebnisse liefern klare Hinweise darauf, dass einige Sprachpaare carbonintensiver zu trainieren sind als andere, ein Trend, der sich über verschiedene Architekturen erstreckt.’
Sie fahren fort:
‘Allerdings bleiben unbeantwortete Fragen hinsichtlich der Gründe für diese starken Unterschiede im Training von Modellen für ein bestimmtes Sprachpaar gegenüber einem anderen und ob unterschiedliche Architekturen möglicherweise besser für diese carbonintensiven Sprachpaare geeignet sind, und warum dies der Fall sein könnte, wenn es zutrifft.’
Die Studie betont, dass die Gründe für die Diskrepanz des CO2-Verbrauchs bei Trainingsmodellen nicht vollständig klar sind. Sie planen, diese Forschungsrichtung mit nicht lateinbasierten Sprachen weiterzuentwickeln.
13.20 Uhr MEZ – Textfehler korrigiert.
