Transformer-Einfluss: Wurde die maschinelle Übersetzung gelöst?

Google hat kürzlich die Veröffentlichung von 110 neuen Sprachen auf Google Translate im Rahmen ihrer 1000-Sprachen-Initiative bekannt gegeben, die 2022 gestartet wurde. Im Jahr 2022 wurden zunächst 24 Sprachen hinzugefügt. Mit den letzten 110 Sprachen sind es nun 243 Sprachen. Diese schnelle Expansion war dank der Zero-Shot-Maschinellen Übersetzung möglich, einer Technologie, bei der maschinelle Lernmodelle lernen, in eine andere Sprache zu übersetzen, ohne vorherige Beispiele. Aber in Zukunft werden wir gemeinsam sehen, ob diese Entwicklung die endgültige Lösung für die Herausforderung der maschinellen Übersetzung darstellen kann und uns inzwischen die Möglichkeiten erkunden, wie es geschehen kann. Aber zunächst ist es seine Geschichte.

Wie war es vorher?

Statistische Maschinelle Übersetzung (SMT)

Dies war die ursprüngliche Methode, die Google Translate verwendet hat. Sie basierte auf statistischen Modellen. Sie analysierten große parallele Korpora, Sammlungen von ausgerichteten Satzübersetzungen, um die wahrscheinlichsten Übersetzungen zu bestimmen. Zunächst übersetzte das System Text in Englisch als Zwischenschritt, bevor es in die ZielSprache konvertiert wurde, und es musste Phrasen mit umfangreichen Datenbanken von Transkripten der Vereinten Nationen und des Europäischen Parlaments abgleichen. Es unterscheidet sich von traditionellen Ansätzen, die die Kompilierung von umfassenden grammatischen Regeln erforderten. Und sein statistischer Ansatz ermöglichte es, sich an Daten anzupassen und zu lernen, ohne auf statische sprachliche Rahmenbedingungen angewiesen zu sein, die schnell völlig unnötig werden konnten.

Es gibt jedoch einige Nachteile bei diesem Ansatz. Zunächst verwendete Google Translate phrasenbasierte Übersetzungen, bei denen das System Sätze in Phrasen aufbrach und sie einzeln übersetzte. Dies war eine Verbesserung gegenüber der Wort-für-Wort-Übersetzung, aber es hatte noch Einschränkungen wie unangemessene Formulierungen und Kontextfehler. Es verstand einfach nicht vollständig die Nuancen, wie wir es tun. Außerdem hängt SMT stark von der Verfügbarkeit paralleler Korpora ab, und jede relativ seltene Sprache wäre schwer zu übersetzen, da sie nicht genug parallele Daten hat.

Neuronale Maschinelle Übersetzung (NMT)

Im Jahr 2016 wechselte Google zu Neuronale Maschinelle Übersetzung. Sie verwendet tiefere Lernmodelle, um ganze Sätze als Ganzes und auf einmal zu übersetzen, was flüssigere und genauere Übersetzungen liefert. NMT funktioniert ähnlich wie ein komplexer multilingualer Assistent in Ihrem Computer. Mit einer Sequenz-zu-Sequenz-Architektur (seq2seq) verarbeitet NMT einen Satz in einer Sprache, um seine Bedeutung zu verstehen. Dann generiert es einen entsprechenden Satz in einer anderen Sprache. Diese Methode verwendet enorme Datenmengen zum Lernen, im Gegensatz zur statistischen maschinellen Übersetzung, die auf statistischen Modellen basiert, die große parallele Korpora analysieren, um die wahrscheinlichsten Übersetzungen zu bestimmen. Im Gegensatz zu SMT, die sich auf phrasenbasierte Übersetzungen konzentrierte und viel manuelle Arbeit erforderte, um linguistische Regeln und Wörterbücher zu entwickeln und zu warten, ermöglicht NMTs Fähigkeit, ganze Wortsequenzen zu verarbeiten, die Nuancen der Sprache effektiver zu erfassen. Es hat also die Übersetzungsqualität in verschiedenen Sprachpaaren verbessert und oft ein Flüssigkeits- und Genauigkeitsniveau erreicht, das mit dem von menschlichen Übersetzern vergleichbar ist.

Tatsächlich verwendeten traditionelle NMT-Modelle rekurrente neuronale Netze (RNNs) als Kernarchitektur, da sie für die Verarbeitung sequenzieller Daten konzipiert sind, indem sie einen versteckten Zustand beibehalten, der sich mit jedem neuen Eingabe (Wort oder Token) entwickelt. Dieser versteckte Zustand dient als eine Art Gedächtnis, das den Kontext der vorherigen Eingaben erfassen lässt, sodass das Modell Abhängigkeiten im Laufe der Zeit lernen kann. RNNs waren jedoch rechenintensiv und schwierig zu parallelisieren, was ihre Skalierbarkeit einschränkte.

Einführung von Transformern

Im Jahr 2017 veröffentlichte Google Research den Artikel “Attention is All You Need”, der die Transformers in die Welt einführte und einen entscheidenden Schritt weg von RNNs in der neuronalen Netzwerkarchitektur markierte.

Transformers basieren nur auf dem Aufmerksamkeitsmechanismus, der es neuronalen maschinellen Übersetzungsmodellen ermöglicht, selektiv auf die wichtigsten Teile der Eingabesequenzen zu achten. Im Gegensatz zu RNNs, die Wörter in einer Sequenz innerhalb von Sätzen verarbeiten, bewertet die Selbstaufmerksamkeit jedes Tokens im gesamten Text und bestimmt, welche anderen für das Verständnis ihres Kontexts wichtig sind. Diese simultane Berechnung aller Wörter ermöglicht es den Transformern, sowohl kurze als auch lange Abhängigkeiten effektiv zu erfassen, ohne auf rekurrente Verbindungen oder Faltungsfilters angewiesen zu sein.

Durch die Beseitigung der Rekurrenz bieten Transformer mehrere wichtige Vorteile:

• Parallelisierbarkeit: Aufmerksamkeitsmechanismen können parallel über verschiedene Segmente der Sequenz berechnet werden, was die Ausbildung auf modernen Hardware wie GPUs beschleunigt.
• Ausbildungseffizienz: Sie erfordern auch erheblich weniger Ausbildungszeit im Vergleich zu traditionellen RNN-basierten oder CNN-basierten Modellen und liefern bessere Leistungen bei Aufgaben wie maschineller Übersetzung.

Zero-Shot-Maschinelle Übersetzung und PaLM 2

Im Jahr 2022 veröffentlichte Google die Unterstützung für 24 neue Sprachen mit Zero-Shot-Maschineller Übersetzung, was einen bedeutenden Meilenstein in der maschinellen Übersetzungstechnologie markierte. Sie kündigten auch die 1000-Sprachen-Initiative an, die darauf abzielt, die 1000 meistgesprochenen Sprachen der Welt zu unterstützen. Sie haben nun 110 weitere Sprachen veröffentlicht. Zero-Shot-Maschinelle Übersetzung ermöglicht die Übersetzung ohne parallele Daten zwischen Quell- und Zielsprachen, wodurch die Notwendigkeit entfällt, Trainingsdaten für jedes Sprachenpaar zu erstellen – ein Prozess, der zuvor teuer und zeitaufwändig war und für einige Sprachenpaare auch unmöglich.

Diese Entwicklung wurde möglich, weil die Architektur und die Selbstaufmerksamkeitsmechanismen der Transformer es ermöglichten, kontextuelle Beziehungen zwischen Sprachen zu lernen und gleichzeitig mehrere Sprachen zu verarbeiten. Allerdings zeigen Zero-Shot-Modelle im Allgemeinen eine geringere Qualität als Modelle, die auf parallelen Daten trainiert wurden.

Dann, aufbauend auf den Fortschritten der Transformer, stellte Google PaLM 2 im Jahr 2023 vor, was den Weg für die Veröffentlichung von 110 neuen Sprachen im Jahr 2024 ebnete. PaLM 2 verbesserte die Fähigkeit von Translate, eng verwandte Sprachen wie Awadhi und Marwadi (verwandt mit Hindi) und französische Kreolsprachen wie Seychellen-Kreol und Mauritius-Kreol zu lernen. Die Verbesserungen in PaLM 2, wie die compute-optimale Skalierung, die erweiterten Datenbanken und das verfeinerte Design, ermöglichten ein effizienteres Sprachenlernen und unterstützten Googles laufende Bemühungen, die Sprachunterstützung zu verbessern und zu erweitern und sprachliche Nuancen zu berücksichtigen.

Können wir behaupten, dass die Herausforderung der maschinellen Übersetzung mit Transformern vollständig gelöst wurde?

Die Evolution, über die wir sprechen, hat 18 Jahre von Googles Übernahme von SMT bis zur jüngsten Veröffentlichung von 110 zusätzlichen Sprachen mit Zero-Shot-Maschineller Übersetzung gedauert. Dies stellt einen riesigen Sprung dar, der die Notwendigkeit umfangreicher paralleler Korpora sammeln könnte – eine historisch und sehr arbeitsintensive Aufgabe, die die Branche über zwei Jahrzehnte verfolgt hat. Aber es wäre verfrüht, zu behaupten, dass die maschinelle Übersetzung vollständig gelöst ist, wenn man sowohl technische als auch ethische Überlegungen berücksichtigt.

Aktuelle Modelle kämpfen immer noch mit Kontext und Kohärenz und machen subtile Fehler, die die Bedeutung eines Textes ändern können. Diese Probleme sind sehr präsent in längeren, komplexeren Sätzen, in denen die logische Flüssigkeit und das Verständnis von Nuancen für Ergebnisse erforderlich sind. Außerdem gehen kulturelle Nuancen und idiomatische Ausdrücke oft verloren oder verlieren ihre Bedeutung, was zu Übersetzungen führt, die grammatikalisch korrekt sind, aber nicht die beabsichtigte Wirkung haben oder unnatürlich klingen.

Daten für das Pre-Training: PaLM 2 und ähnliche Modelle werden auf einem vielfältigen multilingualen Textkorpus vorab trainiert, das seinen Vorgänger PaLM übertrifft. Diese Verbesserung ermöglicht es PaLM 2, in multilingualen Aufgaben hervorragend zu sein und unterstreicht die anhaltende Bedeutung traditioneller Datenbanken für die Verbesserung der Übersetzungsqualität.

Fachspezifische oder seltene Sprachen: In spezialisierten Bereichen wie Recht, Medizin oder Technik stellen parallele Korpora sicher, dass Modelle spezifische Terminologien und sprachliche Nuancen treffen. Fortgeschrittene Modelle können mit fachspezifischen Fachjargon oder sich entwickelnden Sprachtrends kämpfen, was Herausforderungen für die Zero-Shot-Maschinelle Übersetzung darstellt. Auch Sprachen mit geringen Ressourcen werden immer noch schlecht übersetzt, da sie nicht die Daten haben, die sie benötigen, um genaue Modelle zu trainieren.

Benchmarking: Parallele Korpora bleiben für die Bewertung und Benchmarking der Leistung von Übersetzungsmodellen unerlässlich, insbesondere für Sprachen, die nicht genug parallele Korpora haben. Die automatisierten Metriken wie BLEU, BLERT und METEOR haben Einschränkungen bei der Bewertung von Nuancen in der Übersetzungsqualität abgesehen von der Grammatik. Aber dann sind wir Menschen durch unsere Vorurteile behindert. Außerdem gibt es nicht viele qualifizierte Evaluatoren, und es ist schwierig, den perfekten zweisprachigen Evaluator für jedes Sprachenpaar zu finden, um subtile Fehler zu erkennen.

Ressourcenintensität: Die ressourcenintensive Natur des Trainings und der Bereitstellung von LLMs bleibt ein Hindernis, das die Zugänglichkeit für einige Anwendungen oder Organisationen einschränkt.

Kulturelles Erbe. Die ethische Dimension ist tiefgreifend. Wie Isaac Caswell, ein Forscher von Google Translate, Zero-Shot-Maschinelle Übersetzung beschreibt: “Man kann es sich als einen Polyglotten vorstellen, der viele Sprachen kennt. Aber dann sieht es auch Texte in 1000 weiteren Sprachen, die nicht übersetzt sind. Man kann sich vorstellen, dass man ein großer Polyglott ist und dann einfach Romane in einer anderen Sprache liest, man kann beginnen, zu verstehen, was es bedeuten könnte, basierend auf seinem Wissen über die Sprache im Allgemeinen.” Doch es ist wichtig, die langfristigen Auswirkungen auf kleine Sprachen ohne parallele Korpora zu berücksichtigen, die das kulturelle Erbe beeinträchtigen könnten, wenn die Abhängigkeit von den Sprachen selbst abnimmt.