Der Zustand von multilingualen LLMs: Hinausgehen über Englisch

Laut Microsoft-Forschung haben etwa 88% der Weltensprachen, die von 1,2 Milliarden Menschen gesprochen werden, keinen Zugang zu Large Language Models (LLMs). Dies liegt daran, dass die meisten LLMs englischzentriert sind, d. h. sie werden hauptsächlich mit englischen Daten und für englische Sprecher entwickelt. Diese englische Dominanz herrscht auch in der LLM-Entwicklung vor und hat zu einer digitalen Sprachlücke geführt, die möglicherweise die meisten Menschen von den Vorteilen von LLMs ausschließt. Um dieses Problem für LLMs zu lösen, ist ein LLM erforderlich, der in verschiedenen Sprachen trainiert werden und Aufgaben in verschiedenen Sprachen ausführen kann. Hier kommen die multilingualen LLMs ins Spiel!

Was sind multilinguale LLMs?

Ein multilingualer LLM kann Text in mehreren Sprachen verstehen und generieren. Sie werden auf Datensätzen trainiert, die verschiedene Sprachen enthalten, und können verschiedene Aufgaben in mehr als einer Sprache von einem Benutzerprompt ausführen.

Multilinguale LLM-Anwendungen sind enorm, sie umfassen die Übersetzung von Literatur in lokale Dialekte, Echtzeit-Mehrsprachenkommunikation, multilinguale Inhaltserschaffung usw. Sie würden es jedem ermöglichen, unabhängig von seiner Sprache leicht auf Informationen zuzugreifen und miteinander zu sprechen.

Außerdem gehen multilinguale LLMs Herausforderungen wie mangelnde kulturelle Nuancen und Kontext, Einschränkungen der Trainingsdaten und den potenziellen Verlust von Wissen während der Übersetzung an.

Wie funktionieren multilinguale LLMs?

Das Erstellen eines multilingualen LLMs erfordert die sorgfältige Vorbereitung eines ausgewogenen Textkorpus in verschiedenen Sprachen und die Auswahl einer geeigneten Architektur und Trainingsmethode für das Modell, vorzugsweise ein Transformer-Modell, das perfekt für multilinguales Lernen ist.

Quelle: Bild von Autor

Eine Technik besteht darin, Einbettungen zu teilen, die die semantische Bedeutung von Wörtern in verschiedenen Sprachen erfassen. Dies ermöglicht es dem LLM, die Ähnlichkeiten und Unterschiede jeder Sprache zu lernen, sodass es die verschiedenen Sprachen besser verstehen kann.

Diese Kenntnisse ermöglichen es dem LLM auch, sich an verschiedene sprachliche Aufgaben wie Übersetzung, Schreiben in verschiedenen Stilen usw. anzupassen. Eine weitere verwendete Technik ist cross-linguale Transferlernen, bei dem das Modell vorab auf einem großen Korpus multilingualer Daten trainiert wird, bevor es für spezifische Aufgaben fein abgestimmt wird.

Dieser zweistufige Prozess stellt sicher, dass das Modell eine starke Grundlage in der multilingualen Sprachverständnis hat, was es anpassungsfähig an verschiedene Downstream-Anwendungen macht.

Beispiele für multilinguale Large Language Models

Quelle: Ruder.io

Es gibt mehrere bemerkenswerte Beispiele für multilinguale LLMs, die jeweils spezifischen sprachlichen Bedürfnissen und kulturellen Kontexten gerecht werden. Lassen Sie uns einige davon erkunden:

1. BLOOM

BLOOM ist ein Open-Access-Multilingual-LLM, der diverse Sprachen und Zugänglichkeit priorisiert. Mit 176 Milliarden Parametern kann BLOOM Aufgaben in 46 natürlichen und 13 Programmiersprachen ausführen, was es zu einem der größten und vielfältigsten LLMs macht.

Die Open-Source-Natur von BLOOM ermöglicht es Forschern, Entwicklern und Sprachgemeinschaften, von seinen Fähigkeiten zu profitieren und zu seiner Verbesserung beizutragen.

2. YAYI 2

YAYI 2 ist ein Open-Source-LLM, der speziell für asiatische Sprachen entwickelt wurde und die Komplexitäten und kulturellen Nuancen der Region berücksichtigt. Es wurde von Grund auf auf einem multilingualen Korpus von über 16 asiatischen Sprachen mit 2,65 Billionen gefilterten Tokenn trainiert.

Dies ermöglicht es dem Modell, bessere Ergebnisse zu liefern und den spezifischen Anforderungen von Sprachen und Kulturen in Asien gerecht zu werden.

3. PolyLM

PolyLM ist ein Open-Source-„Polyglott“-LLM, der sich auf die Herausforderungen von Sprachen mit geringen Ressourcen konzentriert und Anpassungsfähigkeiten bietet. Es wurde auf einem Datensatz von etwa 640 Milliarden Tokenn trainiert und ist in zwei Modellgrößen verfügbar: 1,7B und 13B. PolyLM kennt über 16 verschiedene Sprachen.

Es ermöglicht es Modellen, die auf Sprachen mit hohen Ressourcen trainiert wurden, für Sprachen mit geringen Ressourcen und begrenzten Daten fein abgestimmt zu werden. Diese Flexibilität macht LLMs in verschiedenen Sprachsituationen und Aufgaben nützlicher.

4. XGLM

XGLM, mit 7,5 Milliarden Parametern, ist ein multilingualer LLM, der auf einem Korpus trainiert wurde, der eine vielfältige Auswahl von über 20 Sprachen abdeckt, unter Verwendung der Few-Shot-Lern-Technik. Es ist Teil einer Familie von groß angelegten multilingualen LLMs, die auf einem massiven Datensatz von Text und Code trainiert wurden.

Es zielt darauf ab, viele Sprachen vollständig abzudecken, was der Grund ist, warum es sich auf Inklusivität und sprachliche Vielfalt konzentriert. XGLM demonstriert das Potenzial für den Bau von Modellen, die den Bedürfnissen verschiedener Sprachgemeinschaften gerecht werden.

5. mT5

Der mT5 (massiv multilingualer Text-zu-Text-Transfer-Transformer) wurde von Google AI entwickelt. Trainiert auf dem Common-Crawl-Datensatz, ist mT5 ein state-of-the-art-Multilingual-LLM, das 101 Sprachen beherrschen kann, von weit verbreiteten wie Spanisch und Chinesisch bis hin zu weniger ressourcenstarken Sprachen wie Baskisch und Quechua.

Es excelt auch bei multilingualen Aufgaben wie Übersetzung, Zusammenfassung, Fragebeantwortung usw.

Ist ein universeller LLM möglich?

Das Konzept eines sprachneutralen LLMs, das in der Lage ist, Sprache ohne Vorurteile gegenüber einer bestimmten Sprache zu verstehen und zu generieren, ist faszinierend.

Obwohl die Entwicklung eines wirklich universellen LLMs noch in weiter Ferne liegt, haben aktuelle multilinguale LLMs bereits bedeutenden Erfolg demonstriert. Sobald sie vollständig entwickelt sind, können sie den Bedürfnissen von unterrepräsentierten Sprachen und vielfältigen Gemeinschaften gerecht werden.

Zum Beispiel zeigt Forschung, dass die meisten multilingualen LLMs Zero-Shot-Cross-Lingual-Transfer von einer ressourcenreichen Sprache zu einer ressourcenarmen Sprache ohne aufgabenspezifische Trainingsdaten ermöglichen können.

Außerdem haben Modelle wie YAYI und BLOOM, die sich auf spezifische Sprachen und Gemeinschaften konzentrieren, das Potenzial von sprachzentrierten Ansätzen bei der Förderung von Fortschritt und Inklusivität demonstriert.

Um einen universellen LLM oder aktuelle multilinguale LLMs zu verbessern, müssen Einzelpersonen und Organisationen Folgendes tun:

• Einbindung von Muttersprachlern für Community-Engagement und Kuratierung der Sprachdatensätze.
• Unterstützung von Community-Bemühungen im Hinblick auf Open-Source-Beiträge und Finanzierung von multilingualer Forschung und Entwicklung.

Herausforderungen von multilingualen LLMs

Obwohl das Konzept von universellen multilingualen LLMs vielversprechend ist, gibt es auch Herausforderungen, die angegangen werden müssen, bevor wir davon profitieren können:

1. Datenmenge

Multilinguale Modelle erfordern ein größeres Vokabular, um Token in vielen Sprachen darzustellen, als monolinguale Modelle, aber viele Sprachen haben keine großen Datensätze. Dies macht es schwierig, diese Modelle effektiv zu trainieren.

2. Datenqualitätsbedenken

Die Sicherstellung der Genauigkeit und kulturellen Angemessenheit der Ausgaben von multilingualen LLMs in verschiedenen Sprachen ist ein erhebliches Anliegen. Modelle müssen sorgfältig trainiert und fein abgestimmt werden, um sprachliche und kulturelle Nuancen zu berücksichtigen und Vorurteile und Ungenauigkeiten zu vermeiden.

3. Ressourcenbeschränkungen

Das Trainieren und Ausführen von multilingualen Modellen erfordert erhebliche Rechenressourcen wie leistungsstarke GPUs (z. B. NVIDIA A100 GPU). Die hohen Kosten stellen eine Herausforderung dar, insbesondere für Sprachen mit geringen Ressourcen und Gemeinschaften mit begrenztem Zugang zu Recheninfrastruktur.

4. Modellarchitektur

Die Anpassung von Modellarchitekturen, um diverse sprachliche Strukturen und Komplexitäten zu berücksichtigen, ist eine laufende Herausforderung. Modelle müssen in der Lage sein, Sprachen mit unterschiedlichen Wortordnungen, morphologischen Variationen und Schriftsystemen zu handhaben, während sie hohe Leistung und Effizienz aufrechterhalten.

5. Evaluationskomplexität

Die Bewertung der Leistung von multilingualen LLMs jenseits von englischen Benchmarks ist entscheidend, um ihre wahre Effektivität zu messen. Sie erfordert die Berücksichtigung von kulturellen Nuancen, sprachlichen Besonderheiten und domänenabhängigen Anforderungen.

Multilinguale LLMs haben das Potenzial, Sprachbarrieren zu überwinden, unterrepräsentierte Sprachen zu stärken und eine effektive Kommunikation zwischen verschiedenen Gemeinschaften zu ermöglichen.

Verpassen Sie nicht die neuesten Nachrichten und Analysen im Bereich KI und ML – besuchen Sie unite.ai heute.