Generative KI ist nicht das Todesurteil für bedrohte Sprachen

Laut UNESCO könnten bis 2100 bis zu die Hälfte aller Sprachen aussterben. Viele Menschen sagen, dass generative KI diesem Prozess Vorschub leistet.

Der Rückgang der Sprachenvielfalt begann nicht mit KI oder dem Internet. Aber KI ist in der Lage, den Niedergang von indigenen und sprachlich benachteiligten Sprachen zu beschleunigen.

Die meisten der über 7.000 Sprachen der Welt haben nicht genügend Ressourcen, um KI-Modelle zu trainieren – und viele haben keine schriftliche Form. Das bedeutet, dass einige große Sprachen den größten Teil der potenziellen KI-Trainingsdaten dominieren, während die meisten zurückbleiben und möglicherweise ganz verschwinden.

Der einfache Grund dafür ist, dass die meisten verfügbaren KI-Trainingsdaten auf Englisch sind. Englisch ist der Haupttreiber großer Sprachmodelle (LLM), und Menschen, die weniger verbreitete Sprachen sprechen, finden sich in der KI-Technologie unterrepräsentiert.

Betrachten Sie diese Statistiken des Weltwirtschaftsforums:

• Zwei Drittel aller Websites sind auf Englisch.
• Ein großer Teil der Daten, die GenAI lernt, wird aus dem Web gesammelt.
• Weniger als 20% der Weltbevölkerung sprechen Englisch.

Wenn KI immer mehr in unserem täglichen Leben integriert wird, sollten wir alle über Sprachengerechtigkeit nachdenken. KI hat ein unvergleichliches Potenzial, Probleme im großen Maßstab zu lösen, und dieses Versprechen sollte nicht auf die englischsprachige Welt beschränkt sein. KI schafft Annehmlichkeiten und Werkzeuge, die das persönliche und berufliche Leben von Menschen in reichen, entwickelten Nationen verbessern.

Sprecher von sprachlich benachteiligten Sprachen sind es gewohnt, eine mangelnde Repräsentation in der Technologie zu finden – von der Suche nach Websites in ihrer Sprache bis hin zur Nichtanerkennung ihrer Dialekte durch Siri. Ein großer Teil des Textes, der verfügbar ist, um KI in sprachlich benachteiligten Sprachen zu trainieren, ist von schlechter Qualität (selbst mit fragwürdiger Genauigkeit übersetzt) und eng gefasst.

Wie kann die Gesellschaft sicherstellen, dass sprachlich benachteiligte Sprachen nicht aus der KI-Gleichung ausgeschlossen werden? Wie können wir sicherstellen, dass Sprache kein Hindernis für das Versprechen von KI ist?

In einem Bemühen um Sprachinclusivität haben einige große Tech-Unternehmen Initiativen gestartet, um riesige multilinguale Sprachmodelle (MLM) zu trainieren. Microsoft (MSFT ) Translate hat beispielsweise versprochen, “jede Sprache, überall” zu unterstützen. Und Meta hat ein Versprechen “Keine Sprache zurücklassen”. Diese sind lobenswert, aber sind sie realistisch?

Wenn man auf ein Modell hinarbeitet, das jede Sprache der Welt beherrscht, begünstigt dies die Privilegierten, da es viel mehr Daten aus den großen Sprachen der Welt gibt. Wenn wir uns mit sprachlich benachteiligten Sprachen und Sprachen mit nicht-lateinischen Schriften auseinandersetzen, wird das Trainieren von KI-Modellen beschwerlicher, zeitaufwändiger – und teurer. Denken Sie daran, dass dies eine ungewollte Steuer auf unterrepräsentierte Sprachen ist.

Fortschritte in der Sprachtechnologie

KI-Modelle werden größtenteils auf Text trainiert, was natürlicherweise Sprachen mit umfangreichen Textinhalten begünstigt. Die Sprachenvielfalt würde besser durch Systeme unterstützt, die nicht auf Text basieren. Die menschliche Interaktion war einst ausschließlich sprachbasiert, und viele Kulturen bewahren diesen mündlichen Fokus. Um ein globales Publikum besser zu bedienen, muss die KI-Industrie von Textdaten zu Sprachdaten fortschreiten.

Die Forschung macht enorme Fortschritte in der Sprachtechnologie, aber sie liegt noch hinter textbasierten Technologien zurück. Die Forschung in der Sprachverarbeitung macht Fortschritte, aber die direkte Sprache-zu-Sprache-Technologie ist noch nicht ausgereift. Die Realität ist, dass die Industrie vorsichtig agiert und nur dann, wenn eine Technologie ein bestimmtes Niveau erreicht hat.

TransPerfects neu veröffentlichte GlobalLink Live-Plattform für Dolmetschen verwendet die ausgereiften Formen der Sprachtechnologie – automatische Spracherkennung (ASR) und Text-zu-Sprache (TTS) – wieder, weil die direkten Sprache-zu-Sprache-Systeme noch nicht ausgereift genug sind. Unsere Forschungsteams bereiten sich jedoch darauf vor, dass vollständige Sprache-zu-Sprache-Pipelines bald bereit sind.

Sprache-zu-Sprache-Übersetzungsmodelle bieten enormes Potenzial für die Erhaltung von Sprachen. Im Jahr 2022 kündigte Meta das erste KI-gestützte Sprache-zu-Sprache-Übersetzungssystem für Hokkien an, einer hauptsächlich mündlichen Sprache, die von etwa 46 Millionen Menschen in der chinesischen Diaspora gesprochen wird. Es ist Teil von Metas Universal Speech Translator-Projekt, das neue KI-Modelle entwickelt, die es ermöglichen sollen, Echtzeit-Übersetzungen zwischen vielen Sprachen zu ermöglichen. Meta entschied sich, seine Hokkien-Übersetzungsmodelle, Bewertungsdatensätze und Forschungspapiere open-source zu machen, damit andere sie reproduzieren und darauf aufbauen können.

Lernen mit weniger

Die Tatsache, dass uns als globale Gemeinschaft Ressourcen um bestimmte Sprachen fehlen, ist nicht das Todesurteil für diese Sprachen. Hier liegt der Vorteil von Multi-Sprach-Modellen, da die Sprachen voneinander lernen. Alle Sprachen folgen Mustern. Durch den Wissensaustausch zwischen den Sprachen wird der Bedarf an Trainingsdaten verringert.

Nehmen wir an, Sie haben ein Modell, das 90 Sprachen lernt und Sie möchten Inuit (eine Gruppe von indigenen nordamerikanischen Sprachen) hinzufügen. Durch den Wissensaustausch benötigen Sie weniger Inuit-Daten. Wir finden Wege, mit weniger zu lernen. Die Menge an Daten, die zum Feinabstimmen der Motoren benötigt wird, ist geringer.

Ich bin hoffnungsvoll für eine Zukunft mit inklusiverer KI. Ich glaube nicht, dass wir dazu verurteilt sind, eine Vielzahl von Sprachen verschwinden zu sehen – noch glaube ich, dass KI nur der englischsprachigen Welt vorbehalten bleibt. Schon jetzt sehen wir mehr Bewusstsein für das Problem der Sprachengerechtigkeit. Von vielfältigeren Datensammlungen bis hin zum Aufbau sprachspezifischer Modelle machen wir Fortschritte.

Betrachten Sie Fon, eine Sprache, die von etwa 4 Millionen Menschen in Benin und den benachbarten afrikanischen Ländern gesprochen wird. Vor nicht allzu langer Zeit beschrieb ein beliebtes KI-Modell Fon als fiktive Sprache. Ein Computerwissenschaftler namens Bonaventure Dosseau, dessen Mutter Fon spricht, war an diese Art von Ausgrenzung gewöhnt. Dosseau, der Französisch spricht, wuchs mit keinem Übersetzungsprogramm auf, das ihm half, mit seiner Mutter zu kommunizieren. Heute kann er mit seiner Mutter dank eines Fon-Französisch-Übersetzers kommunizieren, den er mühsam aufgebaut hat. Heute gibt es auch eine fon-Wikipedia.

In einem Bemühen, Technologie zu nutzen, um Sprachen zu erhalten, hat der türkische Künstler Refik Anadol die Schaffung eines Open-Source-KI-Werkzeugs für indigene Völker gestartet. Auf dem Weltwirtschaftsgipfel fragte er: “Wie können wir eine KI schaffen, die die ganze Menschheit nicht kennt?”

Wir können es nicht, und wir werden es nicht.