Neues KI-Modell arbeitet mit einer breiteren Vielfalt von menschlichen Sprachen

Forscher an der Universität von Waterloo haben ein KI-Modell entwickelt, das es Computern ermöglicht, eine breitere Vielfalt von menschlichen Sprachen zu verarbeiten. Dies ist ein wichtiger Schritt vorwärts in diesem Bereich, da viele Sprachen oft im Programmierprozess vernachlässigt werden. Afrikanische Sprachen werden oft nicht von Computeringenieuren beachtet, was dazu geführt hat, dass die Fähigkeiten der natürlichen Sprachverarbeitung (NLP) auf dem Kontinent begrenzt sind.

Das neue Sprachmodell wurde von einem Team von Forschern an der Universität von Waterloos David R. Cheriton School of Computer Science entwickelt.

Die Forschung wurde auf dem Multilingual Representation Learning Workshop auf der 2021 Conference on Empirical Methods in Natural Language Processing vorgestellt.

Das Modell spielt eine wichtige Rolle bei der Analyse von Texten in afrikanischen Sprachen für viele nützliche Aufgaben und wird als AfriBERTa bezeichnet. Es verwendet Deep-Learning-Techniken, um beeindruckende Ergebnisse für Sprachen mit begrenzten Ressourcen zu erzielen.

Mit 11 afrikanischen Sprachen arbeiten

AfriBERTa arbeitet mit 11 spezifischen afrikanischen Sprachen, darunter Amharisch, Hausa und Swahili, die von über 400 Millionen Menschen gesprochen werden. Das Modell hat eine Ausgabqualität demonstriert, die mit den besten bestehenden Modellen vergleichbar ist, und es hat dies erreicht, während es nur von einer Gigabyte Text lernte. Andere ähnliche Modelle benötigen oft tausendfach mehr Daten.

Kelechi Ogueji ist ein Master-Student im Fach Informatik an der Universität Waterloo.

“Vorgerichtete Sprachmodelle haben die Art und Weise, wie Computer Textdaten verarbeiten und analysieren, für Aufgaben wie maschinelle Übersetzung und Fragebeantwortung revolutioniert”, sagte Ogueji. “Leider haben afrikanische Sprachen von der Forschungsgemeinschaft wenig Aufmerksamkeit erhalten.”

“Eine der Herausforderungen ist, dass neuronale Netze zum Bau sehr text- und rechenintensiv sind. Und im Gegensatz zu Englisch, das enorme Mengen an verfügbarem Text hat, können die meisten der 7.000 oder so Sprachen, die weltweit gesprochen werden, als sprachliche Ressourcen mit begrenzten Mitteln charakterisiert werden, da es an Daten mangelt, um datenhungere neuronale Netze zu speisen.”

Vorverarbeitungstechnik

Die meisten dieser Modelle verlassen sich auf eine Vorverarbeitungstechnik, bei der der Forscher dem Modell Text präsentiert, in dem einige Wörter versteckt oder maskiert sind. Das Modell muss dann die versteckten Wörter erraten und diesen Prozess Milliarden von Malen wiederholen. Es lernt schließlich die statistischen Assoziationen zwischen Wörtern, die der menschlichen Sprachkenntnis ähnlich sind.

Jimmy Lin ist der Cheriton-Lehrstuhl für Informatik und Oguejis Berater.

“Es ist möglich, Modelle vorzubereiten, die für bestimmte nachgelagerte Aufgaben genauso genau sind, aber mit wesentlich kleineren Mengen an Daten”, sagte Lin. “Weniger Daten zum Trainieren des Sprachmodells bedeuten weniger Rechenleistung und folglich geringere Kohlenstoffemissionen, die mit dem Betrieb von großen Rechenzentren verbunden sind. Kleinere Datensätze machen es auch praktischer, Daten zu kuratieren, was ein Ansatz ist, um die Vorurteile in den Modellen zu reduzieren.”

“Diese Arbeit ist ein kleiner, aber wichtiger Schritt, um die Fähigkeiten der natürlichen Sprachverarbeitung für über 1,3 Milliarden Menschen auf dem afrikanischen Kontinent zu bringen.”

Die Forschung wurde auch von Yuxin Zhu durchgeführt, der kürzlich einen Bachelor-Abschluss in Informatik an der Universität erwarb.