Baidu übertrifft Google und Microsoft, entwickelt neue Technik für Sprachverständnis

Baidu, eines der größten Tech-Unternehmen in China, hat kürzlich eine neue Methode entwickelt, um künstliche Intelligenzen (AIs) das Sprachverständnis beizubringen. Wie von TechnologyReview berichtet, hat das Unternehmen kürzlich Microsoft (MSFT ) und Google (GOOGL ) bei dem General Language and Understanding Evaluation (GLUE)-Wettbewerb ausgestochen und damit Ergebnisse auf dem aktuellen Stand der Technik erzielt.

GLUE besteht aus neun verschiedenen Tests, bei denen jeder Test eine andere Aufgabe misst, die für das Sprachverständnis wichtig ist, wie z.B. die Erkennung von Entitäten in einem Satz und die Erkennung des Kontexts, in dem das Pronomen “es” verwendet wird, wenn es mehrere mögliche Kandidaten gibt. Der durchschnittliche Mensch erreicht bei GLUE etwa 87 Punkte von möglichen 100. Baidus neues Modell, ERNIE, hat die 90-Punkte-Grenze durchbrochen.

Forscher versuchen ständig, die Leistung ihrer Modelle bei GLUE zu verbessern, und daher wird der derzeitige Standard, den Baidu gesetzt hat, wahrscheinlich bald übertroffen werden. Was jedoch Baidus Errungenschaften bemerkenswert macht, ist, dass der Lernansatz, den sie verwenden, anscheinend auf andere Sprachen verallgemeinert werden kann. Obwohl das Modell entwickelt wurde, um Chinesisch zu interpretieren, machen die gleichen Prinzipien es auch besser darin, die englische Sprache zu interpretieren. ERNIE steht für “Enhanced Representation through knowledge Integration” und folgt der Entwicklung des BERT-Sprachmodells (“Bidirectional Encoder Representations from Transformers”).

BERT hat einen neuen Standard für das Sprachverständnis gesetzt, da es ein bidirektionales Modell war. Frühere Sprachmodelle waren nur in der Lage, Daten zu interpretieren, die in einer Richtung flossen, und sahen sich entweder ein Wort an, das vor oder nach dem Zielwort kam, als Kontext an. BERT konnte einen bidirektionalen Ansatz umsetzen, der sowohl vorherige als auch spätere Wörter in einem Satz verwenden konnte, um die Bedeutung eines Zielworts zu bestimmen. BERT verwendet eine Technik namens Masking, um bidirektionale Analyse möglich zu machen, indem es ein Wort in einem Satz auswählt und es versteckt, was die möglichen Kontexthinweise für dieses Wort in vorherige und nachfolgende Kontexthinweise aufteilt.

In der englischen Sprache ist das Wort die dominierende semantische Einheit, Menschen betrachten ganze Wörter und nicht einzelne Zeichen, um die Bedeutung zu erkennen. Es ist möglich, ein Wort aus seinem Kontext zu entfernen und es dennoch seine Bedeutung beizubehalten, und die Bedeutung einzelner Zeichen ist fast immer dieselbe. Im Gegensatz dazu verlässt sich die chinesische Sprache viel stärker auf die Art und Weise, wie Zeichen mit anderen Zeichen kombiniert werden, um die Bedeutung zu bestimmen. Zeichen können je nach den umgebenden Zeichen unterschiedliche Bedeutungen haben.

Das Baidu-Forschungsteam hat im Wesentlichen das Modell, das BERT verwendet, erweitert, indem es anstelle von ganzen Wörtern Zeichenfolgen versteckt. Das KI-System wurde auch trainiert, um zufällige Zeichenfolgen und sinnvolle Zeichenfolgen zu unterscheiden, damit die richtigen Zeichenfolgen maskiert werden konnten. Dies macht ERNIE befähigt, Informationen aus einem Textdokument abzurufen und maschinelle Übersetzungen durchzuführen. Das Forschungsteam fand auch heraus, dass ihre Trainingsmethode auch zu einem Modell führte, das englische Phrasen besser unterscheiden konnte als viele andere Modelle. Dies liegt daran, dass die englische Sprache manchmal, wenn auch selten, Wortkombinationen verwendet, die unterschiedliche Bedeutungen haben, wenn sie zusammengefügt werden, im Vergleich zu wenn sie einzeln verwendet werden. Eigennamen und Idiome oder umgangssprachliche Ausdrücke wie “chip off the old block” sind Beispiele für solche sprachlichen Phänomene.

ERNIE nutzt mehrere andere Trainingsmethoden, um die Leistung zu optimieren, einschließlich der Analyse der Satzreihenfolge und des Abstands bei der Interpretation von Absätzen. Eine kontinuierliche Trainingsmethode wird auch verwendet, die es ERNIE ermöglicht, auf neue Daten zu trainieren und neue Muster zu lernen, ohne vorher erworbenes Wissen zu vergessen.

Baidu verwendet derzeit ERNIE, um die Qualität der Suchergebnisse zu verbessern. ERNIEs neueste Architektur wird in einem anstehenden Papier detailliert, das auf der 2020-Tagung der Association for the Advancement of Artificial Intelligence präsentiert wird.