Wie die Sprachverarbeitung durch Googles Open-Source-BERT-Modell verbessert wird

Bidirectional Encoder Representations from Transformers, auch bekannt als BERT, ist ein Trainingsmodell, das die Effizienz und Wirkung von NLP-Modellen drastisch verbessert hat. Jetzt, da Google BERT-Modelle Open-Source gemacht hat, können NLP-Modelle in allen Branchen verbessert werden. In diesem Artikel betrachten wir, wie BERT NLP zu einer der leistungsstärksten und nützlichsten KI-Lösungen in der heutigen Welt macht.

Anwendung von BERT-Modellen auf die Suche

Googles Suchmaschine ist weltweit für ihre Fähigkeit bekannt, relevante Inhalte zu präsentieren, und sie hat dieses natürliche Sprachverarbeitungsprogramm Open-Source für die Welt gemacht.

Die Fähigkeit eines Systems, natürliche Sprache zu lesen und zu interpretieren, wird immer wichtiger, da die Welt exponentiell neue Daten produziert. Googles Bibliothek von Wortbedeutungen, Phrasen und die allgemeine Fähigkeit, relevante Inhalte zu präsentieren, ist OPEN SOURCE. Neben der natürlichen Sprachverarbeitung kann das BERT-Modell Informationen aus großen Mengen unstrukturierter Daten extrahieren und kann verwendet werden, um Suchinterfaces für jede Bibliothek zu erstellen. In diesem Artikel werden wir sehen, wie diese Technologie im Energiebereich angewendet werden kann.

BERT (Bidirectional Encoder Representations from Transformers) ist ein Pre-Training-Ansatz, der von der Google AI Language-Gruppe vorgeschlagen wurde, um ein häufiges Problem früherer NLP-Modelle zu überwinden: den Mangel an ausreichenden Trainingsdaten.

Lassen Sie uns dies erläutern, ohne zu sehr ins Detail zu gehen:

Trainingsmodelle

Niedrigstufige (z. B. benannte Entitätenerkennung, Themensegmentierung) und hochstufige (z. B. Sentiment-Analyse, Spracherkennung) NLP-Aufgaben erfordern aufgabenspezifische annotierte Datensätze. Obwohl sie schwer zu finden und teuer zu erstellen sind, spielen annotierte Datensätze eine entscheidende Rolle bei der Leistung sowohl flacher als auch tiefer neuronaler Netze. Hochwertige Inferenzergebnisse konnten nur erzielt werden, wenn Millionen oder sogar Milliarden annotierter Trainingsbeispiele verfügbar waren. Und das war ein Problem, das viele NLP-Aufgaben unzugänglich machte. Das war es, bis BERT entwickelt wurde.

BERT ist ein allgemeines Sprachrepräsentationsmodell, das auf großen Korpora unannotierter Texte trainiert wird. Wenn das Modell großen Mengen an Textinhalten ausgesetzt wird, lernt es, Kontext und Beziehungen zwischen Wörtern in einem Satz zu verstehen. Im Gegensatz zu früheren Lernmodellen, die nur die Bedeutung auf Wortebene darstellten (Bank würde in “Bankkonto” und “grasige Bank” gleich bedeuten), berücksichtigt BERT tatsächlich den Kontext. Das bedeutet, was vor und nach dem Wort im Satz kommt. Der Kontext stellte sich als eine wichtige fehlende Fähigkeit von NLP-Modellen heraus, mit direktem Einfluss auf die Modellleistung. Das Designen eines kontextbewussten Modells wie BERT wird von vielen als der Beginn einer neuen Ära in der NLP angesehen.

Das Trainieren von BERT auf großen Mengen an Textinhalten ist eine Technik, die als Pre-Training bekannt ist. Dies bedeutet, dass die Gewichte des Modells für allgemeine Textverständigungsaufgaben angepasst werden und dass feinere Modelle auf diesem aufgebaut werden können. Die Autoren haben die Überlegenheit einer solchen Technik bewiesen, als sie BERT-basierte Modelle auf 11 NLP-Aufgaben anwendeten und state-of-the-art-Ergebnisse erzielten.

Pre-Trainierte Modelle

Das Beste ist: Pre-trainierte BERT-Modelle sind Open-Source und öffentlich verfügbar. Dies bedeutet, dass jeder NLP-Aufgaben angehen und seine Modelle auf BERT aufbauen kann. Kann man das noch toppen? Oh, warte: Dies bedeutet auch, dass NLP-Modelle jetzt auf kleineren Datensätzen trainiert (fein abgestimmt) werden können, ohne dass ein Training von Grund auf erforderlich ist. Der Beginn einer neuen Ära, in der Tat.

Diese pre-trainierten Modelle helfen Unternehmen, die Kosten und die Zeit für die Bereitstellung von NLP-Modellen für interne oder externe Verwendung zu reduzieren. Die Effektivität von gut trainierten NLP-Modellen wird von Michael Alexis, CEO von teambuilding.com, betont.

“Der größte Vorteil von NLP ist die skalierbare und konsistente Inferenz und Verarbeitung von Informationen.” – Michael Alexis, CEO von teambuilding.com

Michael erklärt, wie NLP auf Kulturpflegeprogramme wie Icebreaker oder Umfragen angewendet werden kann. Ein Unternehmen kann wertvolle Einblicke in die Firmenkultur gewinnen, indem es die Antworten der Mitarbeiter analysiert. Dies wird nicht nur durch die Analyse von Texten, sondern auch durch die Annotation von Texten erreicht. Im Wesentlichen liest das Modell zwischen den Zeilen, um Rückschlüsse auf Emotionen, Gefühle und allgemeine Einstellungen zu ziehen. BERT kann in solchen Situationen helfen, indem es Modelle vorab mit einer Grundlage von Indikatoren trainiert, die es verwenden kann, um die Nuancen der Sprache zu entdecken und genauere Einblicke zu liefern.

Verbesserung von Abfragen

Die Fähigkeit, Kontext zu modellieren, hat BERT zu einem NLP-Helden gemacht und hat die Google-Suche selbst revolutioniert. Nachfolgend ist ein Zitat des Google-Suchprodukt-Teams und ihrer Testergebnisse, während sie BERT anpassten, um die Absicht hinter einer Abfrage zu verstehen.

“Hier sind einige Beispiele, die BERTs Fähigkeit demonstrieren, die Absicht hinter Ihrer Suche zu verstehen. Hier ist eine Suche nach “2019 Brasilien Reisender in die USA benötigt ein Visum”. Das Wort “nach” und seine Beziehung zu den anderen Wörtern in der Abfrage sind besonders wichtig, um die Bedeutung zu verstehen. Es geht um einen brasilianischen Reisenden, der in die USA reist, und nicht umgekehrt. Früher verstand unser Algorithmus die Bedeutung dieser Verbindung nicht und wir lieferten Ergebnisse über US-Bürger, die nach Brasilien reisten. Mit BERT kann die Suche die Nuancen erfassen und erkennen, dass das sehr häufige Wort “nach” hier tatsächlich wichtig ist, und wir können ein viel relevanteres Ergebnis für diese Abfrage liefern.” – Verstehen von Suchanfragen besser als je zuvor, von Pandu Nayak, Google Fellow und Vizepräsident von Search.

BERT-Suche-Beispiel, vor und nach. Quelle blog

In unserem letzten Artikel über NLP und OCR haben wir einige NLP-Anwendungen im Immobilienbereich illustriert. Wir haben auch erwähnt, wie “NLP-Tools ideale Informationsextraktions-Tools sind”. Lassen Sie uns den Energiebereich betrachten und sehen, wie disruptive NLP-Technologien wie BERT neue Anwendungsfälle ermöglichen.

NLP-Modelle können Informationen aus großen Mengen unstrukturierter Daten extrahieren

Eine Möglichkeit, NLP-Modelle zu verwenden, besteht darin, kritische Informationen aus unstrukturierten Textdaten zu extrahieren. E-Mails, Zeitschriften, Notizen, Logbücher und Berichte sind alle Beispiele für Textdatenquellen, die Teil des täglichen Betriebs von Unternehmen sind. Einige dieser Dokumente können sich als entscheidend für die Bemühungen von Unternehmen erweisen, die Betriebseffizienz zu steigern und Kosten zu reduzieren.

Wenn man sich zum Ziel setzt, prädiktive Wartung von Windturbinen umzusetzen, versagen Berichte könnten wichtige Informationen über das Verhalten verschiedener Komponenten enthalten. Aber da verschiedene Windturbinenhersteller unterschiedliche Datenerfassungsnormen haben (d. h. Wartungsberichte kommen in unterschiedlichen Formaten und sogar Sprachen), könnte die manuelle Identifizierung relevanter Datenpunkte für den Anlagenbesitzer schnell teuer werden. NLP-Tools können relevante Konzepte, Attribute und Ereignisse aus unstrukturiertem Inhalt extrahieren. Textanalyse kann dann verwendet werden, um Korrelationen und Muster in verschiedenen Datenquellen zu finden. Dies gibt Anlagenbesitzern die Chance, prädiktive Wartung auf der Grundlage quantitativer Maße zu implementieren, die in ihren Fehlerberichten identifiziert wurden.

NLP-Modelle können natürliche Sprachsuchinterfaces bereitstellen

Ähnlich verhält es sich mit Geowissenschaftlern, die für Öl- und Gasunternehmen arbeiten und viele Dokumente zu vergangenen Bohroperationen, Bohrlochprotokollen und seismischen Daten überprüfen müssen. Da solche Dokumente auch in verschiedenen Formaten vorliegen und normalerweise an verschiedenen Orten (sowohl physisch als auch digital) verteilt sind, verschwenden sie viel Zeit damit, nach der richtigen Information am falschen Ort zu suchen. Eine gangbare Lösung in einem solchen Fall wäre ein NLP-gestütztes Suchinterface, das es Benutzern ermöglichen würde, Daten in natürlicher Sprache zu suchen. Dann könnte ein NLP-Modell Daten über Hunderte von Dokumenten korrelieren und eine Reihe von Antworten auf die Abfrage zurückgeben. Die Arbeiter können dann die Ausgabe basierend auf ihrem eigenen Fachwissen validieren und die Rückmeldung würde das Modell weiter verbessern.

Es gibt jedoch auch technische Überlegungen für die Bereitstellung solcher Modelle. Ein Aspekt wäre, dass branchenspezifische Fachjargon traditionelle Lernmodelle verwirren kann, die nicht über das entsprechende semantische Verständnis verfügen. Zweitens kann die Leistung der Modelle durch die Größe des Trainingsdatensatzes beeinflusst werden. Hier kann sich ein pre-trainiertes Modell wie BERT als nützlich erweisen. Kontextuelle Repräsentationen können die entsprechende Wortbedeutung modellieren und Verwirrung durch branchenspezifische Begriffe beseitigen. Durch die Verwendung pre-trainierter Modelle kann das Netz auf kleineren Datensätzen trainiert werden. Dies spart Zeit, Energie und Ressourcen, die sonst für das Training von Grund auf erforderlich gewesen wären.

Und was ist mit Ihrem eigenen Unternehmen?

Können Sie an NLP-Aufgaben denken, die Ihnen helfen könnten, Kosten zu senken und die Betriebseffizienz zu steigern?Das Blue Orange Digital-Data-Science-Team ist auch bereit, BERT für Ihren Vorteil anzupassen!