Wie die Sprachverarbeitung durch Googles Open-Source-BERT-Modell verbessert wird

Bidirectional Encoder Representations from Transformers, auch bekannt als BERT, ist ein Trainingsmodell, das die Effizienz und Wirkung von NLP-Modellen drastisch verbessert hat. Jetzt, da Google (GOOGL ) BERT-Modelle open source gemacht hat, kann die Verbesserung von NLP-Modellen in allen Branchen erfolgen. In diesem Artikel werfen wir einen Blick darauf, wie BERT NLP zu einer der leistungsstärksten und nützlichsten KI-Lösungen in der heutigen Welt macht.

Die Anwendung von BERT-Modellen auf die Suche

Googles Suchmaschine ist weltweit für ihre Fähigkeit bekannt, relevante Inhalte zu präsentieren, und sie hat dieses natürliche Sprachverarbeitungsprogramm der Welt zur Verfügung gestellt.

Die Fähigkeit eines Systems, natürliche Sprache zu lesen und zu interpretieren, wird immer wichtiger, da die Welt exponentiell neue Daten produziert. Googles Bibliothek von Wortbedeutungen, Phrasen und die allgemeine Fähigkeit, relevante Inhalte zu präsentieren, ist OPEN SOURCE. Neben der natürlichen Sprachverarbeitung hat das BERT-Modell die Fähigkeit, Informationen aus großen Mengen unstrukturierter Daten zu extrahieren und kann verwendet werden, um Suchinterfaces für jede Bibliothek zu erstellen. In diesem Artikel werden wir sehen, wie diese Technologie im Energiesektor angewendet werden kann.

BERT (Bidirectional Encoder Representations from Transformers) ist ein Pre-Training-Ansatz, der von der Google AI Language-Gruppe vorgeschlagen wurde, um ein häufiges Problem früherer NLP-Modelle zu überwinden: den Mangel an ausreichenden Trainingsdaten.

Lassen Sie uns dies erläutern, ohne zu sehr ins Detail zu gehen:

Das Trainieren von Modellen

Niedrigstufige (z.B. Named Entity Recognition, Topic Segmentation) und hochstufige (z.B. Sentiment-Analyse, Spracherkennung) NLP-Aufgaben erfordern aufgabenspezifische annotierte Datensätze. Obwohl sie schwer zu finden und teuer zu erstellen sind, spielen annotierte Datensätze eine entscheidende Rolle bei der Leistung von sowohl flachen als auch tiefen neuronalen Netzen. Hohe Inferenzergebnisse konnten nur erzielt werden, wenn Millionen oder sogar Milliarden annotierter Trainingsbeispiele verfügbar waren. Und das war ein Problem, das viele NLP-Aufgaben unzugänglich machte. Bis BERT entwickelt wurde.

BERT ist ein allgemeines Sprachrepräsentationsmodell, das auf großen Korpora unannotierter Texte trainiert wird. Wenn das Modell großen Mengen an Textinhalten ausgesetzt wird, lernt es, Kontext und Beziehungen zwischen Wörtern in einem Satz zu verstehen. Im Gegensatz zu früheren Lernmodellen, die nur die Bedeutung auf Wortebene darstellten (Bank würde in “Bankkonto” und “grasige Bank” gleichbedeutend sein), berücksichtigt BERT tatsächlich den Kontext. Das bedeutet, was vor und nach dem Wort im Satz kommt. Der Kontext stellte sich als eine wichtige fehlende Fähigkeit von NLP-Modellen heraus, mit direkter Auswirkung auf die Modellleistung. Die Entwicklung eines kontextbewussten Modells wie BERT wird von vielen als der Beginn einer neuen Ära in der NLP angesehen.

Das Trainieren von BERT auf großen Mengen an Textinhalten ist eine Technik, die als Pre-Training bekannt ist. Dies bedeutet, dass die Gewichte des Modells für allgemeine Textverständigungsaufgaben angepasst werden und dass feinere Modelle auf Basis davon aufgebaut werden können. Die Autoren haben die Überlegenheit dieser Technik bewiesen, als sie BERT-basierte Modelle auf 11 NLP-Aufgaben anwendeten und state-of-the-art-Ergebnisse erzielten.

Pre-Trainierte Modelle

Das Beste ist: Pre-trainierte BERT-Modelle sind open source und öffentlich verfügbar. Dies bedeutet, dass jeder NLP-Aufgaben angehen und Modelle auf Basis von BERT aufbauen kann. Nichts kann das schlagen, oder? Oh, warte: Dies bedeutet auch, dass NLP-Modelle jetzt (fein) trainiert werden können, ohne dass ein Training von Grund auf erforderlich ist. Der Beginn einer neuen Ära, in der Tat.

Diese pre-trainierten Modelle helfen Unternehmen, die Kosten und die Zeit für die Bereitstellung von NLP-Modellen für interne oder externe Verwendung zu reduzieren. Die Effektivität von gut trainierten NLP-Modellen wird von Michael Alexis, CEO von teambuilding.com, betont.

“Der größte Vorteil von NLP ist die skalierbare und konsistente Inferenz und Verarbeitung von Informationen.” – Michael Alexis, CEO von teambuilding.com

Michael erklärt, wie NLP auf Kulturpflegeprogramme wie Icebreaker oder Umfragen angewendet werden kann. Ein Unternehmen kann wertvolle Einblicke in die Firmenkultur gewinnen, indem es die Antworten der Mitarbeiter analysiert. Dies wird nicht nur durch die Analyse von Texten, sondern auch durch die Annotation von Texten erreicht. Im Wesentlichen liest das Modell zwischen den Zeilen, um Rückschlüsse auf Emotionen, Gefühle und allgemeine Einstellungen zu ziehen. BERT kann in solchen Situationen helfen, indem es vorab trainierte Modelle mit einer Basis von Indikatoren bereitstellt, um die Nuancen der Sprache zu erfassen und genauere Einblicke zu liefern.

Die Verbesserung von Abfragen

Die Fähigkeit, Kontext zu modellieren, hat BERT zu einem NLP-Helden gemacht und hat die Google-Suche selbst revolutioniert. Hier ist ein Zitat von dem Google-Such-Produktteam und ihren Test Erfahrungen, während sie BERT anpassten, um die Absicht hinter einer Abfrage zu verstehen.

“Hier sind einige Beispiele, die BERTs Fähigkeit demonstrieren, die Absicht hinter Ihrer Suche zu verstehen. Hier ist eine Suche nach “2019 Brasilien-Reisender in die USA benötigt ein Visum”. Das Wort “nach” und seine Beziehung zu den anderen Wörtern in der Abfrage sind besonders wichtig, um die Bedeutung zu verstehen. Es geht um einen brasilianischen Reisenden, der in die USA reist, und nicht umgekehrt. Früher verstanden unsere Algorithmen die Bedeutung dieser Verbindung nicht und wir lieferten Ergebnisse über US-Bürger, die nach Brasilien reisten. Mit BERT kann die Suche die Nuancen erfassen und weiß, dass das sehr häufige Wort “nach” in diesem Fall sehr wichtig ist, und wir können ein viel relevanteres Ergebnis für diese Abfrage liefern.” – Verständnis von Suchanfragen besser als je zuvor, von Pandu Nayak, Google Fellow und Vizepräsident von Search.

BERT-Suchbeispiel, vor und nach. Quelle Blog

In unserem letzten Artikel über NLP und OCR haben wir einige NLP-Anwendungen im Immobiliensektor illustriert. Wir haben auch erwähnt, wie “NLP-Tools ideale Informationsextraktions-Tools sind”. Lassen Sie uns den Energiesektor betrachten und sehen, wie disruptive NLP-Technologien wie BERT neue Anwendungsfälle ermöglichen.

NLP-Modelle können Informationen aus großen Mengen unstrukturierter Daten extrahieren

Eine Möglichkeit, NLP-Modelle zu verwenden, besteht darin, kritische Informationen aus unstrukturierten Textdaten zu extrahieren. E-Mails, Journale, Notizen, Protokolle und Berichte sind alle Beispiele für Textdatenquellen, die Teil des täglichen Betriebs von Unternehmen sind. Einige dieser Dokumente können sich als entscheidend für die Bemühungen von Unternehmen erweisen, die operative Effizienz zu steigern und Kosten zu reduzieren.

Wenn man sich zum Ziel setzt, prädiktive Wartung von Windturbinen auszuführen, können Fehlerberichte kritische Informationen über das Verhalten verschiedener Komponenten enthalten. Da jedoch verschiedene Windturbinenhersteller unterschiedliche Datenerfassungsstandards haben (d.h. Wartungsberichte kommen in verschiedenen Formaten und sogar Sprachen), kann die manuelle Identifizierung relevanter Datenpunkte für den Anlagenbesitzer schnell teuer werden. NLP-Tools können relevante Konzepte, Attribute und Ereignisse aus unstrukturiertem Inhalt extrahieren. Textanalyse kann dann verwendet werden, um Korrelationen und Muster in verschiedenen Datenquellen zu finden. Dies gibt den Anlagenbesitzern die Möglichkeit, prädiktive Wartung auf Basis quantitativer Maße zu implementieren, die in ihren Fehlerberichten identifiziert wurden.

NLP-Modelle können natürliche Sprachsuchinterfaces bereitstellen

Ähnlich benötigen Geowissenschaftler, die für Öl- und Gasunternehmen arbeiten, oft viele Dokumente im Zusammenhang mit vergangenen Bohroperationen, Bohrlochprotokollen und seismischen Daten. Da diese Dokumente auch in verschiedenen Formaten vorliegen und häufig an verschiedenen Orten (sowohl physisch als auch digital) verteilt sind, verschwenden sie viel Zeit damit, nach Informationen an den falschen Stellen zu suchen. Eine gangbare Lösung in einem solchen Fall wäre ein NLP-gestütztes Suchinterface, das es Benutzern ermöglichen würde, Daten in natürlicher Sprache zu suchen. Dann könnte ein NLP-Modell Daten über Hunderte von Dokumenten korrelieren und einen Satz von Antworten auf die Abfrage zurückgeben. Die Arbeiter können dann die Ausgabe basierend auf ihrem eigenen Fachwissen validieren und die Rückmeldung würde das Modell weiter verbessern.

Es gibt jedoch auch technische Überlegungen für die Bereitstellung solcher Modelle. Ein Aspekt wäre, dass branchenspezifische Fachjargon traditionelle Lernmodelle, die nicht über das entsprechende semantische Verständnis verfügen, verwirren kann. Zweitens kann die Leistung der Modelle durch die Größe des Trainingsdatensatzes beeinträchtigt werden. Hier können pre-trainierte Modelle wie BERT von Vorteil sein. Kontextuelle Repräsentationen können die angemessene Wortbedeutung modellieren und Verwirrung durch branchenspezifische Begriffe beseitigen. Durch die Verwendung pre-trainierter Modelle kann es möglich sein, das Netz auf kleineren Datensätzen zu trainieren. Dies spart Zeit, Energie und Ressourcen, die sonst für das Training von Grund auf erforderlich wären.

Was ist mit Ihrem eigenen Unternehmen?

Können Sie an NLP-Aufgaben denken, die Ihnen helfen könnten, Kosten zu reduzieren und die operative Effizienz zu steigern?

Das Blue Orange Digital-Datenscience-Team ist auch bereit, BERT für Ihren Vorteil anzupassen!