Wie die Sprachverarbeitung durch das Open-Source-BERT-Modell von Google verbessert wird

Bidirektionale Encoder-Darstellungen von Transformatoren, auch bekannt als BERT, sind ein Trainingsmodell, das die Effizienz und Wirkung von NLP-Modellen drastisch verbessert hat. Da Google BERT-Modelle nun Open Source macht, ermöglicht dies die Verbesserung von NLP-Modellen in allen Branchen. In diesem Artikel untersuchen wir, wie BERT NLP zu einer der leistungsstärksten und nützlichsten KI-Lösungen der heutigen Welt macht. 

Anwenden von BERT-Modellen auf die Suche

Die Suchmaschine von Google ist weltbekannt für ihre Fähigkeit, relevante Inhalte zu präsentieren, und sie haben dieses Programm zur Verarbeitung natürlicher Sprache als Open Source für die Welt zugänglich gemacht.

Die Fähigkeit eines Systems, natürliche Sprache zu lesen und zu interpretieren, wird immer wichtiger, da die Welt exponentiell neue Daten produziert. Die Bibliothek von Google mit Wortbedeutungen, Phrasen und der allgemeinen Fähigkeit, relevante Inhalte darzustellen, ist OPEN SOURCE. Über die Verarbeitung natürlicher Sprache hinaus verfügt ihr BERT-Modell über die Fähigkeit, Informationen aus großen Mengen unstrukturierter Daten zu extrahieren und kann zur Erstellung von Suchschnittstellen für jede Bibliothek angewendet werden. In diesem Artikel werden wir sehen, wie diese Technologie im Energiesektor angewendet werden kann. 

BERT (Bidirektionale Encoder-Repräsentationen von Transformatoren) ist ein von der vorgeschlagenen Pre-Training-Ansatz Google AI-Sprache Gruppe, die entwickelt wurde, um ein häufiges Problem früher NLP-Modelle zu überwinden: den Mangel an ausreichenden Trainingsdaten.

Lassen Sie uns näher darauf eingehen, ohne zu sehr ins Detail zu gehen:

Trainingsmodelle

NLP-Aufgaben auf niedriger Ebene (z. B. Erkennung benannter Entitäten, Themensegmentierung) und auf hoher Ebene (z. B. Sentimentanalyse, Spracherkennung) erfordern aufgabenspezifische annotierte Datensätze. Obwohl sie schwer zu bekommen und teuer in der Zusammenstellung sind, spielen markierte Datensätze eine entscheidende Rolle für die Leistung sowohl flacher als auch tiefer neuronaler Netzwerkmodelle. Qualitativ hochwertige Inferenzergebnisse konnten nur erzielt werden, wenn Millionen oder sogar Milliarden annotierter Trainingsbeispiele verfügbar waren. Und das war ein Problem, das viele NLP-Aufgaben unlösbar machte. Bis BERT entwickelt wurde.

BERT ist ein universelles Sprachdarstellungsmodell, das auf großen Korpora nicht annotierter Texte trainiert wird. Wenn das Modell großen Mengen an Textinhalten ausgesetzt ist, wird es lernt den Kontext und die Beziehungen zwischen Wörtern in einem Satz verstehen. Im Gegensatz zu früheren Lernmodellen, die die Bedeutung nur auf Wortebene darstellten (Bank „Würde in „Bankkonto“ und „Grasbank“ dasselbe bedeuten, kümmert sich BERT tatsächlich um den Kontext. Das heißt, was vor und nach dem Wort in einem Satz steht. Es stellte sich heraus, dass der Kontext eine wesentliche fehlende Fähigkeit von NLP-Modellen ist und sich direkt auf die Modellleistung auswirkt. Das Entwerfen eines kontextbewussten Modells wie BERT wird von vielen als Beginn einer neuen Ära im NLP bezeichnet.

Das Training von BERT für große Mengen an Textinhalten ist eine sogenannte Technik Vortraining. Dies bedeutet, dass die Gewichte des Modells an allgemeine Textverständnisaufgaben angepasst werden und darauf feinkörnigere Modelle aufgebaut werden können. Die Autoren haben die Überlegenheit einer solchen Technik bewiesen, indem sie BERT-basierte Modelle für 11 NLP-Aufgaben eingesetzt und Ergebnisse auf dem neuesten Stand der Technik erzielt haben.

Vortrainierte Modelle

Das Beste ist: Vorab trainierte BERT-Modelle sind Open Source und öffentlich verfügbar. Dies bedeutet, dass jeder NLP-Aufgaben bewältigen und seine Modelle auf BERT aufbauen kann. Das kann doch nichts übertreffen, oder? Oh, Moment: Das bedeutet auch, dass NLP-Modelle jetzt auf kleineren Datensätzen trainiert (feinabgestimmt) werden können, ohne dass ein Training von Grund auf erforderlich ist. Tatsächlich der Beginn einer neuen Ära.

Diese vorab trainierten Modelle helfen Unternehmen, die Kosten und den Zeitaufwand für die Bereitstellung von NLP-Modellen für die interne oder externe Verwendung zu senken. Die Wirksamkeit gut trainierter NLP-Modelle wird von Michael Alexis, CEO des Unternehmens zum Aufbau virtueller Teamkultur, teambuilding.com, betont. 

„Der größte Vorteil von NLP ist die skalierbare und konsistente Schlussfolgerung und Verarbeitung von Informationen.“ – Michael Alexis CEO von teambuilding.com

Michael erklärt, wie NLP auf kulturfördernde Programme wie Eisbrecher oder Umfragen angewendet werden kann. Durch die Analyse der Reaktionen der Mitarbeiter kann ein Unternehmen wertvolle Einblicke in die Unternehmenskultur gewinnen. Dies wird nicht nur durch die reine Textanalyse erreicht, sondern auch durch die Analyse der Textanmerkungen. Im Wesentlichen liest das Modell auch „zwischen den Zeilen“, um Rückschlüsse auf Emotionen, Gefühle und die allgemeine Sichtweise zu ziehen. BERT kann in Situationen wie dieser helfen, indem es Modelle auf der Grundlage von Indikatoren vorab trainiert, mit denen es die Nuancen der Sprache aufdecken und genauere Erkenntnisse liefern kann.  

Abfragen verbessern

Die Fähigkeit, Kontexte zu modellieren, hat BERT zu einem NLP-Helden gemacht und die Google-Suche selbst revolutioniert. Nachfolgend finden Sie ein Zitat des Produktteams der Google-Suche und seiner Testerfahrungen bei der Optimierung von BERT, um die Absicht hinter einer Abfrage zu verstehen.

Hier sind einige Beispiele, die zeigen, wie BERT die Absicht Ihrer Suche versteht. Hier ist eine Suche nach „2019 brazil traveler to USA needs a visa“. Das Wort „to“ und seine Beziehung zu den anderen Wörtern in der Abfrage sind besonders wichtig, um die Bedeutung zu verstehen. Es geht um einen Brasilianer, der in die USA reist, und nicht umgekehrt. Bisher konnten unsere Algorithmen die Bedeutung dieses Zusammenhangs nicht verstehen und lieferten Ergebnisse über US-Bürger, die nach Brasilien reisen. Mit BERT kann die Suche diese Nuance erfassen und weiß, dass das sehr gebräuchliche Wort „to“ hier tatsächlich eine große Rolle spielt, und wir können für diese Abfrage ein viel relevanteres Ergebnis liefern.
- Suchen besser verstehen als je zuvor, von Pandu Nayak, Google Fellow und Vizepräsident für Suche.

BERT-Suchbeispiel, vorher und nachher. Quelle Blog

In unserem letzten Artikel über NLP und OCRhaben wir einige NLP-Anwendungen im Immobiliensektor veranschaulicht. Wir haben auch erwähnt, dass „NLP-Tools ideale Tools zur Informationsextraktion sind“. Schauen wir uns den Energiesektor an und sehen wir, wie disruptive NLP-Technologien wie BERT neue Anwendungsfälle ermöglichen. 

NLP-Modelle können Informationen aus großen Mengen unstrukturierter Daten extrahieren

Eine Möglichkeit, NLP-Modelle zu verwenden, ist die Extraktion kritischer Informationen aus unstrukturierten Textdaten. E-Mails, Journale, Notizen, Protokolle und Berichte sind Beispiele für Textdatenquellen, die Teil des täglichen Geschäftsbetriebs von Unternehmen sind. Einige dieser Dokumente können sich bei organisatorischen Bemühungen zur Steigerung der betrieblichen Effizienz und zur Kostensenkung als entscheidend erweisen. 

Beim Ziel der Umsetzung Vorausschauende Wartung von Windkraftanlagen, Fehlermeldungen kann enthalten wichtige Informationen über das Verhalten verschiedener Komponenten. Da jedoch verschiedene Hersteller von Windkraftanlagen unterschiedliche Datenerfassungsnormen haben (z. B. Wartungsberichte gibt es in unterschiedlichen Formaten und sogar in verschiedenen Sprachen), könnte die manuelle Identifizierung relevanter Datenelemente für den Anlagenbesitzer schnell teuer werden. NLP-Tools können relevante Konzepte, Attribute und Ereignisse aus unstrukturierten Inhalten extrahieren. Textanalysen können dann eingesetzt werden, um Korrelationen und Muster in verschiedenen Datenquellen zu finden. Dies gibt Anlagenbesitzern die Möglichkeit, eine vorausschauende Wartung auf der Grundlage quantitativer Maßnahmen umzusetzen, die in ihren Fehlerberichten identifiziert werden.

NLP-Modelle können Suchschnittstellen in natürlicher Sprache bereitstellen

Ebenso müssen Geowissenschaftler, die für Öl- und Gasunternehmen arbeiten, in der Regel viele Dokumente zu früheren Bohrarbeiten, Bohrlochprotokollen und seismischen Daten überprüfen. Da solche Dokumente außerdem in unterschiedlichen Formaten vorliegen und in der Regel über mehrere Orte (sowohl physisch als auch digital) verteilt sind, verschwenden sie viel Zeit damit, die Informationen an den falschen Orten zu suchen. Eine praktikable Lösung wäre in einem solchen Fall eine NLP-basierte Suchoberfläche, Dies würde es Benutzern ermöglichen, Daten in natürlicher Sprache nachzuschlagen. Dann könnte ein NLP-Modell Daten aus Hunderten von Dokumenten korrelieren und eine Reihe von Antworten auf die Anfrage zurückgeben. Die Mitarbeiter können die Ergebnisse dann anhand ihres eigenen Expertenwissens validieren und das Feedback würde das Modell weiter verbessern. 

Es gibt jedoch auch technische Überlegungen für den Einsatz solcher Modelle. Ein Aspekt wäre, dass branchenspezifischer Jargon traditionelle Lernmodelle verwirren kann, denen das entsprechende semantische Verständnis fehlt. Zweitens kann die Leistung der Modelle durch die Größe des Trainingsdatensatzes beeinflusst werden. In diesem Fall können sich vorab trainierte Modelle wie BERT als nützlich erweisen. Kontextbezogene Darstellungen können die entsprechende Wortbedeutung modellieren und jegliche Verwirrung beseitigen, die durch branchenspezifische Begriffe verursacht wird. Durch die Verwendung vorab trainierter Modelle ist es möglich, das Netzwerk anhand kleinerer Datensätze zu trainieren. Das spart Zeit, Energie und Ressourcen, die sonst für eine Schulung von Grund auf nötig gewesen wären.

Was ist mit Ihrem eigenen Unternehmen? 

Können Sie sich NLP-Aufgaben vorstellen, die Ihnen helfen könnten, Kosten zu senken und die betriebliche Effizienz zu steigern?

Die Blau Orange Digital Das Data-Science-Team optimiert BERT gerne auch zu Ihrem Vorteil!