Hoe taalverwerking wordt verbeterd door Google’s open-source BERT-model

Bidirectional Encoder Representations from Transformers, ook bekend als BERT, is een trainingsmodel dat de efficiëntie en effectiviteit van NLP-modellen aanzienlijk heeft verbeterd. Nu Google (GOOGL ) BERT-modellen open-source heeft gemaakt, kan de NLP-modellen in alle industrieën worden verbeterd. In dit artikel bekijken we hoe BERT NLP tot een van de meest krachtige en nuttige AI-oplossingen in de wereld van vandaag maakt.

Het toepassen van BERT-modellen op zoekopdrachten

Google’s zoekmachine is wereldwijd bekend om zijn vermogen om relevante inhoud te presenteren en ze hebben dit natuurlijke taalverwerkingsprogramma open-source gemaakt voor de wereld.

Het vermogen van een systeem om natuurlijke taal te lezen en te interpreteren wordt steeds belangrijker naarmate de wereld exponentieel nieuwe gegevens produceert. Google’s bibliotheek van woordbetekenissen, zinnen en het algemene vermogen om relevante inhoud te presenteren, is OPEN SOURCE. Buiten natuurlijke taalverwerking om heeft hun BERT-model het vermogen om informatie te extraheren uit grote hoeveelheden ongestructureerde gegevens en kan het worden toegepast om zoekinterfaces te maken voor elke bibliotheek. In dit artikel zullen we zien hoe deze technologie kan worden toegepast in de energiesector.

BERT (Bidirectional Encoder Representations from Transformers) is een pre-trainingaanpak die is voorgesteld door de Google AI Language-groep, ontwikkeld om een veelvoorkomend probleem van vroege NLP-modellen te overwinnen: het gebrek aan voldoende trainingsgegevens.

Laten we dit uitleggen, zonder te veel details:

Trainingsmodellen

Lage-niveau (bijv. named entity recognition, topic segmentatie) en hoge-niveau (bijv. sentimentanalyse, spraakherkenning) NLP-taken vereisen taakspecifieke geannoteerde datasets. Hoewel ze moeilijk te verkrijgen en duur zijn om samen te stellen, spelen gelabelde datasets een cruciale rol in de prestaties van zowel ondiepe als diepe neurale netwerkmodellen. Hoogwaardige inferentieresultaten konden alleen worden behaald wanneer miljoenen of zelfs miljarden gelabelde trainingsvoorbeelden beschikbaar waren. En dat was een probleem dat veel NLP-taken onbenaderbaar maakte. Tot BERT werd ontwikkeld.

BERT is een algemeen doel taalrepresentatiemodel, getraind op grote corpora van ongeannoteerde tekst. Wanneer het model wordt blootgesteld aan grote hoeveelheden tekstinhoud, leert het om context en relaties tussen woorden in een zin te begrijpen. In tegenstelling tot eerdere leermodellen die alleen betekenis vertegenwoordigden op woordniveau (bank zou hetzelfde betekenen in “bankrekening” en “grasachtige bank”), zorgt BERT daadwerkelijk voor context. Dat wil zeggen, wat er voor en na het woord in een zin staat. Context bleek een belangrijke ontbrekende capaciteit van NLP-modellen te zijn, met een directe invloed op de prestaties van het model. Het ontwerpen van een contextueel model zoals BERT wordt door velen beschouwd als het begin van een nieuwe era in NLP.

Het trainen van BERT op grote hoeveelheden tekstinhoud is een techniek die bekend staat als pre-training. Dit betekent dat de gewichten van het model worden aangepast voor algemene tekstbegripsTaken en dat meer verfijnde modellen kunnen worden gebouwd op basis daarvan. De auteurs hebben de superioriteit van deze techniek aangetoond toen ze BERT-gebaseerde modellen op 11 NLP-taken hebben toegepast en state-of-the-artresultaten hebben behaald.

Pre-getrainde modellen

Het beste is: pre-getrainde BERT-modellen zijn open-source en openbaar beschikbaar. Dit betekent dat iedereen NLP-taken kan aanpakken en zijn modellen kan bouwen op basis van BERT. Niets kan dit overtreffen, toch? Oh, wacht: dit betekent ook dat NLP-modellen nu kunnen worden getraind (fijn afgesteld) op kleinere datasets, zonder de noodzaak om van scratch te trainen. Het begin van een nieuwe era, inderdaad.

Deze pre-getrainde modellen helpen bedrijven om de kosten en de tijd te verminderen om NLP-modellen te implementeren voor intern of extern gebruik. De effectiviteit van goed getrainde NLP-modellen wordt benadrukt door Michael Alexis, CEO van het virtuele team-cultuurbedrijf, teambuilding.com.

“Het grootste voordeel van NLP is de schaalbare en consistente inferentie en verwerking van informatie.” – Michael Alexis, CEO van teambuilding.com

Michael legt uit hoe NLP kan worden toegepast op cultuurbevorderingsprogramma’s zoals icebreakers of enquêtes. Een bedrijf kan waardevolle inzichten verkrijgen in hoe de bedrijfscultuur ervoor staat door de antwoorden van medewerkers te analyseren. Dit wordt bereikt niet alleen door tekst te analyseren, maar ook door de annotatie van tekst. Feitelijk “leest” het model tussen de regels door om afleidingen te maken over emotie, gevoel en algemene uitkomst. BERT kan helpen in situaties zoals deze door pre-getrainde modellen met een basis van indicatoren die het kan gebruiken om de nuances van taal te ontdekken en meer accurate inzichten te bieden.

Verbetering van zoekopdrachten

Het vermogen om context te modelleren heeft BERT tot een NLP-held gemaakt en heeft Google Search zelfs omgevormd. Hieronder staat een citaat van het Google Search-productteam en hun testervaringen, terwijl ze BERT aan het afstellen waren om de intentie achter een zoekopdracht te begrijpen.

“Hier zijn enkele voorbeelden die demonstreren hoe BERT de intentie achter uw zoekopdracht kan begrijpen. Hier is een zoekopdracht naar “2019 Braziliaanse reiziger naar de VS heeft een visum nodig.” Het woord “naar” en de relatie met de andere woorden in de zoekopdracht zijn bijzonder belangrijk om de betekenis te begrijpen. Het gaat over een Braziliaan die naar de VS reist en niet omgekeerd. Eerder zouden onze algoritmen de belangrijkheid van deze connectie niet begrijpen en zouden we resultaten retourneren over Amerikaanse burgers die naar Brazilië reizen. Met BERT kan Search de nuances begrijpen en weten dat het heel gewone woord “naar” eigenlijk veel uitmaakt, en kunnen we een veel relevanter resultaat voor deze zoekopdracht retourneren.”– Het begrijpen van zoekopdrachten beter dan ooit tevoren, door Pandu Nayak, Google Fellow en Vice President van Search.

BERT-zoekvoorbeeld, voor en na. Bron blog

In ons vorige artikel over NLP en OCR, hebben we enkele NLP-toepassingen in de vastgoedsector geïllustreerd. We hebben ook vermeld hoe “NLP-hulpmiddelen ideale informatie-extractiehulpmiddelen zijn”. Laten we naar de energiesector kijken en zien hoe disruptieve NLP-technologieën zoals BERT nieuwe toepassingsmogelijkheden mogelijk maken.

NLP-modellen kunnen informatie extraheren uit grote hoeveelheden ongestructureerde gegevens

Een manier waarop NLP-modellen kunnen worden gebruikt, is voor het extraheren van kritieke informatie uit ongestructureerde tekstgegevens. E-mails, tijdschriften, notities, logboeken en rapporten zijn allemaal voorbeelden van tekstgegevensbronnen die deel uitmaken van de dagelijkse bedrijfsvoering. Sommige van deze documenten kunnen cruciaal zijn in de inspanningen van organisaties om de operationele efficiëntie te verhogen en de kosten te verlagen.

Wanneer het gaat om het implementeren van predictive maintenance voor windturbines, foutenrapporten kunnen kritieke informatie bevatten over het gedrag van verschillende componenten. Maar omdat verschillende windturbinefabrikanten verschillende gegevensverzamelingseisen hebben (d.w.z. onderhoudsrapporten komen in verschillende formaten en zelfs talen), kan het handmatig identificeren van relevante gegevenselementen snel duur worden voor de eigenaar van de installatie. NLP-hulpmiddelen kunnen relevante concepten, kenmerken en gebeurtenissen extraheren uit ongestructureerde inhoud. Tekstanalyse kan vervolgens worden gebruikt om correlaties en patronen in verschillende gegevensbronnen te vinden. Dit geeft eigenaren van installaties de kans om predictieve maintenance te implementeren op basis van kwantitatieve maatstaven die zijn geïdentificeerd in hun foutenrapporten.

NLP-modellen kunnen natuurlijke taalzoekinterfaces bieden

Op soortgelijke wijze hebben geowetenschappers die voor olie- en gasbedrijven werken, vaak veel documenten nodig om te bekijken die verband houden met eerdere booroperaties, putlogs en seismische gegevens. Aangezien dergelijke documenten ook in verschillende formaten komen en meestal verspreid zijn over een aantal locaties (zowel fysiek als digitaal), verspillen ze veel tijd aan het zoeken naar informatie op de verkeerde plaatsen. Een haalbaar oplossing in een dergelijk geval zou een NLP-geactiveerde zoekinterface zijn, die gebruikers in staat zou stellen om gegevens op te zoeken in natuurlijke taal. Vervolgens kan een NLP-model gegevens correleren over honderden documenten en een set antwoorden op de zoekopdracht retourneren. De werknemers kunnen vervolgens de uitvoer valideren op basis van hun eigen deskundige kennis en de feedback zou het model verder verbeteren.

Er zijn echter ook technische overwegingen voor het implementeren van dergelijke modellen. Een aspect zou zijn dat branche-specifieke jargon traditionele leermodellen kan verwarren die geen adequate semantische begrip hebben. Ten tweede kan de prestatie van de modellen worden beïnvloed door de grootte van de trainingsdataset. Dit is wanneer pre-getrainde modellen zoals BERT nuttig kunnen zijn. Contextuele representaties kunnen de juiste woordbetekenis modelleren en verwarring veroorzaakt door branche-specifieke termen verwijderen. Door pre-getrainde modellen te gebruiken, is het mogelijk om het netwerk te trainen op kleinere datasets. Dit bespaart tijd, energie en middelen die anders nodig zouden zijn geweest voor het trainen van scratch.

Wat betreft uw eigen bedrijf?

Kunt u denken aan enkele NLP-taken die u kunnen helpen om de kosten te verlagen en de operationele efficiëntie te verhogen?

Het Blue Orange Digital-team voor datawetenschap is ook blij om BERT voor uw voordeel aan te passen!