Hur språkbehandling förbättras genom Googles öppna källkodsmodell BERT

Bidirectional Encoder Representations from Transformers, även känd som BERT, är en träningsmodell som har förbättrat effektiviteten och effekten av NLP-modeller avsevärt. Nu när Google (GOOGL ) har gjort BERT-modeller öppna källkodsmodeller kan NLP-modeller förbättras inom alla branscher. I den här artikeln tittar vi på hur BERT förvandlar NLP till en av de mest kraftfulla och användbara AI-lösningarna i dagens värld.

Tillämpning av BERT-modeller på sökning

Googles sökmotor är världskänd för sin förmåga att presentera relevant innehåll och de har gjort denna naturliga språkbehandlingsprogram öppen källkod för världen.

Förmågan hos ett system att läsa och tolka naturligt språk blir alltmer avgörande när världen producerar nya data exponentiellt. Googles bibliotek av ord betydelser, fraser och allmän förmåga att presentera relevant innehåll är öppen källkod. Utöver naturlig språkbehandling har deras BERT-modell förmågan att extrahera information från stora mängder ostrukturerad data och kan användas för att skapa sökgränssnitt för alla bibliotek. I den här artikeln kommer vi att se hur denna teknik kan tillämpas inom energisektorn.

BERT (Bidirectional Encoder Representations from Transformers) är en förträningsteknik som föreslagits av Google AI Language-gruppen, utvecklad för att övervinna ett vanligt problem med tidiga NLP-modeller: bristen på tillräckligt träningsdata.

Låt oss förklara utan att gå in för djupt:

Träningsmodeller

Lågnivå- (t.ex. namngiven entitetsigenkänning, ämnessegmentering) och högnivå- (t.ex. sentimentanalys, taligenkänning) NLP-uppgifter kräver uppgiftsspecifika annoterade dataset. Medan de är svåra att komma åt och dyra att samla in, spelar annoterade dataset en avgörande roll i prestandan hos både grunt och djup neurala nätverksmodeller. Högkvalitativa inferensresultat kunde bara uppnås när miljoner eller till och med miljarder annoterade träningsexempel var tillgängliga. Och det var ett problem som gjorde många NLP-uppgifter otillgängliga. Det var tills BERT utvecklades.

BERT är en allmän språkrepresentationsmodell, tränad på stora korpusar av oannoterad text. När modellen exponeras för stora mängder textinnehåll lär den sig att förstå sammanhang och relationer mellan ord i en mening. Till skillnad från tidigare lärandemodeller som bara representerade betydelse på ordnivå (bank skulle betyda samma sak i “bankkonto” och “gräsbank”), bryr sig BERT faktiskt om sammanhang. Det vill säga, vad som kommer före och efter ordet i en mening. Sammanhang visade sig vara en stor saknad förmåga hos NLP-modeller, med en direkt inverkan på modellprestanda. Att utforma en kontextmedveten modell som BERT är känt av många som början på en ny era inom NLP.

Att träna BERT på stora mängder textinnehåll är en teknik som kallas förträning. Detta innebär att modellens vikter justeras för allmänna textförståelseuppgifter och att mer finmaskiga modeller kan byggas ovanpå den. Författarna har bevisat överlägsenheten hos denna teknik när de använde BERT-baserade modeller på 11 NLP-uppgifter och uppnådde state-of-the-art-resultat.

Förtränade modeller

Det bästa är: förtränade BERT-modeller är öppna källkodsmodeller och offentligt tillgängliga. Detta innebär att vem som helst kan ta itu med NLP-uppgifter och bygga sina modeller ovanpå BERT. Ingenting kan slå det, eller hur? Vänta: det innebär också att NLP-modeller nu kan tränas (finjusteras) på mindre dataset, utan behov av att träna från scratch. Början på en ny era, verkligen.

Dessa förtränade modeller hjälper företag att minska kostnader och tid för att distribuera NLP-modeller för internt eller externt bruk. Effektiviteten hos vältränade NLP-modeller betonas av Michael Alexis, VD för virtuell teamkulturbyggande företag, teambuilding.com.

“Den största fördelen med NLP är den skalbara och konsekventa inferensen och bearbetningen av information.” – Michael Alexis, VD för teambuilding.com

Michael förklarar hur NLP kan tillämpas på kulturfrämjande program som icebreakers eller undersökningar. Ett företag kan få värdefull insikt i hur företagskulturen fungerar genom att analysera medarbetarnas svar. Detta uppnås inte bara genom att analysera text, utan också genom att analysera annoteringen av texten. I princip “läser” modellen mellan raderna för att dra slutsatser om känslor, känsla och allmän syn. BERT kan hjälpa i situationer som denna genom att förträna modeller med en bas av indikatorer som den kan använda för att avslöja nyanser i språket och ge mer exakta insikter.

Förbättring av frågor

Förmågan att modellera sammanhang har förvandlat BERT till en NLP-hjälte och har revolutionerat Google Sök själv. Nedan följer ett citat från Google Sök-produktteamet och deras testupplevelser medan de justerade BERT för att förstå avsikten bakom en fråga.

“Här är några exempel som demonstrerar BERTs förmåga att förstå avsikten bakom din sökning. Här är en sökning på ‘2019 brasiliansk resenär till USA behöver visum.’ Ordet ’till’ och dess relation till andra ord i frågan är särskilt viktiga för att förstå meningen. Det handlar om en brasiliansk som reser till USA och inte tvärtom. Tidigare förstod våra algoritmer inte vikten av denna koppling, och vi returnerade resultat om amerikanska medborgare som reser till Brasilien. Med BERT kan Sök förstå denna nyans och veta att det mycket vanliga ordet ’till’ faktiskt betyder mycket här, och vi kan ge ett mycket mer relevant resultat för denna fråga.” – Förstå sökningar bättre än någonsin tidigare, av Pandu Nayak, Google Fellow och Vice President för Sök.

BERT Sök exempel, före och efter. Källa blogg

I vår senaste artikel om NLP och OCR har vi illustrerat några NLP-användningsområden inom fastighetssektorn. Vi har också nämnt hur “NLP-verktyg är idealiska verktyg för informationsutvinning”. Låt oss titta på energisektorn och se hur störande NLP-tekniker som BERT möjliggör nya användningsfall.

NLP-modeller kan extrahera information från stora mängder ostrukturerad data

Ett sätt som NLP-modeller kan användas är för att extrahera kritisk information från ostrukturerad textdata. E-post, journaler, anteckningar, loggar och rapporter är alla exempel på textdatakällor som är en del av företagens dagliga verksamhet. Vissa av dessa dokument kan visa sig vara avgörande i företagens ansträngningar att öka den operativa effektiviteten och minska kostnaderna.

När man syftar till att implementera prediktivt underhåll av vindkraftverk, felrapporter kan innehålla kritisk information om beteendet hos olika komponenter. Men eftersom olika vindkraftverks-tillverkare har olika datainsamlingsnormer (dvs. underhållsrapporter kommer i olika format och till och med språk), kan manuell identifiering av relevanta dataobjekt snabbt bli dyrt för anläggningsägaren. NLP-verktyg kan extrahera relevanta begrepp, attribut och händelser från ostrukturerat innehåll. Textanalys kan sedan användas för att hitta korrelationer och mönster i olika datakällor. Detta ger anläggningsägarna möjlighet att implementera prediktivt underhåll baserat på kvantitativa mått som identifierats i deras felrapporter.

NLP-modeller kan tillhandahålla naturliga språksökgränssnitt

På liknande sätt behöver geovetare som arbetar för olje- och gasföretag ofta granska många dokument relaterade till tidigare borrningsoperationer, brunnar och seismiska data. Eftersom sådana dokument också kommer i olika format och vanligtvis sprids över flera platser (både fysiska och digitala), slösar de bort mycket tid på att leta efter informationen på fel platser. En livskraftig lösning i ett sådant fall vore ett NLP-aktiverat sökgränssnitt, som skulle tillåta användare att söka efter data på naturligt språk. Sedan kunde en NLP-modell korrelera data över hundratals dokument och returnera en uppsättning svar på frågan. Arbetarna kan sedan validera utdata baserat på sin egen expertkunskap och återkopplingen skulle ytterligare förbättra modellen.

Det finns dock också tekniska överväganden för att distribuera sådana modeller. Ett aspekt skulle vara att branschspecifik jargong kan förvirra traditionella lärandemodeller som inte har lämplig semantisk förståelse. För det andra kan modellens prestanda påverkas av storleken på träningsdatasetet. Det är när förtränade modeller som BERT kan visa sig vara fördelaktiga. Kontextuella representationer kan modellera lämplig ord betydelse och ta bort eventuell förvirring orsakad av branschspecifika termer. Genom att använda förtränade modeller är det möjligt att träna nätverket på mindre dataset. Detta sparar tid, energi och resurser som annars skulle ha varit nödvändiga för att träna från scratch.

Vad gäller ditt eget företag?

Kan du tänka på några NLP-uppgifter som kan hjälpa dig att minska kostnader och öka den operativa effektiviteten?

Det Blue Orange Digital data science-teamet är glada att justera BERT för din skull också!