Hur språkbehandling förbättras genom Googles öppen källkodsmodell BERT

Bidirectional Encoder Representations from Transformers, även känd som BERT, är en träningsmodell som har förbättrat effektiviteten och effekten av NLP-modeller avsevärt. Nu när Google har gjort BERT-modellerna öppen källkod kan NLP-modeller förbättras inom alla branscher. I artikeln tittar vi på hur BERT gör NLP till en av de mest kraftfulla och användbara AI-lösningarna i dagens värld. 

Tillämpa BERT-modeller på sökning

Googles sökmotor är världskänd för sin förmåga att presentera relevant innehåll och de har gjort denna naturliga språkbehandlingsprogram öppen källkod för världen.

Förmågan hos ett system att läsa och tolka naturligt språk blir allt viktigare när världen exponentiellt producerar ny data. Googles bibliotek med ord betydelser, fraser och allmän förmåga att presentera relevant innehåll är ÖPPEN KÄLLKOD. Utöver naturlig språkbehandling har deras BERT-modell förmågan att extrahera information från stora mängder ostrukturerad data och kan användas för att skapa sökgränssnitt för alla bibliotek. I denna artikel kommer vi att se hur denna teknik kan tillämpas inom energisektorn. 

BERT (Bidirectional Encoder Representations from Transformers) är en förträningsteknik som föreslagits av Google AI Language-gruppen, utvecklad för att övervinna ett vanligt problem med tidiga NLP-modeller: bristen på tillräckligt träningsdata.

Låt oss förklara, utan att gå in för mycket i detalj:

Träningsmodeller

Lågnivå (t.ex. namngiven entitetsigenkänning, ämnessegmentering) och högnivå (t.ex. sentimentanalys, taligenkänning) NLP-uppgifter kräver uppgiftsspecifika annoterade dataset. Medan de är svåra att komma över och dyra att samla in, spelar annoterade dataset en avgörande roll i prestandan hos både grundläggande och djupa neurala nätverksmodeller. Högkvalitativa inferensresultat kunde endast uppnås när miljoner eller till och med miljarder annoterade träningsexempel var tillgängliga. Och det var ett problem som gjorde många NLP-uppgifter otillgängliga. Det var tills BERT utvecklades.

BERT är en allmän språkrepresentationsmodell, tränad på stora korpusar av oannoterad text. När modellen exponeras för stora mängder textinnehåll lär den sig att förstå sammanhang och relationer mellan ord i en mening. Till skillnad från tidigare lärandemodeller som endast representerade betydelse på ordnivå (bank skulle betyda detsamma i “bankkonto” och “gräsbank”), bryr sig BERT faktiskt om sammanhang. Det vill säga, vad som kommer före och efter ordet i en mening. Sammanhang visade sig vara en stor saknad förmåga hos NLP-modeller, med en direkt inverkan på modellens prestanda. Att utforma en sammanhangsmedveten modell som BERT kallas av många för början på en ny era inom NLP.

Att träna BERT på stora mängder textinnehåll är en teknik som kallas förträning. Detta innebär att modellens vikter justeras för allmänna textförståelseuppgifter och att mer finmaskiga modeller kan byggas ovanpå den. Författarna har bevisat överlägsenheten hos en sådan teknik när de använde BERT-baserade modeller på 11 NLP-uppgifter och uppnådde state-of-the-art-resultat.

Förtränade modeller

Det bästa är: förtränade BERT-modeller är öppen källkod och offentligt tillgängliga. Detta innebär att vem som helst kan hantera NLP-uppgifter och bygga sina modeller ovanpå BERT. Ingenting kan slå det, eller? Oh, vänta: detta innebär också att NLP-modeller nu kan tränas (finjusteras) på mindre dataset, utan behov av att träna från scratch. Början på en ny era, verkligen.

Dessa förtränade modeller hjälper företag att minska kostnaderna och tiden för att distribuera NLP-modeller för att användas internt eller externt. Effektiviteten hos vältränade NLP-modeller betonas av Michael Alexis, VD för virtuell teamkulturbyggande företag, teambuilding.com. 

“Den största fördelen med NLP är den skalbara och konsekventa inferensen och bearbetningen av information.”   – Michael Alexis VD för teambuilding.com

Michael förklarar hur NLP kan tillämpas på kulturfrämjande program som icebreakers eller undersökningar. Ett företag kan få värdefull insikt i hur företagskulturen fungerar genom att analysera medarbetarnas svar. Detta uppnås inte bara genom att analysera texten utan också genom att analysera annoteringen av texten. I princip “läser” modellen mellan raderna för att dra slutsatser om känslor, känsloton och allmän attityd. BERT kan hjälpa i situationer som denna genom att förträna modeller med en bas av indikatorer som den kan utgå ifrån för att avslöja nyanserna i språket och ge mer exakta insikter.  

Förbättra frågor

Förmågan att modellera sammanhang har gjort BERT till en NLP-hjälte och har revolutionerat Google Sök själv. Nedan följer ett citat från Google Sök-produktteamet och deras testupplevelser medan de justerade BERT för att förstå avsikten bakom en fråga.

“Här är några exempel som demonstrerar BERT:s förmåga att förstå avsikten bakom din sökning. Här är en sökning efter “2019 brasiliansk resenär till USA behöver visum.” Ordet “till” och dess relation till andra ord i frågan är särskilt viktiga för att förstå betydelsen. Det handlar om en brasiliansk som reser till USA och inte tvärtom. Tidigare förstod våra algoritmer inte vikten av denna koppling, och vi returnerade resultat om amerikanska medborgare som reser till Brasilien. Med BERT kan Sök förstå denna nyans och veta att det mycket vanliga ordet “till” faktiskt betyder mycket här, och vi kan ge ett mycket mer relevant resultat för denna fråga.”
– Att förstå sökningar bättre än någonsin tidigare, av Pandu Nayak, Google Fellow och Vice President för Sök.

BERT sök exempel, före och efter. Källa blog

I vår senaste artikel om NLP och OCR, har vi illustrerat några NLP-användningar inom fastighetssektorn. Vi har också nämnt hur “NLP-verktyg är idealiska informationsextraheringsverktyg”. Låt oss titta på energisektorn och se hur störande NLP-tekniker som BERT möjliggör nya användningsfall. 

NLP-modeller kan extrahera information från stora mängder ostrukturerad data

Ett sätt som NLP-modeller kan användas är för att extrahera kritisk information från ostrukturerad textdata. E-post, tidskrifter, anteckningar, loggar och rapporter är alla exempel på textdatakällor som är en del av företagens dagliga verksamhet. Några av dessa dokument kan visa sig vara avgörande för företagets ansträngningar att öka driftseffektiviteten och minska kostnaderna. 

När man syftar till att implementera prediktivt underhåll av vindkraftverk, felrapporter kan innehålla kritisk information om beteendet hos olika komponenter. Men eftersom olika vindkraftverksleverantörer har olika datainsamlingsnormer (dvs. underhållsrapporter kommer i olika format och till och med språk), kan manuell identifiering av relevanta dataobjekt snabbt bli dyrt för anläggningsägaren. NLP-verktyg kan extrahera relevanta begrepp, attribut och händelser från ostrukturerat innehåll. Textanalys kan sedan användas för att hitta korrelationer och mönster i olika datakällor. Detta ger anläggningsägarna möjlighet att implementera prediktivt underhåll baserat på kvantitativa mått som identifierats i deras felrapporter.

NLP-modeller kan tillhandahålla naturliga språksökgränssnitt

På samma sätt behöver geovetare som arbetar för olje- och gasföretag vanligtvis granska många dokument relaterade till tidigare borrningsoperationer, brunnloggar och seismiska data. Eftersom sådana dokument också kommer i olika format och vanligtvis sprids över flera platser (både fysiska och digitala), slösar de bort mycket tid på att leta efter informationen på fel platser. En livskraftig lösning i ett sådant fall vore ett NLP-aktiverat sökgränssnitt, som skulle tillåta användare att söka efter data på naturligt språk. Sedan kunde en NLP-modell korrelera data över hundratals dokument och returnera en uppsättning svar på frågan. Arbetarna kan sedan validera utdata baserat på sin egen expertkunskap och feedback skulle ytterligare förbättra modellen. 

Men det finns också tekniska överväganden för att distribuera sådana modeller. En aspekt vore att branschspecifik jargong kan förvirra traditionella lärandemodeller som inte har den lämpliga semantiska förståelsen. För det andra kan modellens prestanda påverkas av storleken på träningsdatasetet. Det är då förtränade modeller som BERT kan visa sig vara fördelaktiga. Kontextuella representationer kan modellera den lämpliga ord betydelsen och ta bort all förvirring orsakad av branschspecifika termer. Genom att använda förtränade modeller är det möjligt att träna nätverket på mindre dataset. Detta sparar tid, energi och resurser som annars skulle ha varit nödvändiga för att träna från scratch.

Vad gäller ditt eget företag? 

Kan du tänka på några NLP-uppgifter som kan hjälpa dig att minska kostnaderna och öka driftseffektiviteten?Blue Orange Digitals data science-team är glada att justera BERT för din skull också!