Wéi d'Sproochveraarbechtung duerch Google's Open Source BERT Model verbessert gëtt

Bidirektional Encoder Representatioune vun Transformers, soss bekannt als BERT; ass en Trainingsmodell deen d'Effizienz an den Effekt vun NLP Modeller drastesch verbessert huet. Elo datt Google BERT Modeller Open Source gemaach huet, erlaabt et d'Verbesserung vun NLP Modeller an all Industrien. Am Artikel kucke mir wéi BERT NLP zu enger vun de mächtegsten an nëtzlechsten AI Léisungen an der heiteger Welt mécht. 

Uwendung vun BERT Modeller fir Sich

Dem Google seng Sichmotor ass weltbekannt fir seng Fäegkeet fir relevant Inhalter ze presentéieren a si hunn dësen natierleche Sproochveraarbechtungsprogramm Open Source fir d'Welt gemaach.

D'Fäegkeet vun engem System fir natierlech Sprooch ze liesen an ze interpretéieren gëtt ëmmer méi vital wéi d'Welt exponentiell nei Daten produzéiert. D'Google Bibliothéik vu Wuertbedeitungen, Sätze an allgemeng Fäegkeet fir relevant Inhalter ze presentéieren ass OPEN SOURCE. Nieft der natierlecher Sproochveraarbechtung huet hire BERT Modell d'Fäegkeet fir Informatioun aus grousse Quantitéiten vun onstrukturéierten Donnéeën ze extrahieren a ka benotzt ginn fir Sichinterfaces fir all Bibliothéik ze kreéieren. An dësem Artikel wäerte mir gesinn wéi dës Technologie am Energiesektor applizéiert ka ginn. 

BERT (Bidirectional Encoder Representations from Transformers) ass eng Pre-Training Approche proposéiert vun der Google AI Sprooch Grupp, entwéckelt fir e gemeinsame Problem vu fréie NLP Modeller ze iwwerwannen: de Mangel u genuch Trainingsdaten.

Loosst eis ausbauen, ouni ze vill Detailer ze goen:

Training Modeller

Niddereg-Niveau (zB genannt Entitéit Unerkennung, Thema Segmentatioun) an héich-Niveau (zB Sentiment Analyse, Ried Unerkennung) NLP Aufgaben verlaangen Aufgab-spezifesch annotéiert Datesätz. Wärend se schwéier z'erreechen an deier sinn ze montéieren, spillen markéiert Datesätz eng entscheedend Roll bei der Leeschtung vu béide flaach an déif neurale Netzwierkmodeller. Héichqualitativ Inferenzresultater konnten nëmme erreecht ginn wann Millioune oder souguer Milliarden annotéiert Trainingsbeispiller verfügbar waren. An dat war e Problem dee vill NLP Aufgaben onzougänglech gemaach huet. Dat ass bis BERT entwéckelt gouf.

BERT ass en allgemeng Zweck Sproochrepresentatiounsmodell, trainéiert op grousse Korpora vun net annotéierten Text. Wann de Modell grouss Quantitéiten vun Text Inhalt ausgesat ass, et léiert Kontext a Relatiounen tëscht Wierder an engem Saz ze verstoen. Am Géigesaz zu fréiere Léiermodeller déi nëmmen Bedeitung op Wuertniveau representéiert hunn (Bank géif bedeiten déi selwecht am "Bankkonto" an "grassy Bank"), BERT këmmert sech eigentlech ëm Kontext. Dat ass, wat virum an nom Wuert an engem Saz kënnt. Kontext huet sech als eng grouss fehlend Kapazitéit vun NLP Modeller erausgestallt, mat engem direkten Impakt op Modellleistung. En kontextbewosst Modell ze designen wéi BERT ass vu ville bekannt als den Ufank vun enger neier Ära am NLP.

Training BERT op grouss Quantitéiten vun Text Inhalt ass eng Technik bekannt als virausbildung. Dëst bedeit datt d'Gewiichter vum Modell fir allgemeng Textverständungsaufgaben ugepasst sinn an datt méi feinkorneg Modeller drop gebaut kënne ginn. D'Auteuren hunn d'Iwwerleeënheet vun esou enger Technik bewisen wann se BERT-baséiert Modeller op 11 NLP Aufgaben agestallt hunn an déi modernst Resultater erreecht hunn.

Viraus trainéiert Modeller

Déi bescht Saach ass: Pre-trainéiert BERT Modeller sinn Open Source an ëffentlech verfügbar. Dëst bedeit datt jidderee kann NLP Aufgaben unhuelen an hir Modeller op BERT bauen. Näischt kann dat schloen, richteg? Oh, waart: dëst bedeit och datt NLP Modeller elo op méi klengen Datesätz trainéiert (feinjustéiert) kënne ginn, ouni datt Dir vun Ufank un trainéiert. Den Ufank vun enger neier Ära, wierklech.

Dës pre-trainéiert Modeller hëllefen Firmen d'Käschte an d'Zäit ze reduzéieren fir NLP Modeller ze benotzen fir intern oder extern ze benotzen. D'Effizienz vu gutt ausgebilten NLP Modeller gëtt betount vum Michael Alexis, CEO vun der virtueller Teamkulturbaufirma, teambuilding.com. 

"De gréisste Virdeel vun NLP ass déi skalierbar a konsequent Inferenz an d'Veraarbechtung vun Informatioun." - Michael Alexis CEO vun teambuilding.com

De Michael seet wéi NLP ka applizéiert ginn fir Kulturfërderungsprogrammer wéi Äisbriecher oder Ëmfroen. Eng Firma ka wäertvoll Abléck kréien wéi d'Firma Kultur et mécht andeems d'Äntwerte vun de Mataarbechter analyséiert ginn. Dëst gëtt erreecht net nëmmen duerch d'Analyse vum Text, mee d'Analyse vun der Annotatioun vum Text. Wesentlech liest de Modell och "tëscht de Linnen" fir Inferenzen iwwer Emotiounen, Gefill an allgemeng Ausbléck ze zéien. BERT kann an Situatiounen wéi dësen hëllefen andeems se Modeller mat enger Basis vun Indikatoren virausbilden, déi et ka goën fir d'Nuancen vun der Sprooch z'entdecken a méi genee Abléck ze ginn.  

Ufroen verbesseren

D'Kapazitéit fir de Kontext ze modelléieren huet de BERT zu engem NLP-Held ëmgewandelt an huet d'Google Sich selwer revolutionéiert. Drënner ass en Zitat vum Google Search Produktteam an hir Testerfahrungen, wärend se BERT ofstëmmen fir d'Intent hannert enger Ufro ze verstoen.

"Hei sinn e puer vun de Beispiller, déi dem BERT seng Fäegkeet weisen, d'Intent hannert Ärer Sich ze verstoen. Hei ass eng Sich no "2019 Brasilien Reesender an d'USA brauch e Visa." D'Wuert "zu" a seng Relatioun zu den anere Wierder an der Ufro si besonnesch wichteg fir d'Bedeitung ze verstoen. Et geet ëm e Brasilianer deen an d'USA reest an net ëmgedréint. Virdrun hunn eis Algorithmen d'Wichtegkeet vun dëser Verbindung net verstanen, a mir hunn Resultater zréckginn iwwer US Bierger, déi a Brasilien reest. Mat BERT ass d'Sich fäeg dës Nuance ze begräifen an ze wëssen datt dat ganz allgemeng Wuert "zu" hei wierklech wichteg ass, a mir kënnen e vill méi relevant Resultat fir dës Ufro ubidden.
- Sichen besser verstoen wéi jee virdrun, vum Pandu Nayak, Google Fellow a Vizepräsident vun der Sich.

BERT Sich Beispill, virun an no. Quell Blog

An eisem leschte Stéck op NLP an OCR, Mir hunn e puer NLP Gebrauch am Immobiliesecteur illustréiert. Mir hunn och erwähnt wéi "NLP Tools ideal Informatiounsextraktiounsinstrumenter sinn". Loosst eis den Energiesektor kucken a kucken wéi disruptive NLP Technologien wéi BERT nei Uwendungsfäll erlaben. 

NLP Modeller kënnen Informatioun aus grousse Quantitéite vun onstrukturéierten Donnéeën extrahéieren

Eng Manéier wéi NLP Modeller kënne benotzt ginn ass fir d'Extraktioun vu kritescher Informatioun aus onstrukturéierten Textdaten. E-Mailen, Zäitschrëften, Notizen, Logbicher a Berichter sinn all Beispiller vun Textdatenquellen, déi Deel vun den alldeeglechen Operatiounen vun de Geschäfter sinn. E puer vun dësen Dokumenter kënnen entscheedend sinn an organisatoreschen Efforten fir operationell Effizienz ze erhéijen a Käschten ze reduzéieren. 

Wann Dir zielt fir ëmzesetzen windturbine predictive maintenance, Echec Rapporten enthalen kann kritesch Informatioun iwwer d'Behuele vu verschiddene Komponenten. Awer well verschidde Windturbinen Hiersteller verschidden Datesammlungsnormen hunn (dh Ënnerhaltsberichter kommen a verschiddene Formater a souguer Sproochen), d'manuell Identifikatioun vun relevanten Dateartikele kéint séier deier ginn fir de Besëtzer vun der Anlag. NLP Tools kënnen relevant Konzepter, Attributer an Eventer aus onstrukturéierten Inhalt extrahéieren. Textanalytik kann dann agestallt ginn fir Korrelatiounen a Mustere a verschiddenen Datequellen ze fannen. Dëst gëtt Planzbesëtzer d'Chance fir prévisiv Ënnerhalt ëmzesetzen op Basis vu quantitative Moossnamen, déi an hire Feelerberichter identifizéiert goufen.

NLP Modeller kënnen natierlech Sprooche Sich-Interfaces ubidden

Ähnlech musse Geowëssenschaftler, déi fir Ueleg- a Gasfirmen schaffen, normalerweis vill Dokumenter iwwerpréiwen am Zesummenhang mat vergaangene Bueraarbechten, Well Logbicher a seismesch Donnéeën. Well esou Dokumenter och a verschiddene Formater kommen a meeschtens iwwer eng Rei vu Plazen (souwuel kierperlech wéi digital) verbreet sinn, verschwende se vill Zäit op der Sich no Informatioun op de falsche Plazen. Eng liewensfäeg Léisung an esou engem Fall wier eng NLP-ugedriwwen Sich Interface, wat d'Benotzer erlaabt Daten an natierlecher Sprooch nozekucken. Dann kéint en NLP Modell Daten iwwer Honnerte vun Dokumenter korreléieren an eng Rei vun Äntwerten op d'Ufro zréckginn. D'Aarbechter kënnen dann d'Ausgab validéieren op Basis vun hirem eegene Expertkenntnisser an de Feedback géif de Modell weider verbesseren. 

Wéi och ëmmer, et ginn och technesch Iwwerleeungen fir sou Modeller z'installéieren. Een Aspekt wier datt den branchespezifesche Jargon traditionell Léiermodeller kann duerchernee bréngen, déi net dat entspriechend semantescht Verständnis hunn. Zweetens kann d'Performance vun de Modeller vun der Gréisst vum Trainingsdaten beaflosst ginn. Dëst ass wann pre-trainéiert Modeller wéi BERT gutt kënne beweisen. Kontextuell Representatioune kënnen déi entspriechend Wuertbedeitung modelléieren an all Duercherneen ewechhuelen, déi duerch industriell spezifesch Begrëffer verursaacht gëtt. Andeems Dir pre-trainéiert Modeller benotzt, ass et méiglech d'Netzwierk op méi kleng Datesätz ze trainéieren. Dëst spuert Zäit, Energie a Ressourcen déi soss néideg wieren fir Training vun Null un.

Wat iwwer Ären eegene Geschäft? 

Kënnt Dir un all NLP Aufgaben denken, déi Iech hëllefe kënnen d'Käschte reduzéieren an d'operativ Effizienz erhéijen?

d' Blo Orange Digital daten Wëssenschaft Team ass frou BERT fir Äre Virdeel ze tweaken och!