Ako sa zlepšuje spracovanie jazyka prostredníctvom modelu BERT spoločnosti Google s otvoreným zdrojom

Reprezentácie obojsmerného kódovača od spoločnosti Transformers, inak známe ako BERT; je tréningový model, ktorý drasticky zlepšil efektivitu a efekt NLP modelov. Teraz, keď spoločnosť Google vytvorila modely BERT ako open source, umožňuje zlepšovanie modelov NLP vo všetkých odvetviach. V tomto článku sa pozrieme na to, ako BERT robí z NLP jedno z najvýkonnejších a najužitočnejších riešení AI v dnešnom svete. 

Použitie modelov BERT na vyhľadávanie

Vyhľadávací nástroj Google je svetovo známy svojou schopnosťou prezentovať relevantný obsah a tento program na spracovanie prirodzeného jazyka urobil svetu otvoreným zdrojom.

Schopnosť systému čítať a interpretovať prirodzený jazyk sa stáva čoraz dôležitejšou, pretože svet exponenciálne produkuje nové údaje. Knižnica významov slov, fráz a všeobecnej schopnosti prezentovať relevantný obsah spoločnosti Google je OPEN SOURCE. Okrem spracovania prirodzeného jazyka má ich model BERT schopnosť extrahovať informácie z veľkého množstva neštruktúrovaných údajov a možno ho použiť na vytváranie vyhľadávacích rozhraní pre akúkoľvek knižnicu. V tomto článku uvidíme, ako sa dá táto technológia uplatniť v energetickom sektore. 

BERT (Bidirectional Encoder Representations from Transformers) je predtréningový prístup navrhnutý spoločnosťou Jazyk Google AI skupina vyvinutá na prekonanie spoločného problému skorých modelov NLP: nedostatok dostatočných údajov o tréningu.

Poďme to rozviesť bez toho, aby sme zachádzali do prílišných podrobností:

Tréningové modely

Úlohy NLP na nízkej úrovni (napr. rozpoznávanie pomenovaných entít, segmentácia tém) a na vysokej úrovni (napr. analýza sentimentu, rozpoznávanie reči) vyžadujú anotované súbory údajov špecifické pre danú úlohu. Hoci je ťažké ich zohnať a zostaviť ich je nákladné, označené súbory údajov zohrávajú kľúčovú úlohu pri výkone modelov plytkých aj hlbokých neurónových sietí. Vysokokvalitné výsledky odvodenia bolo možné dosiahnuť len vtedy, keď boli k dispozícii milióny alebo dokonca miliardy anotovaných príkladov školení. A to bol problém, ktorý znemožňoval mnohé úlohy NLP. To je dovtedy, kým nebol vyvinutý BERT.

BERT je univerzálny model jazykovej reprezentácie, trénovaný na veľkých korpusoch neanotovaného textu. Keď je model vystavený veľkému množstvu textového obsahu učí pochopiť súvislosti a vzťahy medzi slovami vo vete. Na rozdiel od predchádzajúcich modelov učenia, ktoré predstavovali význam iba na úrovni slov (banka by znamenalo to isté v „bankovom účte“ a „trávnatej banke“), BERT sa skutočne stará o kontext. Teda to, čo je pred a za slovom vo vete. Kontext sa ukázal ako hlavná chýbajúca schopnosť modelov NLP s priamym vplyvom na výkonnosť modelu. Navrhovanie kontextovo orientovaného modelu, akým je BERT, mnohí poznajú ako začiatok novej éry v NLP.

Školenie BERT na veľké množstvo textového obsahu je technika známa ako predtréning. To znamená, že váhy modelu sú prispôsobené všeobecným úlohám s porozumením textu a že je možné na ňom postaviť jemnejšie modely. Autori dokázali nadradenosť takejto techniky, keď na 11 úlohách NLP použili modely založené na BERT a dosiahli najmodernejšie výsledky.

Vopred vyškolené modely

Najlepšie na tom je: vopred vyškolené modely BERT sú open source a verejne dostupné. To znamená, že každý môže riešiť úlohy NLP a stavať svoje modely na BERT. Nič to neprekoná, však? Och, počkajte: to tiež znamená, že modely NLP je teraz možné trénovať (doladiť) na menších súboroch údajov bez potreby trénovania od začiatku. Naozaj začiatok novej éry.

Tieto vopred vyškolené modely pomáhajú spoločnostiam znížiť náklady a čas na nasadenie modelov NLP, ktoré sa majú používať interne alebo externe. Efektívnosť dobre trénovaných modelov NLP zdôrazňuje Michael Alexis, generálny riaditeľ spoločnosti na budovanie virtuálnej tímovej kultúry, teambuilding.com. 

"Najväčšou výhodou NLP je škálovateľné a konzistentné vyvodzovanie a spracovanie informácií." – Michael Alexis, generálny riaditeľ teambuilding.com

Michael uvádza, ako možno NLP aplikovať na programy na podporu kultúry, ako sú ľadoborce alebo prieskumy. Spoločnosť môže získať cenný prehľad o tom, ako sa darí podnikovej kultúre, analyzovaním odpovedí zamestnancov. To sa dosahuje nielen analýzou textu, ale aj analýzou anotácie textu. Model v podstate tiež „číta medzi riadkami“, aby vyvodil závery o emóciách, pocitoch a celkovom výhľade. BERT môže pomôcť v situáciách, ako je táto, predbežným školením modelov so základom ukazovateľov, ktoré môže použiť, aby odhalil nuansy jazyka a poskytol presnejšie informácie.  

Zlepšenie dopytov

Schopnosť modelovať kontext zmenila BERT na hrdinu NLP a spôsobila revolúciu v samotnom vyhľadávaní Google. Nižšie uvádzame citát produktového tímu Vyhľadávania Google a jeho skúsenosti s testovaním, keď ladili BERT, aby pochopili zámer dopytu.

„Tu je niekoľko príkladov, ktoré demonštrujú schopnosť BERT pochopiť zámer vášho vyhľadávania. Tu je vyhľadávanie „cestovateľ z Brazílie do USA v roku 2019 potrebuje víza“. Slovo „do“ a jeho vzťah k ostatným slovám v dotaze sú obzvlášť dôležité na pochopenie významu. Je o Brazílčanovi cestujúcom do USA a nie naopak. Predtým naše algoritmy nerozumeli dôležitosti tohto spojenia a vrátili sme výsledky o občanoch USA cestujúcich do Brazílie. S BERT dokáže Search pochopiť túto nuanciu a vedieť, že veľmi bežné slovo „do“ tu skutočne veľmi záleží, a pre tento dopyt môžeme poskytnúť oveľa relevantnejší výsledok.“
- Porozumenie vyhľadávaniam lepšie ako kedykoľvek predtým, od Pandu Nayaka, člena spoločnosti Google a viceprezidenta pre vyhľadávanie.

Príklad vyhľadávania BERT, pred a po. Zdroj blog

V našom poslednom diele na NLP a OCR, sme ilustrovali niektoré použitia NLP v sektore nehnuteľností. Spomenuli sme tiež, že „nástroje NLP sú ideálne nástroje na extrakciu informácií“. Pozrime sa na energetický sektor a uvidíme, ako prevratné technológie NLP ako BERT umožňujú nové prípady použitia aplikácií. 

Modely NLP dokážu extrahovať informácie z veľkého množstva neštruktúrovaných údajov

Jedným zo spôsobov, ako možno NLP modely použiť, je extrakcia kritických informácií z neštruktúrovaných textových údajov. E-maily, žurnály, poznámky, denníky a správy sú príkladmi zdrojov textových údajov, ktoré sú súčasťou každodenných operácií podnikov. Niektoré z týchto dokumentov sa môžu ukázať ako kľúčové v organizačnom úsilí o zvýšenie prevádzkovej efektívnosti a zníženie nákladov. 

Pri zámere realizovať prediktívna údržba veterných turbín, správy o poruchách môže obsahovať kritické informácie o správaní rôznych komponentov. Ale keďže rôzni výrobcovia veterných turbín majú rôzne normy zberu údajov (tj správy o údržbe prichádzajú v rôznych formátoch a dokonca aj v jazykoch), ručná identifikácia príslušných údajových položiek by mohla byť pre vlastníka elektrárne rýchlo drahá. Nástroje NLP dokážu extrahovať relevantné koncepty, atribúty a udalosti z neštruktúrovaného obsahu. Textová analýza sa potom môže použiť na nájdenie korelácií a vzorov v rôznych zdrojoch údajov. Majiteľom zariadení to dáva možnosť implementovať prediktívnu údržbu založenú na kvantitatívnych opatreniach identifikovaných v ich správach o poruchách.

Modely NLP môžu poskytovať rozhrania na vyhľadávanie v prirodzenom jazyku

Podobne geovedci pracujúci pre ropné a plynárenské spoločnosti zvyčajne potrebujú preskúmať mnohé dokumenty týkajúce sa minulých vrtných operácií, protokolov vrtov a seizmických údajov. Keďže takéto dokumenty majú aj rôzne formáty a sú zvyčajne rozmiestnené na viacerých miestach (fyzických aj digitálnych), strácajú veľa času hľadaním informácií na nesprávnych miestach. Životaschopným riešením v takomto prípade by bolo Vyhľadávacie rozhranie s podporou NLP, čo by používateľom umožnilo vyhľadávať údaje v prirodzenom jazyku. Potom by model NLP mohol korelovať údaje v stovkách dokumentov a vrátiť súbor odpovedí na otázku. Pracovníci potom môžu validovať výstup na základe vlastných odborných znalostí a spätná väzba by ďalej zlepšila model. 

Existujú však aj technické aspekty nasadzovania takýchto modelov. Jedným z aspektov by bolo, že žargón špecifický pre daný priemysel môže zmiasť tradičné modely učenia, ktoré nemajú primerané sémantické pochopenie. Po druhé, výkon modelov môže byť ovplyvnený veľkosťou množiny trénovacích údajov. Vtedy sa môžu osvedčiť vopred vyškolené modely, ako je BERT. Kontextové reprezentácie môžu modelovať vhodný význam slova a odstrániť akýkoľvek zmätok spôsobený výrazmi špecifickými pre dané odvetvie. Použitím vopred natrénovaných modelov je možné trénovať sieť na menších súboroch údajov. To šetrí čas, energiu a zdroje, ktoré by inak boli potrebné na tréning od začiatku.

A čo vaše vlastné podnikanie? 

Viete si spomenúť na nejaké úlohy NLP, ktoré by vám mohli pomôcť znížiť náklady a zvýšiť prevádzkovú efektivitu?

Modrá oranžová digitálna tím pre vedu údajov rád vyladí BERT aj vo váš prospech!