Cum este îmbunătățită procesarea limbajului prin modelul BERT cu sursă deschisă de la Google

Reprezentări codificatoare bidirecționale de la transformatoare, altfel cunoscut sub numele de BERT; este un model de antrenament care a îmbunătățit drastic eficiența și efectul modelelor NLP. Acum, că Google a făcut modelele BERT open source, permite îmbunătățirea modelelor NLP în toate industriile. În articol, aruncăm o privire asupra modului în care BERT transformă NLP-ul într-una dintre cele mai puternice și utile soluții AI din lumea de astăzi. 

Aplicarea modelelor BERT la Căutare

Motorul de căutare Google este renumit în întreaga lume pentru capacitatea sa de a prezenta conținut relevant și au făcut ca acest program de procesare a limbajului natural să fie deschis pentru întreaga lume.

Capacitatea unui sistem de a citi și interpreta limbajul natural devine din ce în ce mai vitală pe măsură ce lumea produce exponențial noi date. Biblioteca Google de semnificații a cuvintelor, expresii și capacitatea generală de a prezenta conținut relevant este OPEN SOURCE. Dincolo de procesarea limbajului natural, modelul lor BERT are capacitatea de a extrage informații din cantități mari de date nestructurate și poate fi aplicat pentru a crea interfețe de căutare pentru orice bibliotecă. În acest articol, vom vedea cum poate fi aplicată această tehnologie în sectorul energetic. 

BERT (Bidirectional Encoder Representations from Transformers) este o abordare pre-formare propusă de Google AI Language grup, dezvoltat pentru a depăși o problemă comună a modelelor timpurii de NLP: lipsa datelor suficiente de instruire.

Să detaliem, fără a intra în prea multe detalii:

Modele de antrenament

Sarcinile NLP de nivel scăzut (de exemplu, recunoașterea entităților numite, segmentarea subiectului) și la nivel înalt (de exemplu, analiza sentimentelor, recunoașterea vorbirii) necesită seturi de date adnotate specifice sarcinii. Deși sunt greu de găsit și costisitor de asamblat, seturile de date etichetate joacă un rol crucial în performanța modelelor de rețele neuronale superficiale și profunde. Rezultate de inferență de înaltă calitate au putut fi obținute numai atunci când milioane sau chiar miliarde de exemple de antrenament adnotate erau disponibile. Și asta a fost o problemă care a făcut multe sarcini NLP inabordabile. Asta până când BERT a fost dezvoltat.

BERT este un model de reprezentare a limbajului de uz general, antrenat pe corpuri mari de text neadnotat. Atunci când modelul este expus la cantități mari de conținut text, acesta învață pentru a înțelege contextul și relațiile dintre cuvintele dintr-o propoziție. Spre deosebire de modelele anterioare de învățare care reprezentau doar sensul la nivel de cuvânt (bancă ar însemna același lucru în „cont bancar” și „bancă ierboasă”), lui BERT îi pasă de fapt de context. Adică ceea ce vine înainte și după cuvânt într-o propoziție. Contextul sa dovedit a fi o capacitate majoră lipsă a modelelor NLP, cu un impact direct asupra performanței modelului. Proiectarea unui model conștient de context, cum ar fi BERT este cunoscută de mulți drept începutul unei noi ere în NLP.

Antrenarea BERT pe cantități mari de conținut text este o tehnică cunoscută ca pre-antrenament. Aceasta înseamnă că greutățile modelului sunt ajustate pentru sarcini generale de înțelegere a textului și că pe acesta pot fi construite modele mai fine. Autorii au dovedit superioritatea unei astfel de tehnici atunci când au folosit modele bazate pe BERT pe 11 sarcini NLP și au obținut rezultate de ultimă generație.

Modele pregatite

Cel mai bun lucru este: modelele BERT pre-instruite sunt open source și disponibile public. Aceasta înseamnă că oricine poate aborda sarcinile NLP și își poate construi modelele pe deasupra BERT. Nimic nu poate învinge asta, nu? Oh, stai: asta înseamnă, de asemenea, că modelele NLP pot fi acum antrenate (ajustate fin) pe seturi de date mai mici, fără a fi nevoie de antrenament de la zero. Începutul unei noi ere, într-adevăr.

Aceste modele pre-instruite ajută companiile să reducă costurile și timpul de implementare pentru ca modelele NLP să fie utilizate intern sau extern. Eficacitatea modelelor NLP bine pregătite este subliniată de Michael Alexis, CEO al companiei virtuale de construire a culturii echipei, teambuilding.com. 

„Cel mai mare beneficiu al NLP este inferența și procesarea informațiilor scalabile și consecvente.” – Michael Alexis CEO al teambuilding.com

Michael afirmă cum NLP poate fi aplicat programelor de promovare a culturii, cum ar fi spărgările de gheață sau sondajele. O companie poate obține o perspectivă valoroasă asupra modului în care se descurcă cultura companiei prin analizarea răspunsurilor angajaților. Acest lucru se realizează nu numai prin analizarea textului, ci și prin analiza adnotării textului. În esență, modelul „citește printre rânduri” pentru a trage concluzii cu privire la emoție, sentiment și perspectiva generală. BERT poate ajuta în situații precum aceasta prin preformarea modelelor pe o bază de indicatori pe care îi poate declanșa pentru a descoperi nuanțele limbajului și pentru a oferi perspective mai precise.  

Îmbunătățirea interogărilor

Capacitatea de a modela contextul a transformat BERT într-un erou NLP și a revoluționat însăși Căutarea Google. Mai jos este un citat de la echipa de produse Căutare Google și experiențele lor de testare, în timp ce ajustau BERT pentru a înțelege intenția din spatele unei interogări.

„Iată câteva dintre exemplele care demonstrează capacitatea BERT de a înțelege intenția din spatele căutării tale. Iată o căutare pentru „Călător în Brazilia din 2019 în SUA are nevoie de viză”. Cuvântul „către” și relația acestuia cu celelalte cuvinte din interogare sunt deosebit de importante pentru înțelegerea sensului. Este vorba despre un brazilian care călătorește în SUA și nu invers. Anterior, algoritmii noștri nu înțelegeau importanța acestei conexiuni și am returnat rezultate despre cetățenii americani care călătoreau în Brazilia. Cu BERT, Căutarea este capabilă să înțeleagă această nuanță și să știe că cuvântul foarte comun „să” contează foarte mult aici și putem oferi un rezultat mult mai relevant pentru această interogare.”
- Înțelegerea căutărilor mai bine decât oricând, de Pandu Nayak, Google Fellow și Vicepreședinte al Căutării.

Exemplu de căutare BERT, înainte și după. Sursă blogul

În ultima noastră bucată despre NLP și OCR, am ilustrat câteva utilizări NLP în sectorul imobiliar. Am menționat, de asemenea, că „instrumentele NLP sunt instrumente ideale de extragere a informațiilor”. Să ne uităm la sectorul energetic și să vedem cum tehnologiile NLP disruptive precum BERT permit noi cazuri de utilizare a aplicațiilor. 

Modelele NLP pot extrage informații din cantități mari de date nestructurate

O modalitate prin care modelele NLP pot fi utilizate este extragerea de informații critice din date text nestructurate. E-mailurile, jurnalele, notele, jurnalele și rapoartele sunt toate exemple de surse de date text care fac parte din operațiunile zilnice ale companiilor. Unele dintre aceste documente se pot dovedi cruciale în eforturile organizaționale de creștere a eficienței operaționale și de reducere a costurilor. 

Când se urmărește implementarea întreținere predictivă a turbinelor eoliene, rapoarte de eșec poate conține informații critice despre comportamentul diferitelor componente. Dar, deoarece diferiți producători de turbine eoliene au norme diferite de colectare a datelor (adică rapoartele de întreținere vin în diferite formate și chiar limbi), identificarea manuală a elementelor de date relevante ar putea deveni rapid costisitoare pentru proprietarul centralei. Instrumentele NLP pot extrage concepte, atribute și evenimente relevante din conținut nestructurat. Analiza textului poate fi apoi folosită pentru a găsi corelații și modele în diferite surse de date. Acest lucru oferă proprietarilor de fabrici șansa de a implementa întreținerea predictivă pe baza măsurilor cantitative identificate în rapoartele lor de defecțiuni.

Modelele NLP pot oferi interfețe de căutare în limbaj natural

În mod similar, oamenii de știință care lucrează pentru companiile de petrol și gaze trebuie de obicei să examineze multe documente legate de operațiunile de foraj anterioare, jurnalele de sondă și datele seismice. Deoarece astfel de documente vin și în formate diferite și sunt de obicei răspândite într-un număr de locații (atât fizice, cât și digitale), pierd mult timp căutând informații în locuri greșite. O soluție viabilă într-un astfel de caz ar fi o Interfață de căutare bazată pe NLP, care ar permite utilizatorilor să caute date în limbaj natural. Apoi, un model NLP ar putea corela datele din sute de documente și poate returna un set de răspunsuri la interogare. Lucrătorii pot valida apoi rezultatul pe baza propriilor cunoștințe de experți, iar feedback-ul ar îmbunătăți și mai mult modelul. 

Cu toate acestea, există și considerații tehnice pentru implementarea unor astfel de modele. Un aspect ar fi că jargonul specific industriei poate confunda modelele tradiționale de învățare care nu au înțelegerea semantică adecvată. În al doilea rând, performanța modelelor poate fi afectată de dimensiunea setului de date de antrenament. Acesta este momentul în care modelele pre-antrenate, cum ar fi BERT, se pot dovedi benefice. Reprezentările contextuale pot modela sensul adecvat al cuvântului și pot elimina orice confuzie cauzată de termenii specifici industriei. Folosind modele pre-antrenate, este posibil să antrenați rețeaua pe seturi de date mai mici. Acest lucru economisește timp, energie și resurse care altfel ar fi fost necesare pentru antrenament de la zero.

Dar propria ta afacere? 

Vă puteți gândi la sarcini NLP care vă pot ajuta să reduceți costurile și să creșteți eficiența operațională?

Digital Orange Orange Echipa de știință a datelor este bucuroasă să modifice BERT și în beneficiul tău!