Baidu Îi Învinge Pe Google Și Microsoft, Creează O Tehnică Nouă Pentru Înțelegerea Limbajului

Baidu, una dintre cele mai mari companii de tehnologie din China, a dezvoltat recent o nouă metodă de a preda inteligenței artificiale să înțeleagă limbajul. Așa cum a fost raportat de TechnologyReview, compania a învins recent Microsoft (MSFT ) și Google (GOOGL ) la concursul General Language and Understanding Evaluation (GLUE), obținând rezultate de ultimă generație.

GLUE este alcătuit din nouă teste diferite, fiecare test măsurând o sarcină diferită importantă pentru înțelegerea limbajului, cum ar fi discernerea numelor de entități într-o propoziție și discernerea contextului în care se folosește pronumele “el” atunci când există mai mulți candidați potențiali. Omul mediu obișnuit obține aproximativ 87 de puncte la GLUE, dintr-un total de 100. Noul model al Baidu, ERNIE, a depășit pragul de 90 de puncte.

Cercetătorii încearcă întotdeauna să îmbunătățească performanța modelelor lor la GLUE, și prin urmare, standardul actual stabilit de Baidu va fi probabil depășit curând. Cu toate acestea, ceea ce face realizările Baidu notabile este faptul că abordarea de învățare pe care o utilizează pare a se putea generaliza și la alte limbi. Chiar dacă modelul a fost dezvoltat pentru a interpreta limba chineză, aceleași principii îl fac mai bun și la interpretarea limbii engleze. ERNIE înseamnă “Enhanced Representation through knowledge Integration”, și urmează dezvoltării modelului de limbaj BERT (“Bidirectional Encoder Representations from Transformers”).

BERT a stabilit un nou standard pentru înțelegerea limbajului datorită faptului că a fost un model bidirecțional. Modelele de limbaj anterioare erau capabile să interpreteze doar date care curgeau într-o singură “direcție”, privind un cuvânt care a venit fie înainte, fie după cuvântul țintă ca context. BERT a fost capabil să implementeze o abordare bidirecțională care putea utiliza atât cuvintele anterioare, cât și pe cele ulterioare dintr-o propoziție pentru a ajuta la determinarea sensului unui cuvânt țintă. BERT utilizează o tehnică numită mascare pentru a face posibilă analiza bidirecțională, alegând un cuvânt dintr-o propoziție și ascunzându-l, ceea ce divide contextul posibil pentru acel cuvânt în indicii contextuali precedenți și succesor.

În limba engleză, cuvântul este unitatea semantică dominantă, oamenii privind cuvintele întregi mai degrabă decât caracterele individuale pentru a discerne sensul. Este posibil să se înlăture un cuvânt din contextul său și să păstreze încă sensul, și sensul caracterelor individuale este aproape întotdeauna același. În contrast, limba chineză se bazează mult mai mult pe modul în care caracterele sunt asociate cu alte caractere atunci când se discerne sensul. Caracterele pot avea sensuri diferite în funcție de caracterele din jurul lor.

Echipa de cercetare a Baidu a luat în esență modelul BERT și l-a extins, ascunzând șiruri de caractere în loc de cuvinte întregi. Sistemul de inteligență artificială a fost, de asemenea, antrenat pentru a diferenția între șiruri aleatorii și șiruri semnificative, astfel încât să poată fi mascate șirurile corecte de caractere. Acest lucru face ca ERNIE să fie priceput la recuperarea informațiilor dintr-un document text și la efectuarea traducerii automate. Echipa de cercetare a descoperit, de asemenea, că metoda lor de antrenare a dus la un model care poate distinge frazele englezești mai bine decât multe alte modele. Acest lucru se datorează faptului că limba engleză folosește, uneori, combinații de cuvinte care exprimă sensuri diferite atunci când sunt unite, comparativ cu atunci când sunt separate. Numele proprii și idiomele sau expresiile colocviale, cum ar fi “chip off the old block”, sunt exemple de astfel de fenomene lingvistice.

ERNIE utilizează multiple alte tehnici de antrenare pentru a optimiza performanța, inclusiv analiza ordinii și distanței propozițiilor atunci când se interpretează paragrafe. O metodă de antrenament continuă este utilizată și ea, ceea ce permite ERNIE să se antreneze pe noi date și să învețe noi modele fără a uita cunoștințele dobândite anterior.

Baidu folosește în prezent ERNIE pentru a îmbunătăți calitatea rezultatelor căutării. Arhitectura cea mai recentă a ERNIE va fi detaliată într-un articol care urmează a fi prezentat la conferința Asociației pentru Avansarea Inteligenței Artificiale din 2020.