Baidu verslaat Google en Microsoft, ontwikkelt nieuwe techniek voor taalbegrip

Baidu, een van de grootste technologiebedrijven in China, heeft onlangs een nieuwe methode ontwikkeld om AI’s te leren taal te begrijpen. Zoals gerapporteerd door TechnologyReview, heeft het bedrijf onlangs Microsoft (MSFT ) en Google (GOOGL ) verslagen bij de General Language and Understanding Evaluation (GLUE)-wedstrijd, met state-of-the-art resultaten.

GLUE bestaat uit negen verschillende tests, waarbij elke test een andere taak meet die belangrijk is voor het begrijpen van taal, zoals het onderscheiden van namen van entiteiten in een zin en het onderscheiden van de context waarin het voornaamwoord “het” wordt gebruikt wanneer er meerdere potentiële kandidaten zijn. De gemiddelde mens scoort ongeveer 87 punten op GLUE, uit een totaal van 100. Baidu’s nieuwe model, ERNIE, heeft de 90-punten grens doorbroken.

Onderzoekers proberen altijd de prestaties van hun modellen bij GLUE te verbeteren, en daarom zal de huidige standaard die door Baidu is ingesteld, waarschijnlijk snel worden overtroffen. Wat Baidu’s prestaties echter opmerkelijk maakt, is dat de leerbenadering die ze gebruiken, lijkt te kunnen generaliseren naar andere talen. Ondanks dat het model is ontwikkeld om Chinees te interpreteren, maken dezelfde principes het beter in het interpreteren van de Engelse taal. ERNIE staat voor “Enhanced Representation through knowledge Integration”, en het volgt op de ontwikkeling van de BERT (“Bidirectional Encoder Representations from Transformers”)-taalmodel.

BERT heeft een nieuwe standaard gezet voor taalbegrip vanwege het feit dat het een bidirectioneel model is. Eerder taalmodellen konden alleen data interpreteren die in één “richting” stroomden, waarbij ze naar een woord keken dat voor of na het doelwoord kwam als context. BERT kon een bidirectionele benadering implementeren die zowel voorafgaande als latere woorden in een zin kon gebruiken om de betekenis van een doelwoord te helpen bepalen. BERT gebruikt een techniek genaamd masking om bidirectionele analyse mogelijk te maken, waarbij een woord in een zin wordt gekozen en verborgen, waardoor de mogelijke context voor dat woord in voorafgaande en volgende contextaanwijzingen wordt gesplitst.

In de Engelse taal is het woord de dominante semantische eenheid, mensen kijken naar hele woorden in plaats van naar afzonderlijke tekens om betekenis te bepalen. Het is mogelijk om een woord uit zijn context te verwijderen en het woord nog steeds zijn betekenis te laten behouden, en de betekenis van afzonderlijke tekens is bijna altijd hetzelfde. In tegenstelling tot de Chinese taal, die veel meer afhankelijk is van hoe tekens worden gematcht met andere tekens om betekenis te bepalen. Tekens kunnen verschillende betekenissen hebben, afhankelijk van de tekens eromheen.

Het onderzoeksteam van Baidu heeft in wezen het model van BERT uitgebreid door tekenreeksen te verbergen in plaats van hele woorden. Het AI-systeem werd ook getraind om onderscheid te maken tussen willekeurige tekenreeksen en betekenisvolle tekenreeksen, zodat de juiste tekenreeksen konden worden gemaskeerd. Dit maakt ERNIE vaardig in het ophalen van informatie uit een tekstdocument en het uitvoeren van machinetaalvertaling. Het onderzoeksteam ontdekte ook dat hun trainingsmethode resulteerde in een model dat Engelse frases beter kon onderscheiden dan veel andere modellen. Dit komt omdat het Engels soms, hoewel zelden, woordcombinaties gebruikt die verschillende betekenissen hebben wanneer ze samen worden gebruikt in plaats van afzonderlijk. Eigennamen en idiomatische uitdrukkingen of informele uitdrukkingen, zoals “chip off the old block”, zijn voorbeelden van dergelijke taalverschijnselen.

ERNIE maakt gebruik van meerdere andere trainingsmethoden om de prestaties te optimaliseren, waaronder het analyseren van zinsvolgorde en -afstand bij het interpreteren van alinea’s. Er wordt ook een continue trainingsmethode gebruikt, waardoor ERNIE kan trainen op nieuwe gegevens en nieuwe patronen kan leren zonder eerder verworven kennis te vergeten.

Baidu gebruikt momenteel ERNIE om de kwaliteit van zoekresultaten te verbeteren. De laatste architectuur van ERNIE zal worden gedetailleerd in een aanstaand artikel dat zal worden gepresenteerd op de 2020 Association for the Advancement of Artificial Intelligence-conferentie.