Baidu slår Google og Microsoft, udvikler ny teknik til sprogforståelse

Baidu, en af de største tech-virksomheder i Kina, har nylig udviklet en ny metode til at lære kunstig intelligens (AI) at forstå sprog. Ifølge TechnologyReview har virksomheden recent beatet Microsoft (MSFT ) og Google (GOOGL ) i General Language and Understanding Evaluation (GLUE)-konkurrencen og opnået state of the art-resultater.

GLUE består af ni forskellige tests, hvor hver test måler en anden opgave, der er vigtig for sprogforståelse, såsom at skelne mellem navne på enheder i en sætning og at skelne i hvilken kontekst pronomenet “det” bruges, når der er mange potentielle kandidater. Den gennemsnitlige menneske scorer normalt omkring 87 point på GLUE ud af en mulig 100. Baidus nye model, ERNIE, har gennembrudt 90-punktsgrænsen.

Forskere prøver altid at forbedre deres modellers præstation på GLUE, og derfor vil den nuværende standard, der er sat af Baidu, sandsynligvis blive overgået snart. Men det, der gør Baidus præstation bemærkelsesværdig, er, at den læringsmetode, de bruger, synes at kunne generaliseres til andre sprog. Selv om modellen blev udviklet til at fortolke kinesisk, gør de samme principper den bedre til at fortolke det engelske sprog. ERNIE står for “Enhanced Representation through knowledge Integration”, og det følger udviklingen af BERT (“Bidirectional Encoder Representations from Transformers”)-sprogmodellen.

BERT satte en ny standard for sprogforståelse, fordi det var et bidirectional model. Tidligere sprogmodeller kunne kun fortolke data, der flød i én “retning”, og kigge på et ord, der kom før eller efter målordet som kontekst. BERT kunne implementere en bidirectional tilgang, der kunne bruge både tidligere og senere ord i en sætning til at hjælpe med at finde ud af betydningen af et målord. BERT bruger en teknik kaldet masking til at gøre bidirectional analyse mulig, hvor et ord i en sætning vælges og gemmes, hvilket splitter den mulige kontekst for det ord i forudgående og efterfølgende konteksthenvisninger.

På engelsk er ordet den dominerende semantiske enhed, og mennesker kigger på hele ord i stedet for enkelttegn for at skelne betydning. Det er muligt at fjerne et ord fra dets kontekst og stadig have, at ordet beholder sin betydning, og betydningen af enkelttegn er næsten altid den samme. I modsætning hertil afhænger det kinesiske sprog mere af, hvordan tegn kobles sammen med andre tegn, når man skal skelne betydning. Tegn kan have forskellige betydninger, afhængigt af de tegn, der omgiver dem.

Baidu-forskningsholdet tog grundlæggende den model, BERT brugte, og udvidede den, hvor streng af tegn blev gemt i stedet for hele ord. AI-systemet blev også trænet til at skelne mellem tilfældige streng og meningsfulde streng, sådan at de rigtige streng af tegn kunne gemmes. Dette gør ERNIE dygtig til at hente information fra en tekst og udføre maskinoversættelse. Forskningsholdet fandt også ud af, at deres træningsmetode resulterede i en model, der kunne skelne mellem engelske fraser bedre end mange andre modeller kunne. Dette skyldes, at engelsk nogle gange (omend sjældent) bruger ordkombinationer, der udtrykker forskellige betydninger, når de kombineres sammen, i stedet for når de står alene. Navne og idiomatiske udtryk eller slangudtryk, såsom “chip off the old block”, er eksempler på sådanne sprogfænomener.

ERNIE bruger også flere andre træningsteknikker for at optimere præstationen, herunder analyse af sætningsrækkefølge og afstand, når man fortolker afsnit. En kontinuerlig træningsmetode bruges også, hvilket giver ERNIE mulighed for at træne på nye data og lære nye mønstre uden at glemme tidligere erhvervet viden.

Baidu bruger i øjeblikket ERNIE til at forbedre kvaliteten af søgeresultater. ERNIEs seneste arkitektur vil blive detaljeret i en kommende artikel, der skal præsenteres på 2020 Association for the Advancement of Artificial Intelligence-konferencen.