Baidu Slår Google Og Microsoft, Utvikler Ny Teknikk For Språkforståelse

Baidu, ett av de største teknologiselskapene i Kina, har nylig utviklet en ny metode for å lære AI å forstå språk. Ifølge TechnologyReview, slo selskapet nylig Microsoft og Google i General Language and Understanding Evaluation (GLUE)-konkurransen, og oppnådde statens kunstige resultater.

GLUE består av ni forskjellige tester, hvor hver test måler en annen oppgave som er viktig for å forstå språk, som å skille navn på enheter i en setning og å skille i hvilken kontekst pronomenet “det” brukes når det er mange potensielle kandidater. Den gjennomsnittlige menneskelige scorer rundt 87 poeng på GLUE, av en mulig 100. Baidus nye modell, ERNIE, knakk 90-poengsgrensen.

Forskere prøver alltid å forbedre ytelsen til deres modeller på GLUE, og derfor vil den nåværende standarden satt av Baidu sannsynligvis bli overgått snart. Men det som gjør Baidus prestasjoner bemerkelsesverdige, er at læringstilnærmingen de bruker, synes å kunne generaliseres til andre språk. Selv om modellen ble utviklet for å tolke kinesisk, gjør de samme prinsippene den bedre til å tolke det engelske språket. ERNIE står for “Enhanced Representation through knowledge Integration”, og følger utviklingen av BERT (“Bidirectional Encoder Representations from Transformers”) språkmodell.

BERT satte en ny standard for språkforståelse på grunn av at det var en bidireksjonal modell. Tidligere språkmodeller kunne bare tolke data som fløt i én “retning”, og se på et ord som kom før eller etter målordet som kontekst. BERT kunne implementere en bidireksjonal tilnærming som kunne bruke både tidligere og senere ord i en setning for å hjelpe med å finne ut meningen med målordet. BERT bruker en teknikk kalt masking for å gjøre bidireksjonal analyse mulig, og velger et ord i en setning og skjuler det, som splitter opp den mulige konteksten for ordet i før- og etterfølgende konteksttips.

På engelsk er ordet den dominerende semantiske enheten, mennesker ser på hele ord i stedet for enkelttegn for å finne ut meningen. Det er mulig å fjerne et ord fra sin kontekst og likevel holde ordet sin mening, og meningen med enkelttegn er nesten alltid den samme. I motsetning til det, avhenger det kinesiske språket mye mer av hvordan tegn kombineres med andre tegn når man finner ut meningen.

Baidu-forskningsgruppen tok essensielt modellen BERT brukte og utvidet den, og skjulte tegnstrenger i stedet for hele ord. AI-systemet ble også trent til å skille mellom tilfeldige strenger og meningsfulle strenger, så riktige tegnstrenger kunne maskeres. Dette gjør ERNIE dyktig til å hente informasjon fra en tekst og utføre maskinoversettelse. Forskningsgruppen fant også ut at deres treningsmetode resulterte i en modell som kunne skille engelske fraser bedre enn mange andre modeller kunne. Dette er fordi engelsk noen ganger, selv om sjelden, bruker ordkombinasjoner som uttrykker forskjellige meninger når de kombineres sammen versus når de er alene. Riktige navn og idiomer eller kollektivismer, som “chip off the old block”, er eksempler på slike språklige fenomener.

ERNIE bruker flere andre treningsmetoder for å optimalisere ytelsen, inkludert analyse av setningsorden og avstanden når man tolker avsnitt. En kontinuerlig treningsmetode brukes også, som tillater ERNIE å trene på nye data og lære nye mønster uten å glemme tidligere tilegnede kunnskaper.

Baidu bruker for øyeblikket ERNIE for å forbedre kvaliteten på søkeresultatene. ERNIEs siste arkitektur vil bli detaljert i en kommende artikkel som skal presenteres på 2020 Association for the Advancement of Artificial Intelligence-konferansen.