Baidu slår Google og Microsoft, utvikler ny teknik for språkforståelse

Baidu, ett av de største teknologiselskapene i Kina, har nylig utviklet en ny metode for å lære AI å forstå språk. Ifølge TechnologyReview slo selskapet nylig Microsoft (MSFT ) og Google (GOOGL ) i General Language and Understanding Evaluation (GLUE)-konkurransen, og oppnådde statens kunstige resultater.

GLUE består av ni forskjellige tester, hvor hver test måler en annen oppgave som er viktig for å forstå språk, som å skille navn på enheter i en setning og å skille i hvilken kontekst pronomenet “det” brukes når det er flere potensielle kandidater. Den gjennomsnittlige menneskelige scorer rundt 87 poeng på GLUE, av en mulig 100. Baidus nye modell, ERNIE, knuste 90-poengsgrensen.

Forskere prøver alltid å forbedre ytelsen til deres modeller på GLUE, og derfor vil den nåværende standarden satt av Baidu sannsynligvis bli overgått snart. Men det som gjør Baidus prestasjoner bemerkelsesverdige er at læringstilnærmingen de bruker synes å kunne generaliseres til andre språk. Selv om modellen ble utviklet for å tolke kinesisk, gjør de samme prinsippene den bedre til å tolke det engelske språket. ERNIE står for “Enhanced Representation through knowledge Integration”, og følger utviklingen av BERT (“Bidirectional Encoder Representations from Transformers”)-språkmodellen.

BERT satte en ny standard for språkforståelse på grunn av at det var en bidireksjonal modell. Tidligere språkmodeller kunne bare tolke data som strømmet i én “retning”, og se på et ord som kom før eller etter målordet som kontekst. BERT kunne implementere en bidireksjonal tilnærming som kunne bruke både tidligere og senere ord i en setning til å hjelpe med å finne ut meningen med et målord. BERT bruker en teknikk kalt masking for å gjøre bidireksjonal analyse mulig, og velger et ord i en setning og skjuler det, som deler opp den mulige konteksten for det ordet i pågående og etterfølgende konteksttips.

På engelsk er ordet den dominerende semantiske enheten, og mennesker ser på hele ord i stedet for enkelttegn for å finne ut meningen. Det er mulig å fjerne et ord fra sin kontekst og likevel ha at ordet beholder sin mening, og meningen til enkelttegn er nesten alltid den samme. I motsetning til det kinesiske språket, som avhenger mye mer av hvordan tegn er kombinert med andre tegn for å finne ut meningen.

Baidu-forskningsgruppen utvidet i praksis modellen BERT brukte, og skjulte strenger av tegn i stedet for hele ord. AI-systemet ble også trent til å skille mellom tilfeldige strenger og meningsfulle strenger, slik at riktige strenger av tegn kunne maskeres. Dette gjør ERNIE dyktig til å hente informasjon fra en tekst og utføre maskinoversettelse. Forskningsgruppen fant også ut at deres treningsmetode resulterte i en modell som kunne skille engelske fraser bedre enn mange andre modeller kunne. Dette er fordi engelsk noen ganger, selv om sjelden, bruker ordkombinasjoner som uttrykker forskjellige mening når de er kombinert sammen, i stedet for når de er alene. Eksempler på slike lingvistiske fenomener er egennavn og idiomer eller kollektivismer, som “chip off the old block”.

ERNIE bruker flere andre treningsmetoder for å optimalisere ytelsen, inkludert analyse av setningsorden og avstanden når det tolker paragrafer. En kontinuerlig treningsmetode brukes også, som tillater ERNIE å trene på ny data og lære nye mønster uten å glemme tidligere tilegnede kunnskaper.

Baidu bruker for øyeblikket ERNIE for å forbedre kvaliteten på søkeresultatene. ERNIEs siste arkitektur vil bli detaljert i en kommende artikkel som skal presenteres på 2020 Association for the Advancement of Artificial Intelligence-konferansen.