Baidu voittaa Google ja Microsoft, kehittää uuden kielen ymmärtämismenetelmän

Baidu, yksi Kiinan suurimmista teknologiayrityksistä, on kehittänyt uuden menetelmän opettaa tekoälyjä ymmärtämään kieltä. TeknologyReview:n mukaan yritys voitti äskettäin Microsoftin ja Google (GOOGL ):n General Language and Understanding Evaluation (GLUE) -kilpailussa ja saavutti huipputulokset.

GLUE koostuu yhdeksästä eri testistä, joista jokainen mittailee eri tehtävää, joka on tärkeä kielen ymmärtämiseksi, kuten nimien erottaminen lauseesta ja pronominin “se” käytön ymmärtäminen, kun on useita mahdollisia kandidaatteja. Keskimääräinen ihminen saa GLUE:ssa noin 87 pistettä sadasta. Baidun uusi malli, ERNIE, rikkoi 90 pisteen rajan.

Tutkijat yrittävät aina parantaa malliensa suorituskykyä GLUE:ssa, joten Baidun asettama nykyinen standardi on luultavasti pian rikottu. Mitä tekee Baidun saavutuksesta merkittävän, on se, että heidän käyttämänsä oppimismenetelmä näyttää pystyvän yleistämään muihin kieliin. Vaikka malli kehitettiin kiinan kielen tulkkaamiseen, samat periaatteet tekevät siitä myös englannin kielen tulkkaamisen paremman. ERNIE tulee sanoista “Enhanced Representation through knowledge Integration”, ja se seuraa BERT -kielen mallin kehittämistä.

BERT asetti uuden standardin kielen ymmärtämiseksi, koska se oli bidirektionaalinen malli. Aiemmat kielen mallit pystyivät vain tulkkaamaan dataa, joka virtasi yhteen suuntaan, katsomalla sanaa, joka tuli joko ennen tai jälkeen kohdesanaa. BERT pystyi toteuttamaan bidirektionaalisen lähestymistavan, joka voi käyttää sekä edeltäviä että myöhempiä sanoja lauseessa auttamaan kohdesanan merkityksen selvittämisessä. BERT käyttää tekniikkaa, jota kutsutaan maskaukseksi, jotta bidirektionaalinen analyysi on mahdollinen, valitsemalla sanan lauseesta ja piilottamalla sen, mikä jakaa mahdollisen kontekstin sanalle edeltävään ja seuraavaan kontekstiin.

Englannin kielessä sana on hallitseva semanttinen yksikkö, ja ihmiset katsovat kokonaisia sanoja yksittäisten merkkien sijaan merkityksen selvittämiseksi. On mahdollista poistaa sana kontekstistaan ja silti säilyttää sanan merkitys, ja yksittäisten merkkien merkitys on lähes aina sama. Kiinan kielessä puolestaan riippuu enemmän siitä, miten merkit yhdistetään muihin merkkeihin merkityksen selvittämiseksi. Merkit voivat tarkoittaa eri asioita riippuen siitä, mitkä merkit ovat niiden ympärillä.

Baidun tutkimusryhmä laajensi periaatteessa BERTin käyttämää mallia ja piilotti merkkijonoja sen sijaan, että piilotti kokonaisia sanoja. Tekoälyjärjestelmä koulutettiin myös erottamaan satunnaiset merkkijonot ja merkitykselliset merkkijonot, jotta oikeat merkkijonot voitiin piilottaa. Tämä tekee ERNIE:stä taitavan hakemaan tietoa tekstidokumenteista ja suorittamaan konekäännöstä. Tutkimusryhmä totesi myös, että heidän koulutusmenetelmänsä johti malliin, joka pystyi erottamaan englannin lauseita paremmin kuin useat muut mallit. Tämä johtuu siitä, että englanti käyttää toisinaan, vaikka harvoin, sanayhdistelmiä, jotka ilmaisevat eri merkityksiä, kun ne ovat yhdessä verrattuna siihen, kun ne ovat erillään. Oikeat nimet ja idiomeja tai slangisanoja, kuten “chip off the old block”, ovat esimerkkejä tällaisista kielellisistä ilmiöistä.

ERNIE käyttää useita muita koulutustekniikoita suorituskyvyn optimoimiseksi, mukaan lukien lausejärjestyksen ja etäisyyden analyysiä tekstien tulkkaamiseen. Jatkuvaa koulutusmenetelmää käytetään myös, jolloin ERNIE pystyy koulutumaan uusiin tietoihin ja oppimaan uusia malleja unohtamatta aikaisemmin hankittua tietoa.

Baidu käyttää tällä hetkellä ERNIE:tä parantamaan hakutuloksien laatua. ERNIE:n uusin arkkitehtuuri tullaan esittämään tulevassa tutkimuksessa, joka esitetään vuoden 2020 Association for the Advancement of Artificial Intelligence -konferenssissa.