Googlein tekoäly opettaa roboteille liikkumista katsomalla koiria

Joissakin edistyneimmistä roboteista liikkuminen on edelleen jonkin verran kömpelöä ja epätasapainoista. Saadakseen robotit liikkumaan elävämmässä ja tasapainoisemmassa tavassa, Googlella työskentelevät tutkijat ovat kehittäneet tekoälyjärjestelmän, joka pystyy opimaan oikeiden eläinten liikkeistä. Google-tutkimusryhmä julkaisi viime viikolla esitutkivaa paperia, jossa he esittivät lähestymistapansa. Tutkimusryhmä kuvaa paperissa ja sen mukana olevassa blogikirjoituksessa järjestelmän taustalla olevia perusteita. Tutkimuksen tekijät uskovat, että robottiin asennettu luonnollisempi liikkuminen auttaisi niitä suorittamaan todellisen maailman tehtäviä, jotka vaativat tarkkaa liikkumista, kuten esineiden toimittamista eri kerroksilla oleviin paikkoihin.

VentureBeatin mukaan tutkimusryhmä käytti vahvistusoppimista robottien kouluttamiseen. Tutkijat alkoivat keräämällä eläinten liikkeiden klippejä ja käyttämällä vahvistusoppimisen (RL) tekniikoita robottien ohjaamiseen eläinten liikkeiden jäljittelyyn videoklipissä. Tässä tapauksessa tutkijat kouluttivat robotit koiran liikkeiden klipillä, joka suunniteltiin fysiikkasimulaattorissa, ja ohjasivat nelijalkaista Unitree Laikago-robottia jäljittelemään koiran liikkeitä. Koulutuksen jälkeen robotti pystyi suorittamaan monimutkaisia liikkeitä, kuten hyppimistä, kääntymistä ja nopeaa kävelyä nopeudella noin 4,2 kilometriä tunnissa.

Koulutusdata koostui noin 200 miljoonasta koiran liikkeen näytteestä, jotka seurattiin fysiikkasimulaatiossa. Erilaiset liikkeet ajettiin palkintofunktioiden ja politiikkojen kautta, joita agentit oppivat. Kun politiikat luotiin simulaatiossa, ne siirrettiin todelliseen maailmaan latenttiluvun sovittamisen avulla. Koska fysiikkasimulaattorit, joita käytettiin robottien kouluttamiseen, voivat vain arvioida tiettyjä todellisen maailman liikkeen puolia, tutkijat sovelsivat satunnaisesti erilaisia häiriöitä simulaatioon, joiden tarkoituksena oli simuloida toimintaa eri olosuhteissa.

Tutkimusryhmän mukaan he pystyivät sovittamaan simulaatiopolitiikat todellisiin robottiin vain kahdeksan minuutin ajassa keräämällä dataa 50 eri kokeesta. Tutkijat pystyivät osoittamaan, että todelliset robotit pystyivät jäljittelemään monia erilaisia, tarkkoja liikkeitä, kuten ravi-, kääntymis- ja hyppimisliikkeitä. He pystyivät jopa jäljittelemään animaatioita, jotka animaatioartistit loivat, kuten yhdistettyä hyppimis- ja kääntymisliikettä.

Tutkijat yhteenvedon paperissa:

“Osoitamme, että viittaamalla liikemalliin, yksinomaan oppimisperustainen lähestymistapa pystyy automaattisesti luomaan ohjaimia monimuotoiselle valikoimalle käyttäytymiselle jalkaisille roboteille. Sisällyttämällä näytevirkaa tehostavia alueen sovittamistekniikoita koulutusprosessiin, järjestelmämme pystyy oppimaan sopeutuvia politiikkoja simulaatiossa, jotka voidaan sitten nopeasti sovittaa todelliseen maailmaan.

Ohjauspolitiikat, joita käytettiin vahvistusoppimisprosessissa, olivat rajoittuneita. Laitteiston ja algoritmien asettamien rajoitusten vuoksi roboteilla oli joitakin asioita, joita ne eivät voineet tehdä. Ne eivät esimerkiksi voineet juosta tai tehdä suuria hyppyjä. Oppimiset politiikat eivät myöskään osoittaneet yhtä paljon vakautta verrattuna liikkeisiin, jotka oli suunniteltu käsin. Tutkimusryhmä haluaa viedä työtä eteenpäin tekemällä ohjaimet kestävämmäksi ja kykenevämmäksi oppimaan erilaisista tietoja. Ihannetapauksessa tulevaisuuden versiot kehyksestä pystyvät oppimaan videodatasta.