Robotti opetta itsensä kävelemään vahvistusoppimisen avulla

Vaikka Boston Dynamics ja tanssivat robotit yleensä saavat eniten huomiota, on taustalla tapahtumassa merkittäviä kehityksiä, joista ei puhuta tarpeeksi. Yksi näistä kehityksistä tulee Berkeley-laboratoriosta, jossa robotti nimeltä Cassie pystyi opettelemaan kävelemään vahvistusoppimisen avulla.

Kokeilun ja virheenjälkeen parin robotti-jalkojen oppiminen navigoimaan simuloidussa ympäristössä ennen kuin se testattiin oikeassa maailmassa. Aluksi robotti osoitti kykynsä kävellä kaikkiin suuntiin, kävellä polvien laskemisen aikana, uudelleenasettaa itsensä kun se oli tasapainottamassa ja sopeutua erilaisiin pinnoitteisiin.

Cassie-robotti on ensimmäinen kerta, kun kaksi jalkaa omaava robotti on onnistunut kävelemään vahvistusoppimisen avulla.

Tanssivien robotien ihme

Vaikka robotit kuten Boston Dynamics ovat erittäin vaikuttavia ja ihastuttavat lähes jokaisen, joka niitä katsuu, on muutamia avainasioita. Ennen kaikkea, nämä robotit on ohjelmoitu ja koreografiatut saavuttaakseen tuloksen, mutta tämä ei ole toivottava menetelmä todellisissa tilanteissa.

Laboratorion ulkopuolella robotit on oltava kestäviä, joustavia ja paljon muuta. Kaiken lisäksi ne tarvitsevat kykyä kohtaamaan ja hallita odottamattomia tilanteita, mikä voidaan tehdä vain sallimalla niiden itse hallita sellaisia tilanteita.

Zhongyu Li oli mukana Cassie-robottiin työskentelevässä tiimissä Kalifornian yliopistossa Berkeleyssä.

“Nämä videot voivat johtaa joitakin ihmisiä uskomaan, että tämä on ratkaistu ja helppo ongelma”, Li sanoo. “Mutta meillä on vielä pitkä matka edessämme, jotta humanoidirobotit voivat luotettavasti toimia ja elää ihmisten ympäristössä.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Vahvistusoppiminen

Luoakseen tällaisen robotin, Berkeley-tiimi turvautui vahvistusoppimiseen, jota on käytetty yrityksissä kuten DeepMind kouluttaa algoritmeja voittamaan ihmisiä maailman monimutkaisimmissa peleissä. Vahvistusoppiminen perustuu kokeiluun ja virheeseen, jossa robotti oppii virheistään.

Cassie-robotti käytti vahvistusoppimista oppiakseen kävelemään simulaatiossa, mikä ei ole ensimmäinen kerta, kun tätä lähestymistapaa on käytetty. Kuitenkin tämä ei yleensä pääse simulaatiosta todelliseen maailmaan. Jopa pieni ero voi johtaa siihen, että robotti ei pysty kävelemään.

Tutkijat käyttivät kahta simulaatiota sen sijaan, että yhtä. Ensimmäinen simulaatio oli avoimen lähdekoodin koulutusympäristö nimeltä MuJoCo. Tässä ensimmäisessä simulaatiossa algoritmi yritti ja oppi kirjastosta mahdollisia liikkeitä, ja toisessa simulaatiossa nimeltä SimMechanics robotti testasi niitä todellisemmissa olosuhteissa.

Kun algoritmi oli kehitetty kahdessa simulaatiossa, se ei tarvinnut hienosäätöä. Se oli jo valmis toimimaan todellisessa maailmassa. Se ei vain pystynyt kävelemään, vaan se pystyi tekemään paljon muuta. Tutkijoiden mukaan Cassie pystyi toipumaan, kun kaksi moottoria robotin polvessa hajosivat.

Vaikka Cassie ei ehkä ole kaikkien muiden robotien tavoin täynnä erilaisia ominaisuuksia, se on monin tavoin paljon vaikuttavampi. Se myös on suuremmat vaikutukset teknologian kehitykseen, kun otetaan huomioon sen käyttö todellisissa tilanteissa, sillä tällainen kävelevä robotti voisi olla käytössä monissa eri aloilla.