Robotti opetta itsensä kävelemään vahvistusoppimisen avulla

Vaikka Boston Dynamics ja tanssivat robotit yleensä saavat eniten huomiota, on taustalla tapahtumassa merkittäviä kehityksiä, joista ei riitä tarpeeksi uutisointia. Yksi näistä kehityksistä tulee Berkeley-laboratoriosta, jossa robotti nimeltä Cassie pystyi opettamaan itsensä kävelemään vahvistusoppimisen avulla.

Kokeilun ja virheenjäljen jälkeen robottioppi parisi oppi navigoimaan simuloidussa ympäristössä ennen kuin se otettiin testiin oikeassa maailmassa. Aluksi robotti osoitti kykyä kävellä kaikkiin suuntiin, kävellä polvien laskemisen aikana, uudelleenasettaa itsensä tasapainon menettämisestä ja sopeutua erilaisiin pintoihin.

Cassie-robotti on ensimmäinen kerta, kun kaksi jalkaa omaava robotti on onnistunut kävelemään vahvistusoppimisen avulla.

Tanssivien robotien ihme

Vaikka robotit, kuten Boston Dynamicsin robotit, ovat erittäin vaikuttavia ja ihastuttavat lähes jokaisen, joka niitä katsuu, on muutamia avainasioita. Merkittävimpänä, nämä robotit on ohjelmoitu käsin ja koreografiat saavuttaakseen tuloksen, mutta tämä ei ole toivottava menetelmä todellisissa tilanteissa.

Laboratorion ulkopuolella robotit on oltava kestäviä, joustavia ja paljon muuta. Kaiken lisäksi ne on kyettävä kohtaamaan ja käsittelemään odottamattomia tilanteita, mikä voidaan tehdä vain sallimalla niiden itse käsitellä näitä tilanteita.

Zhongyu Li oli osa tiimiä, joka työskenteli Cassiessa Kalifornian yliopistossa.

“Nämä videot voivat johtaa joitakin ihmisiä uskomaan, että tämä on ratkaistu ja helppo ongelma”, Li sanoo. “Mutta meillä on edelleen pitkä tie kävellä humanoidirobotit luotettavasti toimimaan ja elämään ihmisympäristössä.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Vahvistusoppiminen

Luoakseen tällaisen robotin Berkeley-tiimi luotti vahvistusoppimiseen, jota on käytetty yhtiöiden kuten DeepMindin kanssa koulutettaessa algoritmeja voittamaan ihmisiä maailman monimutkaisimmissa peleissä. Vahvistusoppiminen perustuu kokeiluun ja virheisiin, joista robotti oppii.

Cassie-robotti käytti vahvistusoppimista oppiakseen kävelemään simulaatiossa, mikä ei ole ensimmäinen kerta, kun tätä lähestymistapaa on käytetty. Kuitenkin tämä ei yleensä pääse simuloitusta ympäristöstä todelliseen maailmaan. Jopa pieni ero voi johtaa siihen, että robotti ei pysty kävelemään.

Tutkijat käyttivät kahta simulaatiota yhden sijaan, joista ensimmäinen oli avoimen lähdekoodin koulutusympäristö nimeltä MuJoCo. Tässä ensimmäisessä simulaatiossa algoritmi kokeili ja oppi kirjastosta mahdollisia liikkeitä, ja toisessa simulaatiossa nimeltä SimMechanics robotti testasi niitä oikeassa maailmassa.

Kun algoritmi oli kehitetty kahdessa simulaatiossa, sitä ei tarvinnut hienosäätää. Se oli jo valmis toimimaan oikeassa maailmassa. Se ei vain pystynyt kävelemään, vaan se pystyi tekemään paljon muuta. Tutkijoiden mukaan Cassie pystyi toipumaan kahden moottorin vioittumisesta robotin polvessa.

Vaikka Cassiella ei ole kaikkia nyssejä ja helmiä kuten joillakin muilla robooteilla, se on monin tavoin paljon vaikuttavampi. Se myös on suuremmat vaikutukset teknologian kehitykseen, kun se tulee todelliseen maailmaan, koska tällainen kävelevä robotti voisi olla käytössä monissa eri sektoreissa.