Robot lærer seg selv å gå gjennom forsterkende læring

Mens Boston Dynamics og dansende roboter vanligvis får mesteparten av oppmerksomheten, er det noen store utviklinger som finner sted bak kulissene som ikke får nok dekning. En av disse utviklingene kommer fra et Berkeley-laboratorium, der en robot ved navn Cassie var i stand til å lære seg selv å gå gjennom forsterkende læring. 

Etter prøving og feiling lærte paret med robotbein å navigere i et simulert miljø før de ble satt på prøve i den virkelige verden. Opprinnelig demonstrerte roboten en evne til å gå i alle retninger, gå mens han sitter på huk, reposisjonere seg når den blir presset ut av balanse, og tilpasse seg forskjellige typer underlag. 

Cassie-roboten er det første tilfellet av en tobeint robot som har lykkes med å bruke forsterkning til å lære å gå. 

The Awe of Dancing Robots

Mens roboter som de fra Boston Dynamics er ekstremt imponerende og ærefrykt nesten alle som ser på dem, er det noen viktige faktorer. Mest bemerkelsesverdig er disse robotene håndprogrammert og koreografert for å oppnå resultatet, men dette er ikke den foretrukne metoden i virkelige situasjoner. 

Utenfor laboratoriet må roboter være robuste, spenstige, fleksible og mye mer. På toppen av alt dette må de være i stand til å møte og håndtere uventede situasjoner, noe som bare kan gjøres ved å sette dem i stand til å håndtere slike situasjoner selv. 

Zhongyu Li var en del av teamet som jobbet med Cassie ved University of Berkeley. 

"Disse videoene kan få noen til å tro at dette er et løst og enkelt problem," sier Li. "Men vi har fortsatt en lang vei å gå for å få humanoide roboter til å operere og leve pålitelig i menneskelige miljøer." 

Forsterkningslæring

For å lage en slik robot stolte Berkeley-teamet på forsterkningslæring, som har blitt brukt av selskaper som DeepMind for å trene algoritmer for å slå mennesker i verdens mest komplekse spill. Forsterkende læring er basert på prøving og feiling, og roboten lærer av sine feil. 

Cassie-roboten brukte forsterkningslæring for å lære å gå i en simulering, noe som ikke er første gang denne tilnærmingen har blitt brukt. Imidlertid kommer dette normalt ikke ut av det simulerte miljøet og inn i den virkelige verden. Selv en liten forskjell kan føre til at roboten ikke klarer å gå. 

Forskerne brukte to simuleringer i stedet for én, hvor den første var et åpen kildekode-treningsmiljø kalt MuJoCo. I denne første simuleringen prøvde og lærte algoritmen fra et bibliotek med mulige bevegelser, og i den andre simuleringen kalt SimMechanics, testet roboten dem ut under mer virkelige forhold.

Etter å ha blitt utviklet i de to simuleringene, trengte ikke algoritmen å finjusteres. Den var allerede klar til å gå i den virkelige verden. Ikke bare var den i stand til å gå, men den var i stand til å gjøre mye mer. Ifølge forskerne klarte Cassie å komme seg etter at to motorer i robotens kne fungerte feil.

Selv om Cassie kanskje ikke har alle klokkene og plystrene som noen av de andre robotene, er det på mange måter langt mer imponerende. Det har også større implikasjoner for teknologien når det gjelder bruk i den virkelige verden, ettersom en slik gårobot kan brukes i mange forskjellige sektorer.