Roboten lærer seg å gå gjennom forsterkingslæring

Mens Boston Dynamics og dansende roboter vanligvis får mest oppmerksomhet, skjer det noen store utviklinger bak kulissene som ikke får nok dekning. En av disse utviklingene kommer fra et Berkeley-laboratorium, der en robot ved navn Cassie kunne lære seg å gå gjennom forsterkingslæring. 

Etter prøving og feiling, lærte pair av robotben å navigere i en simuleringsmiljø før de ble testet i den virkelige verden. Til å begynne med, viste roboten evne til å gå i alle retninger, gå mens den knelte, repositionere seg når den ble skubbed ut av balanse, og tilpasse seg forskjellige typer overflater. 

Cassie-roboten er det første eksemplet på en to-beint robot som vellykket bruker forsterkingslæring til å gå. 

Ærefrykt for dansende roboter

Mens roboter som de fra Boston Dynamics er ekstremt imponerende og nærer nesten alle som ser dem, er det noen få nøkkel faktorer. De fleste merkverdige er at disse robotene er håndprogrammerte og koreograferte for å oppnå resultatet, men dette er ikke den foretrukne metoden i virkelige situasjoner. 

Utenfor laboratoriet, må roboter være robuste, motstandsdyktige, fleksible og mye mer. I tillegg til alt dette, må de kunne møte og håndtere uventede situasjoner, noe som bare kan gjøres ved å aktivere dem til å håndtere slike situasjoner selv. 

Zhongyu Li var en del av teamet som arbeidet med Cassie ved University of Berkeley. 

“Disse videoene kan føre noen mennesker til å tro at dette er et løst og enkelt problem,” sier Li. “Men vi har fortsatt langt igjen å gå for å ha humanoid roboter som kan operere og leve i menneskelige miljøer på en pålitelig måte.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Forsterkingslæring

For å kunne lage en slik robot, baserte Berkeley-teamet seg på forsterkingslæring, som har blitt brukt av selskaper som DeepMind til å trene algoritmer til å slå mennesker i verdens mest komplekse spill. Forsterkingslæring er basert på prøving og feiling, hvor roboten lærer av sine feil. 

Cassie-roboten brukte forsterkingslæring til å lære å gå i en simulasjon, noe som ikke er første gangen denne tilnærmingen har blitt brukt. Imidlertid er det vanligvis ikke slik at denne metoden kommer ut av simuleringsmiljøet og inn i den virkelige verden. Selv små forskjeller kan føre til at roboten ikke kan gå. 

Forskerne brukte to simulasjoner i stedet for en, hvor den første var et åpent kildekode-treningmiljø kalt MuJoCo. I denne første simulasjonen, prøvde algoritmen og lærte av en samling av mulige bevegelser, og i den andre simulasjonen kalt SimMechanics, testet roboten dem ut i mer realistiske forhold.

Etter å ha blitt utviklet i de to simulasjonene, trengte algoritmen ikke å bli finjustert. Den var allerede klar til å gå i den virkelige verden. Ikke bare kunne den gå, men den kunne også mye mer. Ifølge forskerne, kunne Cassie gjenopprette seg etter at to motorer i robotens kne gikk feil.

Mens Cassie kanskje ikke har alle klokkene og fløytene som noen av de andre robotene, er den på mange måter langt mer imponerende. Den har også større implikasjoner for teknologien når det gjelder virkelige anvendelser, ettersom en slik gående robot kan brukes i mange forskjellige sektorer.