Robot lærer sig selv at gå gennem forstærkning af læring

Mens Boston Dynamics og dansende robotter normalt får mest opmærksomhed, sker der store udviklinger bag kulisserne, som ikke får nok opmærksomhed. En af disse udviklinger kommer fra et Berkeley-laboratorium, hvor en robot ved navn Cassie kunne lære sig selv at gå gennem forstærkning af læring. 

Efter prøver og fejl lærte parret af robotben at navigere i en simuleret omgang før de blev testet i den virkelige verden. Initialt viste robotten evne til at gå i alle retninger, gå mens den sad ned, ompositionere sig selv, når den blev skubbet ud af balance, og tilpasse sig til forskellige overflader. 

Cassie-robotten er det første eksempel på en to-benet robot, der med succes har brugt forstærkning af læring til at gå. 

Ærefrygt for dansende robotter

Mens robotter som dem fra Boston Dynamics er ekstremt imponerende og næsten alle, der ser dem, ærefrygter, er der nogle nøglefaktorer. De fleste bemærkelsesværdige er, at disse robotter er håndprogrammeret og koreograferet for at opnå resultatet, men dette er ikke den foretrukne metode i virkelige situationer. 

Uden for laboratoriet skal robotter være robuste, resilient, fleksible og meget mere. Oven i alt dette skal de kunne møde og håndtere uventede situationer, som kun kan håndteres ved at give dem mulighed for at håndtere disse situationer selv. 

Zhongyu Li var en del af holdet, der arbejdede på Cassie på University of Berkeley. 

“Disse videoer kan føre nogle mennesker til at tro, at dette er et løst og let problem,” siger Li. “Men vi har stadig langt tilbage at gå for at have humanoid robotter, der kan operere og leve i menneskelige omgivelser på en pålidelig måde.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Forstærkning af læring

For at skabe en sådan robot havde Berkeley-holdet brug for forstærkning af læring, som er blevet brugt af virksomheder som DeepMind til at træne algoritmer til at besejre mennesker i verdens mest komplekse spil. Forstærkning af læring er baseret på prøver og fejl, hvor robotten lærer af sine fejl. 

Cassie-robotten brugte forstærkning af læring til at lære at gå i en simulation, hvilket ikke er første gang, denne tilgang er blevet brugt. Men det er normalt ikke muligt at gå fra en simuleret omgang til den virkelige verden. Selv små forskelle kan føre til, at robotten ikke kan gå. 

Forskerne brugte to simulationer i stedet for en, hvor den første var et åbent kilde-træningsmiljø kaldet MuJoCo. I denne første simulation prøvede algoritmen og lærte af en bibliotek af mulige bevægelser, og i den anden simulation kaldet SimMechanics testede robotten dem ud i mere virkelige forhold.

Efter at være blevet udviklet i de to simulationer, havde algoritmen ikke brug for at blive finjusteret. Den var allerede klar til at gå i den virkelige verden. Den kunne ikke kun gå, men også meget mere. Ifølge forskerne kunne Cassie genoprette sig selv efter, at to motorer i robotbens knæ fejlede.

Mens Cassie måske ikke har alle klokker og fløjter som nogle af de andre robotter, er den på mange måder langt mere imponerende. Den har også større implikationer for teknologien, når det kommer til brug i den virkelige verden, da en sådan gående robot kan bruges i mange forskellige sektorer.