Robot uči sam sebe proći kroz učenje za potkrepljivanje

Dok su Boston Dynamics i plesni roboti obično dobivaju najviše pozornosti, postoje neki veliki događaji koji se odvijaju iza kulisa o kojima se ne govori dovoljno. Jedan od tih razvoja dolazi iz laboratorija Berkeley, gdje je robot po imenu Cassie uspio sam sebe naučiti proći kroz učenje s potkrepljenjem. 

Nakon pokušaja i pogrešaka, par robotskih nogu naučio je navigirati u simuliranom okruženju prije nego što su stavljeni na testiranje u stvarnom svijetu. U početku je robot pokazao sposobnost hodanja u svim smjerovima, hodanja čučeći, mijenjanja položaja kada ga se gura izvan ravnoteže i prilagođavanja različitim vrstama površina. 

Robot Cassie je prvi primjerak dvonožnog robota koji uspješno koristi potkrepljenje i uči hodati. 

Strahopoštovanje plešućih robota

Iako su roboti poput onih iz Boston Dynamicsa izuzetno impresivni i izazivaju strahopoštovanje kod gotovo svakoga tko ih gleda, postoji nekoliko ključnih čimbenika. Što je najvažnije, ti su roboti ručno programirani i koreografirani kako bi postigli rezultat, ali to nije preferirana metoda u stvarnim situacijama. 

Izvan laboratorija, roboti moraju biti robusni, otporni, fleksibilni i još mnogo toga. Povrh svega, moraju biti sposobni susresti se s neočekivanim situacijama i nositi se s njima, što se može učiniti samo ako im se omogući da se sami nose s takvim situacijama. 

Zhongyu Li je bio dio tima koji je radio na Cassie na Sveučilištu Berkeley. 

"Ovi videozapisi mogu navesti neke ljude da povjeruju da je ovo riješen i lak problem", kaže Li. "Ali još uvijek moramo prijeći dug put da humanoidni roboti pouzdano rade i žive u ljudskom okruženju." 

Učenje ojačanja

Kako bi stvorili takvog robota, tim s Berkeleyja oslonio se na učenje s potkrepljenjem, koje su koristile tvrtke poput DeepMinda za treniranje algoritama za pobjedu nad ljudskim bićima u najsloženijim igrama na svijetu. Učenje s pojačanjem temelji se na pokušajima i pogreškama, pri čemu robot uči na svojim pogreškama. 

Robot Cassie koristio je učenje s potkrepljenjem kako bi naučio hodati u simulaciji, što nije prvi put da se ovaj pristup koristi. Međutim, to obično ne omogućuje izlazak iz simuliranog okruženja u stvarni svijet. Čak i mala razlika može dovesti do toga da robot ne hoda. 

Istraživači su koristili dvije simulacije umjesto jedne, a prva je bila okruženje za obuku otvorenog koda pod nazivom MuJoCo. U ovoj prvoj simulaciji, algoritam je pokušao i učio iz biblioteke mogućih pokreta, au drugoj simulaciji nazvanoj SimMechanics, robot ih je testirao u stvarnijim uvjetima.

Nakon što je razvijen u dvije simulacije, algoritam nije bilo potrebno fino podešavati. Već je bilo spremno za odlazak u stvarni svijet. Ne samo da je moglo hodati, već je moglo učiniti mnogo više. Prema istraživačima, Cassie se uspjela oporaviti nakon što su se dva motora u koljenu robota pokvarila.

Iako Cassie možda nema sve prednosti kao neki drugi roboti, na mnoge je načine daleko impresivnija. To također ima veće implikacije za tehnologiju kada je u pitanju uporaba u stvarnom svijetu, budući da bi se takav hodajući robot mogao koristiti u mnogim različitim sektorima.