Robotul care și-a învățat să meargă prin învățare prin întărire

În timp ce Boston Dynamics și roboții care dansează primesc de obicei cea mai mare atenție, există unele dezvoltări majore care au loc în spatele scenei și care nu primesc suficientă acoperire. Una dintre aceste dezvoltări provine de la un laborator de la Berkeley, unde un robot numit Cassie a fost capabil să învețe să meargă prin învățare prin întărire.

După încercări și erori, perechea de picioare robotice a învățat să navigheze într-un mediu simulat, înainte de a fi testată în lumea reală. Inițial, robotul a demonstrat o capacitate de a merge în toate direcțiile, de a merge în timp ce se apleca, de a se repoziționa atunci când era împins din echilibru și de a se adapta la diferite tipuri de suprafețe.

Robotul Cassie este primul exemplu de robot cu două picioare care folosește cu succes învățarea prin întărire pentru a merge.

Uimirea roboților care dansează

În timp ce roboții precum cei de la Boston Dynamics sunt extrem de impresionanți și uimesc aproape pe oricine îi vede, există câteva factori cheie. Probabil cel mai important, acești roboți sunt programați manual și coreografiați pentru a obține rezultatul, dar acesta nu este metoda preferată în situații din lumea reală.

În afara laboratorului, roboții trebuie să fie robusti, rezistenți, flexibili și mult mai mult. Pe lângă toate acestea, ei trebuie să poată întâlni și să gestioneze situații neașteptate, ceea ce poate fi făcut doar prin permiterea lor să gestioneze astfel de situații singuri.

Zhongyu Li a făcut parte din echipa care lucra la Cassie la Universitatea Berkeley.

„Aceste videoclipuri pot face ca unii oameni să creadă că aceasta este o problemă rezolvată și ușoară,” spune Li. „Dar încă avem mult de mers pentru a avea roboți umanoizi care să opereze și să trăiască în medii umane în mod fiabil.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Învățarea prin întărire

Pentru a crea un astfel de robot, echipa de la Berkeley s-a bazat pe învățarea prin întărire, care a fost folosită de companii precum DeepMind pentru a antrena algoritmi pentru a învinge oamenii la jocurile cele mai complexe din lume. Învățarea prin întărire se bazează pe încercări și erori, cu robotul care învață din greșelile sale.

Robotul Cassie a folosit învățarea prin întărire pentru a învăța să meargă într-un mediu simulat, ceea ce nu este pentru prima dată când această abordare a fost folosită. Cu toate acestea, acest lucru nu este de obicei suficient pentru a face ca robotul să meargă în lumea reală. Chiar și o mică diferență poate face ca robotul să nu poată merge.

Cercetătorii au folosit două simulări, în loc de una, prima fiind un mediu de antrenament deschis numit MuJoCo. În această primă simulare, algoritmul a încercat și a învățat dintr-o bibliotecă de mișcări posibile, iar în a doua simulare, numită SimMechanics, robotul a testat mișcările în condiții mai reale.

După ce a fost dezvoltat în cele două simulări, algoritmul nu a necesitat ajustări fine. Era deja gata pentru a fi folosit în lumea reală. Nu numai că a fost capabil să meargă, dar a fost capabil să facă mult mai mult. Conform cercetătorilor, Cassie a fost capabil să se recupereze după ce doi motoare din genunchiul robotului au funcționat defectuos.

În timp ce Cassie nu are toate clopoțeii și fluierăturile ca și alți roboți, este în multe feluri mult mai impresionant. De asemenea, are implicații mai mari pentru tehnologie în ceea ce privește utilizarea în lumea reală, deoarece un astfel de robot care merge ar putea fi folosit în multe sectoare diferite.