Robot Nauczył Się Chodzić Za Pomocą Nauki Wzmocnienia

Podczas gdy Boston Dynamics i taniec robotów zwykle otrzymują najwięcej uwagi, za kulisami zachodzą ważne rozwoje, które nie otrzymują wystarczającej uwagi. Jednym z takich rozwojów jest laboratorium w Berkeley, gdzie robot o nazwie Cassie nauczył się chodzić za pomocą nauki wzmocnienia.

Po próbach i błędach para nogi robotycznych nauczyła się nawigować w symulowanym środowisku, zanim została przetestowana w świecie rzeczywistym. Początkowo robot wykazał zdolność do chodzenia we wszystkich kierunkach, chodzenia podczas schylania się, repositionowania się, gdy został przesunięty z równowagi, oraz dostosowania do różnych rodzajów powierzchni.

Robot Cassie jest pierwszym przypadkiem dwunożnego robota, który z powodzeniem użył nauki wzmocnienia do chodzenia.

Cud Tancerzy Robotów

Podczas gdy roboty takie jak te od Boston Dynamics są niezwykle imponujące i budzą podziw u prawie każdego, kto je obserwuje, istnieją pewne kluczowe czynniki. Najbardziej godne uwagi jest to, że te roboty są programowane i choreografowane ręcznie, aby osiągnąć efekt, ale nie jest to preferowana metoda w sytuacjach rzeczywistych.

Poza laboratorium roboty muszą być wytrzymałe, elastyczne i znacznie więcej. Dodatkowo muszą one umieć spotkać się z nieoczekiwanymi sytuacjami, co może być osiągnięte tylko przez umożliwienie im samodzielnego radzenia sobie w takich sytuacjach.

Zhongyu Li był częścią zespołu pracującego nad Cassie na Uniwersytecie w Berkeley.

„Te filmy mogą skłonić niektóre osoby do przekonania, że jest to rozwiązane i łatwe problemy,” mówi Li. „Ale nadal mamy długą drogę do przebycia, aby mieć roboty humanoidalne, które mogą niezawodnie działać i żyć w środowiskach ludzkich.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Nauka Wzmocnienia

Aby stworzyć taki robot, zespół z Berkeley oparł się na nauce wzmocnienia, która została wykorzystana przez firmy takie jak DeepMind do szkolenia algorytmów, które pokonują ludzi w najbardziej złożonych grach na świecie. Nauka wzmocnienia opiera się na próbach i błędach, przy czym robot uczy się ze swoich błędów.

Robot Cassie wykorzystał naukę wzmocnienia, aby nauczyć się chodzić w symulacji, co nie jest pierwszym razem, kiedy zastosowano ten podejście. Jednakże, nie zwykle udaje się wyjść poza symulowane środowisko i wejść w świat rzeczywisty. Nawet niewielka różnica może spowodować, że robot nie będzie w stanie chodzić.

Badacze wykorzystali dwie symulacje zamiast jednej, przy czym pierwsza była otwartym środowiskiem szkoleniowym o nazwie MuJoCo. W tej pierwszej symulacji algorytm próbował i uczył się z biblioteki możliwych ruchów, a w drugiej symulacji o nazwie SimMechanics robot testował je w warunkach bardziej zbliżonych do świata rzeczywistego.

Po rozwoju w dwóch symulacjach algorytm nie wymagał już dokładnego dostosowania. Był już gotowy do użycia w świecie rzeczywistym. Nie tylko mógł chodzić, ale mógł również robić znacznie więcej. Zgodnie z oświadczeniami badaczy, Cassie był w stanie odzyskać sprawność po awarii dwóch silników w kolanie robota.

Chociaż Cassie może nie mieć wszystkich dzwonków i gwizdków, jak niektóre inne roboty, jest w wielu ways znacznie bardziej imponujący. Ma również większe implikacje dla technologii w przypadku użycia w świecie rzeczywistym, ponieważ taki robot chodzący mógłby być wykorzystany w wielu różnych sektorach.