Robot uczy się samodzielnie przechodzić przez proces uczenia się ze wzmocnieniem

Podczas gdy Boston Dynamics i tańczące roboty zwykle poświęca się im najwięcej uwagi, za kulisami mają miejsce pewne ważne wydarzenia, które nie są wystarczająco relacjonowane. Jedno z tych odkryć pochodzi z laboratorium w Berkeley, gdzie robot o imieniu Cassie był w stanie nauczyć się przechodzić przez proces uczenia się przez wzmacnianie. 

Metodą prób i błędów para robotycznych nóg nauczyła się poruszać w symulowanym środowisku, zanim została poddana testom w prawdziwym świecie. Początkowo robot wykazywał zdolność chodzenia we wszystkich kierunkach, chodzenia w kucki, zmiany pozycji w przypadku wytrącenia z równowagi i dostosowywania się do różnych typów powierzchni. 

Robot Cassie to pierwszy egzemplarz dwunożnego robota, który z powodzeniem wykorzystuje naukę chodzenia przez wzmacnianie. 

Podziw tańczących robotów

Chociaż roboty takie jak te z Boston Dynamics robią ogromne wrażenie i budzą podziw niemal u każdego, kto je ogląda, istnieje kilka kluczowych czynników. Co najważniejsze, roboty te są ręcznie programowane i układane choreografie w celu osiągnięcia zamierzonego rezultatu, ale nie jest to preferowana metoda w rzeczywistych sytuacjach. 

Poza laboratorium roboty muszą być wytrzymałe, odporne, elastyczne i nie tylko. Co więcej, muszą umieć stawić czoła nieoczekiwanym sytuacjom i sobie z nimi poradzić, co można osiągnąć jedynie poprzez umożliwienie im samodzielnego radzenia sobie z takimi sytuacjami. 

Zhongyu Li był członkiem zespołu pracującego nad Cassie na Uniwersytecie w Berkeley. 

„Te filmy mogą u niektórych ludzi uwierzyć, że jest to rozwiązany i łatwy problem” – mówi Li. „Ale wciąż mamy przed sobą długą drogę, aby humanoidalne roboty mogły niezawodnie działać i żyć w środowisku ludzkim”. 

Uczenie się ze wzmocnieniem

Aby stworzyć takiego robota, zespół z Berkeley oparł się na uczeniu się przez wzmacnianie, które firmy takie jak DeepMind wykorzystują do uczenia algorytmów pozwalających pokonać ludzi w najbardziej złożonych grach świata. Uczenie się przez wzmacnianie opiera się na próbach i błędach, a robot uczy się na swoich błędach. 

Robot Cassie wykorzystał uczenie się przez wzmacnianie, aby nauczyć się chodzić w symulacji, co nie jest pierwszym zastosowaniem tego podejścia. Jednak zwykle nie przedostaje się to z symulowanego środowiska do świata rzeczywistego. Nawet niewielka różnica może spowodować, że robot nie będzie chodzić. 

Badacze wykorzystali dwie symulacje zamiast jednej, przy czym pierwszą było środowisko szkoleniowe typu open source o nazwie MuJoCo. W tej pierwszej symulacji algorytm wypróbował bibliotekę możliwych ruchów i uczył się, a w drugiej symulacji o nazwie SimMechanics robot przetestował je w bardziej rzeczywistych warunkach.

Po opracowaniu algorytmu w obu symulacjach nie było potrzeby dostrajania go. Był już gotowy do startu w prawdziwym świecie. Nie tylko mógł chodzić, ale potrafił znacznie więcej. Według naukowców Cassie udało się odzyskać siły po awarii dwóch silników w kolanie robota.

Chociaż Cassie może nie ma wszystkich bajerów i gwizdków jak niektóre inne roboty, pod wieloma względami jest o wiele bardziej imponująca. Ma to również większe implikacje dla technologii, jeśli chodzi o jej zastosowanie w świecie rzeczywistym, ponieważ taki robot kroczący mógłby być wykorzystywany w wielu różnych sektorach.