Robot se sám učí projít posilovacím učením

Zatímco Boston Dynamics a tančící roboti se obvykle dostává většiny pozornosti, v zákulisí se odehrává několik zásadních událostí, kterým se nedostává dostatečného pokrytí. Jeden z těchto vývojů pochází z laboratoře v Berkeley, kde se robot jménem Cassie dokázal naučit procházet posilovacím učením. 

Po pokusu a omylu se dvojice robotických nohou naučila navigovat v simulovaném prostředí, než byla otestována v reálném světě. Zpočátku robot prokázal schopnost chodit všemi směry, chodit v podřepu, měnit polohu, když je vychýlen z rovnováhy, a přizpůsobovat se různým typům povrchů. 

Robot Cassie je prvním příkladem dvounohého robota, který úspěšně využívá posilovací učení chůze. 

Úžas z tančících robotů

Zatímco roboti, jako jsou ti od Boston Dynamics, jsou mimořádně působiví a obdivují téměř každého, kdo je sleduje, existuje několik klíčových faktorů. Nejpozoruhodnější je, že tito roboti jsou ručně programováni a choreografováni, aby dosáhli výsledku, ale v reálných situacích to není preferovaná metoda. 

Mimo laboratoř musí být roboti robustní, odolní, flexibilní a mnohem více. K tomu všemu se musí umět setkat a zvládnout neočekávané situace, což lze udělat pouze tak, že jim umožníme takové situace zvládnout sami. 

Zhongyu Li byl součástí týmu pracujícího na Cassie na univerzitě v Berkeley. 

"Tato videa mohou některé lidi vést k přesvědčení, že jde o vyřešený a snadný problém," říká Li. "Ale máme před sebou ještě dlouhou cestu k tomu, aby humanoidní roboti spolehlivě fungovali a žili v lidském prostředí." 

Posílení učení

K vytvoření takového robota se tým Berkeley spoléhal na posilovací učení, které bylo používáno společnostmi jako DeepMind k trénování algoritmů k poražení lidských bytostí v nejsložitějších hrách světa. Posílení učení je založeno na pokusech a omylech, přičemž robot se učí ze svých chyb. 

Robot Cassie se pomocí posilovacího učení naučil chodit v simulaci, což není poprvé, co byl tento přístup použit. To se však normálně nedostane ze simulovaného prostředí do reálného světa. I malý rozdíl může způsobit, že robot nebude chodit. 

Výzkumníci použili dvě simulace spíše než jednu, přičemž první bylo výukové prostředí s otevřeným zdrojovým kódem s názvem MuJoCo. V této první simulaci algoritmus zkoušel a učil se z knihovny možných pohybů a ve druhé simulaci nazvané SimMechanics je robot testoval ve více reálných podmínkách.

Po vyvinutí ve dvou simulacích nebylo nutné algoritmus dolaďovat. Už to bylo připravené na vstup do skutečného světa. Nejen, že umělo chodit, ale dokázalo toho mnohem víc. Podle výzkumníků se Cassie dokázala vzpamatovat poté, co dva motory v robotově koleni selhaly.

I když Cassie nemusí mít všechny zvonky a píšťalky jako někteří z jiných robotů, je v mnoha ohledech mnohem působivější. Má to také větší důsledky pro technologii, pokud jde o použití v reálném světě, protože takový chodící robot by mohl být použit v mnoha různých odvětvích.