Robot Se Učí Chodit Prostřednictvím Učení Posílením

Zatímco Boston Dynamics a tančící roboti obvykle získávají většinu pozornosti, existují některé významné vývojové procesy, které se odehrávají v pozadí a které nedostávají dostatečnou publicitu. Jedním z těchto vývojů je laboratoř v Berkeley, kde se robot jménem Cassie naučil chodit prostřednictvím učení posílením. 

Po sérii pokusů a omylů se pár robotických nohou naučil navigovat v simulovaném prostředí, než byl testován v reálném světě. Zpočátku robot prokázal schopnost chodit ve všech směrech, chodit při dřepu,重新 položit se, když byl vyveden z rovnováhy, a přizpůsobit se různým typům povrchů. 

Robot Cassie je prvním případem dvou-nohého robota, který úspěšně použil učení posílením k chůzi. 

Údiv z Tančících Robotů

Zatímco roboti, jako jsou ti z Boston Dynamics, jsou extrémně působiví a téměř každého, kdo je sleduje, ohromují, existují několik klíčových faktorů. Nejvýznamnější je, že tyto roboty jsou ručně programovány a choreografovány, aby dosáhly výsledku, ale tato metoda není preferována v reálných situacích. 

Mimo laboratoř musí roboti být robustní, odolní, flexibilní a mnohem více. Kromě toho musí být schopni řešit a zvládat neočekávané situace, což lze dosáhnout pouze tím, že jim umožníme, aby se s nimi vypořádali sami. 

Zhongyu Li byl součástí týmu, který pracoval na Cassie na Univerzitě v Berkeley. 

“Tyto videa mohou některé lidi vést k přesvědčení, že tento problém je již vyřešen a snadno řešitelný,” říká Li. “Ale ještě máme dlouhou cestu, abychom měli humanoidní roboty, které spolehlivě fungují a žijí v lidských prostředích.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Učení Posílením

Aby vytvořili takový robot, tým z Berkeley spoléhal na učení posílením, které bylo použito společnostmi, jako je DeepMind, k výcviku algoritmů, aby porazily lidské bytosti ve světě nejkomplexnějších her. Učení posílením je založeno na pokusech a omylech, přičemž se robot učí ze svých chyb. 

Robot Cassie použil učení posílením, aby se naučil chodit v simulaci, což není poprvé, co byla tato metoda použita. Nicméně, tato metoda se obvykle nevyskytuje mimo simulované prostředí a do reálného světa. I malá odchylka může způsobit, že robot nebude chodit. 

Výzkumníci použili dvě simulace místo jedné, přičemž první byla otevřená zdrojová tréninková prostředí nazvaná MuJoCo. V této první simulaci se algoritmus pokusil a naučil se z knihovny možných pohybů, a ve druhé simulaci nazvané SimMechanics robot otestoval tyto pohyby v více reálných podmínkách.

Po vývoji ve dvou simulacích nemusel algoritmus být jemně upraven. Už byl připraven k použití v reálném světě. Nejenže uměl chodit, ale uměl dělat mnohem více. Podle výzkumníků Cassie uměl zotavit se po tom, co dva motory v robotově koleni selhaly.

Zatímco Cassie nemusí mít všechny zvony a píšťalky jako někteří jiní roboti, je mnoha způsoby mnohem působivější. Má také větší důsledky pro technologii, pokud jde o reálné použití, protože takový chodící robot by mohl být použit v mnoha různých sektorech.