Robot se naučil chodit prostřednictvím učení s posilováním

Zatímco Boston Dynamics a tančící roboti obvykle dostávají většinu pozornosti, existují některé významné vývojové procesy, které se odehrávají v pozadí a které nedostávají dostatečnou publicitu. Jedním z těchto vývojů je laboratoř v Berkeley, kde se robot jménem Cassie naučil chodit prostřednictvím učení s posilováním.

Po sérii pokusů a omylů se pár robotických nohou naučil navigovat v simulovaném prostředí, než byl otestován ve skutečném světě. Zpočátku robot prokázal schopnost chodit ve všech směrech, chodit při sezení, reponovat se, když byl vyveden z rovnováhy, a přizpůsobit se různým typům povrchů.

Robot Cassie je prvním případem dvou-nohého robota, který úspěšně použil učení s posilováním k chůzi.

Úžas tančících robotů

Zatímco roboti, jako jsou ti z Boston Dynamics, jsou extrémně působiví a téměř všichni, kdo je sledují, jsou ohromeni, existují beberapa klíčových faktorů. Nejvýznamněji, tyto roboty jsou ručně programovány a choreografovány, aby dosáhly výsledku, ale tato metoda není preferována v reálných situacích.

Mimo laboratoř musí roboti být robustní, odolní, flexibilní a mnohem více. Kromě toho musí být schopni řešit neočekávané situace, což lze dosáhnout pouze tím, že jim umožníme, aby si s nimi poradili sami.

Zhongyu Li byl součástí týmu, který pracoval na Cassie na Univerzitě v Berkeley.

„Tyto videa mohou některé lidi vést k tomu, aby si mysleli, že toto je vyřešený a snadný problém,“ říká Li. „Ale ještě máme dlouhou cestu, abychom měli humanoidní roboty, které spolehlivě fungují a žijí v lidských prostředích.“

https://www.youtube.com/watch?v=goxCjGPQH7U

Učení s posilováním

Aby vytvořili takový robot, tým z Berkeley spoléhal na učení s posilováním, které bylo použito společnostmi, jako je DeepMind, k výcviku algoritmů, aby porazily lidi ve světě nejkomplexnějších her. Učení s posilováním je založeno na pokusech a omylech, kdy se robot učí z chyb.

Robot Cassie použil učení s posilováním, aby se naučil chodit v simulaci, což není poprvé, co byla tato metoda použita. Nicméně, tato metoda se obvykle nevyskytuje v reálném světě. I malá odchylka může způsobit, že robot nebude chodit.

Výzkumníci použili dvě simulace místo jedné, s první simulací jako otevřeným výcvikovým prostředím nazvaným MuJoCo. V této první simulaci se algoritmus pokusil a naučil se z knihovny možných pohybů, a ve druhé simulaci nazvané SimMechanics robot otestoval tyto pohyby v více reálných podmínkách.

Po vývoji ve dvou simulacích nemusel algoritmus být jemně upraven. Už byl připraven k použití v reálném světě. Nejen, že byl schopen chodit, ale mohl dělat mnohem více. Podle výzkumníků byl Cassie schopen se zotavit, i když dva motory v robotově koleni selhaly.

Zatímco Cassie nemusí mít všechny zvony a píšťalky jako někteří jiní roboti, je mnoha způsoby mnohem působivější. Má také větší důsledky pro technologii, pokud jde o reálné použití, protože takový chodící robot by mohl být použit v mnoha různých sektorech.