Googleův AI učí roboty, jak se pohybovat, pozorováním psů

Even některé z nejmodernějších robotů dnes stále pohybují somewhat clunky, jerky způsoby. Aby roboti mohli pohybovat více lifelike, fluid způsoby, výzkumníci z Google (GOOGL ) entwickli AI systém, který je capable of learning from the motions of real zvířat. Google výzkumný tým publikoval preprint paper, který detailoval jejich přístup na konci minulého týdne. V paperu a doprovodném blog postu, výzkumný tým popisuje rationale za systémem. Autoři paperu věří, že vybavování robotů s více přírodním pohybem by mohlo pomoci jim dokončit real-world úkoly, které vyžadují precise pohyb, jako je doručování položek mezi různými úrovněmi budovy.

As VentureBeat reported, výzkumný tým využíval reinforcement learning k trénování jejich robotů. Výzkumníci začali shromažďováním klipů skutečných zvířat v pohybu a pomocí reinforcement learning (RL) technik k tlačení robotů k imitaci pohybů zvířat ve videoklipech. V tomto případě výzkumníci trénovali roboty na klipách psa, navrženého v physics simulatoru, instruujícím čtyřnohého Unitree Laikago robota k imitaci psích pohybů. Po tréninku robot byl schopen dokončit komplexní pohyby, jako je hopping, turning, a walking swiftly, rychlostí kolem 2,6 mil za hodinu.

Trénovací data se skládala z přibližně 200 milionů vzorků psů v pohybu, sledovaných v physics simulačním prostředí. Různé pohyby byly poté spuštěny prostřednictvím reward funkcí a policies, které agenci naučili. Po vytvoření policies v simulačním prostředí, byly přeneseny do skutečného světa pomocí techniky nazvané latent space adaptation. Protože physics simulační prostředí, která byla použita k trénování robotů, mohla pouze aproximovat určité aspekty skutečného pohybu, výzkumníci náhodně aplikovali různé perturbace do simulačního prostředí, určené k simulaci provozu za různých podmínek.

Podle výzkumného týmu, byli schopni adaptovat simulační policies na skutečné roboty utilizando pouze osm minut dat shromážděných z 50 různých pokusů. Výzkumníci demonstrovali, že skutečné roboty byli schopni imitovat řadu různých, specifických pohybů, jako je trotting, turning around, hopping, a pacing. Byli dokonce schopni imitovat animace vytvořené animačními umělci, jako je kombinace hop a turn.

Výzkumníci shrnují výsledky v paperu:

“We show that by leveraging reference motion data, a single learning-based approach is able to automatically synthesize controllers for a diverse repertoire [of] behaviors for legged robots. By incorporating sample efficient domain adaptation techniques into the training process, our system is able to learn adaptive policies in simulation that can then be quickly adapted for real-world deployment.”

Control policies používané během reinforcement learning procesu měly své omezení. Kvůli omezením uloženým hardwarem a algoritmy, existovaly některé věci, které roboti prostě nemohli udělat. Nemohli běžet nebo dělat velké skoky, například. Naučené policies také nevykazovaly tolik stability ve srovnání s pohyby, které byly manuálně navrženy. Výzkumný tým chce dále rozvíjet práci, aby udělali kontroléry více robustní a schopné učení z různých typů dat. Ideálně, budoucí verze frameworku budou schopny učit se z videodat.