Umělá inteligence Google učí roboty, jak se pohybovat, pozorováním psů

I některé z nejmodernějších robotů se dosud pohybují somewhat clunky, jerky způsoby. Aby se roboti mohli pohybovat více lifelike, fluid způsoby, výzkumníci z Google vyvinuli systém umělé inteligence, který je schopen učit se z pohybů skutečných zvířat. Tým výzkumníků z Google zveřejnil předtisk článku, ve kterém popsali svůj přístup na konci minulého týdne. V článku a doprovodném blogovém příspěvku tým výzkumníků popisuje důvody, proč vytvořili tento systém. Autoři článku se domnívají, že vybavení robotů přirozenějším pohybem by jim mohlo pomoci plnit úkoly v reálném světě, které vyžadují přesný pohyb, jako je doručování předmětů mezi různými patry budovy.

Jak uvedl VentureBeat, tým výzkumníků využil učení s posilováním k trénování svých robotů. Výzkumníci začali shromažďováním záznamů skutečných zvířat v pohybu a pomocí technik učení s posilováním (RL) donutili roboty napodobovat pohyby zvířat ve videosekvencích. V tomto případě výzkumníci trénovali roboty na záznamech psa, vytvořených v fyzikálním simulátoru, a instruovali čtyřnohého robota Unitree Laikago, aby napodoboval pohyby psa. Po dokončení tréninku byl robot schopen zvládnout složité pohyby, jako je skok, otočení a rychlá chůze, rychlostí kolem 2,6 mil za hodinu.

Trénovací data se skládala z přibližně 200 milionů vzorků psů v pohybu, sledovaných v fyzikálním simulátoru. Různé pohyby byly poté spuštěny prostřednictvím funkcí odměn a politik, které agenti naučili. Po vytvoření politik v simulátoru byly přeneseny do reálného světa pomocí techniky nazvané latent space adaptation. Protože fyzikální simulátory, používané k trénování robotů, mohly pouze aproximovat určité aspekty reálného pohybu, výzkumníci náhodně aplikovali různé perturbace do simulace, určené k simulaci provozu za různých podmínek.

Podle týmu výzkumníků se jim podařilo adaptovat simulované politiky na reálné roboty pomocí pouze osmi minut dat shromážděných z 50 různých pokusů. Výzkumníci dokázali prokázat, že reálné roboty byly schopny napodobovat různé konkrétní pohyby, jako je klus, otočení, skok a chůze. Dokonce byli schopni napodobit animace vytvořené animačními umělci, jako je kombinace skoku a otočení.

Výzkumníci shrnují své zjištění v článku:

„ Ukazujeme, že využitím referenčních dat o pohybu je možné automaticky syntetizovat kontroléry pro širokou škálu chování pro čtyřnohé roboty. Integrací technik efektivní doménové adaptace do procesu učení je náš systém schopen učit se adaptabilním politikám v simulaci, které lze poté rychle adaptovat pro nasazení v reálném světě.“

Kontrolní politiky používané během procesu učení s posilováním měly své omezení. Kvůli omezením, která byla uložena hardwarem a algoritmy, existovaly některé věci, které roboti prostě nemohli udělat. Například nebyli schopni běhat nebo dělat velké skoky. Naučené politiky také nevykazovaly tolik stability ve srovnání s pohyby, které byly navrženy ručně. Tým výzkumníků chce dále rozvíjet tuto práci a učinit kontroléry více robustními a schopnými učit se z různých typů dat. Ideálně budou budoucí verze tohoto rámce schopny učit se z videodata.