Umělá inteligence od Googlu učí roboty, jak se pohybovat, sledováním psů

Dokonce i někteří z nejpokročilejších robotů se dnes stále pohybují poněkud neohrabaně, trhaně. Aby se roboti mohli pohybovat realističtějším a plynulejším způsobem, vyvinuli výzkumníci z Googlu systém umělé inteligence, který je schopen učit se z pohybů skutečných zvířat. Výzkumný tým Google zveřejnil a předtiskový papír který podrobně popsal jejich přístup koncem minulého týdne. V novinách a doprovodných blogu, popisuje výzkumný tým zdůvodnění systému. Autoři článku věří, že poskytnutí robotů přirozenějším pohybem by jim mohlo pomoci plnit úkoly v reálném světě, které vyžadují přesný pohyb, jako je doručování předmětů mezi různými úrovněmi budovy.

Jak informoval VentureBeat, výzkumný tým využil posilovací učení k výcviku svých robotů. Vědci začali shromažďováním klipů pohybujících se skutečných zvířat a pomocí technik učení se zesílením (RL) přiměli roboty k napodobování pohybů zvířat ve videoklipech. V tomto případě vědci trénovali roboty na klipech psa, navržených ve fyzikálním simulátoru, instruovali čtyřnohého robota Unitree Laikago, aby napodoboval pohyby psa. Poté, co byl robot vycvičen, byl schopen provádět složité pohyby, jako je skákání, otáčení a rychlá chůze, rychlostí přibližně 2.6 mil za hodinu.

Tréninková data sestávala z přibližně 200 milionů vzorků psů v pohybu, sledovaných ve fyzikální simulaci. Různé pohyby pak procházely funkcemi odměn a zásadami, které se agenti naučili. Poté, co byly zásady vytvořeny v simulaci, byly přeneseny do reálného světa pomocí techniky zvané adaptace latentního prostoru. Protože fyzikální simulátory používané k výcviku robotů mohly pouze přiblížit určité aspekty pohybu v reálném světě, výzkumníci na simulaci náhodně aplikovali různé poruchy, které měly simulovat provoz za různých podmínek.

Podle výzkumného týmu byli schopni přizpůsobit zásady simulace skutečným robotům pomocí pouhých osmi minut dat shromážděných z 50 různých zkoušek. Výzkumníkům se podařilo prokázat, že roboti v reálném světě byli schopni napodobit řadu různých, specifických pohybů, jako je klusání, otáčení, poskakování a přecházení. Byli dokonce schopni napodobit animace vytvořené umělci animace, jako je kombinace skoků a otočení.

Vědci shrnují zjištění v článku:

„Ukazujeme, že využitím referenčních pohybových dat je jediný přístup založený na učení schopen automaticky syntetizovat ovladače pro různorodý repertoár chování robotů s nohama. Začleněním vzorových efektivních technik adaptace domény do tréninkového procesu je náš systém schopen naučit se adaptivním politikám v simulaci, které pak lze rychle přizpůsobit pro nasazení v reálném světě.

Kontrolní zásady používané během procesu posilování měly svá omezení. Kvůli omezením způsobeným hardwarem a algoritmy bylo několik věcí, které roboti prostě nedokázali. Nebyli například schopni běhat nebo dělat velké skoky. Naučené zásady také nevykazovaly tolik stability ve srovnání s pohyby, které byly navrženy ručně. Výzkumný tým chce posunout práci dále tím, že udělá regulátory robustnějšími a schopnými učit se z různých typů dat. V ideálním případě se budoucí verze frameworku budou moci učit z videodat.