Lidský jazyk urychluje robotické učení

Tým výzkumníků z Princetonské univerzity zjistil, že lidské jazykové popisy nástrojů mohou urychlit učení simulované robotické paže, která může zvedat a používat různé nástroje.

Nový výzkum podporuje myšlenku, že školení umělé inteligence může učinit autonomní roboty adaptivnější v nových situacích, což zlepšuje jejich účinnost a bezpečnost.

Přidáním popisů tvaru a funkce nástroje do procesu školení robota se zlepšila schopnost robota manipulovat s novými nástroji.

Metoda ATLA pro školení

Nová metoda se nazývá Zrychlené učení manipulace s nástroji s jazykem, nebo ATLA.

Anirudha Majumdar je asistent profesora mechanického a aerokosmického inženýrství na Princetonské univerzitě a vedoucí laboratoře Inteligentního robotického pohybu.

„Extra informace ve formě jazyka mohou pomoci robotu naučit se používat nástroje rychleji,“ řekl Majumdar.

Tým dotázal jazykový model GPT-3, aby získal popisy nástrojů. Po vyzkoušení různých dotazů se rozhodli použít „Popište [funkci] [nástroje] v podrobné a vědecké odpovědi“, kde funkcí je tvar nebo účel nástroje.

Karthik Narasimhan je asistent profesora počítačových věd a spoluautor studie. Narasimhan je také vedoucí člen skupiny pro zpracování přirozeného jazyka na Princetonské univerzitě a přispěl k původnímu jazykovému modelu GPT jako hostující výzkumný pracovník v OpenAI.

„Protože tyto jazykové modely byly školeny na internetu, lze je považovat za jiný způsob získání této informace efektivněji a komplexněji než pomocí crowdsourcingu nebo procházení konkrétních webových stránek pro popisy nástrojů,“ řekl Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Simulované experimenty robotického učení

Tým vybral trénovací sadu 27 nástrojů pro své simulované experimenty robotického učení, s nástroji od sekery po škrabku. Robotická paže dostala čtyři různé úkoly: tlačit nástroj, zvednout nástroj, použít jej k setření válcového tělesa po stole nebo k uháčkování kolíku do díry.

Tým poté vyvinul sadu politik pomocí metod strojového učení s a bez jazykových informací. Výkony politik byly porovnány v samostatném testu devíti nástrojů s popisem.

Přístup, nazývaný meta-učení, zlepšuje schopnost robota učit se s každým následujícím úkolem.

Podle Narasimhana se robot nejen učí používat každý nástroj, ale také „snaží se naučit rozumět popisům každého z těchto stovek různých nástrojů, takže když uvidí 101. nástroj, je rychlejší v učení používat nový nástroj.“

V meisten experimentech poskytla jazyková informace významné výhody pro schopnost robota používat nové nástroje.

Allen Z. Ren je doktorand ve skupině Majumdara a hlavní autor výzkumné práce.

„S jazykovým školením se naučí robot chytat na dlouhém konci škrabky a používat zakřivenou plochu k lepšímu omezení pohybu láhve,“ řekl Ren. „Bez jazyka se robot chytal škrabky blízko zakřivené plochy a bylo to těžší ovládat.“

„Široký cíl je získat robotické systémy — zejména ty, které jsou školeny pomocí strojového učení — aby se generalizovaly do nových prostředí,“ dodal Majumdar.