Sztuczna inteligencja Google uczy robotów, jak poruszać się, obserwując psy

Nawet niektóre z najbardziej zaawansowanych robotów dzisiaj poruszają się w sposób nieco sztywny i skokowy. Aby roboty poruszały się w sposób bardziej naturalny i płynny, naukowcy z Google (GOOGL ) opracowali system sztucznej inteligencji, który jest w stanie uczyć się z ruchów prawdziwych zwierząt. Zespół badawczy z Google opublikował wstępny artykuł, w którym opisano ich podejście pod koniec zeszłego tygodnia. W artykule i towarzyszącym poście na blogu zespół badawczy opisuje powody, dla których opracowali ten system. Autorzy artykułu uważają, że nadanie robotom bardziej naturalnego ruchu mogłoby pomóc im w wykonywaniu rzeczywistych zadań, które wymagają precyzyjnego ruchu, takich jak dostarczanie przedmiotów między różnymi poziomami budynku.

Jak donosi VentureBeat, zespół badawczy wykorzystał uczenie wzmacnianie, aby trenować swoje roboty. Naukowcy zaczęli od zbierania klipów prawdziwych zwierząt w ruchu i wykorzystywali techniki uczenia wzmacniania (RL), aby nakłonić roboty do naśladowania ruchów zwierząt z klipów wideo. W tym przypadku naukowcy trenowali roboty na klipach psa, zaprojektowanego w symulatorze fizycznym, nakazując czteronożnemu robotowi Unitree Laikago naśladować ruchy psa. Po tym, jak robot został wytrenowany, był w stanie wykonać złożone ruchy, takie jak skakanie, skręcanie i szybkie chodzenie, z prędkością około 4,2 kilometra na godzinę.

Dane treningowe składały się z około 200 milionów próbek psów w ruchu, śledzonych w symulatorze fizycznym. Różne ruchy były następnie przepuszczane przez funkcje nagradzania i polityki, które agenci uczyli się. Po utworzeniu polityk w symulatorze, zostały one przeniesione do świata rzeczywistego przy użyciu techniki adaptacji przestrzeni latentnej. Ponieważ symulatory fizyczne wykorzystywane do trenowania robotów mogły tylko przybliżać pewne aspekty ruchu w świecie rzeczywistym, naukowcy losowo stosowali różne perturbacje w symulatorze, mające na celu symulowanie działania w różnych warunkach.

Zgodnie z oświadczeniem zespołu badawczego, byli w stanie dostosować polityki symulacji do robotów w świecie rzeczywistym, wykorzystując tylko 8 minut danych zebranych z 50 różnych prób. Naukowcy byli w stanie udowodnić, że roboty w świecie rzeczywistym były w stanie naśladować różne, określone ruchy, takie jak kłusowanie, skręcanie, skakanie i stąpanie. Byli nawet w stanie naśladować animacje stworzone przez artystów animacji, takie jak kombinacja skoku i skrętu.

Naukowcy podsumowują swoje wyniki w artykule:

„Pokazujemy, że dzięki wykorzystaniu danych ruchu referencyjnego, pojedyncze podejście oparte na uczeniu jest w stanie automatycznie syntetyzować kontrolery dla różnorodnego repertuaru zachowań dla robotów dwunożnych. Poprzez włączenie efektywnych technik adaptacji domeny do procesu treningu, nasz system jest w stanie uczyć się adaptacyjnych polityk w symulatorze, które mogą być następnie szybko dostosowane do wdrożenia w świecie rzeczywistym.”

Polityki kontroli stosowane podczas procesu uczenia wzmacniania miały swoje ograniczenia. Ze względu na ograniczenia narzucane przez sprzęt i algorytmy, były pewne rzeczy, których roboty po prostu nie mogły zrobić. Nie były w stanie biegać ani wykonywać dużych skoków, na przykład. Nauczone polityki również nie wykazywały tyle stabilności w porównaniu z ruchami, które zostały zaprojektowane ręcznie. Zespół badawczy chce kontynuować swoją pracę, rozwijając kontrolery, aby były bardziej niezawodne i mogły uczyć się z różnych typów danych. Ideałem byłoby, gdyby przyszłe wersje ramy były w stanie uczyć się z danych wideo.