AI на Google учи роботи как да се движат, като наблюдава кучета

Дори някои от най-напредналите роботи днес все още се движат по малко тромави, резки начини. За да накарат роботите да се движат по по-реалистични, плавни начини, изследователи от Google са разработили система с изкуствен интелект, която е в състояние учене от движенията на истински животни. Изследователският екип на Google публикува a хартия за предпечат които описаха техния подход в края на миналата седмица. В доклада и придружаващия го блог пост, изследователският екип описва обосновката зад системата. Авторите на статията вярват, че предоставянето на роботи с по-естествено движение може да им помогне да изпълняват реални задачи, които изискват прецизно движение, като например доставяне на предмети между различни нива на сграда.

Както съобщи VentureBeat, изследователският екип е използвал обучение за подсилване, за да обучи своите роботи. Изследователите започнаха със събиране на клипове на истински животни, които се движат и използване на техники за обучение с подсилване (RL), за да накарат роботите да имитират движенията на животните във видеоклиповете. В този случай изследователите обучават роботите на клипове на куче, проектирани във физически симулатор, инструктирайки четирикрак робот Unitree Laikago да имитира движенията на кучето. След като роботът беше обучен, той беше способен да извършва сложни движения като подскачане, обръщане и бързо ходене със скорост от около 2.6 мили в час.

Данните за обучение се състоят от приблизително 200 милиона проби от кучета в движение, проследени във физическа симулация. След това различните движения бяха прокарани чрез функции за възнаграждение и политики, с които агентите се научиха. След като политиките бяха създадени в симулацията, те бяха прехвърлени в реалния свят с помощта на техника, наречена латентна пространствена адаптация. Тъй като физическите симулатори, използвани за обучение на роботите, можеха да приближат само определени аспекти на движението в реалния свят, изследователите произволно приложиха различни смущения към симулацията, предназначени да симулират работа при различни условия.

Според изследователския екип те са успели да адаптират политиките за симулация към роботите в реалния свят, използвайки само осем минути данни, събрани от 50 различни опита. Изследователите успяха да демонстрират, че роботите в реалния свят са в състояние да имитират различни, специфични движения като тръс, обръщане, подскачане и крачка. Те дори успяха да имитират анимации, създадени от анимационни артисти, като комбинация от скок и завой.

Изследователите обобщават констатациите в статията:

„Ние показваме, че чрез използване на референтни данни за движение, един подход, базиран на обучение, е в състояние автоматично да синтезира контролери за разнообразен репертоар [от] поведения за краки роботи. Чрез включването на примерни ефективни техники за адаптиране на домейн в процеса на обучение, нашата система е в състояние да научи адаптивни политики в симулация, които след това могат бързо да бъдат адаптирани за внедряване в реалния свят.“

Политиките за контрол, използвани по време на процеса на обучение за укрепване, имаха своите ограничения. Поради ограниченията, наложени от хардуера и алгоритмите, имаше няколко неща, които роботите просто не можеха да направят. Те не можеха да бягат или да правят големи скокове, например. Научените политики също не показват толкова голяма стабилност в сравнение с движенията, които са проектирани ръчно. Изследователският екип иска да продължи работата, като направи контролерите по-стабилни и способни да се учат от различни видове данни. В идеалния случай бъдещите версии на рамката ще могат да се учат от видео данни.