AI від Google вчить роботів рухатися, спостерігаючи за собаками

Навіть деякі з найбільш просунутих роботів сьогодні все ще рухаються досить незграбно, з різкими рухами. Щоб зробити рухи роботів більш природними та плавними, дослідники з Google розробили систему штучного інтелекту, яка здатна навчатися рухам реальних тварин. Команда дослідників Google опублікувала попередню версію статті наприкінці минулого тижня. У статті та супровідному блозі команда дослідників описує підхід до системи. Автори статті вважають, що наділення роботів більш природними рухами може допомогти їм виконувати реальні завдання, які вимагають точних рухів, таких як доставка предметів між різними рівнями будівлі.

Як повідомляє VentureBeat, команда дослідників використала підкріплення навчання для навчання роботів. Дослідники почали з збору кліпів руху реальних тварин та використання технік підкріплення навчання (RL), щоб змусити роботів імітувати рухи тварин у відеокліпах. У цьому випадку дослідники навчали роботів на кліпах собаки, створених у фізичному симуляторі, інструктували чотирикутного робота Unitree Laikago імітувати рухи собаки. Після навчання робот був здатний виконувати складні рухи, такі як стрибки, повороти та швидку ходьбу зі швидкістю близько 2,6 миль на годину.

Дані для навчання складалися з приблизно 200 мільйонів зразків руху собак, відстежених у фізичному симуляторі. Різні рухи потім проходили через функції винагороди та політики, які агенти вивчали. Після створення політики у симуляторі їх переносили у реальний світ за допомогою техніки латентного просторового адаптування. Оскільки фізичні симулятори, використані для навчання роботів, могли лише приблизно відтворювати деякі аспекти реального руху, дослідники випадково застосовували різні порушення до симуляції, щоб імітувати роботу в різних умовах.

Згідно з командою дослідників, їм вдалося адаптувати політики симуляції до реальних роботів, використовуючи лише 8 хвилин даних, зібраних з 50 різних випробувань. Дослідники змогли продемонструвати, що реальні роботизовані пристрої могли імітувати різні конкретні рухи, такі як галоп, поворот, стрибки та крок. Вони навіть змогли імітувати анімації, створені художниками-аніматорами, такі як комбінація стрибків і поворотів.

Дослідники підсумовують результати у статті:

“Ми показуємо, що завдяки використанню даних руху, один підхід, заснований на навчанні, здатний автоматично синтезувати контролери для різноманітних поведінок для чотирикутних роботів. Інтегруючи ефективні техніки адаптації області у процес навчання, наша система здатна вивчати адаптивні політики у симуляції, які потім можуть бути швидко адаптовані для реального розгортання”.

Політики контролю, використані під час процесу підкріплення навчання, мали свої обмеження. Через обмеження, накладені апаратним та програмним забезпеченням, існували певні речі, які роботизовані пристрої просто не могли зробити. Наприклад, вони не могли бігати або робити великі стрибки. Навчені політики також не демонстрували такої ж стабільності порівняно з рухами, розробленими вручну. Команда дослідників хоче продовжити роботу, зробивши контролери більш надійними та здатними вивчати з різних типів даних. Ідеально, майбутні версії框架 будуть能够 вивчати з відеоданих.