Штучний інтелект Google вчить роботів рухатися, спостерігаючи за собаками

Деякі з найрозвітовіших роботів сьогодні все ще рухаються досить незграбно та різко. Щоб зробити рух роботів більш природним та плавним, дослідники з Google (GOOGL ) розробили систему штучного інтелекту, яка здатна навчиться рухам реальних тварин. Команда дослідників з Google опублікувала попередню версію статті, в якій описала свій підхід на початку минулого тижня. У статті та супровідному блоґ-пості команда дослідників описує підхід до системи. Автори статті вважають, що наділення роботів більш природним рухом допоможе їм виконувати реальні завдання, які вимагають точного руху, наприклад, доставку предметів між різними рівнями будівлі.

Як повідомляє VentureBeat, команда дослідників використала підкріплення навчання, щоб навчити роботів. Дослідники почали з збору кліпів руху реальних тварин та використання методів підкріплення навчання (RL), щоб змусити роботів імітувати рух тварин у відеокліпах. У цьому випадку дослідники навчили роботів на кліпах руху собаки, створених у фізичному симуляторі, та навчили чотирикутного робота Unitree Laikago імітувати рух собаки. Після навчання робот був здатний виконувати складні рухи, такі як стрибки, повороти та швидку ходьбу зі швидкістю близько 2,6 миль на годину.

Тренувальні дані складалися з приблизно 200 мільйонів зразків руху собак, відстежених у фізичному симуляторі. Різні рухи потім проходили через функції винагороди та політики, які агенти вивчили. Після створення політики у симуляторі їх перенесли у реальний світ за допомогою техніки латентного простору адаптації. Оскільки фізичні симулятори, які використовувалися для навчання роботів, могли лише приблизно відтворювати деякі аспекти реального руху, дослідники випадково застосовували різні порушення до симуляції, щоб імітувати роботу в різних умовах.

За словами команди дослідників, їм вдалося адаптувати політики симуляції до реальних роботів, використовуючи лише 8 хвилин даних, зібраних з 50 різних випробувань. Дослідники змогли продемонструвати, що реальні роботів були здатні імітувати різноманітні конкретні рухи, такі як галоп, поворот, стрибки та ходьба. Вони навіть змогли імітувати анімації, створені художниками-аніматорами, наприклад, комбінацію стрибків та повороту.

Дослідники підсумовують свої висновки у статті:

“Ми показуємо, що завдяки використанню даних руху, один підхід навчання може автоматично синтезувати контролери для різноманітних поведінок для роботів з ногами. Інтегруючи техніки адаптації області у процес навчання, наша система здатна вивчити адаптивні політики у симуляції, які потім можуть бути швидко адаптовані для реального розгортання”.

Політики контролю, які використовувалися під час процесу навчання з підкріпленням, мали свої обмеження. Через обмеження, накладені апаратним та алгоритмічним забезпеченням, були деякі речі, які роботами просто не можна було зробити. Наприклад, вони не могли бігати чи робити великі стрибки. Навчені політики також не демонстрували такої ж стабільності, як рухи, розроблені вручну. Команда дослідників хоче продовжити роботу далі, зробивши контролери більш надійними та здатними вивчити з різних типів даних. Ідеально, майбутні версії системи будуть здатні вивчити з відеоданих.