Робототехніка та фізичний ШІ
Штучний інтелект допомагає навчати команди роботів і дронів, що співпрацюють
Ключові моментиДецентралізоване навчання з підкріпленням дозволяє командам роботів координувати дії…
Показати більше
- Децентралізоване навчання з підкріпленням дозволяє командам роботів координувати дії без прямого зв'язку.
- Нові алгоритми визначають внесок окремих агентів у командні цілі, наприклад, асисти у футболі.
- Метод виявився ефективним у непередбачуваних симульованих середовищах, таких як StarCraft.
Команда дослідників з Університету Іллінойсу Grainger College of Engineering розробила новий метод навчання декількох агентів, таких як роботи та дронів, для спільної роботи з використанням штучного інтелекту (ШІ). Ці агенти покладаються на навчання з підкріпленням, яке є одним з основних типів технік машинного навчання.
Децентралізований підхід
Huy Tran – інженер-аерокосмічник університету.
“Все простіше, коли агенти можуть спілкуватися один з одним”, – сказав Huy Tran. “Але ми хотіли зробити це в децентралізованому порядку, тобто вони не спілкуються один з одним. Ми також зосередилися на ситуаціях, де не очевидно, які різні ролі чи завдання для агентів повинні бути.”
За словами Трана, ця ситуація є більш складною, оскільки не зрозуміло, що один агент повинен робити проти іншого агента.
“Цікаве питання полягає в тому, як ми вчимося виконувати завдання разом з часом”, – сказав він.
Техніка навчання з підкріпленням
Команда покладалася на техніку машинного навчання, звану навчанням з підкріпленням, щоб обійти цю проблему. Це дозволило їм створити функцію корисності, яка повідомляє агенту, коли він робить щось корисне для команди.
“З командними цілями важко знати, хто зробив внесок у перемогу”, – продовжив Тран. “Ми розробили техніку машинного навчання, яка дозволяє нам визначити, коли окремий агент зробив внесок у глобальну командну мету. Якщо ви розглядаєте це в термінах спорту, один футболіст може забити гол, але ми також хочемо знати про дії інших членів команди, які привели до гола, наприклад, гольові передачі. Це важко зрозуміти ці затримані ефекти.”
Алгоритми дослідників також визначають, коли агент або робот робить щось, що суперечить чи не сприяє меті.
“Це не означає, що робот вибрав зробити щось неправильне, просто щось, що не корисно для кінцевої мети”, – сказав він.
Алгоритми були протестовані за допомогою імітаційних ігор, таких як StarCraft.
“StarCraft може бути трохи непередбачуваним – ми були раді побачити, що наш метод добре працює в цьому середовищі.”
Цей тип алгоритму застосовний до різних реальних ситуацій, каже команда. Деякі з потенційних застосувань включають військовий нагляд, роботів на складі, керування рухом, автономні транспортні засоби, що координують доставку, та керування електричною мережею.
Команда, яка здійснила цей прорив у дослідженні, включала Син Хьон Кіма, Ніла Ван Стралена та Гіріша Човдхарі. Це було представлено на конференції Autonomous Agents and Multi-Agent Systems, яка проходить рецензування.












