Штучна інтелектна система допомагає тренувати команди співпрацюючих роботів і дронів

Команда дослідників з Університету Іллінойсу Grainger College of Engineering розробила новий метод навчання декількох агентів, таких як роботи та дронів, для спільної роботи з використанням штучного інтелекту (ШІ). Ці агенти покладаються на підкріплення навчання, яке є одним з основних типів технік машинного навчання.

Децентралізований підхід

Хуй Тран – інженер-аерокосмічник університету.

“Все простіше, коли агенти можуть спілкуватися один з одним”, – сказав Хуй Тран. “Але ми хотіли зробити це в децентралізованому порядку, тобто вони не спілкуються один з одним. Ми також зосередилися на цитатах, де не очевидно, які різні ролі чи завдання для агентів повинні бути.”

За словами Трана, ця ситуація є більш складною, оскільки не зрозуміло, що один агент повинен робити проти іншого агента.

“Цікаве питання полягає в тому, як ми вчимося виконувати завдання разом з часом”, – сказав він.

Техніка підкріплення навчання

Команда покладалася на техніку машинного навчання, звану підкріпленням навчання, щоб обійти цю проблему. Це дозволило їм створити функцію корисності, яка повідомляє агенту, коли він робить щось корисне для команди.

“З командними цілями важко знати, хто внесли свій внесок у перемогу”, – продовжив Тран. “Ми розробили техніку машинного навчання, яка дозволяє нам визначити, коли окремий агент внесли свій внесок у глобальну командну мету. Якщо ви розглядаєте це в термінах спорту, один футболіст може забити гол, але ми також хочемо знати про дії інших членів команди, які привели до гола, наприклад, гольові передачі. Це важко зрозуміти ці затримані ефекти.”

Алгоритми дослідників також визначають, коли агент або робот робить щось, що суперечить чи не сприяє меті.

“Це не означає, що робот вибрав зробити щось неправильне, просто щось, що не корисно для кінцевої мети”, – сказав він.

Алгоритми були протестовані за допомогою імітаційних ігор, таких як StarCraft.

“StarCraft може бути трохи непередбачуваним – ми були раді побачити, що наш метод добре працює в цьому середовищі.”

Цей тип алгоритму застосовний до різних реальних ситуацій, каже команда. Деякі з потенційних застосувань включають військовий нагляд, роботів на складі, керування рухом, автономні транспортні засоби, що координують доставку, та керування електричною мережею.

Команда, яка здійснила цей прорив у дослідженні, включала Син Хьон Кіма, Ніла Ван Стралена та Гіріша Човдхарі. Це було представлено на конференції Автономні агенти та багатокритерійні системи.