Sztuczna inteligencja pomaga szkolić zespoły współpracujących robotów i dronów

Zespół naukowców z University of Illinois Grainger College of Engineering opracował nową metodę szkolenia wielu agentów, takich jak roboty i drony, do współpracy z wykorzystaniem sztucznej inteligencji (AI). Agenci opierają się na uczeniu się przez wzmacnianie, które jest jednym z głównych rodzajów technik uczenia maszynowego.

Technika zdecentralizowana

Huy Tran jest inżynierem lotniczym na uniwersytecie.

„Łatwiej jest, gdy agenci mogą ze sobą rozmawiać” – powiedział Huy Tran. „Chcieliśmy jednak zrobić to w sposób zdecentralizowany, co oznacza, że ​​nie rozmawiają ze sobą. Skoncentrowaliśmy się także na cytatach, w przypadku których nie jest oczywiste, jakie powinny być role lub stanowiska agentów”.

Według Trana ten scenariusz jest bardziej złożony, ponieważ nie jest jasne, co jeden agent powinien zrobić przeciwko drugiemu.

„Interesujące pytanie brzmi: w jaki sposób z biegiem czasu uczymy się wspólnie wykonywać zadanie” – powiedział.

Technika uczenia się przez wzmacnianie

Aby obejść ten problem, zespół wykorzystał technikę uczenia maszynowego zwaną uczeniem przez wzmacnianie. Umożliwiło im to stworzenie funkcji użytkowej, która informuje agenta, kiedy robi coś pożytecznego dla zespołu.

„Przy golach zespołowych trudno stwierdzić, kto przyczynił się do zwycięstwa” – kontynuował Tran. „Opracowaliśmy technikę uczenia maszynowego, która pozwala nam określić, kiedy pojedynczy agent przyczynił się do osiągnięcia globalnego celu zespołu. Jeśli spojrzeć na to pod kątem sportowym, jeden piłkarz może strzelić gola, ale chcemy także wiedzieć o działaniach innych członków drużyny, które doprowadziły do ​​bramki, np. asystach. Trudno zrozumieć te opóźnione skutki.”

Algorytmy badaczy identyfikują również, kiedy agent lub robot robi coś, co jest sprzeczne z celem lub nie przyczynia się do jego osiągnięcia.

„To nie jest tak, że robot zdecydował się zrobić coś złego, ale po prostu coś, co nie jest przydatne do osiągnięcia końcowego celu” – powiedział.

Algorytmy testowano przy użyciu gier symulacyjnych, takich jak StarCraft.

„StarCraft może być nieco bardziej nieprzewidywalny — byliśmy podekscytowani, widząc, że nasza metoda sprawdza się również w tym środowisku”.

Zespół twierdzi, że ten typ algorytmu można zastosować w różnych sytuacjach w świecie rzeczywistym. Niektóre z potencjalnych zastosowań obejmują nadzór wojskowy, roboty w magazynie, kontrolę sygnalizacji świetlnej, pojazdy autonomiczne koordynujące dostawy i sterowanie siecią elektroenergetyczną.

W zespole przeprowadzającym to przełomowe badanie znaleźli się Seung Hyun Kim, Neale Van Stralen i Girish Chowdhary. Został on zaprezentowany na konferencji recenzowanej dotyczącej agentów autonomicznych i systemów wieloagentowych.