KI hilft beim Training von Teams kollaborativer Roboter und Drohnen

Ein Forscherteam am Grainger College of Engineering der University of Illinois hat eine neue Methode entwickelt, um mithilfe künstlicher Intelligenz (KI) mehrere Agenten wie Roboter und Drohnen für die Zusammenarbeit zu trainieren. Die Agenten stützen sich auf Reinforcement Learning, eine der Hauptarten maschineller Lerntechniken.

Dezentrale Technik

Huy Tran ist Luft- und Raumfahrtingenieur an der Universität.

„Es ist einfacher, wenn Agenten miteinander reden können“, sagte Huy Tran. „Aber wir wollten dies dezentral tun, das heißt, dass sie nicht miteinander reden. Wir haben uns auch auf Zitate konzentriert, bei denen nicht klar ist, welche unterschiedlichen Rollen oder Aufgaben die Agenten haben sollten.“

Laut Tran ist dieses Szenario komplexer, da nicht klar ist, was ein Agent gegen einen anderen Agenten tun soll.

„Die interessante Frage ist, wie wir im Laufe der Zeit lernen, eine Aufgabe gemeinsam zu bewältigen“, sagte er.

Verstärkungslerntechnik

Um dieses Problem zu umgehen, verließ sich das Team auf die Technik des maschinellen Lernens namens Reinforcement Learning. Dadurch konnten sie eine Hilfsfunktion erstellen, die dem Agenten mitteilt, wenn er etwas Nützliches für das Team tut.

„Bei Mannschaftszielen ist es schwer zu sagen, wer zum Sieg beigetragen hat“, fuhr Tran fort. „Wir haben eine Technik des maschinellen Lernens entwickelt, mit der wir erkennen können, wann ein einzelner Agent zum globalen Teamziel beigetragen hat. Wenn man es sportlich betrachtet, mag zwar ein Fußballspieler punkten, wir wollen aber auch wissen, welche Aktionen anderer Mitspieler zum Tor geführt haben, wie zum Beispiel Assists. Es ist schwer, diese verzögerten Effekte zu verstehen.“

Die Algorithmen der Forscher erkennen auch, wenn ein Agent oder Roboter etwas tut, das dem Ziel zuwiderläuft oder nicht dazu beiträgt.

„Es liegt nicht so sehr daran, dass der Roboter sich entschieden hat, etwas falsch zu machen, sondern nur an etwas, das für das Endziel nicht nützlich ist“, sagte er.

Die Algorithmen wurden anhand simulierter Spiele wie StarCraft getestet.

„StarCraft kann etwas unvorhersehbarer sein – wir waren begeistert, dass unsere Methode auch in dieser Umgebung gut funktioniert.“

Diese Art von Algorithmus sei auf verschiedene reale Situationen anwendbar, sagt das Team. Zu den potenziellen Anwendungen gehören die militärische Überwachung, Roboter in einem Lagerhaus, die Steuerung von Verkehrsampeln, autonome Fahrzeuge zur Koordinierung von Lieferungen und die Steuerung eines Stromnetzes.

Zu dem Team, das diese bahnbrechende Forschung durchführte, gehörten Seung Hyun Kim, Neale Van Stralen und Girish Chowdhary. Es wurde auf der Peer-Review-Konferenz „Autonomous Agents and Multi-Agent Systems“ vorgestellt.