Robotica en fysieke AI
AI helpt bij het trainen van teams van samenwerkende robots en drones
Belangrijkste puntenGedecentraliseerd versterkend leren stelt robotteams in staat om te coördineren zonder…
Meer weergeven
- Gedecentraliseerd versterkend leren stelt robotteams in staat om te coördineren zonder directe communicatie.
- Nieuwe algoritmen identificeren individuele bijdragen van agenten aan teamdoelen, zoals assists in voetbal.
- De methode bleek effectief in onvoorspelbare gesimuleerde omgevingen zoals StarCraft.
Een team van onderzoekers aan de University of Illinois Grainger College of Engineering heeft een nieuwe methode ontwikkeld om meerdere agenten, zoals robots en drones, samen te laten werken met behulp van kunstmatige intelligentie (AI). De agenten vertrouwen op versterkingsleren, wat een van de belangrijkste soorten machine learning-technieken is.
Decentrale Techniek
Huy Tran is een luchtvaartingenieur aan de universiteit.
“Het is gemakkelijker als agenten met elkaar kunnen praten,” zei Huy Tran. “Maar we wilden dit op een decentrale manier doen, wat betekent dat ze niet met elkaar praten. We richtten ons ook op situaties waarin het niet duidelijk is wat de verschillende rollen of taken voor de agenten zouden moeten zijn.”
Volgens Tran is deze situatie complexer omdat het niet duidelijk is wat een agent tegenover een andere agent zou moeten doen.
“De interessante vraag is hoe we leren om een taak samen te voltooien in de loop van de tijd,” zei hij.
Techniek voor versterkingsleren
Het team vertrouwde op de machine learning-techniek genaamd versterkingsleren om dit probleem te omzeilen. Hiermee konden ze een nuttigheidsfunctie creëren die de agent aangeeft wanneer hij iets nuttigs doet voor het team.
“Met teamdoelen is het moeilijk te weten wie heeft bijgedragen aan de overwinning,” vervolgde Tran. “We hebben een machine learning-techniek ontwikkeld die ons in staat stelt om te identificeren wanneer een individuele agent heeft bijgedragen aan het globale teamdoel. Als je het bekijkt in termen van sport, kan een voetballer een doelpunt scoren, maar we willen ook weten over acties van andere teamgenoten die tot het doelpunt hebben geleid, zoals assists. Het is moeilijk om deze vertraagde effecten te begrijpen.”
De algoritmes van de onderzoekers identificeren ook wanneer een agent of robot iets doet dat tegen het doel ingaat of niet bijdraagt aan het doel.
“Het is niet zo dat de robot iets verkeerds heeft gekozen, maar eerder iets dat niet nuttig is voor het einddoel,” zei hij.
De algoritmes werden getest met behulp van gesimuleerde spellen, zoals StarCraft.
“StarCraft kan een beetje onvoorspelbaarder zijn – we waren enthousiast om te zien dat onze methode goed werkte in deze omgeving.”
Dit type algoritme is toepasbaar op verschillende echte situaties, zegt het team. Enkele van de potentiële toepassingen zijn militaire surveillance, robots in een magazijn, verkeersregelinstallaties, autonome voertuigen die leveringen coördineren en het regelen van een elektriciteitsnet.
Het team dat dit baanbrekende onderzoek uitvoerde, bestond uit Seung Hyun Kim, Neale Van Stralen en Girish Chowdhary. Het werd gepresenteerd op de peer-reviewed conferentie Autonomous Agents and Multi-Agent Systems.












