AI hjelper med å trene lag av samarbeidende roboter og droner

Et team av forskere ved University of Illinois Grainger College of Engineering har utviklet en ny metode for å trene flere agenter, som roboter og droner, til å arbeide sammen med hjelp av kunstig intelligens (AI). Agentene baserer seg på forsterkningslæring, som er en av de viktigste typene maskinlærings-teknikker.

Desentralisert teknikk

Huy Tran er en romfartingeniør ved universitetet.

“Det er enklere når agenter kan snakke med hverandre,” sa Huy Tran. “Men vi ønsket å gjøre dette på en måte som er desentralisert, det vil si at de ikke snakker med hverandre. Vi fokuserte også på sitasjoner der det ikke er åpenbart hva de forskjellige rollene eller jobbene for agentene skal være.”

Ifølge Tran er denne scenariet mer kompleks fordi det ikke er klart hva en agent skal gjøre mot en annen agent.

“Det interessante spørsmålet er hvordan vi lærer å oppnå en oppgave sammen over tid,” sa han.

Forsterkningslærings-teknikk

Teamet baserte seg på maskinlærings-teknikken kalt forsterkningslæring for å komme rundt dette problemet. Den gjorde det mulig for dem å lage en nyttefunksjon som forteller agenten når den gjør noe nyttig for laget.

“Med lagmål, er det vanskelig å vite hvem bidro til seieren,” fortsatte Tran. “Vi utviklet en maskinlærings-teknikk som gjør det mulig for oss å identifisere når en enkelt agent bidro til det globale lagmålet. Hvis du ser på det i sammenheng med idrett, kan en fotballspiller score, men vi ønsker også å vite om handlinger fra andre lagkamerater som ledet til målet, som assists. Det er vanskelig å forstå disse forsinkede effektene.”

Forskerne sine algoritmer identifiserer også når en agent eller robot gjør noe som går mot, eller ikke bidrar til målet.

“Det er ikke så mye at roboten valgte å gjøre noe feil, bare noe som ikke er nyttig for sluttmålet,” sa han.

Algoritmene ble testet ved hjelp av simulerings-spill, som StarCraft.

“StarCraft kan være litt mer uforutsigbar — vi var spente på å se vår metode fungere godt i denne omgangen også.”

Denne type algoritme er anvendbar i mange virkelige situasjoner, sier teamet. Noen av de potensielle anvendelsene inkluderer militær overvåking, roboter i et lager, trafikklys-kontroll, selvstyrte kjøretøy som koordinerer leveranser og kontroll av et elektrisk kraftnett.

Teamet som utførte denne gjennombruddsforskningen inkluderte Seung Hyun Kim, Neale Van Stralen og Girish Chowdhary. Det ble presentert på Autonomous Agents and Multi-Agent Systems peer-reviewed konferansen.