Tekoäly auttaa kouluttamaan joukkorobotteja ja -droneja

Illinoisin yliopiston Grainger College of Engineering -tutkijaryhmä on kehittänyt uuden menetelmän kouluttaa useita agentteja, kuten robottija ja droneja, työskentelemään yhdessä tekoälyn (AI) avulla. Agentit luottavat vahvistusoppimiseen, joka on yksi tärkeimmistä koneoppimismenetelmistä.

Hajautettu tekniikka

Huy Tran on ilmailuteknikko yliopistossa.

”On helpompaa, kun agentit voivat puhua toisilleen”, sanoi Huy Tran. ”Mutta halusimme tehdä tämän hajautetulla tavalla, eli niin, että he eivät puhu toisilleen. Keskityimme myös viittauksiin, joissa ei ole selvää, mitkä ovat eri agenttien roolit tai tehtävät.”

Tranin mukaan tämä skenaario on monimutkaisempi, koska ei ole selvää, mitä yksi agentti tulisi tekemään toista agenttia vastaan.

”Mielenkiintoinen kysymys on, miten opimme suorittamaan tehtävän yhdessä ajan myötä”, hän sanoi.

Vahvistusoppimisen tekniikka

Tutkijaryhmä luotti koneoppimismenetelmään, jota kutsutaan vahvistusoppimiseksi, päästäkseen tämän ongelman yli. Se mahdollisti heille luoda hyötyfunktio, joka kertoo agentille, kun se tekee jotain hyödyllistä joukkueelle.

”Joukkueen tavoitteilla on vaikea tietää, kuka on vaikuttanut voittoon”, Tran jatkoi. ”Kehittimme koneoppimismenetelmän, joka mahdollistaa tunnistaa, kun yksittäinen agentti on vaikuttanut joukkueen globaaliin tavoitteeseen. Jos tarkastelet sitä urheilun näkökulmasta, yksi jalkapalloilija voi tehdä maalin, mutta haluamme myös tietää, mitä muut joukkuekaverit ovat tehneet maalin saavuttamiseksi, kuten syötöt. On vaikea ymmärtää näitä viivästettyjä vaikutuksia.”

Tutkijoiden algoritmit tunnistavat myös, kun agentti tai robotti tekee jotain, mikä ei vaikuta tai ei edistä tavoitetta.

”Se ei ole niin, että robotti valitsi tehdä jotain väärää, vaan jotain, mikä ei ole hyödyllistä lopputavoitteelle”, hän sanoi.

Algoritmit testattiin simuloimalla pelejä, kuten StarCraft.

”StarCraft voi olla hieman enemmän arvaamaton – olimme innoissamme nähdessämme menetelmämme toimivan hyvin myös tässä ympäristössä.”

Tämänkaltaisia algoritmeja voidaan soveltaa moniin erilaisiin todellisiin tilanteisiin, tutkijaryhmä sanoo. Joitakin potentiaalisia sovelluksia ovat sotilastiedustelu, robotit varastossa, liikennevalojen ohjaus, itseohjautuvat ajoneuvot, jotka koordinoivat toimituksia, ja sähköverkon ohjaus.

Tutkijaryhmään, joka suoritti tämän läpimurron, kuuluivat Seung Hyun Kim, Neale Van Stralen ja Girish Chowdhary. Se esiteltiin Autonomous Agents and Multi-Agent Systems -tutkimuskonferenssissa.