Tehnika omogućuje umjetnoj inteligenciji da razmišlja daleko u budućnost

Tim istraživača s MIT-a, MIT-IBM Watson AI Lab i drugih institucija razvio je novi pristup koji agentima umjetne inteligencije (AI) omogućuje postizanje dalekovidne perspektive. Drugim riječima, umjetna inteligencija može razmišljati daleko u budućnost kada razmatra kako njihova ponašanja mogu uključiti ponašanja drugih agenata umjetne inteligencije prilikom dovršavanja zadatka. 

Korištenje električnih romobila ističe istraživanje bit će predstavljen na Konferencija o neuronskim sustavima za obradu informacija.

AI razmatra buduće akcije drugih agenata

Okvir strojnog učenja koji je izradio tim omogućuje kooperativnim ili konkurentnim AI agentima da razmotre što će drugi agenti učiniti. Ovo se ne događa samo tijekom sljedećih koraka, već kako se vrijeme približava beskonačnosti. Agenti prilagođavaju svoja ponašanja u skladu s tim kako bi utjecali na buduća ponašanja drugih agenata, pomažući im da dođu do optimalnih, dugoročnih rješenja. 

Prema timu, okvir bi mogao koristiti, na primjer, grupa autonomnih dronova koji rade zajedno kako bi pronašli izgubljenog planinara. Također bi ga mogla koristiti samovozeća vozila za predviđanje budućih kretanja drugih vozila radi poboljšanja sigurnosti putnika.

Dong-Ki Kim je diplomirani student u MIT Laboratoriju za informacijske i sustave odlučivanja (LIDS) i glavni autor istraživačkog rada. 

"Kada agenti umjetne inteligencije surađuju ili se natječu, ono što je najvažnije je kada njihova ponašanja konvergiraju u nekom trenutku u budućnosti", kaže Kim. “Postoji mnogo prolaznih ponašanja na putu koja dugoročno nisu toliko važna. Postizanje ovog konvergiranog ponašanja je ono do čega nam je stvarno stalo, a sada imamo matematički način da to omogućimo.”

Problem s kojim su se istraživači uhvatili u koštac naziva se višeagentno učenje s pojačanjem, pri čemu je učenje s pojačanjem oblik strojnog učenja gdje agenti umjetne inteligencije uče metodom pokušaja i pogreške. 

Kad god postoji više kooperativnih ili natjecateljskih agenata koji istovremeno uče, proces može postati daleko složeniji. Kako agenti razmatraju više budućih koraka drugih agenata, kao i vlastito ponašanje i način na koji ono utječe na druge, problem zahtijeva previše računalne snage. 

AI razmišlja o beskonačnosti

"AI stvarno želi razmišljati o kraju igre, ali ne znaju kada će igra završiti", kaže Kim. “Moraju razmišljati o tome kako nastaviti prilagođavati svoje ponašanje u beskonačnost kako bi mogli pobijediti u nekom dalekom trenutku u budućnosti. Naš rad u biti predlaže novi cilj koji omogućuje umjetnoj inteligenciji da razmišlja o beskonačnosti.” 

Nemoguće je integrirati beskonačnost u algoritam, pa je tim dizajnirao sustav na način da se agenti fokusiraju na buduću točku u kojoj će njihovo ponašanje konvergirati s drugim agentima. To se naziva ravnoteža, a točka ravnoteže određuje dugoročnu izvedbu agenata. 

Moguće je postojanje višestrukih ravnoteža u scenariju s više agenata, a kada učinkovit agent aktivno utječe na buduća ponašanja drugih agenata, oni mogu postići željenu ravnotežu iz perspektive agenta. Kada svi subjekti utječu jedni na druge, konvergiraju prema općem konceptu koji se naziva "aktivna ravnoteža". 

DALJNJI okvir

Timski okvir za strojno učenje zove se FURTHER i omogućuje agentima da nauče kako prilagoditi svoja ponašanja na temelju svojih interakcija s drugim agentima kako bi postigli aktivnu ravnotežu. 

Okvir se oslanja na dva modula strojnog učenja. Prvi je modul zaključivanja koji omogućuje agentu da pogodi buduća ponašanja drugih agenata i algoritme učenja koje koriste na temelju prethodnih radnji. Informacije se zatim unose u modul za učenje potkrepljenja, na koji se agent oslanja kako bi prilagodio svoje ponašanje i utjecao na druge agente. 

“Izazov je bio razmišljati o beskonačnosti. Morali smo upotrijebiti mnogo različitih matematičkih alata kako bismo to omogućili i napraviti neke pretpostavke da bi to funkcioniralo u praksi,” kaže Kim. 

Tim je testirao svoju metodu u usporedbi s drugim okvirima za učenje pojačanja s više agenata u različitim scenarijima gdje su AI agenti koji koriste FURTHER bili bolji. 

Pristup je decentraliziran, pa agenti uče samostalno pobjeđivati. Povrh toga, bolje je dizajniran za skaliranje u usporedbi s drugim metodama koje zahtijevaju središnje računalo za kontrolu agenata. 

Prema timu, FURTHER bi se mogao koristiti u širokom rasponu problema s više agenata. Kim se posebno nada svojim primjenama u ekonomiji, gdje bi se mogao primijeniti za razvoj zdrave politike u situacijama koje uključuju mnoge subjekte u interakciji s ponašanjima i interesima koji se mijenjaju tijekom vremena.