Tekniikka mahdollistaa tekoälylle ajattelun kauas tulevaisuuteen

Tutkijaryhmä MIT:stä, MIT-IBM Watson AI Labista ja muista laitoksista on kehittänyt uuden lähestymistavan, joka mahdollistaa tekoälyagenttien saavuttamisen kauas näkevän näkökulman. Toisin sanoen tekoäly voi ajatella kauas tulevaisuuteen, kun se ottaa huomioon, miten sen käyttäytyminen voi sisältää muiden tekoälyagenttien käyttäytymisen tehtävän suorittamisen aikana. 

Tutkimus on tarkoitus esittää Konferenssissa Neural Information Processing Systems.

Tekoäly ottaa huomioon muiden agenttien tulevat toimet

Tutkijaryhmän luoma koneoppimisen viitekehyksessä mahdollistaa yhteistyössä tai kilpailussa olevien tekoälyagenttien ottaa huomioon, mitä muut agentit tekevät. Tämä ei ole vain seuraavien askelten suhteen, vaan myös siinä, miten aika lähestyy ääretöntä. Agentit sopeuttavat käyttäytymistään sen mukaan, jotta ne voivat vaikuttaa muiden agenttien tuleviin käyttäytymismalleihin ja saavuttaa optimaalisen, pitkän aikavälin ratkaisun. 

Ryhmän mukaan viitekehyksestä voidaan hyötyä esimerkiksi joukosta itsestään ohjautuvia drooneja, jotka työskentelevät yhdessä etsimään eksyneen retkeilijän. Sitä voidaan myös käyttää itsestään ohjautuvissa ajoneuvoissa, jotta ne voivat ennakoida muiden ajoneuvojen tulevia liikkeitä ja parantaa matkustajien turvallisuutta.

Dong-Ki Kim on jatko-opiskelija MIT Laboratory for Information and Decision Systems (LIDS):ssä ja tutkimuspaperin ensisijainen kirjoittaja. 

”Kun tekoälyagentit ovat yhteistyössä tai kilpailevat, tärkeintä on, milloin heidän käyttäytymisensä kohtaa jossakin tulevaisuuden pisteessä,” Kim sanoo. ”On paljon väliaikaisia käyttäytymismalleja matkalla, jotka eivät ole kovin tärkeitä pitkällä aikavälillä. Tämän saavuttaminen on se, mitä me todella haluamme, ja meillä on nyt matemaattinen tapa mahdollistaa se.”

Tutkijat ratkaisivat ongelman, jota kutsutaan monen agentin vahvistusoppimiseksi, jossa vahvistusoppiminen on koneoppimisen muoto, jossa tekoälyagentit oppivat kokeilemalla ja virheiden kautta. 

Kun on useita yhteistyössä tai kilpailevia agenteja, jotka oppivat samanaikaisesti, prosessi voi tulla paljon monimutkaisemmaksi. Kun agentit ottaa huomioon enemmän tulevia askelia muilla agenteilla, sekä omaa käyttäytymistään ja sen, miten se vaikuttaa muihin, ongelma vaatii liian paljon laskentakapasiteettia. 

Tekoäly ajattelee äärettömyyttä

”Tekoäly haluaa ajatella pelin loppua, mutta ne eivät tiedä, milloin peli päättyy,” Kim sanoo. ”Ne tarvitsevat ajatella, miten sopeuttaa käyttäytymistään äärettömyyteen, jotta ne voivat voittaa jonain kaukaisena tulevaisuuden hetkenä. Meidän paperimme ehdottaa uutta tavoitetta, joka mahdollistaa tekoälylle ajattelun äärettömyyttä.” 

On mahdotonta integroida äärettömyys algoritmiin, joten ryhmä suunnitteli järjestelmän siten, että agentit keskittyvät tulevaisuuden pisteeseen, jossa heidän käyttäytymisensä kohtaa muiden agenttien kanssa. Tätä kutsutaan tasapainotilaaksi, ja tasapainotilan piste määrää agenttien pitkän aikavälin suorituskyvyn. 

On mahdollista, että useita tasapainotiloja voi olla monen agentin tilanteessa, ja kun tehokas agentti vaikuttaa aktiivisesti muiden agenttien tuleviin käyttäytymismalleihin, ne voivat saavuttaa toivottavan tasapainotilan agentin näkökulmasta. Kun kaikki agentit vaikuttavat toisiinsa, ne kohtaa yleisen käsitteen, jota kutsutaan ”aktiiviseksi tasapainotilaksi”. 

FURTHER-kehyksessä

Ryhmän luoma koneoppimisen viitekehyksestä on nimeltään FURTHER, ja se mahdollistaa agenteille oppimisen sopeuttaa käyttäytymistään muiden agenttien kanssa vuorovaikutuksen perusteella ja saavuttaa aktiivinen tasapainotila. 

Viitekehyksestä riippuu kahdessa koneoppimisen moduulissa. Ensimmäinen on inference-moduuli, joka mahdollistaa agentin arvata muiden agenttien tulevia käyttäytymismalleja ja oppimisalgoritmeja, jotka ne käyttävät aiempien toimien perusteella. Tiedot syötetään sitten vahvistusoppimismoduuliin, jota agentti käyttää sopeuttaakseen käyttäytymistään ja vaikuttaakseen muihin agenteihin. 

”Haasteena oli ajattelu äärettömyyttä. Meidän piti käyttää paljon erilaisia matemaattisia työkaluja, jotta se toimisi, ja tehdä joitakin oletuksia, jotta se toimisi käytännössä,” Kim sanoo. 

Ryhmä testasi menetelmäänsä muiden monen agentin vahvistusoppimisen kehyksien kanssa erilaisissa tilanteissa, joissa tekoälyagentit, jotka käyttivät FURTHER:ia, menestyivät paremmin. 

Lähestymistapa on hajautettu, joten agentit oppivat itsenäisesti. Lisäksi se on paremmin suunniteltu skaalautumaan verrattuna muihin menetelmiin, jotka vaativat keskus-tietokoneen ohjaamaan agenteja. 

Ryhmän mukaan FURTHER:ia voidaan käyttää laajasti monissa monen agentin ongelmissa. Kim on erityisen toiveikas sen soveltamisesta taloustieteessä, jossa sitä voidaan soveltaa kehittämään järkevää politiikkaa tilanteissa, joissa on useita vuorovaikutuksessa olevia entiteettejä, joiden käyttäytyminen ja edut muuttuvat ajan myötä.