Tutkijat katsovat eläimiin, jotta vahvistusoppimisjärjestelmät saavuttaisivat arkisen järjen

Imperial College Londonin, Cambridgen yliopiston ja Google DeepMindin tekoälytutkijat etsivät eläimistä inspiraatiota vahvistusoppimisjärjestelmien suorituskyvyn parantamiseksi. Yhteisessä CellPress Reviews -julkaisussa otsikolla “Teckoäly ja eläinten arkinen järki”, tutkijat väittävät, että eläinten kognitio tarjoaa hyödyllisiä vertailukohtia ja arviointimenetelmiä vahvistusoppimisjärjestelmien agentteja varten, ja se voi myös ohjata tehtävien ja ympäristöjen suunnittelua.

Tekoälytutkijat ja insinöörit ovat kauan etsineet biologisista hermostoverkoista inspiraatiota algoritmien suunnittelussa, käyttäen käyttäytymistieteiden ja neurotieteen periaatteita algoritmien rakenteen määrittelyyn. Kuitenkin suurin osa tekoälytutkijoiden viittauksista neurotieteeseen ja käyttäytymistieteisiin perustuu ihmisiin, ja lasten ja vauvojen kognitio on ollut keskipisteenä. Tekoälytutkijat eivät ole vielä saaneet paljon inspiraatiota eläinmalleista, mutta eläinten kognitio on käyttämätön resurssi, jolla on potentiaalia johtaa tärkeisiin läpimurtoihin vahvistusoppimisalueella.

Syvät vahvistusoppimisjärjestelmät koulutetaan kokeiden ja virheiden kautta, ja ne vahvistetaan palkinnoin, kun vahvistusoppimisagentti lähestyy toivottua tavoitetta. Tämä on hyvin samankaltaista opettaessa eläintä suorittamaan toivottua tehtävää ruoan avulla. Biologit ja eläinten kognitiotutkijat ovat suorittaneet monia kokeita arvioidakseen eläinten kognitiivisia kykyjä, mukaan lukien koiria, karhuja, oravia, sikoja, varpusia, delfiinejä, kissoja, hiiriä, norsuja ja mustekaloja. Monet eläimet esittävät vaikuttavia älyllisiä suorituksia, ja jotkut eläimet, kuten norsut ja delfiinit saattavat jopa omata mielen teorian.

Eläinten kognitiota koskevan tutkimuksen tarkasteleminen saattaa inspiroida tekoälytutkijoita tarkastelemaan ongelmia eri näkökulmista. Koska syvä vahvistusoppiminen on tullut voimakkaammaksi ja monipuolisemmaksi, tekoälytutkijat, jotka ovat erikoistuneet alaan, etsivät uusia keinoja testata vahvistusoppimisagenttien kognitiivisia kykyjä. Tutkimuspaperissa tutkijaryhmä viittaa kokeisiin, jotka on suoritettu apinoiden ja lintujen kanssa, mainiten, että heidän tavoitteenaan on suunnitella järjestelmiä, jotka pystyvät suorittamaan samanlaisia tehtäviä, antaen tekoälylle jonkinlaisen “arkisen järjen”. Tutkimuspaperin kirjoittajien mukaan he “esittävät lähestymistapaa, jossa RL-agentit, ehkä tulevaisuudessa kehitettävin arkkitehtuurein, hankkivat tarvittavat taidot rikkaan virtuaalisen ympäristön kautta”.

VentureBeatin mukaan tekoälytutkijat väittävät, että arkinen järki ei ole ominaisuus, joka on yksinomaan ihmisten ominaisuus, ja se riippuu ymmärryksestä fyysisen maailman perusominaisuuksista, kuten siitä, miten kohde vie tilan ja avaruuden, mitkä rajoitukset sillä on, ja ymmärryksestä syy-seuraus -suhteista. Eläimet esittävät nämä piirteet laboratoriokokeissa. Esimerkiksi varpuset ymmärtävät, että esineet ovat pysyviä asioita, koska ne pystyvät hakemaan siemeniä, vaikka se on peitetty toisella esineellä.

Jotta vahvistusoppimisjärjestelmään voidaan antaa nämä ominaisuudet, tutkijat väittävät, että heidän on luotava tehtäviä, jotka, oikean arkkitehtuuriin yhdistettynä, luovat agenteja, jotka pystyvät siirtämään opittuja periaatteita muihin tehtäviin. Tutkijat väittävät, että tällaisen mallin koulutus tulisi sisältää menetelmiä, jotka vaativat agentilta ymmärryksen konseptin jälkeen vain muutamasta esimerkistä, kutsutaan vähäkuuluisaksi koulutukseksi. Tämä on vastakohtana perinteisille satoille tai tuhansille kokeille, jotka tyypillisesti osallistuvat vahvistusoppimisagentin kokeiden ja virheiden kautta tapahtuvaan koulutukseen.

Tutkijaryhmä selittää myös, että vaikka jotkut modernit RL-agentit voivat oppia ratkaisemaan useita tehtäviä, joista jotkut vaativat opittujen periaatteiden perustuvaa siirtämistä, ei ole selvää, voivatko RL-agentit oppia niin abstraktin konseptin kuin “arkinen järki”. Jos olisi olemassa agentti, joka voisi oppia tällaisen konseptin, heidän tarvitsisi testejä, jotka voivat määrittää, ymmärtääkö RL-agentti säiliön käsitteen.

DeepMind on erityisen innostunut uusien ja erilaisten keinojen kehittämisestä ja testaamisesta vahvistusoppimisjärjestelmien kehittämisessä. Viimeksi lokakuussa pidetyssä Stanford HAI -konferenssissa DeepMindin neurotieteen tutkimuksen johtaja Matthew Botvinick kehotti koneoppimisen tutkijoita ja insinöörejä yhteistyöhön muiden tieteenalojen kanssa. Botvinick korosti monitieteisen työn tärkeyttä psykologien ja neurotieteilijöiden kanssa tekoälyalueella esitelmässään “Trianguloiva älykkyys: yhdistäen neurotieteen, psykologian ja tekoälyn”.