Tutkijat katsovat eläimiin, jotta vahvistusoppimisjärjestelmät saavuttavat arkisen älymystön

Imperial College Londonin, Cambridgen yliopiston ja Google (GOOGL ) DeepMindin tutkijat etsivät eläimistä inspiraatiota vahvistusoppimisjärjestelmien kehittämiseen. Yhteisessä artikkelissa, joka on julkaistu CellPress Reviews -julkaisussa ja jonka otsikko on “Tekoäly ja eläinten arkisen älymystö”, tutkijat esittävät, että eläinten kognitio tarjoaa hyödyllisiä vertailukohtia ja arviointimenetelmiä vahvistusoppimisjärjestelmien kehittämiseen ja se voi myös ohjata tehtävien ja ympäristöjen suunnittelua.

Tekoälytutkijat ja -insinöörit ovat kauan etsineet biologisista hermostoista inspiraatiota algoritmien suunnittelussa, käyttäen käyttäytymistieteiden ja neurotieteen periaatteita algoritmien rakenteen muotoiluun. Kuitenkin suurin osa neurotieteen ja käyttäytymistieteiden alojen viittauksista, joita tekoälytutkijat ottavat, perustuvat ihmisiin, ja lasten ja vauvojen kognitio on ollut tärkein keskittyminen. Tekoälytutkijat eivät ole vielä ottaneet paljon vaikutteita eläinmalleista, mutta eläinten kognitio on käyttämätön resurssi, jolla voidaan saavuttaa tärkeitä läpimurtoja vahvistusoppimisalalla.

Syvät vahvistusoppimisjärjestelmät koulutetaan kokeiden ja virheiden kautta, ja niille annetaan palkintoja, kun vahvistusoppimisjärjestelmä lähestyy toivottua tavoitetta. Tämä on hyvin samankaltaista opettaessa eläintä suorittamaan tiettyä tehtävää palkinnon avulla. Biologit ja eläinten kognitiotutkijat ovat suorittaneet monia kokeita arvioidakseen eläinten kognitiivisia kykyjä, mukaan lukien koiria, karhuja, oravia, sikoja, varisja, delfiinejä, kissoja, hiiriä, elefantteja ja mustekaloja. Monet eläimet näyttävät vaikuttavia älyllisiä suorituksia, ja jotkut eläimet, kuten elefantit ja delfiinit saattavat jopa omaa teorian mielentilasta.

Eläinten kognitiota koskevan tutkimuksen tarkasteleminen saattaa inspiroida tekoälytutkijoita tarkastelemaan ongelmia eri näkökulmista. Koska syvä vahvistusoppiminen on tullut voimakkaammaksi ja monipuolisemmaksi, tekoälytutkijat, jotka ovat erikoistuneet alaan, etsivät uusia tapoja testata vahvistusoppimisjärjestelmien kognitiivisia kykyjä. Tutkimusartikkelissa tutkijaryhmä viittaa kokeisiin, jotka on tehty apinoiden ja lintujen kanssa, ja mainitaan, että he pyrkivät suunnittelemaan järjestelmiä, jotka pystyvät suorittamaan samanlaisia tehtäviä, antaen tekoälylle jonkinlaisen “arkisen älymystön”. Tutkimusartikkelin kirjoittajien mukaan he “esittävät lähestymistapaa, jossa vahvistusoppimisjärjestelmät, ehkä tulevaisuudessa kehitettävien arkkitehtuurien avulla, hankkivat tarvittavat taidot rikkaan virtuaalisen ympäristön kautta.”

VentureBeatin mukaan tekoälytutkijat esittävät, että arkisen älymystön ei ole ominaista vain ihmisille ja että se riippuu perustiedon ymmärtämisestä fyysisen maailman perusominaisuuksista, kuten siitä, miten objekti vie tilaa, mitkä rajoitukset objektille asetetaan, ja syyn ja seuran ymmärtämisestä. Eläimet näyttävät näitä ominaisuuksia laboratoriotutkimuksissa. Esimerkiksi varikset ymmärtävät, että objektit ovat pysyviä asioita, koska ne pystyvät hakemaan siemeniä, vaikka ne peitetään toisella objektille.

Jotta vahvistusoppimisjärjestelmään voidaan antaa nämä ominaisuudet, tutkijat esittävät, että heidän on luotava tehtäviä, jotka, yhdessä oikean arkkitehtuurin kanssa, luovat agenteja, jotka pystyvät siirtämään opittuja periaatteita muihin tehtäviin. Tutkijat esittävät, että tällaisen mallin koulutus pitäisi sisältää menetelmiä, jotka edellyttävät agentilta ymmärryksen saavuttamista käsitteestä vain muutaman esimerkin perusteella, jota kutsutaan vähäkuuluisaksi koulutukseksi. Tämä on vastakohtana perinteisille satojen tai tuhansien kokeiden koulutusmenetelmille, joita yleensä käytetään vahvistusoppimisjärjestelmien harjoittamiseen.

Tutkijaryhmä selittää, että vaikka jotkut modernit vahvistusoppimisjärjestelmät voivat oppia ratkaisemaan useita tehtäviä, joista jotkut vaativat periaatteiden siirtämistä, ei ole selvää, voivatko vahvistusoppimisjärjestelmät oppia käsitettä, joka on yhtä abstrakti kuin “arkinen älymystö”. Jos olisi olemassa agentti, joka voisi oppia tällaisen käsitteen, heidän pitäisi olla testit, jotka voivat määrittää, ymmärtääkö vahvistusoppimisjärjestelmä käsitteen sisällön.

DeepMind on erityisen innostunut uusien ja erilaisten keinojen kehittämiseen ja testaamiseen vahvistusoppimisjärjestelmiä. Äskettäin Stanfordin HAI-konferenssissa, joka pidettiin lokakuun alussa, DeepMindin neurotieteen tutkimuksen johtaja Matthew Botvinick kehotti tekoälytutkijoita ja insinöörejä yhteistyöhön muiden tieteen alojen kanssa. Botvinick korosti monitieteisen työn merkitystä psykologien ja neurotieteen kanssa tekoälyalan kehittämiseksi esitelmässä, joka kutsuttiin “Trianguloimalla älykkyys: yhdistämällä neurotiede, psykologia ja tekoäly”.