DeepMind Luo AI:n, joka Toistaa Muistoja Aivokuoren Tapaan

Ihmisajan aivojen muisti toimii usein siten, että se “soittaa” menneitä muistoja (ilman näyttämätöntä syytä). Päivittäin elämme läpi elämäämme ja kohtaamme satunnaisia muistikuvia elämästämme. Vaikka tämä muistojen “soittaminen” on ollut neurotieteilijöiden mielenkiinnon kohteena pitkään, AI-tutkimusyhtiö DeepMind julkaisi hiljattain tutkimuksen, jossa he kuvasivat, miten heidän kehittämänsä tekoäly toisti tämän outo muistin toimintatavan.

Muistojen “soittaminen” aivoissa, jota kutsutaan neuronaaliseksi toistoksi, on tiiviisti kytköksissä aivokuoreen. Aivokuori on hevosenkenkämäinen muodostelma aivoissa, joka kuuluu limbiseen järjestelmään, ja se on yhteydessä uusien muistojen muodostumiseen sekä tunteisiin, joita muistot herättävät. Nykyiset teoriat aivokuorien (joita on yksi kummassakin aivopuoliskossa) roolista väittävät, että eri aivokuoren osat vastaavat eri muistotyyppien käsittelystä. Esimerkiksi paikkamuisti liitetään aivokuoren takaosaan.

Jesus Rodriguezin mukaan Dr. John O’Keefe on tehnyt merkittäviä löytöjä aivokuoren ymmärtämisessä, mukaan lukien aivokuoren “paikka”-solut. Aivokuoren “paikka”-solut laukaisevat tietyn ympäristön ärsykkeet. Esimerkiksi rotilla tehtyjen kokeiden mukaan tiettyjen hermosolujen toiminta laukesi, kun rotat juoksivat tiettyjä ratoja. Tutkijat seurasivat rotteja myös levätessä ja totesivat, että samat hermosolujen toimintamallit, jotka liittyivät tiettyyn rataosuuteen, laukaisivat nopeammin. Rotat näyttivät toistavan mieleensä rataosuuden muistot.

Ihmisillä muistojen “soittaminen” on tärkeä osa oppimisprosessia, mutta kun yritetään mahdollistaa tekoälylle oppiminen, on haastavaa jäljitellä tätä ilmiötä.

DeepMindin tiimi yritti jäljitellä muistojen “soittamista” vahvistusoppimisen avulla. Vahvistusoppimisalgoritmit toimivat siten, että ne saavat palautetta ympäristöstään ja palkitaan, kun ne tekevät toimia, jotka lähentävät niitä tavoitteesta. Tässä yhteydessä vahvistusoppimisagentti tallentaa tapahtumia ja toistaa ne myöhemmin, ja järjestelmä vahvistetaan parantamaan muistin toimintaa.

DeepMind lisäsi muistojen toistamisen vahvistusoppimisalgoritmiin käyttäen toistopuskuria, joka toisti muistoja/järjestelmän tallentamia kokemuksia tiettyinä ajankohtina. Jotkut järjestelmän versiot toistivat kokemuksia satunnaisessa järjestyksessä, kun taas toiset mallit toistivat ne ennalta määrättyssä järjestyksessä. Tutkijat kokeilivat sekä toistamisen järjestyksen että itse toistamisen menetelmiä.

On kaksi pääasiallista menetelmää, joita käytetään vahvistusoppimisalgoritmeille muistojen toistamiseen. Nämä menetelmät ovat mielikuvitus-toisto ja elokuva-toisto. DeepMindin tutkimus käyttää vertausta kuvaamaan molempia strategioita:

“Oletetaan, että tulet kotiin ja löydät yllättäen vettä kerääntymässä kauniille puulattioille. Astuessaasi ruokailuhuoneeseen, löydät rikkoutuneen maljan. Sitten kuulet valittavan äänen ja katselet ulos parvekeoven ja näet koirasi, joka näyttää syylliseltä.”

Mielikuvitus-toistomenetelmä ei tallenna tapahtumia siinä järjestyksessä, jossa ne tapahtuivat. Sen sijaan tapahtumien todennäköinen syy-seuraus-suhde johdetaan agentin ymmärryksestä maailmasta. Elokuvatoistomenetelmä tallentaa muistot siinä järjestyksessä, jossa ne tapahtuivat, ja toistaa tapahtumien kronologisen järjestyksen – “vesi, rikkoontunut malja, koira”. Tapahtumien kronologinen järjestys säilytetään.

Neurotieteellinen tutkimus osoittaa, että elokuva-toistomenetelmä on olennainen osa assosiaatioiden luomisessa ja hermosolmujen yhdistämisessä tapahtumien välillä. Mielikuvitus-toistomenetelmä voi kuitenkin auttaa agenttia luomaan uusia järjestyksiä, kun se päättää analogisen päättelyn avulla. Esimerkiksi agentti voi päättää, että jos tynnyri on öljyyn nähden sama kuin malja on veteen, tynnyri voidaan kaataa tehdasteollisuuden robotilla sen sijaan, että koira kaataisi sen. DeepMindin tutkimuksessa he löysivät, että heidän oppimisagenttinsa pystyi luomaan vaikuttavia, innovatiivisia järjestyksiä ottaen huomioon aiemmat kokemukset.

Suurin osa edistymisestä vahvistusoppimisen muistin alalla on tehty elokuva-strategian avulla, vaikka tutkijat ovat viime aikoina edistyneet mielikuvitus-strategiassa. Tutkimus molemmista tekoälyn muistimenetelmistä voi mahdollistaa paremman suorituskyvyn vahvistusoppimisagenteilta ja antaa myös uusia oivalluksia siitä, miten ihmisaivot toimivat.