DeepMind kehittää tekoälykoulutusmenetelmän, joka saattaa toimia myös aivoissamme

DeepMind julkaisi hiljattain tutkimuksen, jossa kerrotaan uudenlaisen vahvistusoppimisen kehittämisestä, joka saattaa selittää, miten palkkareitit toimivat ihmisaivoissa. NewScientistin mukaan koneoppimisen koulutusmenetelmä on nimeltään jakautunut vahvistusoppiminen, ja sen taustalla olevat mekanismit selittävät uskottavasti, miten dopamiini vapautuu aivojen hermosoluissa.

Hermostotiede ja tietokoneiden tieteen välinen yhteys on pitkä. Jo vuonna 1951 Marvin Minsky käytti palkkio- ja rangaistusjärjestelmää luodakseen tietokoneohjelman, joka pystyi ratkaisemaan labyrintin. Minsky sai vaikutteita Ivan Pavlovilta, joka osoitti, että koirat voivat oppia sarjan palkkioita ja rangaistuksia. DeepMindin uusi tutkimus lisää hermostotieteen ja tietokoneiden tieteen yhteisen historian soveltamalla vahvistusoppimista saadakseen näkökulman siihen, miten dopamiinisia hermosoluja toimivat.

Kun ihminen tai eläin on valmis tekemään jonkin toiminnon, aivojen dopamiinia vapauttavat hermosoluryhmät tekevät ennusteen siitä, kuinka palkitseva toiminto on. Kun toiminto on tehty ja sen seuraukset (palkkiot) on selvitetty, aivot vapauttavat dopamiinia. Dopamiinin vapautuminen on kuitenkin skaalattu ennustevirheen mukaan. Jos palkkio on odotettua suurempi, dopamiinivirtaus on voimakkaampi. Sen sijaan huonompi palkkio johtaa vähemmän dopamiinin vapautumiseen. Dopamiini toimii korjausfunktiona, joka tekee hermosolujen ennusteen tarkemmaksi, kunnes ne täsmäävät todellisten ansaitsemiin palkkioihin. Tämä on hyvin samankaltaista sille, miten vahvistusoppimisalgoritmit toimivat.

Vuonna 2017 DeepMind-tutkijat julkaisivat parannetun version yleisesti käytetystä vahvistusoppimisalgoritmista, ja tämä parempi oppimismenetelmä paransi suorituskykyä useissa vahvistusoppimistehtävissä. DeepMind-tiimi ajatteli, että uuden algoritmin taustalla olevat mekanismit voivat selittää, miten dopamiinisia hermosoluja toimivat ihmisaivoissa.

Vanhojen vahvistusoppimisalgoritmien sijaan DeepMindin uusi algoritmi edustaa palkkioita jakautumana. Vanhemmat vahvistusoppimismenetelmät edustivat arvioituja palkkioita yhtenä luvuna, joka edusti keskimääräistä odotettua tulosta. Tämä muutos mahdollisti mallin edustaa mahdollisia palkkioita tarkemmin ja suorittaa paremmin. Uuden koulutusmenetelmän parempi suorituskyky sai DeepMind-tutkijat tutkimaan, toimivatko dopamiiniset hermosolut ihmisaivoissa samalla tavalla.

Jotta voidaan tutkia dopamiinisten hermosolujen toimintaa, DeepMind työskenteli yhdessä Harvardin kanssa tutkimalla hiirien dopamiinisten hermosolujen toimintaa. Tutkijat antoivat hiirien suorittaa erilaisia tehtäviä ja antoi heille palkkioita noppien heiton perusteella, ja he tallensivat, miten dopamiiniset hermosolut toimivat. Eri hermosolut näyttivät ennustavan erilaisia mahdollisia tuloksia ja vapauttavat erilaisia määriä dopamiinia. Jotkut hermosolut ennustivat alempaa kuin todellinen palkkio, kun taas toiset ennustivat korkeampaa palkkiota kuin todellinen palkkio. Kun tutkijat piirsivät palkkioennusteiden jakautumisen, he löysivät, että ennusteiden jakautuminen oli melko lähellä todellista palkkiojakautumista. Tämä viittaa siihen, että aivot käyttävät jakautumisen perusteella tehdessään ennusteita ja sovittaa ennusteita paremmin vastaamaan todellisuutta.

Tutkimus voi antaa tietoa sekä hermostotieteelle että tietokoneiden tieteen alalle. Tutkimus tukee jakautuneen vahvistusoppimisen käyttöä edistyneiden tekoälymallien luomiseen. Lisäksi se voi vaikuttaa teorioihimme siitä, miten aivot toimivat palkkiojärjestelmissä. Jos dopamiiniset hermosolut ovat jakautuneita ja osa niistä on pessimistisempiä tai optimistisempia kuin toiset, ymmärtäminen näitä jakautumia voi muuttaa tapaa, jolla lähestymme joitain psykologian aiheita, kuten mielenterveyttä ja motivaatiota.

MIT Technology Reviewin mukaan Matt Botvinik, DeepMindin neurotieteen tutkimuksen johtaja, selitti löydön merkitystä tiedotustilaisuudessa. Botvinik sanoi:

“Jos aivot käyttävät tätä menetelmää, se on luultavasti hyvä idea. Se kertoo meille, että tämä on laskentamenetelmä, joka voi toimia todellisissa tilanteissa. Se sopii hyvin muihin laskentaprosesseihin. Se antaa meille uuden näkökulman siihen, mitä tapahtuu aivoissamme jokapäiväisessä elämässä”