Asiantuntijat voittavat merkittävän esteen tekoälytekniikassa aivomekanismin avulla

Ryhmä tekoälyasiantuntijoita eri laitoksista on voittanut “merkittävän, pitkään olemassa olleen esteen tekoälykykyjen lisäämiselle.” Tiimi käänsi katseensa ihmisaivoihin, mikä on tapahtunut monissa tekoälykehityksissä. Nimenomaan tiimi keskittyi ihmisaivojen muistimekanismiin, joka tunnetaan “toistona”.

Gido van de Ven on ensimmäinen tekijä ja postdoc-tutkija. Hänen kanssaan työskentelivät pääjohtaja Andreas Tolias Baylorissa sekä Hava Siegelmann UMass Amherstissa.

Tutkimus julkaistiin Nature Communications -julkaisussa.

Uusi menetelmä

Tutkijoiden mukaan he ovat kehittäneet uuden menetelmän, joka suojaa tehokkaasti syvät neuroverkkotiedostot “katastrofaalista unohtamisesta”. Kun neuroverkko ottaa vastaan uuden oppimisen, se voi unohtaa aikaisemmin opitun.

Tämä este on se, mikä estää monia tekoälykehityksiä.

“Yksi ratkaisu olisi tallentaa aikaisemmin kohtaamani esimerkit ja käydä niitä läpi, kun opitaan jotain uutta. Vaikka tällainen ‘toisto’ tai ‘harjoittelu’ ratkaisee katastrofaalisen unohtamisen, jatkuvasti uudelleen kouluttaminen kaikilla aikaisemmin opituilla tehtävillä on erittäin tehokasta ja tallennettavaa dataa tulee nopeasti hallitsemattomaksi”, tutkijat kirjoittivat.

Ihmisaivot

Tutkijat saivat inspiraation ihmisaivoista, koska ne pystyvät rakentamaan tietoa unohtamatta, mikä ei ole tekoälyverkkotiedostojen tapaauksessa. Nykyinen kehitys perustui aikaisempiin tutkimuksiin, mukaan lukien löydökset aivojen mekanismista, jota uskotaan olevan vastuussa muistojen unohtamisen estämisestä. Tämä mekanismi on neurologisen toiminnan toisto.

Siegelmannin mukaan merkittävin kehitys tulee “tunnustamisesta, että toisto aivoissa ei tallenna dataa”, vaan “aivot luovat muistojen edustuksia korkeammalla, abstraktimmalla tasolla ilman yksityiskohtaisten muistojen luomista”.

Siegelmann otti tämän tiedon ja liittyi kollegoidensa kanssa kehittämään aivomaisen toiston tekoälyllä, jossa ei tallenneta dataa. Kuten ihmisaivojen tapauksessa, tekoälyverkko ottaa aiemmin näkemänsä tiedon ja luo siitä abstraktin edustuksen.

Menetelmä oli erittäin tehokas, ja vain muutamalla toistetuilla generoituilla edustuksilla vanhat muistot muistettiin, kun uusia opittiin. Generatiivinen toisto on tehokas keino katastrofaalisen unohtamisen estämisessä, ja yksi sen suurimmista hyödyistä on, että se sallii järjestelmän yleistää yhdestä tilanteesta toiseen.

Van de Venin mukaan “jos verkostomme generatiivisella toistolla ensin opettelee erottamaan kissat koirista ja sitten erottamaan karhuja ketuista, se myös kertoo kissat ja ketut ilman erityistä koulutusta. Ja huomattavasti, mitä enemmän järjestelmä opiskelee, sitä paremmin se oppii uusia tehtäviä”.

“Ehdotamme uuden, aivoihin perustuvan toiston variantin, jossa sisäisiä tai piilotettuja edustuksia toistetaan, jotka luodaan verkoston omilla, kontekstuaalisilla palauteyhteyksillä”, tiimi kirjoittaa. “Menetelmämme saavutti huipputason suorituskyvyn haastavilla jatkuvilla oppimisen mittareilla ilman datan tallentamista, ja se tarjoaa uuden mallin abstraktille toistolle aivoissa.”

“Menetelmämme tekee useita mielenkiintoisia ennusteita siitä, miten toisto voisi vaikuttaa muistin lujittumiseen aivoissa”, Van de Ven jatkaa. “Johtamme jo kokeita, joissa testataan joitain näistä ennusteista”.