Eksperter overvinner større hindring i AI-teknologi ved hjelp av hjernemekanisme

En gruppe eksperter innen kunstig intelligens (AI) fra ulike institusjoner har overvunnet en “stor, langvarig hindring for å øke AI-egenskaper”. Teamet så mot det menneskelige hjernen, som er tilfelle med mange AI-utviklinger. Spesifikt fokuserte teamet på den menneskelige hjernens minnemekanisme kjent som “replay”.

Gido van de Ven er førsteforfatter og postdoktorand. Han ble sammen med hovedundersøker Andreas Tolias ved Baylor, samt Hava Siegelmann ved UMass Amherst.

Forskningen ble publisert i Nature Communications.

Den nye metoden

Ifølge forskerne har de kommet opp med en ny metode som effektivt beskytter dypt neurale nettverk mot “katastrofalt glemming”. Når et neuralt nettverk tar på seg ny læring, kan det glemme hva som tidligere var lært.

Dette hindringen er det som stopper mange AI-fremgang fra å finne sted.

“En løsning ville være å lagre tidligere møtt eksempler og besøke dem når man lærer noe nytt. Selv om slike ‘replay’ eller ‘rehearsal’ løser katastrofalt glemming, er det høyt ineffektivt og mengden data som må lagres blir umåtelig raskt,” skrev forskerne.

Det menneskelige hjernen

Forskerne dro inspirasjon fra det menneskelige hjernen, siden det er i stand til å bygge opp informasjon uten å glemme, noe som ikke er tilfelle for AI-neurale nettverk. Den nåværende utviklingen ble bygget på tidligere arbeid gjort av forskerne, inkludert funn om en mekanisme i hjernen som antas å være ansvarlig for å forhindre at minner glemmes. Denne mekanismen er replay av neurale aktivitetsmønster.

Ifølge Siegelmann kommer den største utviklingen fra “å erkjenne at replay i hjernen ikke lagrer data,” men “hjernen genererer representasjoner av minner på et høyt, mer abstrakt nivå uten behov for å generere detaljerte minner”.

Siegelmann tok denne informasjonen og sluttet seg til kollegene for å utvikle en hjerneliknende replay med kunstig intelligens, hvor det ikke ble lagret noen data. Som er tilfelle for det menneskelige hjernen, tar det kunstige nettverket det det har sett tidligere for å generere høynivå-representasjoner.

Metoden var svært effektiv, og selv bare noen få replayede genererte representasjoner resulterte i at eldre minner ble husket mens nye ble lært. Generativ replay er effektivt til å forhindre katastrofalt glemming, og en av de største fordelene er at det tillater systemet å generalisere fra en situasjon til en annen.

Ifølge van de Ven, “Hvis vårt nettverk med generativ replay først lærer å skille katter fra hunder, og deretter å skille bjørner fra rever, vil det også kunne skille katter fra rever uten å være spesifikt trent til å gjøre det. Og merkbart, jo mer systemet lærer, jo bedre blir det til å lære nye oppgaver”.

“Vi foreslår en ny, hjernelignende variant av replay hvor interne eller skjulte representasjoner blir replayet som genereres av nettverkets egne, kontekst-modulerte tilbakekoblingsforbindelser,” skriver teamet. “Vår metode oppnådde toppnivå-prestasjoner på utfordrende kontinuerlige læringsbenchmark uten å lagre data, og det gir en ny modell for abstrakt replay i hjernen”.

“Vår metode gjør flere interessante forutsigelser om hvordan replay kan bidra til minne-konsolidering i hjernen,” fortsetter Van de Ven. “Vi kjører allerede et eksperiment for å teste noen av disse forutsigelsene”.