Ny forskning antyder at kunstige hjerner kan dra nytte av søvn

Ny forskning fra Los Alamos National Laboratory antyder at kunstige hjerner nesten sikkert kan dra nytte av perioder med hvile likt levende hjerner. 

Forskningen vil bli presentert på Women in Computer Vision Workshop i Seattle den 14. juni. 

Yijing Watkins er en datavitenskapsmann ved Los Alamos National Laboratory. 

“Vi studerer spiking neural nettverk, som er systemer som lærer på samme måte som levende hjerner,” sa Watkins. “Vi var fascinert av muligheten til å trene en neuromorf prosessor på en måte som er analog til hvordan mennesker og andre biologiske systemer lærer fra sin omgivelse under barndomsutviklingen.”

Løsning av ustabilitet i nettverksimuleringer

Watkins og teamet fant at kontinuerlige perioder med usovervåket læring ledet til ustabilitet i nettverksimuleringene. Men når teamet introduserte nettverkene for tilstander som er et resultat av bølgene levende hjerner opplever under søvn, kunne stabiliteten gjenopprettes. 

“Det var som om vi ga de neurale nettverkene ekvivalenten av en god natts søvn,” sa Watkins.

Teamet gjorde oppdagelsen når de arbeidet med å utvikle neurale nettverk basert på hvordan mennesker og andre biologiske systemer lærer å se. Teamet møtte noen utfordringer når det kom til å stabilisere simulerete neurale nettverk som gjennomgikk usovervåket ordboktrening. Usovervåket ordboktrening innebærer å klassifisere objekter uten å ha tidligere eksempler å bruke til sammenligning.

Garrett Kenyon er en datavitenskapsmann ved Los Alamos og medforfatter av studien.

“Problemstillingen om hvordan man skal holde læringsystemer fra å bli ustabile oppstår bare når man prøver å bruke biologisk realistiske, spiking neuromorfe prosessorer eller når man prøver å forstå biologien selv,” sa Kenyon. “Det aller meste av maskinlæring, dyp læring og AI-forskere møter aldri dette problemet fordi de i de meget kunstige systemene de studerer har luksusen av å utføre globale matematiske operasjoner som har effekten av å regulere den totale dynamiske gevinningen i systemet.”

Søvn som en siste utvei-løsning

Ifølge forskerne var å eksponere nettverkene for en kunstig analog til søvn deres siste utvei for å stabilisere dem. Etter å ha eksperimentert med forskjellige typer støy, som er lignende til statisk mellom stasjoner på en radio, kom de beste resultater fra bølgene av Gaussisk støy. Denne typen støy inkluderer en bred variasjon og rekkevidde av frekvenser og amplituder. 

Forskerne kom opp med hypotesen at under langsommelige bølgesøvn etterligner støyen inndata mottatt av biologiske nerver. Resultatene antydet at langsommelige bølgesøvn kan spille en rolle i å sikre at cortexnervene ikke lider av hallusinasjoner og beholder stabiliteten. 

Teamet vil nå arbeide med å implementere algoritmen på Intels Loihi neuromorfe chip, i håp om at søvnen vil hjelpe den å stabilt prosessere informasjon fra en silisiumretina-kamera i sanntid. Hvis forskningen bestemmer at kunstige hjerner kan dra nytte av søvn, er det sannsynlig at det samme er sant for androider og andre intelligente maskiner.

Kilde: Bruk av sinusformet-modulert støy som en surrogat for langsommelige bølgesøvn for å oppnå stabil usovervåket ordboklæring i et spik-basert sparse-kodingmodell, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, USA)