Neurale nettverk lærer bedre ved å etterligne menneskelige søvnmodn

Et team av forskere ved University of California – San Diego undersøker hvordan kunstige neurale nettverk kan etterligne søvnmodnene til menneskehjernen for å mildne problemet med katastrofalt glemsel. 

Forskningen ble publisert i PLOS Computational Biology. 

I gjennomsnitt trenger mennesker 7 til 13 timer med søvn per 24 timer. Mens søvnen avslapper kroppen på mange måter, forblir hjernen svært aktiv. 

Aktiv hjerne under søvn

Maxim Bazhenov, PhD, er professor i medisin og søvnforsker ved University of California San Diego School of Medicine. 

“Hjernen er svært opptatt når vi sover, og gjentar det vi lærte under dagen,” sier Bazhenov. “Søvnen hjelper med å reorganisere minner og presenterer dem på den mest effektive måten.”

Bazhenov og hans team har tidligere publisert arbeid om hvordan søvnen bygger rasjonell minne, som er evnen til å huske tilfeldige eller indirekte assosiasjoner mellom objekter, personer eller hendelser. Det beskytter også mot å glemme gamle minner. 

Problemene med katastrofalt glemsel

Kunstige neurale nettverk henter inspirasjon fra arkitekturen til menneskehjernen for å forbedre AI-teknologier og -systemer. Mens disse teknologiene har klart å oppnå overmenneskelig ytelse i form av beregningshastighet, har de en stor begrensning. Når neurale nettverk lærer sekvensielt, overskriver ny informasjon tidligere informasjon i et fenomen kjent som katastrofalt glemsel.

“Til sammenligning lærer menneskehjernen kontinuerlig og inkorporerer ny data i eksisterende kunnskap, og det lærer best når ny trening er vevd inn i perioder med søvn for minnekonsolidering,” sier Bazhenov. 

Teamet brukte spikende neurale nettverk som kunstig etterligner naturlige neurale systemer. I stedet for å kommunisere kontinuerlig, overføres informasjon som diskrete hendelser, eller spiker, på bestemte tidspunkter.

Etterligning av søvn i neurale nettverk

Forskerne oppdaget at når spikende nettverk ble trent på nye oppgaver med occasjonelle offline-perioder som etterligner søvn, ble problemet med katastrofalt glemsel mildnet. Liksom menneskehjernen, sier forskerne at “søvn” muliggjør nettverkene å gjenta gamle minner uten å eksplisitt bruke gamle treningsdata. 

“Når vi lærer ny informasjon, fyker neuronene i en bestemt rekkefølge og dette øker synapsene mellom dem,” sier Bazhenov. “Under søvn gjentas spikermønstrene som ble lært under våken tilstand spontant. Dette kalles reaktivering eller gjentakelse. 

“Synaptisk plasticitet, evnen til å bli endret eller formet, er fortsatt til stede under søvn og kan ytterligere forbedre synaptiske vektpatroner som representerer minnet, og hjelpe med å forebygge glemsel eller å muliggjøre overføring av kunnskap fra gamle til nye oppgaver.” 

Teamet fant at ved å bruke denne tilnærmingen til kunstige neurale nettverk, hjalp det nettverkene å unngå katastrofalt glemsel. 

“Det betød at disse nettverkene kunne lære kontinuerlig, som mennesker eller dyr,” fortsetter Bazhenov. “Å forstå hvordan menneskehjernen prosesserer informasjon under søvn kan hjelpe med å øke minne hos menneskelige subjekter. Å øke søvnrhytmer kan føre til bedre minne. 

“I andre prosjekter bruker vi datamodeller til å utvikle optimale strategier for å bruke stimulering under søvn, som lydtoner, som forbedrer søvnrhytmer og forbedrer læring. Dette kan være spesielt viktig når minnet ikke er optimalt, som når minnet svekkes med alderen eller i visse tilstander som Alzheimers sykdom.”