Neurale netværk lærer bedre ved at efterligne menneskelige søvnmønstre

Et hold af forskere ved University of California – San Diego undersøger, hvordan kunstige neurale netværk kan efterligne søvnmønstre i den menneskelige hjerne for at mindske problemet med katastrofalt glemsomhed. 

Forskningen blev offentliggjort i PLOS Computational Biology. 

I gennemsnit har mennesker brug for 7 til 13 timers søvn pr. 24 timer. Mens søvnen beroliger kroppen på mange måder, forbliver hjernen meget aktiv. 

Aktiv hjerne under søvn

Maxim Bazhenov, PhD, er professor i medicin og søvnforsker ved University of California San Diego School of Medicine. 

“Hjernen er meget beskæftiget, når vi sover, og gentager det, vi lærte i løbet af dagen,” siger Bazhenov. “Søvnen hjælper med at reorganisere minder og præsenterer dem på den mest effektive måde.”

Bazhenov og hans hold har offentliggjort tidligere arbejde om, hvordan søvnen opbygger rationel hukommelse, som er evnen til at huske tilfældige eller indirekte associationer mellem objekter, mennesker eller begivenheder. Det beskytter også mod at glemme gamle minder. 

Problemets katastrofale glemsomhed

Kunstige neurale netværk henter inspiration fra den menneskelige hjernes arkitektur for at forbedre AI-teknologier og -systemer. Mens disse teknologier har formået at opnå overmenneskelig præstation i form af beregningshastighed, har de en stor begrænsning. Når neurale netværk lærer sekventielt, overskriver ny information tidligere information i et fænomen, der kendes som katastrofalt glemsomhed.

“Til gengæld lærer den menneskelige hjerne kontinuerligt og integrerer ny data i eksisterende viden, og den lærer bedst, når ny træning er vævet ind i perioder med søvn for hukommelseskonsolidering,” siger Bazhenov. 

Holdet brugte spiking neurale netværk, der kunstigt efterligner naturlige neurale systemer. I stedet for at kommunikere kontinuerligt, overføres information som diskrete begivenheder eller spidser ved bestemte tidspunkter.

Efterligning af søvn i neurale netværk

Forskerne opdagede, at når spiking-netværk blev trænet på nye opgaver med lejlighedsvise offline-perioder, der efterlignede søvn, blev problemet med katastrofalt glemsomhed mindsket. Ligesom den menneskelige hjerne, siger forskerne, at “søvn” aktiverer netværkene til at afspille gamle minder uden at bruge gamle træningsdata. 

“Når vi lærer ny information, affyres neuroner i en bestemt rækkefølge, og dette øger synapserne mellem dem,” siger Bazhenov. “Under søvn gentages spidingsmønstrene, der blev lært under vores vågne tilstand, spontant. Det kaldes reaktivering eller afspilning. 

“Synaptisk plasticitet, evnen til at blive ændret eller formet, er stadig på plads under søvn og kan yderligere forbedre synaptisk vægtmønstre, der repræsenterer mindet, og hjælpe med at forhindre glemsomhed eller aktivere overførsel af viden fra gamle til nye opgaver.” 

Holdet fandt, at ved at anvende denne tilgang på kunstige neurale netværk, hjalp det netværkene med at undgå katastrofalt glemsomhed. 

“Det betød, at disse netværk kunne lære kontinuerligt, ligesom mennesker eller dyr,” fortsætter Bazhenov. “At forstå, hvordan den menneskelige hjerne behandler information under søvn, kan hjælpe med at forbedre hukommelsen hos menneskelige forsøgspersoner. Forbedring af søvnrhythmer kan føre til bedre hukommelse. 

“I andre projekter bruger vi computermodeller til at udvikle optimale strategier til at anvende stimulation under søvn, såsom lydtoner, der forbedrer søvnrhythmer og forbedrer læring. Dette kan være særligt vigtigt, når hukommelsen ikke er optimal, såsom når hukommelsen svinder med alderen eller under visse tilstande som Alzheimers sygdom.”