Neuronske mreže uče bolje oponašajući ljudske obrasce spavanja

Tim istraživača sa Sveučilišta Kalifornija u San Diegu istražuje kako bi umjetne neuronske mreže mogle oponašati obrasce spavanja ljudskog mozga kako bi ublažile problem katastrofalnog zaboravljanja. 

Istraživanje je objavljeno u PLOS Računalna biologija. 

U prosjeku, ljudima je potrebno 7 do 13 sati sna u 24 sata. Dok san opušta tijelo na mnogo načina, mozak i dalje ostaje vrlo aktivan. 

Aktivni mozak tijekom spavanja

Maxim Bazhenov, doktor znanosti, profesor je medicine i istraživač spavanja na Medicinskom fakultetu Sveučilišta Kalifornije u San Diegu. 

"Mozak je vrlo zaposlen dok spavamo, ponavljajući ono što smo naučili tijekom dana", kaže Bazhenov. “Spavanje pomaže reorganizirati sjećanja i prezentira ih na najučinkovitiji način.”

Bazhenov i njegov tim objavili su prethodni rad o tome kako spavanje gradi racionalno pamćenje, što je sposobnost pamćenja proizvoljnih ili neizravnih asocijacija između objekata, ljudi ili događaja. Također štiti od zaborava starih sjećanja. 

Problem katastrofalnog zaborava

Umjetne neuronske mreže crpe inspiraciju iz arhitekture ljudskog mozga za poboljšanje AI tehnologija i sustava. Iako su ove tehnologije uspjele postići nadljudske performanse u obliku računalne brzine, one imaju jedno veliko ograničenje. Kada neuronske mreže uče sekvencijalno, nove informacije prebrišu prethodne informacije u fenomenu koji se naziva katastrofalno zaboravljanje.

"Nasuprot tome, ljudski mozak kontinuirano uči i uključuje nove podatke u postojeće znanje, a obično najbolje uči kada je nova obuka isprepletena s razdobljima spavanja za konsolidaciju pamćenja", kaže Bazhenov. 

Tim je koristio šiljaste neuronske mreže koje umjetno oponašaju prirodne neuronske sustave. Umjesto da se komunicira kontinuirano, informacije se prenose kao diskretni događaji ili skokovi u određenim vremenskim točkama.

Oponašanje spavanja u neuronskim mrežama

Istraživači su otkrili da je problem katastrofalnog zaboravljanja ublažen problemom katastrofalnog zaboravljanja kada su mreže koje se šire uvježbane na nove zadatke s povremenim razdobljima izvan mreže koji oponašaju spavanje. Slično ljudskom mozgu, istraživači kažu da "spavanje" omogućuje mrežama ponovno reproduciranje starih sjećanja bez eksplicitnog korištenja starih podataka o vježbanju. 

"Kada saznamo nove informacije, neuroni se aktiviraju određenim redoslijedom i to povećava sinapse između njih", kaže Bazhenov. “Tijekom spavanja, obrasci šiljanja naučeni tijekom našeg budnog stanja spontano se ponavljaju. To se zove reaktivacija ili replay. 

"Sinaptička plastičnost, sposobnost da se mijenja ili oblikuje, još uvijek postoji tijekom spavanja i može dodatno poboljšati sinaptičke obrasce težine koji predstavljaju pamćenje, pomažući u sprječavanju zaboravljanja ili omogućavanju prijenosa znanja sa starih na nove zadatke." 

Tim je otkrio da je primjenom ovog pristupa na umjetne neuronske mreže pomoglo mrežama da izbjegnu katastrofalno zaboravljanje. 

“To je značilo da te mreže mogu neprestano učiti, poput ljudi ili životinja”, nastavlja Bazhenov. “Razumijevanje načina na koji ljudski mozak obrađuje informacije tijekom sna može pomoći u povećanju pamćenja kod ljudi. Povećanje ritmova spavanja može dovesti do boljeg pamćenja. 

“U drugim projektima koristimo računalne modele za razvoj optimalnih strategija za primjenu stimulacije tijekom spavanja, kao što su zvučni tonovi, koji poboljšavaju ritam spavanja i poboljšavaju učenje. Ovo može biti osobito važno kada pamćenje nije optimalno, kao što je kada pamćenje opada starenjem ili u nekim stanjima poput Alzheimerove bolesti.”