Neuronové sítě se učí lépe napodobováním vzorců lidského spánku

Tým výzkumníků z Kalifornské univerzity v San Diegu zkoumá, jak by umělé neuronové sítě mohly napodobovat spánkové vzorce lidského mozku, aby se zmírnil problém katastrofického zapomínání. 

Výzkum byl publikován v roce XNUMX PLOS Výpočetní biologie. 

V průměru lidé potřebují 7 až 13 hodin spánku za 24 hodin. Zatímco spánek uvolňuje tělo mnoha způsoby, mozek zůstává stále velmi aktivní. 

Aktivní mozek během spánku

Maxim Bazhenov, PhD, je profesorem medicíny a výzkumníkem spánku na University of California San Diego School of Medicine. 

"Mozek je velmi zaneprázdněn, když spíme, opakuje, co jsme se naučili během dne," říká Bazhenov. "Spánek pomáhá reorganizovat vzpomínky a prezentuje je nejúčinnějším způsobem."

Bazhenov a jeho tým publikovali předchozí práci o tom, jak spánek buduje racionální paměť, což je schopnost pamatovat si libovolné nebo nepřímé asociace mezi předměty, lidmi nebo událostmi. Chrání také před zapomenutím starých vzpomínek. 

Problém katastrofického zapomínání

Umělé neuronové sítě čerpají inspiraci z architektury lidského mozku ke zlepšení technologií a systémů umělé inteligence. Tyto technologie sice dokázaly dosáhnout nadlidského výkonu v podobě výpočetní rychlosti, ale mají jedno zásadní omezení. Když se neuronové sítě učí sekvenčně, nové informace přepisují předchozí informace v jevu označovaném jako katastrofické zapomínání.

"Naproti tomu lidský mozek se neustále učí a začleňuje nová data do stávajících znalostí a obvykle se nejlépe učí, když je nový trénink propojen s obdobím spánku pro konsolidaci paměti," říká Bazhenov. 

Tým použil špičkové neuronové sítě, které uměle napodobují přirozené nervové systémy. Spíše než aby byly informace sdělovány nepřetržitě, jsou informace přenášeny jako diskrétní události nebo špičky v určitých časových bodech.

Napodobování spánku v neuronových sítích

Výzkumníci objevili, že když byly sítě s náporem trénovány na nové úkoly s občasnými off-line obdobími napodobujícími spánek, problém katastrofického zapomínání byl zmírněn. Podobně jako u lidského mozku výzkumníci říkají, že „spánek“ umožňuje sítím přehrávat staré vzpomínky bez explicitního použití starých tréninkových dat. 

"Když se dozvíme nové informace, neurony vystřelí v určitém pořadí, což zvyšuje synapse mezi nimi," říká Bazhenov. „Během spánku se spontánně opakují vzorce naučené během našeho bdělého stavu. Říká se tomu reaktivace nebo přehrání. 

"Synaptická plasticita, schopnost být měněna nebo formována, je během spánku stále na místě a může dále posílit synaptické vzorce hmotnosti, které představují paměť, což pomáhá předcházet zapomínání nebo umožňuje přenos znalostí ze starých úkolů na nové." 

Tým zjistil, že aplikací tohoto přístupu na umělé neuronové sítě pomohl sítím vyhnout se katastrofickému zapomínání. 

„Znamenalo to, že se tyto sítě mohly neustále učit, jako lidé nebo zvířata,“ pokračuje Baženov. „Pochopení toho, jak lidský mozek zpracovává informace během spánku, může pomoci rozšířit paměť u lidských subjektů. Rozšíření spánkových rytmů může vést k lepší paměti. 

„V jiných projektech využíváme počítačové modely k vývoji optimálních strategií pro aplikaci stimulace během spánku, jako jsou sluchové tóny, které zlepšují spánkové rytmy a zlepšují učení. To může být zvláště důležité, když paměť není optimální, například když paměť klesá při stárnutí nebo při některých stavech, jako je Alzheimerova choroba.“