Neuronové sítě se učí lépe napodobováním spánkových vzorců lidského mozku

Tým výzkumníků z Kalifornské univerzity v San Diegu zkoumá, jak umělé neuronové sítě mohou napodobovat spánkové vzorce lidského mozku, aby zmírnily problém katastrofického zapomínání.

Výzkum byl publikován v PLOS Computational Biology.

V průměru lidé potřebují 7 až 13 hodin spánku za 24 hodin. Zatímco spánek relaxuje tělo mnoha způsoby, mozek zůstává velmi aktivní.

Aktivní mozek během spánku

Maxim Bazhenov, PhD, je profesor medicíny a spánkový výzkumník na Kalifornské univerzitě v San Diegu.

„Mozek je velmi zaneprázdněn, když spíme, opakujeme, co jsme se naučili během dne,“ říká Bazhenov. „Spánek pomáhá reorganizovat vzpomínky a prezentuje je nejefektivnějším způsobem.“

Bazhenov a jeho tým již dříve publikovali práci o tom, jak spánek buduje racionální paměť, která je schopnost si pamatovat libovolné nebo nepřímé asociace mezi objekty, lidmi nebo událostmi. Také chrání proti zapomínání starých vzpomínek.

Problém katastrofického zapomínání

Umělé neuronové sítě čerpají inspiraci z architektury lidského mozku, aby zlepšily technologie a systémy umělé inteligence. Zatímco tyto technologie dosáhly nadlidských výkonů ve formě výpočetní rychlosti, mají jednu velkou limitaci. Když se neuronové sítě učí sekvenčně, nová informace přepisuje předchozí informace v jevu nazývaném katastrofické zapomínání.

„Na rozdíl od toho lidský mozek se učí kontinuálně a začleňuje novou data do existujících znalostí a obvykle se učí nejlépe, když je nové školení proloženo obdobími spánku pro konsolidaci paměti,“ říká Bazhenov.

Tým použil spikingové neuronové sítě, které uměle napodobují přirozené neuronové systémy. Místo toho, aby informace byly komunikovány kontinuálně, jsou přenášeny jako diskrétní události nebo špičky, v určitých časových bodech.

Napodobování spánku v neuronových sítích

Výzkumníci objevili, že když byly spikingové sítě trénovány na nových úkolech s občasnými off-line obdobími, která napodobují spánek, problém katastrofického zapomínání byl zmírněn. Podobně jako lidský mozek, výzkumníci říkají, že „spánek“ umožňuje sítím přehrávat staré vzpomínky bez explicitního použití starých trénovacích dat.

„Když se učíme novou informaci, neurony se aktivují v určitém pořadí a to zvyšuje synapsie mezi nimi,“ říká Bazhenov. „Během spánku se špičkové vzorce, které se naučily během našeho bdění, opakují spontánně. Je to nazýváno reaktivací nebo přehráváním.

„Synaptická plasticita, schopnost být změněna nebo formována, je stále přítomna během spánku a může dále zlepšit synaptické vzorce, které reprezentují paměť, což pomáhá předcházet zapomínání nebo umožnit přenos znalostí ze starých na nové úkoly.“

Tým zjistil, že aplikováním tohoto přístupu na umělé neuronové sítě, pomohlo to sítím vyhnout se katastrofickému zapomínání.

„To znamenalo, že tyto sítě se mohly učit kontinuálně, jako lidé nebo zvířata,“ pokračuje Bazhenov. „Porozumění tomu, jak lidský mozek zpracovává informace během spánku, může pomoci zlepšit paměť u lidských subjektů. Zlepšení spánkových rytmů může vést k lepší paměti.

„V jiných projektech, používáme počítačové modely k vývoji optimálních strategií pro aplikaci stimulace během spánku, jako jsou zvukové tóny, které zlepšují spánkové rytmy a zlepšují učení. To může být besonders důležité, když je paměť neoptimální, jako když paměť klesá ve stáří nebo v některých podmínkách, jako je Alzheimerova choroba.”