Sieci Neuronowe Uczą Się Lepszy Przez Naśladownictwo Ludzkich Wzorców Snu

Zespół badaczy z University of California – San Diego bada, w jaki sposób sztuczne sieci neuronowe mogą naśladować wzorce snu ludzkiego mózgu, aby złagodzić problem katastrofalnego zapominania. 

Badania zostały opublikowane w PLOS Computational Biology. 

Przeciętnie ludzie wymagają 7 do 13 godzin snu na 24 godziny. Podczas gdy sen relaksuje ciało na wiele sposobów, mózg pozostaje bardzo aktywny. 

Aktywny Mózg Podczas Snu

Maxim Bazhenov, PhD, jest profesorem medycyny i badaczem snu w University of California San Diego School of Medicine. 

“Mózg jest bardzo zajęty, gdy śpimy, powtarzając to, czego się nauczyliśmy w ciągu dnia,” mówi Bazhenov. “Sen pomaga zreorganizować wspomnienia i przedstawić je w najbardziej efektywny sposób.”

Bazhenov i jego zespół opublikowali wcześniej prace na temat tego, jak sen buduje racjonalną pamięć, czyli zdolność do zapamiętywania dowolnych lub pośrednich skojarzeń między obiektami, ludźmi lub zdarzeniami. Chroni również przed zapominaniem starych wspomnień. 

Problem Katastrofalnego Zapominania

Sztuczne sieci neuronowe czerpią inspirację z architektury ludzkiego mózgu, aby poprawić technologie i systemy sztucznej inteligencji. Chociaż te technologie osiągnęły nadludzką wydajność w postaci szybkości obliczeniowej, mają one jedną dużą wadę. Gdy sieci neuronowe uczą się sekwencyjnie, nowe informacje zastępują poprzednie informacje w zjawisku zwanym katastrofalnym zapominaniem.

“W przeciwieństwie do tego, ludzki mózg uczy się ciągle i włącza nowe dane do istniejącej wiedzy, a zwykle uczy się najlepiej, gdy nowe szkolenie jest przeplatane z okresami snu dla konsolidacji pamięci,” mówi Bazhenov. 

Zespół użył sieci neuronowych z wyzwalaniem, które sztucznie naśladują naturalne systemy nerwowe. Zamiast być komunikowane ciągle, informacje są przekazywane jako dyskretne zdarzenia lub wzbudzenia w określonych punktach czasu.

Naśladownictwo Snu w Sieciach Neuronowych

Badacze odkryli, że gdy sieci z wyzwalaniem były szkolone na nowych zadaniach z okazjonalnymi okresami offline naśladującymi sen, problem katastrofalnego zapominania został złagodzony. Podobnie jak ludzki mózg, badacze mówią, że “sen” umożliwia sieciom odtwarzanie starych wspomnień bez jawnych użyć starych danych szkoleniowych. 

“Gdy uczymy się nowych informacji, neurony są wzbudzane w określonej kolejności, co zwiększa synapsy między nimi,” mówi Bazhenov. “Podczas snu wzorce wzbudzania uczonych podczas stanu czuwania są powtarzane spontanicznie. Nazywa się to ponowną aktywacją lub odtworzeniem. 

“Plastyczność synaptyczna, zdolność do zmiany lub kształtowania, jest nadal obecna podczas snu i może dalej wzmacniać wzorce wag synaptycznych, które reprezentują pamięć, pomagając zapobiegać zapominaniu lub umożliwiając transfer wiedzy ze starych do nowych zadań.” 

Zespół stwierdził, że zastosowanie tego podejścia do sztucznych sieci neuronowych pomogło sieciom uniknąć katastrofalnego zapominania. 

“Oznaczało to, że te sieci mogą uczyć się ciągle, jak ludzie lub zwierzęta,” kontynuuje Bazhenov. “Zrozumienie, jak ludzki mózg przetwarza informacje podczas snu, może pomóc w uzupełnieniu pamięci u ludzi. Uzupełnienie rytmów snu może prowadzić do lepszej pamięci. 

“W innych projektach używamy modeli komputerowych, aby opracować optymalne strategie stosowania stymulacji podczas snu, takich jak dźwięki słuchowe, które wzmacniają rytm snu i poprawiają uczenie. Może to być szczególnie ważne, gdy pamięć nie jest optymalna, tak jak gdy pamięć maleje wraz z wiekiem lub w niektórych stanach, takich jak choroba Alzheimera.”