Modele i platformy AI
Sieci neuronowe uczą się lepiej, naśladując ludzkie wzorce snu
Kluczowe punktyOdtwarzanie snu w sieciach neuronowych impulsowych zapobiega katastroficznemu…
Zobacz więcej
- Odtwarzanie snu w sieciach neuronowych impulsowych zapobiega katastroficznemu zapominaniu podczas uczenia sekwencyjnego.
- Sen umożliwia sztucznym sieciom konsolidację starych wspomnień bez konieczności jawnego dostępu do oryginalnych danych treningowych.
- Zrozumienie procesów pamięciowych opartych na śnie może prowadzić do terapii stymulacją słuchową w przypadku związanego z wiekiem pogorszenia pamięci.
Zespół badaczy z Uniwersytetu Kalifornijskiego w San Diego bada, jak sztuczne sieci neuronowe mogą naśladować wzorce snu ludzkiego mózgu, aby złagodzić problem katastrofalnego zapominania.
Badanie zostało opublikowane w PLOS Computational Biology.
Przeciętnie, ludzie potrzebują 7 do 13 godzin snu na 24 godziny. Podczas gdy sen relaksuje ciało na wiele sposobów, mózg pozostaje bardzo aktywny.
Aktywny Mózg Podczas Snu
Maxim Bazhenov, PhD, jest profesorem medycyny i badaczem snu na Uniwersytecie Kalifornijskim w San Diego School of Medicine.
„Mózg jest bardzo zajęty, gdy śpimy, powtarzając to, czego się nauczyliśmy w ciągu dnia”, mówi Bazhenov. „Sen pomaga zorganizować wspomnienia i przedstawić je w najbardziej efektywny sposób.”
Bazhenov i jego zespół opublikowali wcześniej prace na temat tego, jak sen buduje pamięć powiązań, czyli zdolność do zapamiętywania przypadkowych lub pośrednich skojarzeń między obiektami, ludźmi lub zdarzeniami. Chroni również przed zapominaniem starych wspomnień.
Problem Katastrofalnego Zapominania
Sztuczne sieci neuronowe czerpią inspirację z architektury ludzkiego mózgu, aby poprawić technologie i systemy sztucznej inteligencji. Chociaż te technologie osiągnęły nadludzką wydajność w postaci szybkości obliczeniowej, mają one jedną dużą wadę. Gdy sieci neuronowe uczą się sekwencyjnie, nowa informacja zastępuje poprzednią informację w zjawisku zwanym katastrofalnym zapominaniem.
„W przeciwieństwie do tego, ludzki mózg uczy się ciągle i włącza nowe dane do istniejącej wiedzy, a zwykle uczy się najlepiej, gdy nowe szkolenie jest przeplatane z okresami snu dla konsolidacji pamięci”, mówi Bazhenov.
Zespół używał sieci neuronowych z wyładowaniami, które sztucznie naśladują naturalne systemy nerwowe. Zamiast być komunikowanymi ciągle, informacje są przekazywane jako dyskretne zdarzenia lub wyładowania w określonych punktach czasu.
Naśladownictwo Snu w Sieciach Neuronowych
Badacze odkryli, że gdy sieci z wyładowaniami były szkolone na nowych zadaniach z okazjonalnymi okresami offline, naśladującymi sen, problem katastrofalnego zapominania został złagodzony. Podobnie jak ludzki mózg, badacze mówią, że „sen” umożliwia sieciom odtwarzanie starych wspomnień bez jawnego używania starych danych szkoleniowych.
„Gdy uczymy się nowych informacji, neurony wyładowują się w określonej kolejności, co zwiększa synapsy między nimi”, mówi Bazhenov. „Podczas snu wzorce wyładowań, których nauczyliśmy się w stanie czuwania, są powtarzane spontanicznie. Nazywa się to reaktywacją lub odtworzeniem.
„Plastyczność synaptyczna, zdolność do zmiany lub kształtowania, jest nadal obecna podczas snu i może dalej wzmacniać wzorce wag synaptycznych, które reprezentują pamięć, pomagając zapobiec zapominaniu lub umożliwiając transfer wiedzy ze starych do nowych zadań.”
Zespół znalazł, że zastosowanie tego podejścia do sztucznych sieci neuronowych pomogło sieciom uniknąć katastrofalnego zapominania.
„Oznaczało to, że te sieci mogły uczyć się ciągle, jak ludzie lub zwierzęta”, kontynuuje Bazhenov. „Zrozumienie, jak ludzki mózg przetwarza informacje podczas snu, może pomóc w poprawie pamięci u ludzi. Wzmocnienie rytmów snu może prowadzić do lepszej pamięci.
„W innych projektach, używamy modeli komputerowych, aby opracować optymalne strategie stosowania stymulacji podczas snu, takich jak dźwięki słuchowe, które wzmacniają rytm snu i poprawiają uczenie się. Może to być szczególnie ważne, gdy pamięć jest nieoptymalna, tak jak w przypadku starzenia się lub w niektórych chorobach, takich jak choroba Alzheimera.”












