Modely a platformy AI

Neuronové sítě se učí lépe napodobováním spánkových vzorců lidského mozku

Alex McFarland
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyNapodobování přehrávání spánku v neuronových sítích s impulsy zabraňuje katastrofickému…
Zobrazit více
  • Napodobování přehrávání spánku v neuronových sítích s impulsy zabraňuje katastrofickému zapomínání během sekvenčního učení.
  • Spánek umožňuje umělým sítím konsolidovat staré vzpomínky bez nutnosti explicitního přístupu k původním tréninkovým datům.
  • Porozumění zpracování paměti založenému na spánku by mohlo vést k terapiím sluchové stimulace pro věkem podmíněný pokles paměti.

Tým výzkumníků z Kalifornské univerzity v San Diegu zkoumá, jak umělé neuronové sítě mohou napodobovat spánkové vzorce lidského mozku, aby zmírnily problém katastrofického zapomínání.

Výzkum byl publikován v PLOS Computational Biology.

V průměru lidé potřebují 7 až 13 hodin spánku za 24 hodin. Zatímco spánek relaxuje tělo mnoha způsoby, mozek zůstává velmi aktivní.

Aktivní mozek během spánku

Maxim Bazhenov, PhD, je profesor medicíny a spánkový výzkumník na Lékařské fakultě Kalifornské univerzity v San Diegu.

„Mozek je velmi zaneprázdněn, když spíme, opakujeme, co jsme se naučili během dne,“ říká Bazhenov. „Spánek pomáhá reorganizovat vzpomínky a prezentuje je nejefektivnějším způsobem.“

Bazhenov a jeho tým již dříve publikovali práci o tom, jak spánek buduje paměť vztahů, která je schopnost si pamatovat libovolné nebo nepřímé asociace mezi objekty, lidmi nebo událostmi. Také chrání proti zapomínání starých vzpomínek.

Problém katastrofického zapomínání

Umělé neuronové sítě čerpají inspiraci z architektury lidského mozku, aby zlepšily technologie a systémy umělé inteligence. Zatímco tyto technologie dosáhly nadlidských výkonů ve formě výpočetní rychlosti, mají jednu velkou limitaci. Když se neuronové sítě učí sekvenčně, nová informace přepisuje předchozí informace v jevu nazývaném katastrofické zapomínání.

„Na rozdíl od toho lidský mozek se učí kontinuálně a začleňuje nová data do existujících znalostí a obvykle se učí nejlépe, když je nové školení proloženo obdobími spánku pro konsolidaci paměti,“ říká Bazhenov.

Tým použil impulzní neuronové sítě, které uměle napodobují přirozené neuronové systémy. Místo toho, aby informace byly komunikovány kontinuálně, jsou přenášeny jako diskrétní události nebo impulzy, v určitých časových bodech.

Napodobování spánku v neuronových sítích

Výzkumníci objevili, že když byly impulzní sítě trénovány na nových úkolech s občasnými off-line obdobími, která napodobují spánek, problém katastrofického zapomínání byl zmírněn. Podobně jako lidský mozek, výzkumníci říkají, že „spánek“ umožňuje sítím přehrávat staré vzpomínky bez explicitního použití starých trénovacích dat.

„Když se učíme novou informaci, neurony se aktivují v určitém pořadí a to zvyšuje synapse mezi nimi,“ říká Bazhenov. „Během spánku se vzorce impulzů, které se naučily během našeho bdění, opakují spontánně. Je to nazýváno reaktivací nebo přehráváním.

„Synaptická plasticita, schopnost být změněna nebo formována, je stále přítomna během spánku a může dále posílit vzorce synaptických vah, které reprezentují paměť, což pomáhá předcházet zapomínání nebo umožnit přenos znalostí ze starých na nové úkoly.“

Tým zjistil, že aplikováním tohoto přístupu na umělé neuronové sítě, pomohlo to sítím vyhnout se katastrofickému zapomínání.

„To znamenalo, že tyto sítě se mohly učit kontinuálně, jako lidé nebo zvířata,“ pokračuje Bazhenov. „Porozumění tomu, jak lidský mozek zpracovává informace během spánku, může pomoci zlepšit paměť u lidských subjektů. Zlepšení spánkových rytmů může vést k lepší paměti.

„V jiných projektech, používáme počítačové modely k vývoji optimálních strategií pro aplikaci stimulace během spánku, jako jsou zvukové tóny, které zlepšují spánkové rytmy a zlepšují učení. To může být zvláště důležité, když je paměť neoptimální, jako když paměť klesá ve stáří nebo v některých podmínkách, jako je Alzheimerova choroba.”

Alex vede AI‑poháněné zpravodajské operace společnosti Unite.AI, spojuje žurnalistiku, výzkum a automatizaci, aby podpořil včasné a škálovatelné pokrytí umělé inteligence. Jeho práce pomáhá zajistit, aby byly nové události v oblasti AI efektivně prezentovány a zároveň byly zachovány redakční standardy publikace.