Nová výzkum naznačuje, že umělá mozek by mohla mít prospěch ze spánku

Nový výzkum z Los Alamos National Laboratory naznačuje, že umělá mozek téměř jistě profitují z období odpočinku, podobně jako živé mozek.

Výzkum bude prezentován na Workshopu žen v počítačovém vidění v Seattlu 14. června.

Yijing Watkins je počítačový vědec z Los Alamos National Laboratory.

„Studujeme spiking neuronové sítě, které se učí podobně jako živé mozek,” řekl Watkins. “Byli jsme fascinováni perspektivou trénovat neuromorfní procesor způsobem analogickým k tomu, jak se lidé a jiná biologická systému učí z prostředí během dětství.”

Řešení nestability v síťových simulacích

Watkins a tým zjistili, že nepřetržité období nesupervizovaného učení vedlo k nestabilitě v síťových simulacích. Nicméně, jakmile tým představil sítím stavy, které jsou výsledkem vln, které živé mozek zažívají během spánku, stabilita mohla být obnovena.

„Bylo to, jako bychom dávali neuronovým sítím ekvivalent dobré noci spánku,” řekl Watkins.

Tým učinil toto objev, když pracovali na vývoji neuronových sítí založených na tom, jak lidé a jiná biologická systémy se učí vidět. Tým čelil některým výzvám, když se jednalo o stabilizaci simulovaných neuronových sítí, které procházely nesupervizovaným slovníkem tréninku. Nesupervizovaný slovník trénink zahrnuje klasifikaci objektů bez předchozích příkladů pro srovnání.

Garrett Kenyon je počítačový vědec v Los Alamos a spoluautor studie.

“Problém, jak udržet učení systémy od nestability, skutečně vyvstává pouze při pokusu o využití biologicky realistických, spiking neuromorfních procesorů nebo při pokusu o pochopení biologie sama,” řekl Kenyon. “Velká většina výzkumníků strojového učení, hlubokého učení a AI nikdy nenaráží na tento problém, protože ve velmi umělých systémech, které studují, mají luxus provádět globální matematické operace, které mají účinek regulace celkového dynamického zisku systému.”

Spánek jako poslední možnost řešení

Podle výzkumníků, vystavení sítí umělým analogem spánku byla jejich poslední možnost pro stabilizaci. Po experimentování s různými typy šumu, který je podobný statické mezi stanicemi na rádiu, nejlepší výsledky přišly ze vln Gaussova šumu. Tento typ šumu zahrnuje širokou škálu frekvencí a amplitud.

Výzkumníci vytvořili hypotézu, že během pomalého spánku šum imituje vstup, který biologické neurony přijímají. Výsledky naznačily, že pomalý spánek může hrát roli při zajištění, že kortikální neurony netrpí halucinacemi a udržují stabilitu.

Tým bude nyní pracovat na implementaci algoritmu na Intelův Loihi neuromorfní čip, doufajíce, že spánek pomůže stabilně zpracovat informace z kamerového čipu v reálném čase. Pokud výzkum určí, že umělá mozek profitují ze spánku, totéž je pravděpodobně pravdivé i pro androidy a jiné inteligentní stroje.

Zdroj: Použití sinusoidálně modulovaného šumu jako náhrady za pomalý spánek pro dosažení stabilního nesupervizovaného slovníkového učení ve spike-založené sparse kódovací model, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, Spojené státy)