Нейронні мережі вчаться краще, імітуючи шаблони сну людини

Команда дослідників з Університету Каліфорнії – Сан-Дієго досліджує, як штучні нейронні мережі можуть імітувати шаблони сну людського мозку, щоб пом’якшити проблему катастрофічного забування.

Дослідження було опубліковано в PLOS Computational Biology.

В середньому люди потребують 7-13 годин сну на 24 години. Хоча сон розслаблює тіло багатьма способами, мозок залишається дуже активним.

Активний мозок під час сну

Максим Баженов, PhD, є професором медицини та дослідником сну в Університеті Каліфорнії Сан-Дієго Медичної школи.

“Мозок дуже зайнятий, коли ми спимо, повторюючи те, що ми вивчили протягом дня”, – каже Баженов. “Сон допомагає реорганізувати спогади та представляти їх у найбільш ефективному вигляді.”

Баженов та його команда раніше опублікували роботу про те, як сон будує раціональну пам’ять, яка є здатністю пам’ятати довільні або непрямі асоціації між об’єктами, людьми чи подіями. Це також захищає від забування старих спогадів.

Проблема катастрофічного забування

Штучні нейронні мережі черпають натхнення з архітектури людського мозку, щоб поліпшити технології штучного інтелекту та системи. Хоча ці технології змогли досягти надлюдських результатів у вигляді обчислювальної швидкості, у них є одна велика обмеження. Коли нейронні мережі вчаться послідовно, нова інформація переписує попередню інформацію у явищі, відомому як катастрофічне забування.

“Натомість, людський мозок вчиться безперервно та включає нові дані в існуючі знання, і він зазвичай вчиться найкраще, коли нове навчання перемежається з періодами сну для консолідації пам’яті”, – каже Баженов.

Команда використала спайкові нейронні мережі, які штучно імітують природні нейронні системи. Навіть не будучи комуніковані безперервно, інформація передається у вигляді дискретних подій або спайків у певні моменти часу.

Імітація сну в нейронних мережах

Дослідники виявили, що коли спайкові мережі навчалися на нових завданнях з періодичними офлайн-періодами, які імітують сон, проблема катастрофічного забування була пом’якшена. Подібно до людського мозку, дослідники кажуть, що “сон” дозволяє мережам повторювати старі спогади без явного використання попередніх навчальних даних.

“Коли ми вивчаємо нову інформацію, нейрони викликаються у певному порядку, і це збільшує синапси між ними”, – каже Баженов. “Під час сну спайкові моделі, вивчені під час нашого неспання, повторюються спонтанно. Це називається реактивацією або повторенням.

“Синаптична пластичність, здатність змінюватися або формуватися, все ще присутня під час сну, і вона може ще більше посилити синаптичні вагові моделі, які представляють пам’ять, допомагаючи запобігти забуванню або дозволяючи передавати знання з старих завдань до нових.”

Команда виявила, що застосування цього підходу до штучних нейронних мереж допомогло мережам уникнути катастрофічного забування.

“Це означало, що ці мережі могли вчиться безперервно, як люди або тварини”, – продовжує Баженов. “Поняття того, як людський мозок обробляє інформацію під час сну, може допомогти посилити пам’ять у людей. Посилення ритмів сну може привести до кращої пам’яті.

“У інших проєктах ми використовуємо комп’ютерні моделі для розробки оптимальних стратегій застосування стимуляції під час сну, таких як аудіотони, які посилюють ритми сну та покращують навчання. Це може бути особливо важливо, коли пам’ять неоптимальна, наприклад, коли пам’ять знижується з віком або при деяких захворюваннях, таких як хвороба Альцгеймера.”