Нейронні мережі вчаться краще, імітуючи людські моделі сну

Команда дослідників з Університету Каліфорнії – Сан-Дієго вивчає, як штучні нейронні мережі можуть імітувати моделі сну людського мозку, щоб пом’якшити проблему катастрофічного забуття.

Дослідження було опубліковано в PLOS Computational Biology. 

В середньому люди потребують 7-13 годин сну на 24 години. Хоча сон розслаблює тіло багатьма способами, мозок залишається дуже активним.

Активний мозок під час сну

Максим Баженов, PhD, є професором медицини та дослідником сну в Університеті Каліфорнії Сан-Дієго Медичної школи.

“Мозок дуже зайнятий, коли ми спимо, повторюючи те, що ми вивчили протягом дня”, – говорить Баженов. “Сон допомагає реорганізувати спогади та представляє їх у найбільш ефективному вигляді.”

Баженов та його команда раніше опублікували роботу про те, як сон будує раціональну пам’ять, яка є здатністю пам’ятати довільні або непрямі асоціації між об’єктами, людьми чи подіями. Це також захищає від забування старих спогадів.

Проблема катастрофічного забуття

Штучні нейронні мережі черпають натхнення з архітектури людського мозку, щоб покращити технології та системи штучного інтелекту. Хоча ці технології змогли досягти надлюдських результатів у вигляді обчислювальної швидкості, у них є одна велика обмеження. Коли нейронні мережі вчаться послідовно, нова інформація переписує попередню інформацію у явищі, відомому як катастрофічне забуття.

“Натомість людський мозок вчиться безперервно та включає нові дані в існуючі знання, і він зазвичай вчиться найкраще, коли нове навчання чергується з періодами сну для консолідації пам’яті”, – говорить Баженов.

Команда використовувала спайкові нейронні мережі, які штучно імітують природні нейронні системи. Навіть не передаючи інформацію безперервно, інформація передається у вигляді дискретних подій чи спайків у певні моменти часу.

Імітація сну в нейронних мережах

Дослідники виявили, що коли спайкові мережі навчалися на нових завданнях з періодичними періодами вимкнення, які імітують сон, проблема катастрофічного забуття була пом’якшена. Подібно до людського мозку, дослідники кажуть, що “сон” дозволяє мережам повторювати старі спогади без явного використання попередніх навчальних даних.

“Коли ми вивчаємо нову інформацію, нейрони спалахують у певному порядку, що збільшує синапси між ними”, – говорить Баженов. “Під час сну спайкові моделі, вивчені під час нашого неспання, повторюються спонтанно. Це називається реактивацією чи повторенням.

“Синаптична пластичність, здатність змінюватися чи формуватися, все ще присутня під час сну, і вона може ще більше посилити синаптичні вагові моделі, які представляють пам’ять, допомагаючи запобігти забуванню чи дозволяючи передавати знання з старих завдань до нових.”

Команда виявила, що застосування цього підходу до штучних нейронних мереж допомогло мережам уникнути катастрофічного забуття.

“Це означало, що ці мережі могли вчиться безперервно, як люди чи тварини”, – продовжує Баженов. “Поняття того, як людський мозок обробляє інформацію під час сну, може допомогти покращити пам’ять у людей. Покращення ритмів сну може привести до кращої пам’яті.

“У інших проектах ми використовуємо комп’ютерні моделі для розробки оптимальних стратегій застосування стимуляції під час сну, таких як аудіотони, які посилюють ритми сну та покращують навчання. Це може бути особливо важливо, коли пам’ять не оптимальна, наприклад, коли пам’ять знижується з віком або при деяких захворюваннях, таких як хвороба Альцгеймера.”