Нейронные сети учатся лучше, имитируя закономерности сна человека

Команда исследователей из Калифорнийского университета в Сан-Диего изучает, как искусственные нейронные сети могут имитировать закономерности сна человеческого мозга, чтобы смягчить проблему катастрофического забывания.

Исследование было опубликовано в PLOS Computational Biology.

В среднем человеку требуется 7-13 часов сна в течение 24 часов. Хотя сон расслабляет тело во многих отношениях, мозг остается очень активным.

Активный мозг во время сна

Максим Баженов, доктор философии, является профессором медицины и исследователем сна в Университете Калифорнии в Сан-Диего.

«Мозг очень занят, когда мы спим, повторяя то, что мы узнали днем», – говорит Баженов. «Сон помогает реорганизовать воспоминания и представляет их в наиболее эффективной форме».

Баженов и его команда ранее опубликовали работу о том, как сон строит рациональную память, которая является способностью помнить произвольные или косвенные ассоциации между объектами, людьми или событиями. Это также защищает от забывания старых воспоминаний.

Проблема катастрофического забывания

Искусственные нейронные сети черпают вдохновение из архитектуры человеческого мозга, чтобы улучшить технологии и системы искусственного интеллекта. Хотя эти технологии смогли достичь сверхчеловеческих результатов в форме вычислительной скорости, у них есть одно значительное ограничение. Когда нейронные сети учатся последовательно, новая информация переписывает предыдущую информацию в явлении, известном как катастрофическое забывание.

«Напротив, человеческий мозг учится непрерывно и включает новую информацию в существующие знания, и он обычно учится лучше всего, когда новая тренировка чередуется с периодами сна для консолидации памяти», – говорит Баженов.

Команда использовала спайкинг-нейронные сети, которые искусственно имитируют естественные нейронные системы. Вместо того, чтобы передавать информацию непрерывно, информация передается в виде дискретных событий или спайков в определенные моменты времени.

Имитация сна в нейронных сетях

Исследователи обнаружили, что когда спайкинг-сети обучались на новых задачах с периодическими офлайн-периодами, имитирующими сон, проблема катастрофического забывания была смягчена. Аналогично человеческому мозгу, исследователи говорят, что «сон» позволяет сетям воспроизводить старые воспоминания без явного использования старых тренировочных данных.

«Когда мы учимся новой информации, нейроны возбуждаются в определенном порядке, и это увеличивает синапсы между ними», – говорит Баженов. «Во время сна спайкинг-узоры, выученные во время нашего бодрствования, повторяются спонтанно. Это называется реактивацией или реплеем.

«Синаптическая пластичность, способность изменяться или формироваться, все еще присутствует во время сна и может еще больше улучшить синаптические весовые закономерности, которые представляют память, помогая предотвратить забывание или облегчить передачу знаний из старых задач в новые».

Команда обнаружила, что применение этого подхода к искусственным нейронным сетям помогло сетям избежать катастрофического забывания.

«Это означало, что эти сети могли учиться непрерывно, как люди или животные», – продолжает Баженов. «Понимание того, как человеческий мозг обрабатывает информацию во время сна, может помочь улучшить память у людей. Усиление сонных ритмов может привести к лучшей памяти.

«В других проектах мы используем компьютерные модели для разработки оптимальных стратегий применения стимуляции во время сна, такой как звуковые тоны, которые усиливают сонные ритмы и улучшают обучение. Это может быть особенно важно, когда память неоптимальна, например, когда память снижается с возрастом или при определенных условиях, таких как болезнь Альцгеймера».