Новые исследования предполагают, что искусственные мозги могут извлечь пользу из сна

Новые исследования, проводимые в Лос-Аламосской национальной лаборатории, предполагают, что искусственные мозги почти наверняка извлекают пользу из периодов отдыха, как и живые мозги.

Исследования будут представлены на семинаре “Женщины в компьютерном зрении” в Сиэтле 14 июня.

Йицинь Уоткинс – компьютерный ученый в Лос-Аламосской национальной лаборатории.

“Мы изучаем спайкинг-нейронные сети, которые учатся так же, как живые мозги”, – сказал Уоткинс. “Нас fascинировала перспектива обучения нейроморфного процессора таким же образом, как люди и другие биологические системы учатся из окружающей среды в процессе развития в детстве.”

Решение проблемы нестабильности в сетевых симуляциях

Уоткинс и его команда обнаружили, что непрерывные периоды ненадзорного обучения привели к нестабильности в сетевых симуляциях. Однако, когда команда ввела сети в состояния, которые являются результатом волн, испытываемых живыми мозгами во время сна, стабильность была восстановлена.

“Это было как будто мы дали нейронным сетям эквивалент хорошего ночного отдыха”, – сказал Уоткинс.

Команда сделала это открытие, работая над разработкой нейронных сетей на основе того, как люди и другие биологические системы учатся видеть. Команда столкнулась с некоторыми проблемами при стабилизации симулированных нейронных сетей, проходящих ненадзорное обучение словаря. Ненадзорное обучение словаря предполагает классификацию объектов без использования предыдущих примеров для сравнения.

Гарретт Кеньон – компьютерный ученый в Лос-Аламосе и соавтор исследования.

“Проблема того, как предотвратить нестабильность обучающих систем, возникает только при попытке использовать биологически реалистичные, спайкинг-нейроморфные процессоры или при попытке понять саму биологию”, – сказал Кеньон. “Большинство исследователей машинного обучения, глубокого обучения и ИИ никогда не сталкиваются с этой проблемой, поскольку в искусственных системах, которые они изучают, они имеют возможность выполнять глобальные математические операции, которые регулируют общую динамическую выгоду системы.”

Сон как последнее средство

По мнению исследователей, воздействие на сети искусственного аналога сна было их последним средством для стабилизации их. После экспериментов с различными типами шума, подобного статике между радиостанциями, лучшие результаты были получены от волн гауссовского шума. Этот тип шума включает широкий диапазон частот и амплитуд.

Исследователи выдвинули гипотезу, что во время медленноволнового сна шум имитирует входные сигналы, получаемые биологическими нейронами. Результаты предполагают, что медленноволновой сон может сыграть роль в обеспечении того, чтобы кортикальные нейроны не страдали от галлюцинаций и сохраняли свою стабильность.

Теперь команда будет работать над реализацией алгоритма на нейроморфном чипе Intel (INTC ) Loihi, надеясь, что сон поможет ему стабильно обрабатывать информацию с силиконовой камеры в реальном времени. Если исследования покажут, что искусственные мозги извлекают пользу из сна, то же самое, скорее всего, верно и для андроидов и других интеллектуальных машин.

Источник: Использование синусоидально-модулированного шума в качестве заменителя медленноволнового сна для достижения стабильного ненадзорного обучения словаря в модели спайкинг-кодирования, семинар “Женщины в компьютерном зрении”, 2020-06-14 (Сиэтл, штат Вашингтон, США)