Нові дослідження припускають, що штучні мозки можуть вигравати від сну

Нові дослідження з Лос-Аламоської національної лабораторії вказують на те, що штучні мозки майже напевно виграють від періодів відпочинку, як і живі мозки.

Дослідження буде представлено на робочій зустрічі жінок у галузі комп’ютерного бачення в Сіетлі 14 червня.

Їїїнґ Воткінс – комп’ютерний вчений Лос-Аламоської національної лабораторії.

“Ми вивчаємо спайкові нейронні мережі, які вчаться так само, як і живі мозки”, – сказав Воткінс. “Нас цікавила можливість тренувати нейроморфний процесор у спосіб, аналогічний тому, як люди та інші біологічні системи вчаться від свого середовища під час дитинства.”

Вирішення нестабільності в мережевих симуляціях

Воткінс і команда виявили, що безперервні періоди несупервізованого навчання призводили до нестабільності в мережевих симуляціях. Однак, коли команда ввела мережі у стани, які є результатом хвиль, які живі мозки переживають під час сну, стабільність була відновлена.

“Було так, як ніби ми давали нейронним мережам еквівалент доброї ночної відпочинку”, – сказав Воткінс.

Команда зробила це відкриття, коли працювала над розробкою нейронних мереж на основі того, як люди та інші біологічні системи вчаться бачити. Команда зіткнулася з деякими проблемами, коли справа дійшла до стабілізації симульованих нейронних мереж, які проходили несупервізоване словникове навчання. Несупервізоване словникове навчання включає класифікацію об’єктів без попередніх прикладів для порівняння.

Гарретт Кеньон – комп’ютерний вчений у Лос-Аламосі та співавтор дослідження.

“Проблема того, як запобігти тому, щоб системи навчання не ставали нестабільними, насправді виникає лише тоді, коли намагаються використовувати біологічно реалістичні, спайкові нейроморфні процесори або коли намагаються зрозуміти саму біологію”, – сказав Кеньон. “Більшість дослідників машинного навчання, глибокого навчання та штучного інтелекту ніколи не зустрічаються з цією проблемою, оскільки в дуже штучних системах, які вони вивчають, вони мають можливість виконувати глобальні математичні операції, які мають ефект регулювання загальної динамічної прибавки системи.”

Сон як останнє засобу рішення

За словами дослідників, експозиція мереж штучному аналогу сну була їх останнім засобом для стабілізації їх. Після експериментів з різними типами шуму, який подібний до статичного між станціями на радіо, найкращі результати були отримані від хвиль гауссовського шуму. Цей тип шуму включає широкий діапазон частот і амплітуд.

Дослідники висунули гіпотезу, що під час повільного сну шум імітує вхід, отриманий біологічними нейронами. Результати вказували на те, що повільний сон може відігравати роль у тому, щоб коркові нейрони не страждали від галюцинацій і зберігали свою стабільність.

Команда тепер працюватиме над імплементацією алгоритму на нейроморфному чіпі Intel (INTC ) Loihi, сподіваючись, що сон допоможе йому стабільно обробляти інформацію від силіконової камери в реальному часі. Якщо дослідження дійсно визначить, що штучні мозки виграють від сну, те саме, ймовірно, правда і для андроїдів та інших розумних машин.

Джерело: Використання синусоїдально-модульованого шуму як заміни повільного сну для досягнення стабільного несупервізованого словникового навчання в спайковій моделі розрідженого кодування, Робоча зустріч жінок у галузі комп’ютерного бачення, 2020-06-14 (Сіетл, штат Вашингтон, США)