Новое Устройство Искусственного Нейрона Может Значительно Снизить Энергопотребление для Нейронных Вычислений

Исследователи из Университета Сан-Диего разработали новое устройство искусственного нейрона, которое может выполнять нейронные вычисления с энергией и площадью в 100-1000 раз меньше, чем текущее оборудование на основе КМОП.

Недавний отчет был опубликован в статье 18 марта в Nature Nanotechnology.

Чтобы сгенерировать вход для одного из связанных слоев искусственных нейронов в нейронных сетях, необходимо применить математический расчет, называемый нелинейной функцией активации. Однако это применение требует большого количества вычислительной мощности и схемотехники из-за необходимости передачи данных между памятью и внешним процессором.

Исследователи из UC San Diego разработали новое наноразмерное устройство, которое может выполнять эту функцию активации намного более эффективно.

Дуйгу Кузум – профессор электротехники и компьютерных наук в Школе инженерии Джейкобса Университета Калифорнии в Сан-Диего.

“Вычисления нейронных сетей в аппаратном обеспечении становятся все более неэффективными, когда модели нейронных сетей становятся больше и более сложными”, – сказал Кузум. “Мы разработали одно наноразмерное устройство искусственного нейрона, которое реализует эти вычисления в аппаратном обеспечении очень эффективным образом.”

Исследование было проведено под руководством Кузум и аспиранта Шанхеона О, и они сотрудничали с профессором физики Университета Калифорнии в Сан-Диего Иваном Шуллером, который возглавляет центр Energy Frontier Research Center Министерства энергетики США. Центр занимается разработкой аппаратных реализаций энергоэффективных искусственных нейронных сетей.

Новое Устройство

Разработанное устройство основано на прямоугольной единице, которая является одной из наиболее распространенных функций активации, используемых при обучении нейронных сетей. Для этого требуется аппаратное обеспечение, которое может претерпевать постепенные изменения сопротивления, к чему стремились инженеры. Устройство может постепенно переключаться из изолирующего состояния в проводящее с небольшим количеством тепла.

Такое переключение, называемое переходом Мотта, происходит в очень тонком слое диоксида ванадия, и над этим слоем находится нагреватель из титана и золота. Слой диоксида ванадия медленно нагревается, когда через нагреватель протекает ток, и это вызывает медленное и контролируемое переключение из изолирующего состояния в проводящее.

О – первый автор исследования.

“Эта архитектура устройства очень интересна и инновационна”, – сказал О. “В данном случае мы пропускаем ток через нагреватель над материалом, чтобы нагреть его и вызвать очень постепенное изменение сопротивления.”

Реализация Устройства

Для реализации команда создала массив устройств активации и массив синаптических устройств, а затем интегрировала их на печатной плате. Затем они были соединены вместе, в результате чего получилась аппаратная версия нейронной сети.

Сеть была использована для обработки изображения с помощью обнаружения краев, определяя контуры и края объектов на изображении. Интегрированная аппаратная система продемонстрировала свою способность выполнять свертки, которые важны для различных типов глубоких нейронных сетей.

“Пока что это концепция доказательства”, – сказал Кузум. “Это крошечная система, в которой мы только chồngали один слой синапсов с одним слоем активации. Стекая больше таких устройств вместе, можно создать более сложную систему для различных приложений.”