Новий штучний нейронний пристрій може значно зменшити енерговитрати для нейронних обчислень

Дослідники з Університету Сан-Дієго розробили новий штучний нейронний пристрій, який може виконувати нейронні обчислення з енерговитратами та площею, що у 100-1000 разів менші, ніж у сучасного апаратного забезпечення на основі КМОП.

Нещодавно опублікована доповідь була опублікована в статті 18 березня в Nature Nanotechnology.

Для генерації входу для одного з підключених шарів штучних нейронів у нейронних мережах необхідно застосувати математичний розрахунок, званий нелінійною функцією активації. Однак це застосування вимагає великої обчислювальної потужності та апаратного забезпечення через необхідність передачі даних між пам’яттю та зовнішнім процесором.

Дослідники з UC San Diego розробили новий пристрій розміром з нанометр, який може виконувати цю функцію активації значно ефективніше.

Дуйгу Кузум – професор електротехніки та комп’ютерних наук у школі інженерії Джейкобса Університету Каліфорнії в Сан-Дієго.

“Обчислення нейронної мережі в апаратному забезпеченні стає все більш неефективним, коли моделі нейронної мережі стають більшими та складнішими”, – сказав Кузум. “Ми розробили один штучний нейронний пристрій, який реалізує ці обчислення в апаратному забезпеченні дуже ефективним чином за площею та енерговитратами.”

Дослідження було проведено під керівництвом Кузума та аспіранта Шанхеона Оха, а також у співпраці з професором фізики Університету Каліфорнії в Сан-Дієго Іваном Шуллером, який очолює центр енергетичних досліджень штучних нейронних мереж Міністерства енергетики США.

Новий пристрій

Розроблений пристрій використовує лінійну одиницю, яка є однією з найпоширеніших функцій активації, використовуваних у навчанні нейронних мереж. Для цього необхідне апаратне забезпечення, яке може піддаватися поступовим змінам опору, до чого й спрямовувалися інженери. Пристрій може поступово перемикатися з ізоляційного стану у провідний стан при малих теплових витратах.

Цей перемикання, яке називається переходом Мотта, відбувається в дуже тонкому шарі діоксиду ванадію, а над ним розташований нанопровідний нагрівач з титану та золота. Шар діоксиду ванадію повільно нагрівається, коли через нанопровід тече струм, що викликає повільне та контрольоване перемикання з ізоляційного стану у провідний.

Ох є першим автором дослідження.

“Ця архітектура пристрою дуже цікава та інноваційна”, – сказав Ох. “У цьому випадку ми пропускаємо струм через нанопровід над матеріалом, щоб нагріти його та викликати дуже поступове зміну опору.”

Реалізація пристрою

Для реалізації команда виготовила масив пристроїв активації та синаптичний пристрій, після чого інтегрувала їх на спеціальній друкарській платі. Потім вони були підключені разом, в результаті чого отримали апаратну версію нейронної мережі.

Мережа була використана для обробки зображення шляхом виявлення країв, ідентифікації контурів та країв об’єктів на зображенні. Інтегрована апаратна система продемонструвала свою здатність виконувати операції зворотного зв’язку, які важливі для різних типів глибоких нейронних мереж.

“На даний момент це концепція доведення”, – сказав Кузум. “Це маленька система, в якій ми тільки chồngували один шар синапса з одним шаром активації. Якщо chồngувати більше таких пристроїв, можна створити більш складну систему для різних застосунків.”