Штучний Інтелект
Нова система може принести штучний інтелект на носимі пристрої та побутову техніку
Команда дослідників з Массачусетського технологічного інституту працює над впровадженням нейронних мереж глибокого навчання в мікроконтролери. Цей прогрес означає, що штучний інтелект (ШІ) може бути впроваджений у крихітні комп’ютерні чіпи в носимих медичних пристроях, побутовій техніці та інших 250 мільярдах об’єктів, які складають «інтернет речей» (IoT). IoT — це мережа фізичних об’єктів із вбудованими датчиками, програмним забезпеченням та іншими технологіями, які допомагають з’єднуватися та обмінюватися даними з іншими пристроями та системами.
Команда дослідження буде представлено на конференції з нейронних систем обробки інформації в грудні. Провідним автором дослідження є Джи Лінь, доктор філософії. студент лабораторії Сон Хана на факультеті електротехніки та комп’ютерних наук Массачусетського технологічного інституту. Серед співавторів – Хан і Юджун Лін з Массачусетського технологічного інституту, Вей-Мін Чен з Массачусетського технологічного інституту та Національного університету Тайваню, а також Джон Кон і Чуан Ган з Лабораторії Watson MIT-IBM.
Система MCUNet
Система називається MCUNet, і вона розробляє компактні нейронні мережі, здатні працювати з надзвичайною швидкістю та точністю на пристроях IoT, навіть з обмеженою пам’яттю та обчислювальною потужністю. Ця система може бути більш енергоефективною та підвищити безпеку даних.
Команда розробила систему «крихітного глибокого навчання», поєднавши два компоненти — роботу нейронних мереж і мікроконтролерів. Першим компонентом є TinyEngine, механізм інтерфейсу, який діє як операційна система, керуючи керуванням ресурсами. TinyEngine оптимізовано для запуску певної структури нейронної мережі, вибраної TinyNAS, яка є іншим компонентом. TinyNAS — це алгоритм пошуку нейронної архітектури.
Лін розробив TinyNAS через складність застосування існуючих методів пошуку нейронної архітектури до крихітних мікроконтролерів. Ці існуючі методи зрештою знаходять найбільш точну та економічно ефективну мережеву структуру після початку з багатьох можливих на основі попередньо визначеного шаблону.
«Це може добре працювати на графічних процесорах або смартфонах», — каже Лін. «Але було складно безпосередньо застосувати ці методи до крихітних мікроконтролерів, оскільки вони занадто малі».
TinyNAS може створювати мережі нестандартного розміру.
«У нас є багато мікроконтролерів з різною потужністю та різним об’ємом пам’яті», — каже Лін. «Тож ми розробили алгоритм [TinyNAS] для оптимізації простору пошуку для різних мікроконтролерів».
Оскільки TinyNAS можна налаштувати, він може створювати найкращі компактні нейронні мережі для мікроконтролерів.
«Потім ми доставляємо остаточну, ефективну модель мікроконтролеру», — продовжує Лін.
Щоб мікроконтролер запускав крихітну нейронну мережу, потрібен чистий і тонкий механізм інтерфейсу. Багато механізмів інтерфейсу мають інструкції для рідко запущених завдань, які можуть перешкоджати мікроконтролеру.
«У нього немає зовнішньої пам’яті та диска», — каже Хан. «Усе разом — це лише один мегабайт флеш-пам’яті, тому нам потрібно дуже ретельно керувати таким невеликим ресурсом».
TinyEngine генерує код, необхідний для запуску спеціальної нейронної мережі, розробленої TinyNAS. Час компіляції скорочується за рахунок відкидання коду, що завантажується.
«Ми зберігаємо лише те, що нам потрібно», — каже Хан. «І оскільки ми розробили нейронну мережу, ми точно знаємо, що нам потрібно. Це перевага коду системного алгоритму».
Випробування показали, що скомпільований двійковий код TinyEngine був у 1.9-XNUMX разів менший, ніж подібні механізми мікроконтролерів, у тому числі від Google і ARM. Пікове використання пам'яті також скоротилося майже вдвічі.
Можливості MCUNet
Перші тести для MCUNet оберталися навколо класифікації зображень. Базу даних ImageNet використовували для навчання системи з позначеними зображеннями, а її здатність потім перевіряли на нових.
Коли MCUNet тестували на комерційному мікроконтролері, він успішно класифікував 70.7 відсотка нових зображень. Це набагато краще, ніж попереднє найкраще поєднання нейронної мережі та механізму перешкод, яке було точним на 54 відсотки.
«Навіть 1 відсоток покращення вважається значним», — каже Лін. «Тож це величезний стрибок для налаштувань мікроконтролерів».
За словами Курта Койцера, комп’ютерного вченого з Каліфорнійського університету в Берклі, це «розширює межі розробки глибоких нейронних мереж ще далі в обчислювальну область малих енергоефективних мікроконтролерів». MCUNet міг би «надати інтелектуальні можливості комп’ютерного бачення навіть найпростішим кухонним приладам або включити більш інтелектуальні датчики руху».
MCUNet також підвищує безпеку даних.
«Ключовою перевагою є збереження конфіденційності», — говорить Хан. «Вам не потрібно передавати дані в хмару».
Аналізуючи дані локально, існує менша ймовірність того, що особиста інформація буде скомпрометована.
Крім того, MCUNet може аналізувати та надавати розуміння такої інформації, як серцебиття, артеріальний тиск і показники рівня кисню, запроваджувати глибоке навчання пристроїв Інтернету речей у транспортних засобах та інших місцях з обмеженим доступом до Інтернету та зменшувати вуглецевий слід, використовуючи лише невелику частку енергія, необхідна для великих нейронних мереж.
