Інженери розробили енергоефективний метод «Early Bird» для навчання глибинних нейронних мереж

Інженери з Університету Райса розробили новий метод навчання глибоких нейронних мереж (DNN) із часткою енергії, яка зазвичай потрібна. DNN — це форма штучного інтелекту (ШІ), яка відіграє ключову роль у розробці таких технологій, як безпілотні автомобілі, інтелектуальні помічники, розпізнавання облич та інші програми.

Early Bird було детально описано в папір 29 квітня дослідниками з Райса та Техаського університету A&M. Це відбулося на ст Міжнародна конференція з навчальних представництвабо ICLR 2020. 

Провідними авторами дослідження були Хаоран Ю та Чаоцзянь Лі з лабораторії ефективних та інтелектуальних обчислень (EIC) Райса. В одному дослідженні вони продемонстрували, як цей метод може навчити DNN на тому ж рівні та з точністю, що й сучасні методи, але використовуючи в 10.7 разів менше енергії. 

Дослідження проводили директор лабораторії EIC Yingyan Lin, Річард Баранюк з Rice та Zhangyang Wang з Texas A&M. Інші співавтори включають Pengfei Xu, Yonggan Fu, Yue Wang і Xiaohan Chen. 

«Основною рушійною силою останніх досягнень штучного інтелекту є впровадження більших і дорогих мереж DNN», — сказав Лін. «Але навчання цих DNN вимагає значної енергії. Щоб оприлюднити більше інновацій, вкрай важливо знайти «зеленіші» методи навчання, які б одночасно вирішували екологічні проблеми та зменшували фінансові бар’єри для досліджень ШІ».

Дорого тренувати DNN

Навчання найкращих у світі DNN може бути дуже дорогим, і ціна продовжує зростати. У 2019 році дослідження під керівництвом Інституту штучного інтелекту Аллена в Сіетлі показало, що для навчання високоякісної глибокої нейронної мережі потрібно в 300,000 2012 разів більше обчислень порівняно з 2018-2019 роками. Інше дослідження XNUMX року, цього разу під керівництвом дослідників з Університету Массачусетса Амгерст, виявило, що під час навчання однієї елітної DNN викидається приблизно така ж кількість викидів вуглекислого газу, як п’ять американських автомобілів. 

Щоб DNN могли виконувати свої вузькоспеціалізовані завдання, вони складаються щонайменше з мільйонів штучних нейронів. Вони здатні навчитися приймати рішення, іноді перевершуючи людей, спостерігаючи за великою кількістю прикладів. Вони можуть робити це без необхідності явного програмування. 

Обрізати і тренувати

Лін є доцентом кафедри електротехніки та комп’ютерної інженерії в Інженерній школі Райса Брауна. 

«Найсучасніший спосіб тренування DNN називається прогресивним обрізанням і тренуванням», — сказав Лін. «Спочатку ви тренуєте щільну гігантську мережу, а потім видаляєте частини, які не виглядають важливими — як обрізання дерева. Потім ви перенавчаєте скорочену мережу, щоб відновити продуктивність, оскільки продуктивність знижується після скорочення. І на практиці вам потрібно багато разів обрізати та перенавчати, щоб отримати хороші показники».

Цей метод використовується, оскільки не всі штучні нейрони потрібні для виконання спеціалізованого завдання. Зв'язки між нейронами зміцнюються завдяки тренуванню, а інші можна відкинути. Цей метод скорочує обчислювальні витрати та зменшує розмір моделі, що робить повністю навчені DNN більш доступними. 

«Перший крок, навчання щільної гігантської мережі, є найдорожчим», — сказав Лін. «Наша ідея в цій роботі полягає в тому, щоб визначити остаточну, повністю функціональну скорочену мережу, яку ми називаємо «квитком для ранніх пташок», на початковому етапі цього дорогого першого кроку».

Дослідники роблять це, шукаючи ключові шаблони підключення до мережі, і вони змогли виявити ці ранні квитки. Це дозволило їм прискорити навчання DNN. 

Рання пташка на початковому етапі навчання

Лін та інші дослідники виявили, що Early Bird може з’явитися на одній десятій або менше початкової фази навчання. 

«Наш метод може автоматично ідентифікувати ранні квитки протягом перших 10% або менше навчання щільних гігантських мереж», — сказав Лін. «Це означає, що ви можете навчити DNN досягати такої ж або навіть кращої точності для певного завдання приблизно за 10% або менше часу, необхідного для традиційного навчання, що може призвести до більш ніж одного порядку економії як обчислень, так і енергії».

Крім того, що дослідники є швидшими та енергоефективнішими, дослідники приділяють велику увагу впливу на навколишнє середовище. 

«Наша мета — зробити штучний інтелект більш екологічним і інклюзивним», — сказала вона. «Великий розмір складних проблем штучного інтелекту не дозволив дрібним гравцям. Зелений ШІ може відкрити двері, дозволяючи дослідникам з ноутбуком або обмеженими обчислювальними ресурсами досліджувати інновації ШІ».

Дослідження отримало підтримку Національного наукового фонду.