Інженери розробили енергоефективний метод “Ранній птах” для навчання глибоких нейронних мереж

Інженери університету Райса розробили новий метод навчання глибоких нейронних мереж (DNN) з часткою енергії, яку зазвичай потрібно. DNN – це форма штучного інтелекту (AI), яка відіграє ключову роль у розвитку технологій, таких як самоходи, інтелектуальні помічники, розпізнавання облич та інші застосування.

Ранній птах був детально описаний у статті 29 квітня дослідниками з Райса та Техаського університету A&M. Це відбулося на міжнародній конференції з вивчення представлень, або ICLR 2020.

Лідерами дослідження були Haoran You та Chaojian Li з лабораторії Еффективного та інтелектуального обчислення (EIC) Райса. У одному дослідженні вони продемонстрували, як метод може навчати DNN на тому ж рівні та точності, що й сучасні методи, але з використанням 10,7 разів менше енергії.

Дослідження було проведено під керівництвом директора лабораторії EIC Yingyan Lin, Річарда Бараніука з Райса та Zhangyang Wang з Техаського університету A&M. Інші співавтори включають Pengfei Xu, Yonggan Fu, Yue Wang та Xiaohan Chen.

“Основним чинником недавніх проривів у сфері AI є введення більших, більш дорогих DNN”, – сказав Лін. “Але навчання цих DNN вимагає значної кількості енергії. Для того, щоб інновації продовжувалися, потрібно знайти більш ‘зелені’ методи навчання, які одночасно вирішують екологічні проблеми та знижують фінансові бар’єри досліджень AI”.

Дорого навчання DNN

Навчання найкращих DNN у світі може бути дуже дорогим, а ціна продовжує зростати. У 2019 році дослідження, проведене Інститутом штучного інтелекту Аллена у Сієтлі, показало, що для навчання топ-рівневої глибокої нейронної мережі потрібно 300 000 разів більше обчислень, ніж у 2012-2018 роках. Інше дослідження 2019 року, проведене дослідниками університету Массачусетса в Емгерсті, показало, що навчання однієї елітної DNN викидає приблизно таку ж кількість вуглекислого газу, як і п’ять автомобілів у США.

Для виконання своїх спеціалізованих завдань DNN складаються з мільйонів штучних нейронів. Вони можуть навчатися приймати рішення, іноді перевершуючи людей, спостерігаючи за великою кількістю прикладів. Вони можуть робити це без явного програмування.

Обрізати та навчати

Лін – асистент-професор електротехніки та комп’ютерних наук у школі інженерії Брауна Райса.

“Сучасний спосіб навчання DNN називається прогресивним обрізанням та навчанням”, – сказав Лін. “Спочатку ви навчаєте густу, гігантську мережу, потім видаляєте частини, які не здаються важливими – як обрізання дерева. Потім ви знову навчаєте обрізану мережу, щоб відновити продуктивність, оскільки продуктивність погіршується після обрізання. І на практиці вам потрібно багато разів обрізати та знову навчати, щоб досягти хорошої продуктивності”.

Цей метод використовується, оскільки не всі штучні нейрони потрібні для виконання спеціалізованого завдання. З’єднання між нейронами зміцнюються під час навчання, а інші можуть бути видалені. Цей метод обрізання зменшує обчислювальні витрати та зменшує розмір моделі, що робить повністю навчені DNN більш доступними.

“Перший крок, навчання густої гігантської мережі, – це найдрогший”, – сказав Лін. “Наша ідея в цій роботі – ідентифікувати остаточну, повністю функціональну обрізану мережу, яку ми називаємо ‘квитком раннього птаха’, на початковій стадії цього дорогого першого кроку”.

Дослідники роблять це, шукаючи ключові мережеві з’єднання, і їм вдалося виявити ці квитки раннього птаха. Це дозволило їм прискорити навчання DNN.

Ранній птах на початковій стадії навчання

Лін та інші дослідники виявили, що Ранній птах може з’явитися на десятій частині або менше від початку навчання.

“Наш метод може автоматично ідентифікувати квитки раннього птаха в першій десятій частині або менше від початку навчання густої гігантської мережі”, – сказав Лін. “Це означає, що ви можете навчати DNN, щоб досягти тієї ж або навіть кращої точності для заданого завдання за близько 10% або менше часу, необхідного для традиційного навчання, що може привести до більш ніж одного порядку заощадження як у обчисленнях, так і в енергії”.

Крім того, що це швидше та енергоефективніше, дослідники мають сильний фокус на екологічному впливі.

“Наша мета – зробити AI більш екологічно чистим та інклюзивним”, – сказала вона. “Саме розмір складних проблем AI тримав малих гравців. Зелений AI може відкрити двері, дозволяючи дослідникам з ноутбуком або обмеженими обчислювальними ресурсами досліджувати інновації AI”.

Дослідження отримало підтримку від Національного наукового фонду.