Инженеры разработали энергоэффективный метод “Ранний Птиц” для обучения глубоких нейронных сетей

Инженеры из Университета Райса разработали новый метод для обучения глубоких нейронных сетей (DNN) с использованием лишь малой части энергии, обычно необходимой для этого. DNN – это форма искусственного интеллекта (AI), играющая ключевую роль в разработке технологий, таких как самоходные автомобили, интеллектуальные помощники, распознавание лиц и другие приложения.

Метод “Ранний Птиц” был описан в статье, опубликованной 29 апреля исследователями из Университета Райса и Техасского университета A&M. Это произошло на Международной конференции по обучению представлений, или ICLR 2020.

Основными авторами исследования были Хаоран Ю и Чаоцзянь Ли из лаборатории эффективного и интеллектуального вычисления (EIC) Университета Райса. В одном из исследований они продемонстрировали, как их метод может обучить DNN на том же уровне и точности, что и современные методы, но с использованием в 10,7 раз меньше энергии.

Исследование было возглавлено директором лаборатории EIC Линь Ин, Ричардом Баранюком из Университета Райса и Чжанъяном Ваном из Техасского университета A&M. Среди других соавторов – Пэнфэй Сю, Йонган Фу, Юэ Ван и Сяохань Чен.

“Основной движущей силой недавних прорывов в области AI является введение более крупных и дорогих DNN”, – сказал Линь. “Но обучение этих DNN требует значительного количества энергии. Чтобы были возможны новые инновации, необходимо найти более ‘зеленые’ методы обучения, которые решают как экологические проблемы, так и финансовые барьеры исследований в области AI”.

Дорого обходится обучение DNN

Обучение лучших DNN в мире может быть очень дорогим, и цена продолжает расти. В 2019 году исследование, возглавляемое Институтом искусственного интеллекта Аллена в Сиэтле, показало, что для обучения лучшей DNN необходимо в 300 000 раз больше вычислений, чем в 2012-2018 годах. Другое исследование 2019 года, возглавляемое исследователями из Университета Массачусетса в Амхерсте, показало, что обучение одной элитной DNN приводит к выбросу такого же количества углекислого газа, как пять автомобилей в США.

Чтобы DNN могли выполнять свои высокоспециализированные задачи, они состоят как минимум из миллионов искусственных нейронов. Они способны учиться принимать решения, иногда превосходя людей, наблюдая за большим количеством примеров. Они могут делать это без необходимости явной программирования.

Обрезать и обучать

Линь – ассистент профессора электротехники и компьютерных наук в Школе инженерии Брауна Университета Райса.

“Современный способ обучения DNN называется прогрессивной обрезкой и обучением”, – сказал Линь. “Сначала вы обучаете плотную, гигантскую сеть, затем удаляете части, которые не кажутся важными – как обрезка дерева. Затем вы переобучаете обрезанную сеть, чтобы восстановить производительность, поскольку производительность ухудшается после обрезки. И на практике вам нужно обрезать и переобучать много раз, чтобы добиться хорошей производительности”.

Этот метод используется, поскольку не все искусственные нейроны необходимы для выполнения специализированной задачи. Соединения между нейронами укрепляются во время обучения, и другие можно отбросить. Этот метод обрезки снижает вычислительные затраты и уменьшает размер модели, что делает полностью обученные DNN более доступными.

“Первый шаг, обучение плотной, гигантской сети, – это самый дорогой”, – сказал Линь. “Наша идея в этой работе – выявить окончательную, полностью функциональную обрезанную сеть, которую мы называем ‘билетом раннего птицы’, на начальном этапе этого дорогостоящего первого шага”.

Исследователи делают это, анализируя ключевые закономерности связности сети, и они смогли обнаружить эти билеты раннего птицы. Это позволило им ускорить обучение DNN.

Ранний Птиц на начальном этапе обучения

Линь и другие исследователи обнаружили, что метод “Ранний Птиц” может появиться на одной десятой или менее от начала начальном этапе обучения.

“Наш метод может автоматически выявить билеты раннего птицы в течение первых 10% или менее обучения плотной, гигантской сети”, – сказал Линь. “Это означает, что вы можете обучить DNN, чтобы достичь той же или даже лучшей точности для заданной задачи за 10% или менее времени, необходимого для традиционного обучения, что может привести к экономии более одного порядка как в вычислениях, так и в энергии”.

Помимо того, что метод быстрее и более энергоэффективен, исследователи уделяют большое внимание воздействию на окружающую среду.

“Наша цель – сделать AI более экологически чистым и инклюзивным”, – сказала она. “Огромный размер сложных проблем AI держал в стороне более мелких игроков. Зеленый AI может открыть дверь, позволяя исследователям с ноутбуком или ограниченными вычислительными ресурсами исследовать инновации в области AI”.

Исследование было поддержано Национальным научным фондом.