Инженеры разрабатывают энергоэффективный метод «ранней пташки» для обучения глубоких нейронных сетей

Инженеры из Университета Райса разработали новый метод обучения глубоких нейронных сетей (ГНС) с меньшим энергопотреблением, чем обычно требуется. DNN — это форма искусственного интеллекта (ИИ), которая играет ключевую роль в разработке таких технологий, как беспилотные автомобили, интеллектуальные помощники, распознавание лиц и другие приложения.

Ранняя пташка была подробно описана в бумага 29 апреля исследователи из Райс и Техасского университета A&M. Это произошло на Международная конференция по обучению представительствили ICLR 2020. 

Ведущими авторами исследования были Хаоран Ю и Чаоцзянь Ли из Лаборатории эффективных и интеллектуальных вычислений (EIC) Райс. В одном исследовании они продемонстрировали, как этот метод может обучать DNN с тем же уровнем и точностью, что и сегодняшние методы, но с использованием в 10.7 раз меньше энергии. 

Исследованием руководили директор EIC Lab Инъян Лин, Ричард Баранюк из Rice и Чжанъян Ван из Texas A&M. Другие соавторы включают Pengfei Xu, Yonggan Fu, Yue Wang и Xiaohan Chen. 

«Основной движущей силой недавних достижений в области искусственного интеллекта является введение более крупных и дорогих DNN», - сказал Линь. «Но обучение этих DNN требует значительных затрат энергии. Чтобы раскрыть больше инноваций, необходимо найти более «зеленые» методы обучения, которые позволят решить экологические проблемы и снизить финансовые барьеры для исследований в области ИИ ».

Дорого обучить DNN

Обучение лучших в мире DNN может быть очень дорогим, и цена продолжает расти. В 2019 году исследование, проведенное Институтом искусственного интеллекта Аллена в Сиэтле, показало, что для обучения первоклассной глубокой нейронной сети требуется в 300,000 2012 раз больше вычислений по сравнению с 2018–2019 годами. Другое исследование XNUMX года, на этот раз под руководством исследователей из Массачусетского университета в Амхерсте, показало, что при обучении одной элитной DNN выделяется примерно столько же выбросов углекислого газа, сколько пять автомобилей в США. 

Чтобы DNN могли выполнять свои узкоспециализированные задачи, они состоят как минимум из миллионов искусственных нейронов. Они способны учиться принимать решения, иногда опережая людей, наблюдая за большим количеством примеров. Они могут сделать это без необходимости явного программирования. 

Обрезать и тренировать

Лин — доцент кафедры электротехники и вычислительной техники в инженерной школе Райс Браун. 

«Современный метод обучения DNN называется прогрессивным сокращением и обучением», — сказал Линь. «Сначала вы обучаете плотную, гигантскую сеть, затем удаляете ненужные части — как обрезка дерева. Затем обрезанную сеть переобучаете, чтобы восстановить производительность, поскольку после обрезки она падает. На практике для достижения хороших результатов требуется многократное сокращение и переобучение».

Этот метод используется, поскольку не все искусственные нейроны необходимы для выполнения специализированной задачи. Связи между нейронами укрепляются за счет обучения, а другие могут быть отброшены. Этот метод сокращения сокращает вычислительные затраты и уменьшает размер модели, что делает полностью обученные DNN более доступными. 

«Первый шаг - обучение плотной гигантской сети - самый дорогой, - сказал Линь. «Наша идея в этой работе состоит в том, чтобы определить окончательную, полностью функциональную сокращенную сеть, которую мы называем« билет ранней пташки », на начальном этапе этого дорогостоящего первого шага».

Исследователи делают это, ища ключевые модели подключения к сети, и они смогли обнаружить эти ранние билеты. Это позволило им ускорить обучение DNN. 

Ранняя пташка на начальном этапе обучения

Лин и другие исследователи обнаружили, что «Ранняя пташка» может проявиться на одной десятой или меньше начальной стадии обучения. 

«Наш метод может автоматически идентифицировать билеты ранней пташки в пределах первых 10% или менее обучения плотных гигантских сетей», - сказал Линь. «Это означает, что вы можете обучить DNN для достижения такой же или даже лучшей точности для данной задачи примерно за 10% или меньше времени, необходимого для традиционного обучения, что может привести к экономии более чем на один порядок как в вычислениях, так и в энергии».

Помимо того, что они быстрее и энергоэффективнее, исследователи уделяют большое внимание воздействию на окружающую среду. 

«Наша цель - сделать ИИ более экологичным и инклюзивным», - сказала она. «Огромный размер сложных проблем ИИ не позволяет игрокам меньшего размера. Зеленый ИИ может открыть дверь, позволяющую исследователям с ноутбуком или ограниченными вычислительными ресурсами исследовать инновации в области ИИ ».

Исследование получило поддержку Национального научного фонда.