Les ingénieurs développent une méthode économe en énergie appelée “Early Bird” pour former des réseaux de neurones profonds

Les ingénieurs de l’Université Rice ont développé une nouvelle méthode pour former des réseaux de neurones profonds (DNN) avec une fraction de l’énergie normalement requise. Les DNN sont la forme d’intelligence artificielle (IA) qui joue un rôle clé dans le développement de technologies telles que les voitures autonomes, les assistants intelligents, la reconnaissance faciale et d’autres applications.

Early Bird a été détaillé dans un document le 29 avril par des chercheurs de Rice et de l’Université Texas A&M. Cela a eu lieu à la Conférence internationale sur les représentations d’apprentissage, ou ICLR 2020.

Les auteurs principaux de l’étude étaient Haoran You et Chaojian Li du laboratoire EIC (Efficient and Intelligent Computing) de Rice. Dans une étude, ils ont démontré comment la méthode pourrait former un DNN au même niveau et à la même précision que les méthodes actuelles, mais en utilisant 10,7 fois moins d’énergie.

La recherche a été dirigée par le directeur du laboratoire EIC, Yingyan Lin, Richard Baraniuk de Rice et Zhangyang Wang de Texas A&M. Les autres co-auteurs incluent Pengfei Xu, Yonggan Fu, Yue Wang et Xiaohan Chen.

“Un facteur moteur important dans les avancées récentes de l’IA est l’introduction de DNN plus grands et plus coûteux”, a déclaré Lin. “Mais former ces DNN nécessite une énergie considérable. Pour que davantage d’innovations soient dévoilées, il est essentiel de trouver des méthodes de formation ‘vertes’ qui répondent aux préoccupations environnementales et réduisent les barrières financières de la recherche en IA.”

Coûteux pour former des DNN

Il peut être très coûteux de former les meilleurs DNN du monde, et le prix continue d’augmenter. En 2019, une étude dirigée par l’Institut Allen pour l’IA à Seattle a constaté qu’il fallait 300 000 fois plus de calculs pour former un réseau de neurones profonds de haute volée par rapport à 2012-2018. Une autre étude de 2019, dirigée par des chercheurs de l’Université du Massachusetts à Amherst, a constaté que la formation d’un seul DNN de pointe entraînait des émissions de dioxyde de carbone équivalentes à celles de cinq voitures américaines.

Pour que les DNN effectuent leurs tâches hautement spécialisées, ils sont composés d’au moins millions de neurones artificiels. Ils sont capables d’apprendre à prendre des décisions, parfois en surpassant les humains, en observant de grands nombres d’exemples. Ils peuvent le faire sans nécessiter de programmation explicite.

Élaguer et former

Lin est professeur adjoint de génie électrique et informatique à l’École d’ingénierie Brown de Rice.

“La méthode actuelle pour former des DNN s’appelle l’élagage progressif et la formation”, a déclaré Lin. “Tout d’abord, vous formez un réseau géant et dense, puis vous supprimez les parties qui ne semblent pas importantes – comme élaguer un arbre. Ensuite, vous reformez le réseau élagué pour restaurer les performances, car les performances se dégradent après l’élagage. Et dans la pratique, vous devez élaguer et reformer plusieurs fois pour obtenir de bonnes performances.”

Cette méthode est utilisée car tous les neurones artificiels ne sont pas nécessaires pour effectuer la tâche spécialisée. Les connexions entre les neurones sont renforcées par la formation, et les autres peuvent être supprimées. Cette méthode d’élagage réduit les coûts de calcul et réduit la taille du modèle, ce qui rend les DNN entièrement formés plus abordables.

“La première étape, la formation du réseau géant et dense, est la plus coûteuse”, a déclaré Lin. “Notre idée dans ce travail est d’identifier le réseau élagué final et entièrement fonctionnel, que nous appelons le ‘billet précoce’, au début de cette première étape coûteuse.”

Les chercheurs font cela en recherchant des modèles de connectivité de réseau clés, et ils ont pu découvrir ces billets précoce. Cela leur a permis d’accélérer la formation du DNN.

Early Bird dans la phase de formation initiale

Lin et les autres chercheurs ont constaté que Early Bird pouvait apparaître un dixième ou moins de la façon dont la phase de formation initiale se déroule.

“Notre méthode peut identifier automatiquement les billets précoce dans les 10% ou moins de la formation du réseau géant et dense”, a déclaré Lin. “Cela signifie que vous pouvez former un DNN pour atteindre la même ou une meilleure précision pour une tâche donnée en environ 10% ou moins du temps nécessaire pour la formation traditionnelle, ce qui peut entraîner une économie d’un ordre de grandeur ou plus en termes de calcul et d’énergie.”

En plus d’être plus rapide et plus économe en énergie, les chercheurs se concentrent fortement sur l’impact environnemental.

“Notre objectif est de rendre l’IA à la fois plus respectueuse de l’environnement et plus inclusive”, a déclaré-elle. “La taille des problèmes d’IA complexes a empêché les petits acteurs de participer. L’IA verte peut ouvrir la porte aux chercheurs dotés d’un ordinateur portable ou de ressources de calcul limitées pour explorer les innovations de l’IA.”

La recherche a reçu le soutien de la Fondation nationale des sciences.