La stratégie de croissance et d'élagage de l'IA semble réduire la consommation d'énergie de l'IA

Le cerveau humain fonctionne avec une stratégie de « croissance et taille », en commençant initialement par une quantité massive de connexions neuronales, puis en supprimant les connexions inutilisées au fil du temps. Récemment, une équipe de chercheurs en IA a appliqué cette approche aux systèmes d'IA et a découvert qu'elle pouvait réduire considérablement la quantité d'énergie nécessaire pour former une IA.

Une équipe de chercheurs de l'Université de Princeton a récemment créé une nouvelle méthode de formation des systèmes d'intelligence artificielle. Cette nouvelle méthode de formation semble capable de respecter ou de dépasser les normes de précision de l'industrie, mais elle y parvient tout en consommant beaucoup moins de puissance de calcul, et donc moins d'énergie, que les modèles d'apprentissage automatique traditionnels. Au cours de deux articles différents, les chercheurs de Princeton ont démontré comment développer un réseau en y ajoutant des neurones et des connexions. Les connexions inutilisées ont ensuite été supprimées au fil du temps, ne laissant que les parties les plus efficaces et efficientes du modèle.

Niraj Jha, professeur de génie électrique à Princeton, a expliqué à Princeton News que le modèle développé par les chercheurs fonctionne selon un paradigme de « rang et d'élagage ». Jha a expliqué que le cerveau humain atteint sa complexité maximale vers l'âge de trois ans, et qu'après cet âge, il commence à éliminer les connexions synaptiques inutiles. Résultat : un cerveau pleinement développé est capable d'effectuer toutes les tâches extraordinairement complexes que nous effectuons au quotidien, mais il utilise environ la moitié des synapses dont il disposait à son apogée. Jha et les autres chercheurs ont reproduit cette stratégie pour améliorer l'apprentissage de l'IA.

Jha a expliqué :

« Notre approche est ce que nous appelons un paradigme de croissance et d'élagage. C'est similaire à ce que fait un cerveau depuis le moment où nous sommes un bébé jusqu'au moment où nous sommes un tout-petit. Dans sa troisième année, le cerveau humain commence à couper les connexions entre les cellules cérébrales. Ce processus se poursuit jusqu'à l'âge adulte, de sorte que le cerveau pleinement développé fonctionne à environ la moitié de son pic synaptique. Le cerveau adulte est spécialisé dans l'entraînement que nous lui avons fourni. Ce n'est pas aussi bon pour l'apprentissage général que le cerveau d'un tout-petit.

Grâce à la technique de croissance et d'élagage, des prédictions tout aussi bonnes peuvent être faites sur les modèles de données en utilisant seulement une fraction de la puissance de calcul qui était auparavant requise. Les chercheurs visent à trouver des méthodes pour réduire la consommation d'énergie et les coûts de calcul, car cela est essentiel pour intégrer l'apprentissage automatique aux petits appareils comme les téléphones et les montres intelligentes. La réduction de la quantité d'énergie consommée par les algorithmes d'apprentissage automatique peut également aider l'industrie à réduire son empreinte carbone. Xiaoliang Dai, le premier auteur des articles, a expliqué que les modèles doivent être formés localement en raison de la transmission vers le cloud nécessitant beaucoup d'énergie.

Au cours de la première étude, les chercheurs ont essayé de développer un outil de création de réseaux de neurones qu'ils pourraient utiliser pour concevoir des réseaux de neurones et recréer à partir de zéro certains des réseaux les plus performants. L'outil s'appelait NeST (Neural network Synthesis Tool), et lorsqu'il n'est doté que de quelques neurones et connexions, sa complexité augmente rapidement en ajoutant plus de neurones au réseau. Une fois que le réseau atteint un repère sélectionné, il commence à s'élaguer au fil du temps. Alors que les modèles de réseau précédents utilisaient des techniques d'élagage, la méthode mise au point par les chercheurs de Princeton était la première à prendre un réseau et à simuler les étapes de développement, allant du « bébé » au « tout-petit » et enfin au « cerveau adulte ».

Au cours du deuxième article, les chercheurs ont collaboré avec une équipe de l'Université de Californie-Berkely et Facebook pour améliorer leur technique à l'aide d'un outil appelé Chameleon. Chameleon est capable de commencer avec le point final souhaité, les résultats souhaités, et de travailler en arrière pour construire le bon type de réseau neuronal. Cela élimine une grande partie des conjectures impliquées dans la modification manuelle d'un réseau, donnant aux ingénieurs des points de départ susceptibles d'être immédiatement utiles. Chameleon prédit les performances de différentes architectures dans différentes conditions. La combinaison de Chameleon et du framework NeST pourrait aider les organisations de recherche qui manquent de ressources de calcul lourdes à tirer parti de la puissance des réseaux de neurones.