La stratégie d’intelligence artificielle de croissance et de taille semble réduire la consommation d’énergie de l’IA

Le cerveau humain fonctionne avec une stratégie de “croissance et de taille”, commençant initialement avec un nombre massif de connexions neuronales, puis éliminant les connexions inutilisées au fil du temps. Récemment, une équipe de chercheurs en intelligence artificielle a appliqué cette approche aux systèmes d’IA et a constaté qu’elle pourrait réduire considérablement la quantité d’énergie nécessaire pour former un IA.

Une équipe de chercheurs de l’Université de Princeton a récemment créé une nouvelle méthode de formation des systèmes d’intelligence artificielle. Cette nouvelle méthode de formation semble capable de répondre ou de dépasser les normes de l’industrie en termes de précision, mais elle peut le faire tout en consommant beaucoup moins de puissance de calcul, et donc moins d’énergie, que les modèles d’apprentissage automatique traditionnels. Au cours de deux articles, les chercheurs de Princeton ont démontré comment faire grandir un réseau en ajoutant des neurones et des connexions. Les connexions inutilisées ont ensuite été éliminées au fil du temps, ne laissant que les parties les plus efficaces et les plus efficientes du modèle.

Niraj Jha, professeur de génie électrique à Princeton, a expliqué à Princeton News que le modèle développé par les chercheurs fonctionne sur un “paradigme de croissance et de taille”. Jha a expliqué qu’un cerveau humain est le plus complexe qu’il sera jamais autour de trois ans, et après ce point, le cerveau commence à éliminer les connexions synaptiques inutiles. Le résultat est que le cerveau entièrement développé est capable d’effectuer toutes les tâches extrêmement complexes que nous faisons chaque jour, mais il utilise environ la moitié de toutes les synapses qu’il avait à son sommet. Jha et les autres chercheurs ont imité cette stratégie pour améliorer la formation de l’IA.

Jha a expliqué:

« Notre approche est ce que nous appelons un paradigme de croissance et de taille. C’est similaire à ce que fait un cerveau depuis que nous sommes bébés jusqu’à ce que nous soyons des tout-petits. Au cours de sa troisième année, le cerveau humain commence à couper les connexions entre les cellules cérébrales. Ce processus se poursuit jusqu’à l’âge adulte, de sorte que le cerveau entièrement développé fonctionne à environ la moitié de son sommet synaptique. Le cerveau adulte est spécialisé dans tout ce que nous lui avons appris. Il n’est pas aussi bon pour l’apprentissage à usage général qu’un cerveau de tout-petit. »

Grâce à la technique de croissance et de taille, des prédictions également bonnes peuvent être faites sur les modèles de données en utilisant seulement une fraction de la puissance de calcul qui était précédemment requise. Les chercheurs visent à trouver des méthodes pour réduire la consommation d’énergie et le coût de calcul, car cela est essentiel pour apporter l’apprentissage automatique aux petits appareils tels que les téléphones et les montres intelligentes. La réduction de la quantité d’énergie consommée par les algorithmes d’apprentissage automatique peut également aider l’industrie à réduire son empreinte carbone. Xiaoliang Dai, le premier auteur des articles, a expliqué que les modèles doivent être formés localement en raison de la transmission vers le cloud qui nécessite beaucoup d’énergie.

Au cours de la première étude, les chercheurs ont tenté de développer un outil de création de réseau neuronal qu’ils pourraient utiliser pour concevoir des réseaux neuronaux et recréer certains des réseaux les plus performants à partir de zéro. L’outil s’appelait NeST (Outil de synthèse de réseau neuronal), et lorsqu’il est fourni avec seulement quelques neurones et connexions, il augmente rapidement en complexité en ajoutant plus de neurones au réseau. Une fois que le réseau atteint un benchmark sélectionné, il commence à se tailler lui-même au fil du temps. Alors que les modèles de réseau précédents ont utilisé des techniques de taille, la méthode conçue par les chercheurs de Princeton était la première à prendre un réseau et à simuler des stades de développement, allant du “bébé” au “tout-petit” et enfin au “cerveau adulte”.

Au cours de la deuxième étude, les chercheurs ont collaboré avec une équipe de l’Université de Californie-Berkeley et de Facebook (META ) pour améliorer leur technique en utilisant un outil appelé Chameleon. Chameleon est capable de commencer avec le point de terminaison souhaité, les résultats souhaités, et de travailler à rebours pour construire le bon type de réseau neuronal. Cela élimine une grande partie du travail de dépannage impliqué dans la modification manuelle d’un réseau, donnant aux ingénieurs des points de départ qui sont susceptibles d’être immédiatement utiles. Chameleon prédit les performances de différentes architectures sous différentes conditions. La combinaison de Chameleon et du cadre NeST pourrait aider les organisations de recherche qui manquent de ressources de calcul lourdes à tirer parti de la puissance des réseaux neuronaux.