Nouveau système visant à résoudre le problème de consommation d’énergie de l’IA

Les ordinateurs qui reposent sur l’intelligence artificielle (IA) nécessitent beaucoup d’énergie, et cette exigence de puissance de calcul double environ tous les trois à quatre mois. Lorsqu’il s’agit de centres de données de cloud computing, qui sont utilisés par les applications d’IA et d’apprentissage automatique, ils utilisent plus de puissance électrique par an que certains petits pays. De nombreux chercheurs mettent en garde contre le fait que ce système est insoutenable.

Une équipe de ces chercheurs, dirigée par l’Université de Washington, a trouvé une solution pour aider à résoudre ce problème – un nouveau matériel de calcul optique pour l’IA et l’apprentissage automatique. Ce matériel est plus rapide et beaucoup plus économe en énergie que les électroniques conventionnelles. Il aide également à résoudre le « bruit » causé par le calcul optique, qui peut interférer avec la précision du calcul.

La recherche a été publiée le 21 janvier dans Science Advances.

Utilisation du bruit comme entrée

Dans l’article de recherche, l’équipe a démontré comment un système de calcul optique pour l’IA et l’apprentissage automatique pourrait utiliser une partie du bruit comme entrée pour améliorer la sortie créative du réseau de neurones artificiels (RNA) dans le système.

Changming Wu est un étudiant doctorant en génie électrique et informatique de l’UW et auteur principal de l’article.

“Nous avons construit un ordinateur optique qui est plus rapide qu’un ordinateur numérique conventionnel”, a déclaré Wu. “Et également, cet ordinateur optique peut créer de nouvelles choses sur la base d’entrées aléatoires générées à partir du bruit optique que la plupart des chercheurs ont essayé d’éviter.”

Le bruit de calcul optique est causé par des particules de lumière errantes, ou photons. Ceux-ci sont produits par les lasers dans l’appareil et la radiation thermique de fond. Pour cibler le bruit, l’équipe a connecté leur noyau de calcul optique à un réseau antagoniste génératif (GAN). Ils ont ensuite testé différentes techniques d’atténuation du bruit, telles que l’utilisation d’une partie du bruit généré comme entrées aléatoires pour le GAN.

L’équipe a demandé au GAN d’apprendre à écrire le nombre « 7 » comme un humain, ce qui signifiait qu’il devait apprendre la tâche en observant des échantillons visuels d’écriture manuscrite avant de pratiquer à plusieurs reprises. En raison de sa forme, l’ordinateur optique devait générer des images numériques qui avaient un style similaire aux échantillons.

Mo Li est un professeur de génie électrique et informatique de l’UW et auteur principal de l’article.

“Au lieu de former le réseau à lire des nombres écrits à la main, nous avons formé le réseau à apprendre à écrire des nombres, en imitant des échantillons visuels d’écriture manuscrite sur lesquels il a été formé”, a déclaré Li. “Nous, avec l’aide de nos collaborateurs en sciences informatiques de l’Université Duke, avons également montré que le GAN peut atténuer l’impact négatif des bruits du matériel de calcul optique en utilisant un algorithme de formation robuste aux erreurs et aux bruits. Plus que cela, le réseau utilise réellement les bruits comme entrée aléatoire nécessaire pour générer des instances de sortie.”

Au fur et à mesure que le GAN continuait à pratiquer l’écriture du nombre, il a développé son propre style d’écriture distinctif. Il a finalement pu écrire des nombres de un à dix dans des simulations informatiques.

Construction d’un dispositif à plus grande échelle

L’équipe va maintenant essayer de construire l’appareil à une échelle plus grande en utilisant la technologie de fabrication de semi-conducteurs actuelle, ce qui améliorera les performances et permettra à l’équipe de réaliser des tâches plus complexes.

“Ce système optique représente une architecture de matériel informatique qui peut améliorer la créativité des réseaux de neurones artificiels utilisés dans l’IA et l’apprentissage automatique, mais plus important encore, il démontre la viabilité de ce système à grande échelle où le bruit et les erreurs peuvent être atténués et même exploitées”, a déclaré Li. “Les applications d’IA grandissent si rapidement que, à l’avenir, leur consommation d’énergie sera insoutenable. Cette technologie a le potentiel d’aider à réduire cette consommation d’énergie, ce qui rendra l’IA et l’apprentissage automatique durables sur le plan environnemental – et très rapides, atteignant de meilleures performances globales.