Les développeurs créent un logiciel open source pour aider les chercheurs en IA à réduire leur empreinte carbone

Un groupe de chercheurs internationaux en intelligence artificielle et de data scientists ont collaboré pour concevoir un logiciel capable d'estimer l'empreinte carbone des opérations informatiques. Le progiciel open source, appelé CodeCarbo, a été conçu par un consortium de sociétés d'IA et de science des données. L'espoir est que le logiciel permettra et incitera les programmeurs à rendre leur code plus efficace et à réduire la quantité de CO2 générée par l'utilisation des ressources informatiques.

Réduire l'empreinte carbone

Selon l'ITP, le nouveau progiciel CodeCarbon a été développé par une équipe de groupes de recherche sur l'IA dirigée par la société de recherche sur l'IA Mila, avec Comet.ml, Haverford College en Pennsylvanie et GAMMA. Non seulement le logiciel estime la quantité de CO2 produite par l'utilisation des ressources informatiques, mais il fournit également aux développeurs des conseils pour réduire leur empreinte énergétique carbone.

Former des modèles d'IA peut nécessiter beaucoup d'énergie. Comme expliqué par ArsTechnica, des chercheurs de l'Université du Massachusetts à Amherst ont estimé le coût total de la création et de la formation de certains modèles d'IA, et l'équipe a découvert que la formation du réseau de langage naturel BERT générait autrefois environ autant de carbone qu'un vol aller-retour entre San Francisco et New York. Pendant ce temps, entraîner le modèle plusieurs fois jusqu'à ce qu'il soit optimisé pourrait générer autant de CO2 que 315 passagers différents prenant le même vol.

Pourquoi exactement les modèles d'IA consomment-ils autant d'énergie et génèrent-ils autant de CO2 comme sous-produit ? Une partie de la réponse réside dans la façon dont les modèles d'IA sont entraînés et optimisés. Pour obtenir même de petites améliorations par rapport aux algorithmes de pointe existants, les chercheurs en IA peuvent entraîner leur modèle des milliers de fois, en apportant de légères modifications au modèle à chaque fois jusqu'à ce qu'une architecture de modèle optimale soit découverte.

Les modèles d'IA augmentent également en taille tout le temps, devenant plus complexes chaque année.

Les algorithmes et modèles d'apprentissage automatique les plus puissants, tels que GPT-3, BERT et VGG, comportent des millions de paramètres et sont entraînés pendant des semaines, ce qui représente des centaines ou des milliers d'heures de formation. GPT-2 comptait environ 1.5 milliard de paramètres au sein du réseau, tandis que GPT-3 comptait environ 175 milliards de poids. Cela finit par utiliser des centaines de kilogrammes de CO2.

CodeCarbone

CodeCarbon dispose d'un module de mécanisme de suivi qui enregistre la quantité d'énergie utilisée par les fournisseurs de cloud et les centres de données. Le système utilise ensuite des données extraites de sources accessibles au public pour estimer le volume de CO2 généré, en vérifiant les statistiques du réseau électrique auquel le matériel est connecté. Le tracker estime le CO2 produit pour chaque expérience à l'aide d'un module d'IA particulier, stockant les données d'émissions pour les deux projets et l'ensemble de l'organisation.

Le fondateur de Mila, Yohua Bengio, a expliqué que si l'IA est un outil incroyablement puissant qui peut résoudre de nombreux problèmes, elle nécessite souvent une puissance informatique importante. Sylvian Duranton, directeur général du Boston Consulting Group, a fait valoir que l'informatique et l'IA continueront de croître à des rythmes exponentiels dans le monde. L'idée est que CodeCarbon aidera les entreprises d'IA et d'informatique à limiter leur empreinte carbone à mesure qu'elles continuent de croître. CodeCarbon générera un tableau de bord qui permettra aux entreprises de voir facilement la quantité d'émissions générées par la formation de leurs modèles d'apprentissage automatique. Il représentera également les émissions dans des mesures que les développeurs peuvent facilement comprendre, telles que les kilomètres parcourus en voiture, les heures de télévision regardées et la consommation d'énergie typique d'un ménage aux États-Unis.

Les développeurs de CodeCarbon s'attendent à ce que le logiciel encourage non seulement les chercheurs en IA à essayer de réduire leur propre empreinte carbone, mais qu'il encourage une plus grande transparence concernant les émissions globales. Les développeurs pourront quantifier et rendre compte des émissions générées par une gamme de différentes expériences d'IA et d'informatique. L'équipe responsable de la création de CodeCarbon espère que d'autres développeurs prendront leur outil open source et l'amélioreront avec de nouvelles fonctionnalités qui aideront les ingénieurs et les chercheurs en IA à réduire encore plus leur impact environnemental.