Limiter la consommation d’énergie croissante de l’apprentissage automatique

À la lumière de la préoccupation croissante concernant les besoins énergétiques des grands modèles d’apprentissage automatique, une étude récente du MIT Lincoln Laboratory et de l’Université Northeastern a examiné les économies qui peuvent être réalisées en limitant la puissance des GPU utilisés pour la formation et l’inférence de modèles, ainsi que plusieurs autres techniques et méthodes pour réduire la consommation d’énergie de l’IA.

Le nouveau travail appelle également à ce que les nouveaux articles sur l’IA se terminent par une « déclaration d’énergie » (semblable à la tendance récente pour les « déclarations d’implications éthiques » dans les articles de recherche sur l’apprentissage automatique).

La principale suggestion de l’étude est que la limitation de puissance (limiter la puissance disponible pour le GPU qui forme le modèle) offre des avantages énergétiques significatifs, en particulier pour le modèle de langage masqué (MLM) et les frameworks tels que BERT et ses dérivés.

Trois réseaux de modélisation de langage fonctionnant à un pourcentage des paramètres par défaut de 250W (ligne noire), en termes de consommation d’énergie. La limitation de la consommation d’énergie ne restreint pas l’efficacité de formation ou la précision sur une base 1-1, et offre des économies d’énergie notables à grande échelle. Source: https://arxiv.org/pdf/2205.09646.pdf

Pour les modèles plus grands, qui ont attiré l’attention ces dernières années en raison de jeux de données hyperscale et de nouveaux modèles avec des milliards ou des trillions de paramètres, des économies similaires peuvent être obtenues en échangeant le temps de formation et la consommation d’énergie.

Formation de modèles NLP plus puissants à grande échelle sous contraintes de puissance. Le temps relatif moyen sous une limite de 150W est indiqué en bleu, et la consommation d’énergie relative moyenne pour 150W en orange.

Pour ces déploiements à plus grande échelle, les chercheurs ont constaté qu’une limite de 150W pour l’utilisation de la puissance a obtenu une réduction moyenne de 13,7% de la consommation d’énergie par rapport à la limite par défaut de 250W, ainsi qu’une augmentation relativement faible de 6,8% du temps de formation.

De plus, les chercheurs notent que, malgré les titres que le coût de la formation de modèles a généré au cours des dernières années, les coûts énergétiques de l’utilisation des modèles formés sont beaucoup plus élevés*.

‘Pour la modélisation de langage avec BERT, les gains énergétiques grâce à la limitation de puissance sont nettement plus importants lors de l’inférence que lors de la formation. Si cela est cohérent pour d’autres applications d’IA, cela pourrait avoir des conséquences importantes en termes de consommation d’énergie pour les plates-formes de calcul à grande échelle ou en cloud servant des applications d’inférence pour la recherche et l’industrie.’

En outre, et peut-être de manière la plus controversée, l’article suggère que la formation majeure des modèles d’apprentissage automatique devrait être confiée aux mois les plus froids de l’année, et la nuit, pour économiser sur les coûts de refroidissement.

<img class="wp-image-181648 " src="https://www.unite.ai/wp-content/uploads/2022/05/pue-data-center.jpg" alt="En haut, statistiques PUE pour chaque jour de 2020 dans le centre de données des auteurs, avec un pic/surface notable et prolongé pendant les mois d'été. En bas, la variation horaire moyenne du PUE pour la même localisation au cours d'une semaine, avec une consommation d'énergie qui augmente vers le milieu de la journée, à mesure que le matériel de refroidissement interne du GPU et le refroidissement ambiant du centre de données luttent pour maintenir une température de travail.

Les auteurs déclarent:

‘Il est évident que les charges de travail NLP lourdes sont généralement beaucoup moins efficaces en été que celles exécutées pendant l’hiver. Étant donné la grande variation saisonnière, si des expériences coûteuses en calcul peuvent être planifiées pour les mois les plus froids, cela peut réduire considérablement l’empreinte carbone.’

L’article reconnaît également les possibilités émergentes d’économies d’énergie qui sont possibles grâce à l’élagage et à l’optimisation de l’architecture et des flux de travail de modèles – bien que les auteurs laissent le développement de cette voie à d’autres initiatives.

Enfin, les auteurs suggèrent que de nouveaux articles scientifiques du secteur de l’apprentissage automatique devraient être encouragés, ou peut-être contraints, à se terminer par une déclaration déclarant la consommation d’énergie du travail effectué dans la recherche, et les implications énergétiques potentielles de l’adoption des initiatives suggérées dans le travail.

L’article, en donnant l’exemple, explique les implications énergétiques de sa propre recherche.

L’article s’intitule Grand pouvoir, grande responsabilité: Recommandations pour réduire l’énergie pour la formation de modèles de langage, et provient de six chercheurs du MIT Lincoln et de l’Université Northeastern.

L’apprentissage automatique et sa prise d’énergie imminente

Alors que les exigences de calcul pour les modèles d’apprentissage automatique ont augmenté en tandem avec l’utilité des résultats, la culture actuelle de l’apprentissage automatique équivaut à la dépense d’énergie avec des performances améliorées – malgré quelques campagnes notables, comme Andrew Ng, suggérant que la curation des données peut être un facteur plus important.

Dans une collaboration clé du MIT en 2020, il a été estimé qu’une amélioration de dix fois des performances du modèle entraîne une augmentation de 10 000 fois des exigences de calcul, ainsi qu’une quantité correspondante d’énergie.

Par conséquent, la recherche sur la formation de l’apprentissage automatique moins intensive en énergie a augmenté au cours des dernières années. Le nouvel article, selon les auteurs, est le premier à examiner de près l’effet des limites de puissance sur la formation et l’inférence de l’apprentissage automatique, avec un accent sur les frameworks NLP (tels que la série GPT).

Puisque la qualité de l’inférence est une préoccupation majeure, les auteurs déclarent de leurs découvertes au début:

‘Cette méthode n’affecte pas les prédictions des modèles formés ou, par conséquent, leur précision sur les tâches. C’est-à-dire que si deux réseaux avec la même structure, les mêmes valeurs initiales et les mêmes données par lots sont formés pour le même nombre de lots sous différentes limites de puissance, leurs paramètres résultants seront identiques et seule l’énergie requise pour les produire peut différer.’

Réduire la puissance pour le NLP

Pour évaluer l’impact des limites de puissance sur la formation et l’inférence, les auteurs ont utilisé l’utilitaire de ligne de commande nvidia-smi (System Management Interface), ainsi qu’une bibliothèque MLM de HuggingFace.

Les auteurs ont formé des modèles de traitement de langage naturel BERT, DistilBERT et Big Bird sur MLM, et ont surveillé leur consommation d’énergie lors de la formation et du déploiement.

Les modèles ont été formés contre le jeu de données WikiText-103 de DeepAI pendant 4 époques en lots de huit, sur 16 GPU V100, avec quatre limites de puissance différentes: 100W, 150W, 200W et 250W (la limite par défaut, ou de référence, pour un GPU NVIDIA V100). Les modèles présentaient des paramètres formés à partir de zéro et des valeurs initiales aléatoires, pour garantir des évaluations de formation comparables.

Comme le montre la première image ci-dessus, les résultats démontrent de bonnes économies d’énergie à des augmentations non linéaires et favorables du temps de formation. Les auteurs déclarent:

‘Nos expériences indiquent que la mise en œuvre de limites de puissance peut réduire considérablement la consommation d’énergie au prix du temps de formation.’

Maigrir le « Grand NLP »

Ensuite, les auteurs ont appliqué la même méthode à un scénario plus exigeant: la formation de BERT avec MLM sur des configurations distribuées sur plusieurs GPU – un cas d’utilisation plus typique pour les modèles NLP bien financés et bien publiés de FAANG.

La principale différence dans cette expérience était que le modèle pouvait utiliser entre 2 et 400 GPU par instance de formation. Les mêmes contraintes d’utilisation de la puissance ont été appliquées, et la même tâche a été utilisée (WikiText-103). Voir la deuxième image ci-dessus pour les graphiques des résultats.

L’article déclare:

‘En moyenne sur chaque choix de configuration, une limite de 150W pour l’utilisation de la puissance a conduit à une diminution moyenne de 13,7% de la consommation d’énergie et à une augmentation de 6,8% du temps de formation par rapport à la limite maximale par défaut. La limite de 100W a des temps de formation nettement plus longs (31,4% plus longs en moyenne). Une limite de 200W correspond à peu près au même temps de formation qu’une limite de 250W, mais à des économies d’énergie plus modestes qu’une limite de 150W.’

Les auteurs suggèrent que ces résultats soutiennent la limitation de puissance à 150W pour les architectures GPU et les applications qui s’exécutent sur elles. Ils notent également que les économies d’énergie obtenues se traduisent sur les plates-formes matérielles, et ont exécuté à nouveau les tests pour comparer les résultats pour les GPU NVIDIA K80, T4 et A100.

Économies obtenues sur trois différents GPU NVIDIA.

L’inférence, et non la formation, consomme de la puissance

L’article cite plusieurs études antérieures démontrant que, malgré les titres, c’est l’inférence (l’utilisation d’un modèle terminé, tel qu’un modèle NLP) et non la formation qui consomme le plus de puissance, suggérant que lorsque les modèles populaires sont commodifiés et entrent dans le mainstream, la consommation de puissance pourrait devenir un problème plus important qu’il ne l’est actuellement à ce stade naissant du développement du NLP.

Ainsi, les chercheurs ont mesuré l’impact de l’inférence sur la consommation de puissance, constatant que l’imposition de limites de puissance a un effet notable sur la latence d’inférence:

‘Par rapport à 250W, une limite de 100W nécessite deux fois plus de temps d’inférence (une augmentation de 114%) et consomme 11,0% moins d’énergie, 150W nécessite 22,7% plus de temps et économise 24,2% d’énergie, et 200W nécessite 8,2% plus de temps avec 12,0% moins d’énergie.’

Formation hivernale

L’article suggère que la formation (si ce n’est pas l’inférence, pour des raisons évidentes) pourrait être planifiée à des moments où le centre de données est à son efficacité d’utilisation de la puissance (PUE) la plus élevée – c’est-à-dire en hiver, et la nuit.

‘Des économies d’énergie significatives peuvent être obtenues si les charges de travail peuvent être planifiées à des moments où un PUE plus faible est prévu. Par exemple, déplacer un travail court de la journée à la nuit peut fournir une réduction d’environ 10%, et déplacer un travail long et coûteux (par exemple, un modèle de langage prenant des semaines à terminer) de l’été à l’hiver peut voir une réduction de 33%.’

‘Bien qu’il soit difficile de prédire les économies que peut réaliser un chercheur individuel, les informations présentées ici mettent en évidence l’importance des facteurs environnementaux qui affectent l’énergie totale consommée par leurs charges de travail.’

Gardez-le nuageux

Enfin, l’article observe que les ressources de traitement maison sont peu susceptibles d’avoir mis en œuvre les mêmes mesures d’efficacité que les grands centres de données et les fournisseurs de calcul en nuage de haut niveau, et que les avantages environnementaux pourraient être obtenus en transférant les charges de travail vers des emplacements qui ont investi lourdement dans une bonne PUE.

‘Bien qu’il y ait un avantage à avoir des ressources de calcul privées accessibles, cet avantage se fait au prix d’un coût. En général, les économies d’énergie et l’impact sont plus facilement obtenus à plus grande échelle. Les centres de données et les fournisseurs de calcul en nuage font des investissements importants dans l’efficacité de leurs installations.’

* Liens pertinents fournis par l’article.