Die wachsenden Energiebedürfnisse von Machine Learning eindämmen

Im Hinblick auf die wachsenden Bedenken hinsichtlich der Energieanforderungen großer Machine-Learning-Modelle hat eine kürzlich von MIT Lincoln Laboratory und Northeastern University durchgeführte Studie die Einsparungen untersucht, die durch Power-Capping von GPUs, die bei der Modellierung und Inferenz eingesetzt werden, sowie durch andere Techniken und Methoden zur Reduzierung des Energieverbrauchs von künstlicher Intelligenz erzielt werden können.

Die neue Arbeit fordert auch, dass neue AI-Papiere mit einer “Energieerklärung” (ähnlich wie die jüngste Trend für “ethische Implikationen” in Papieren aus dem Machine-Learning-Forschungssektor) abschließen sollten.

Der Hauptvorschlag der Arbeit ist, dass Power-Capping (Begrenzung der verfügbaren Leistung für die GPU, die das Modell trainiert) nützliche Energieeinsparungen bietet, insbesondere für Masked Language Modeling (MLM) und Frameworks wie BERT und seine Derivate.

Drei Sprachmodellierungsnetzwerke, die bei einem Prozentsatz der Standard-250-W-Einstellungen (schwarze Linie) betrieben werden, in Bezug auf den Energieverbrauch. Die Begrenzung des Energieverbrauchs beeinträchtigt nicht die TrainingsEffizienz oder Genauigkeit im Verhältnis 1:1 und bietet bemerkenswerte Energieeinsparungen im großen Maßstab. Quelle: https://arxiv.org/pdf/2205.09646.pdf

Bei größeren Modellen, die in den letzten Jahren aufgrund von Hyperscale-Datensätzen und neuen Modellen mit Milliarden oder Billionen von Parametern Aufmerksamkeit erregt haben, können ähnliche Einsparungen als Kompromiss zwischen Trainingszeit und Energieverbrauch erzielt werden.

Trainieren von leistungsstärkeren NLP-Modellen im großen Maßstab unter Power-Beschränkungen. Die durchschnittliche relative Zeit unter einer 150-W-Begrenzung ist in Blau dargestellt, und der durchschnittliche relative Energieverbrauch für 150 W in Orange.

Bei diesen groß angelegten Bereitstellungen fanden die Forscher heraus, dass eine 150-W-Begrenzung für die Leistungsverwendung im Vergleich zur Standard-250-W-Maximalleistung eine durchschnittliche Senkung des Energieverbrauchs um 13,7 % sowie eine relativ geringe Erhöhung der Trainingszeit um 6,8 % ergab.

Zusätzlich weisen die Forscher darauf hin, dass trotz der Schlagzeilen, die die Kosten für die Modellierung in den letzten Jahren auf sich gezogen haben, die Energiekosten für die tatsächliche Verwendung der trainierten Modelle viel höher sind*.

‘Bei der Sprachmodellierung mit BERT sind die Energiegewinne durch Power-Capping beim Inferenzieren größer als beim Training. Wenn dies für andere AI-Anwendungen konsistent ist, könnte dies erhebliche Auswirkungen auf den Energieverbrauch für große oder Cloud-Computing-Plattformen haben, die Inferenzanwendungen für Forschung und Industrie bereitstellen.’

Weiterhin und vielleicht am umstrittensten schlägt das Papier vor, dass die Haupttrainingsphase von Machine-Learning-Modellen auf die kälteren Monate des Jahres und auf die Nacht verlegt werden sollte, um die Kühlkosten zu sparen.

Oben, PUE-Statistiken für jeden Tag des Jahres 2020 im Rechenzentrum der Autoren, mit einem bemerkenswerten und anhaltenden Anstieg/Plateau in den Sommermonaten. Unten, die durchschnittliche stündliche Variation in der PUE für den gleichen Standort im Laufe einer Woche, wobei der Energieverbrauch gegenüber dem Mittelpunkt des Tages ansteigt, da sowohl die interne GPU-Kühlhardware als auch die umgebende Rechenzentrums-Kühlung Schwierigkeiten haben, eine funktionierbare Temperatur aufrechtzuerhalten.

Die Autoren erklären:

‘Offensichtlich sind schwere NLP-Workloads typischerweise viel weniger effizient im Sommer als diejenigen, die während des Winters ausgeführt werden. Angesichts der großen saisonalen Variation kann die Zeitplanung von rechenintensiven Experimenten auf kühlere Monate den Kohlenstofffußabdruck erheblich reduzieren.’

Das Papier erkennt auch die aufkommenden Energieeinsparungsmöglichkeiten an, die durch Beschneiden und Optimierung der Modellarchitektur und Workflows möglich sind, obwohl die Autoren die weitere Entwicklung dieses Ansatzes anderen Initiativen überlassen.

Schließlich schlagen die Autoren vor, dass neue wissenschaftliche Papiere aus dem Machine-Learning-Sektor ermutigt oder vielleicht verpflichtet werden sollten, mit einer Erklärung abzuschließen, in der der Energieverbrauch der in der Forschung durchgeführten Arbeit und die potenziellen Energieimplikationen der in der Arbeit vorgeschlagenen Initiativen erklärt werden.

Das Papier, das ein Beispiel setzt, erklärt die Energieimplikationen seiner eigenen Forschung.

Das Papier trägt den Titel Große Macht, große Verantwortung: Empfehlungen für die Reduzierung des Energieverbrauchs bei der Trainingsphase von Sprachmodellen und stammt von sechs Forschern aus dem MIT Lincoln und der Northeastern University.

Der drohende Energiegriff von Machine Learning

Da die Rechenanforderungen für Machine-Learning-Modelle im Laufe der Zeit zugenommen haben, entspricht die aktuelle ML-Kultur den Energieaufwand mit der Leistung – trotz einiger bemerkenswerter Kämpfer, wie Andrew Ng, die vorschlagen, dass die Datenkuratierung ein wichtigerer Faktor sein könnte.

In einer wichtigen MIT-Zusammenarbeit aus dem Jahr 2020 wurde geschätzt, dass eine zehnfache Verbesserung der Modellleistung eine zehntausendfache Erhöhung der Rechenanforderungen und einer entsprechenden Menge an Energie erfordert.

Folglich ist die Forschung zu weniger energieintensivem effektivem ML-Training in den letzten Jahren zugenommen. Das neue Papier, so behaupten die Autoren, ist das erste, das einen tiefen Blick auf die Auswirkungen von Power-Capping auf Machine-Learning-Training und Inferenz wirft, mit besonderem Augenmerk auf NLP-Frameworks (wie die GPT-Serie).

Da die Qualität der Inferenz eine vorrangige Sorge ist, erklären die Autoren ihre Erkenntnisse am Anfang:

‘[Diese] Methode beeinträchtigt nicht die Vorhersagen von trainierten Modellen oder deren LeistungsGenauigkeit bei Aufgaben. Das bedeutet, dass zwei Netzwerke mit der gleichen Struktur, Anfangswerten und Batch-Daten, die für die gleiche Anzahl von Batches unter verschiedenen Power-Capping-Bedingungen trainiert werden, identische Parameter haben und nur der Energiebedarf, der zur Erzeugung erforderlich ist, sich unterscheidet.’

Reduzierung des Energieverbrauchs für NLP

Um die Auswirkungen von Power-Capping auf Training und Inferenz zu bewerten, verwendeten die Autoren die nvidia-smi (System Management Interface)-Kommandozeilen-Utility zusammen mit einer MLM-Bibliothek von HuggingFace.

Die Autoren trainierten Natural Language Processing-Modelle BERT, DistilBERT und Big Bird über MLM und überwachten ihren Energieverbrauch während des Trainings und der Bereitstellung.

Die Modelle wurden gegen DeepAIs WikiText-103-Datensatz für 4 Epochen in Batches von acht, auf 16 V100-GPUs, mit vier verschiedenen Power-Capping-Einstellungen trainiert: 100 W, 150 W, 200 W und 250 W (die Standard- oder Basiseinstellung für eine NVIDIA V100-GPU). Die Modelle verfügten über Scratch-Trainingsparameter und zufällige Anfangswerte, um vergleichbare Trainingsbewertungen zu gewährleisten.

Wie in dem ersten Bild oben zu sehen ist, zeigen die Ergebnisse gute Energieeinsparungen bei nicht-linearen, günstigen Erhöhungen der Trainingszeit. Die Autoren erklären:

‘Unsere Experimente zeigen, dass die Implementierung von Power-Capping den Energieverbrauch erheblich reduzieren kann, allerdings auf Kosten der Trainingszeit.’

Verkleinern von “Big NLP”

Als nächstes wendeten die Autoren die gleiche Methode auf ein anspruchsvolleres Szenario an: das Training von BERT mit MLM in verteilten Konfigurationen über mehrere GPUs – ein typischer Einsatzfall für gut finanzierte und weit verbreitete FAANG-NLP-Modelle.

Der Hauptunterschied in diesem Experiment bestand darin, dass ein Modell zwischen 2 und 400 GPUs pro Trainingsinstanz verwenden konnte. Die gleichen Einschränkungen für den Energieverbrauch wurden angewendet, und die gleiche Aufgabe verwendet (WikiText-103). Siehe das zweite Bild oben für Grafiken der Ergebnisse.

Das Papier erklärt:

‘Im Durchschnitt über alle Konfigurationsauswahlen führte eine 150-W-Begrenzung für die Leistungsverwendung zu einer durchschnittlichen Abnahme des Energieverbrauchs um 13,7 % und einer Erhöhung der Trainingszeit um 6,8 % im Vergleich zur Standardmaximalleistung. [Die] 100-W-Einstellung hat deutlich längere Trainingszeiten (31,4 % länger im Durchschnitt). Eine 200-W-Begrenzung entspricht fast der gleichen Trainingszeit wie eine 250-W-Begrenzung, aber mit geringeren Energieeinsparungen als eine 150-W-Begrenzung.’

Die Autoren schlagen vor, dass diese Ergebnisse das Power-Capping bei 150 W für GPU-Architekturen und die darauf ausgeführten Anwendungen unterstützen. Sie weisen auch darauf hin, dass die durch Power-Capping erzielten Energieeinsparungen auf Hardware-Plattformen übertragbar sind und die Tests wiederholten, um die Ergebnisse für NVIDIA K80-, T4- und A100-GPUs zu vergleichen.

Einsparungen, die bei drei verschiedenen NVIDIA-GPUs erzielt wurden.

Inferenz, nicht Training, verbraucht Energie

Das Papier zitiert mehrere vorherige Studien, die zeigen, dass trotz der Schlagzeilen die Inferenz (die Verwendung eines fertigen Modells, wie z. B. eines NLP-Modells) und nicht das Training den größten Energieverbrauch aufweist, was darauf hindeutet, dass der Energieverbrauch zu einem größeren Problem werden könnte, wenn populäre Modelle kommerzialisiert und in den Mainstream gelangen.

Daher maßen die Forscher die Auswirkungen der Inferenz auf den Energieverbrauch und stellten fest, dass die Auferlegung von Power-Capping eine bemerkenswerte Auswirkung auf die Inferenzverzögerung hat:

‘Im Vergleich zu 250 W benötigte eine 100-W-Einstellung doppelt so viel Inferenzzeit (eine Erhöhung um 114 %) und verbrauchte 11,0 % weniger Energie, 150 W benötigte 22,7 % mehr Zeit und sparte 24,2 % Energie, und 200 W benötigte 8,2 % mehr Zeit mit 12,0 % weniger Energie.’

Wintertraining

Das Papier schlägt vor, dass das Training (wenn nicht die Inferenz, aus offensichtlichen Gründen) zu Zeiten geplant werden könnte, wenn das Rechenzentrum bei der Power Usage Effectiveness (PUE) am effizientesten ist – effektiv, das ist im Winter und nachts.

‘Erhebliche Energieeinsparungen können erzielt werden, wenn Workloads zu Zeiten geplant werden, wenn eine geringere PUE erwartet wird. Beispielsweise kann die Verlagerung eines kurzen Jobs vom Tag zur Nacht eine Reduzierung von etwa 10 % bewirken, und die Verlagerung eines längeren, teuren Jobs (z. B. eines Sprachmodells, das Wochen braucht, um abzuschließen) vom Sommer zum Winter kann eine Reduzierung von 33 % bewirken.

‘Während es schwierig ist, die Einsparungen vorherzusagen, die ein einzelner Forscher erzielen kann, unterstreicht die hier präsentierte Information die Bedeutung von Umweltfaktoren, die den gesamten Energieverbrauch der Workloads beeinflussen.’

Bleib in den Wolken

Schließlich bemerkt das Papier, dass eigene Rechenressourcen wahrscheinlich nicht die gleichen Effizienzmaßnahmen wie große Rechenzentren und Cloud-Computing-Anbieter implementiert haben und dass Umweltvorteile durch die Verlagerung von Workloads zu Standorten erzielt werden können, die erheblich in die Effizienz ihrer Einrichtungen investiert haben.

‘Während es bequem ist, private Rechenressourcen zu haben, die zugänglich sind, kommt diese Bequemlichkeit zu einem Preis. Im Allgemeinen ist Energieeinsparung und Umweltauswirkung leichter auf größeren Skalen zu erzielen. Rechenzentren und Cloud-Computing-Anbieter investieren erheblich in die Effizienz ihrer Einrichtungen.’

* Pertinente Links, die vom Papier bereitgestellt werden.