Andersons Blickwinkel
Die wachsenden Energiebedürfnisse von Machine Learning eindämmen

Wichtige PunkteDas Begrenzen der Leistungsaufnahme von GPUs auf 150 W senkt den Energieverbrauch um…
Mehr anzeigen
- Das Begrenzen der Leistungsaufnahme von GPUs auf 150 W senkt den Energieverbrauch um 13,7 %, während sich die Trainingszeit nur um 6,8 % erhöht.
- Die Inferenz verbraucht deutlich mehr Energie als das Training, daher zahlen sich Leistungsbegrenzungen dort am meisten aus.
- Wenn man aufwendiges Training im Winter und nachts einplant, lassen sich die Kohlenstoffemissionen erheblich senken.
Im Hinblick auf die wachsenden Bedenken hinsichtlich der Energieanforderungen großer Machine-Learning-Modelle hat eine kürzlich von MIT Lincoln Laboratory und Northeastern University durchgeführte Studie die Einsparungen untersucht, die durch Power-Capping von GPUs, die beim Modelltraining und bei der Inferenz eingesetzt werden, sowie durch andere Techniken und Methoden zur Reduzierung des Energieverbrauchs von künstlicher Intelligenz erzielt werden können.
Die neue Arbeit fordert auch, dass neue KI-Fachartikel mit einer “Energieerklärung” (ähnlich wie der jüngste Trend zu Erklärungen über ethische Auswirkungen in der Machine-Learning-Forschung) abschließen sollten.
Der Hauptvorschlag der Arbeit ist, dass Power-Capping (Begrenzung der verfügbaren Leistung für die GPU, die das Modell trainiert) nützliche Energieeinsparungen bietet, insbesondere für Masked Language Modeling (MLM) und Frameworks wie BERT und seine Derivate.

Drei Sprachmodellierungsnetzwerke, die bei einem Prozentsatz der Standard-250-W-Einstellungen (schwarze Linie) betrieben werden, in Bezug auf den Energieverbrauch. Die Begrenzung des Energieverbrauchs beeinträchtigt nicht die Trainingseffizienz oder Genauigkeit im Verhältnis 1:1 und bietet bemerkenswerte Energieeinsparungen im großen Maßstab. Quelle: https://arxiv.org/pdf/2205.09646.pdf
Bei größeren Modellen, die in den letzten Jahren aufgrund von Hyperscale-Datensätzen und neuen Modellen mit Milliarden oder Billionen von Parametern Aufmerksamkeit erregt haben, können ähnliche Einsparungen als Kompromiss zwischen Trainingszeit und Energieverbrauch erzielt werden.

Trainieren von leistungsstärkeren NLP-Modellen im großen Maßstab unter Leistungsbeschränkungen. Die durchschnittliche relative Zeit unter einer 150-W-Begrenzung ist in Blau dargestellt, und der durchschnittliche relative Energieverbrauch für 150 W in Orange.
Bei diesen groß angelegten Bereitstellungen fanden die Forscher heraus, dass eine 150-W-Begrenzung für die Leistungsaufnahme im Vergleich zur Standard-250-W-Maximalleistung eine durchschnittliche Senkung des Energieverbrauchs um 13,7 % sowie eine relativ geringe Erhöhung der Trainingszeit um 6,8 % ergab.
Zusätzlich weisen die Forscher darauf hin, dass trotz der Schlagzeilen, die die Kosten für das Modelltraining in den letzten Jahren auf sich gezogen haben, die Energiekosten für die tatsächliche Verwendung der trainierten Modelle viel höher sind*.
‘Bei der Sprachmodellierung mit BERT sind die Energieeinsparungen durch Power-Capping bei der Inferenz deutlich größer als beim Training. Wenn dies für andere KI-Anwendungen konsistent ist, könnte dies erhebliche Auswirkungen auf den Energieverbrauch für große oder Cloud-Computing-Plattformen haben, die Inferenzanwendungen für Forschung und Industrie bereitstellen.’
Weiterhin und vielleicht am umstrittensten schlägt das Papier vor, dass die Haupttrainingsphase von Machine-Learning-Modellen auf die kälteren Monate des Jahres und auf die Nacht verlegt werden sollte, um die Kühlkosten zu sparen.

Oben, PUE-Statistiken für jeden Tag des Jahres 2020 im Rechenzentrum der Autoren, mit einem bemerkenswerten und anhaltenden Anstieg/Plateau in den Sommermonaten. Unten, die durchschnittliche stündliche Variation in der PUE für den gleichen Standort im Laufe einer Woche, wobei der Energieverbrauch zur Tagesmitte hin ansteigt, da sowohl die interne GPU-Kühlhardware als auch die umgebende Rechenzentrums-Kühlung Schwierigkeiten haben, eine für den Betrieb geeignete Temperatur aufrechtzuerhalten.
Die Autoren erklären:
‘Offensichtlich sind rechenintensive NLP-Workloads typischerweise viel weniger effizient im Sommer als diejenigen, die während des Winters ausgeführt werden. Angesichts der großen saisonalen Variation kann die Zeitplanung von rechenintensiven Experimenten auf kühlere Monate den Kohlenstofffußabdruck erheblich reduzieren.’
Das Papier erkennt auch die aufkommenden Energieeinsparungsmöglichkeiten an, die durch Pruning und Optimierung der Modellarchitektur und Workflows möglich sind, obwohl die Autoren die weitere Entwicklung dieses Ansatzes anderen Initiativen überlassen.
Schließlich schlagen die Autoren vor, dass neue wissenschaftliche Fachartikel aus dem Machine-Learning-Sektor dazu angehalten oder möglicherweise verpflichtet werden sollten, mit einer Erklärung abzuschließen, in der der Energieverbrauch der in der Forschung durchgeführten Arbeit und die potenziellen Energieimplikationen der in der Arbeit vorgeschlagenen Initiativen erklärt werden.

Das Papier geht mit gutem Beispiel voran und erklärt die Energieimplikationen seiner eigenen Forschung.
Das Papier trägt den Titel Große Macht, große Verantwortung: Empfehlungen für die Reduzierung des Energieverbrauchs bei der Trainingsphase von Sprachmodellen und stammt von sechs Forschern aus dem MIT Lincoln und der Northeastern University.
Der drohende Energiehunger von Machine Learning
Da die Rechenanforderungen für Machine-Learning-Modelle parallel zum Nutzen ihrer Ergebnisse gestiegen sind, setzt die aktuelle ML-Kultur Energieaufwand mit besserer Leistung gleich – obwohl einige bekannte Verfechter, wie Andrew Ng, die vorschlagen, dass die Datenkuratierung ein wichtigerer Faktor sein könnte.
In einer wichtigen MIT-Zusammenarbeit aus dem Jahr 2020 wurde geschätzt, dass eine zehnfache Verbesserung der Modellleistung eine zehntausendfache Erhöhung der Rechenanforderungen und eine entsprechende Energiemenge erfordert.
Folglich hat die Forschung zu weniger energieintensivem, effektivem ML-Training in den letzten Jahren zugenommen. Das neue Papier, so behaupten die Autoren, ist das erste, das einen eingehenden Blick auf die Auswirkungen von Power-Capping auf Machine-Learning-Training und Inferenz wirft, mit besonderem Augenmerk auf NLP-Frameworks (wie die GPT-Serie).
Da die Qualität der Inferenz eine vorrangige Sorge ist, erklären die Autoren ihre Erkenntnisse am Anfang:
‘[Diese] Methode beeinträchtigt nicht die Vorhersagen von trainierten Modellen oder deren Genauigkeit bei Aufgaben. Das bedeutet, dass zwei Netzwerke mit der gleichen Struktur, Anfangswerten und Batch-Daten, die für die gleiche Anzahl von Batches unter verschiedenen Power-Capping-Bedingungen trainiert werden, identische resultierende Parameter haben; nur die zur Erzeugung benötigte Energie kann sich unterscheiden.’
Reduzierung des Energieverbrauchs für NLP
Um die Auswirkungen von Power-Capping auf Training und Inferenz zu bewerten, verwendeten die Autoren das Kommandozeilenprogramm nvidia-smi (System Management Interface) zusammen mit einer MLM-Bibliothek von HuggingFace.
Die Autoren trainierten Modelle zur Verarbeitung natürlicher Sprache BERT, DistilBERT und Big Bird über MLM und überwachten ihren Energieverbrauch während des Trainings und der Bereitstellung.
Die Modelle wurden mit DeepAIs WikiText-103-Datensatz für 4 Epochen in Batches von acht, auf 16 V100-GPUs, mit vier verschiedenen Power-Capping-Einstellungen trainiert: 100 W, 150 W, 200 W und 250 W (die Standard- oder Basiseinstellung für eine NVIDIA V100-GPU). Die Modelle verfügten über von Grund auf trainierte Parameter und zufällige Anfangswerte, um vergleichbare Trainingsbewertungen zu gewährleisten.
Wie in dem ersten Bild oben zu sehen ist, zeigen die Ergebnisse gute Energieeinsparungen bei nicht-linearen, günstigen Erhöhungen der Trainingszeit. Die Autoren erklären:
‘Unsere Experimente zeigen, dass die Implementierung von Power-Capping den Energieverbrauch erheblich reduzieren kann, allerdings auf Kosten der Trainingszeit.’
Verkleinern von “Big NLP”
Als nächstes wendeten die Autoren die gleiche Methode auf ein anspruchsvolleres Szenario an: das Training von BERT mit MLM in verteilten Konfigurationen über mehrere GPUs – ein typischer Einsatzfall für gut finanzierte und weithin bekannte FAANG-NLP-Modelle.
Der Hauptunterschied in diesem Experiment bestand darin, dass ein Modell zwischen 2 und 400 GPUs pro Trainingsinstanz verwenden konnte. Die gleichen Einschränkungen für den Energieverbrauch wurden angewendet, und die gleiche Aufgabe verwendet (WikiText-103). Siehe das zweite Bild oben für Grafiken der Ergebnisse.
Das Papier erklärt:
‘Im Durchschnitt über alle Konfigurationsauswahlen führte eine 150-W-Begrenzung für die Leistungsaufnahme zu einer durchschnittlichen Abnahme des Energieverbrauchs um 13,7 % und einer Erhöhung der Trainingszeit um 6,8 % im Vergleich zur Standardmaximalleistung. [Die] 100-W-Einstellung hat deutlich längere Trainingszeiten (31,4 % länger im Durchschnitt). Eine 200-W-Begrenzung entspricht fast der gleichen Trainingszeit wie eine 250-W-Begrenzung, aber mit geringeren Energieeinsparungen als eine 150-W-Begrenzung.’
Die Autoren schlagen vor, dass diese Ergebnisse das Power-Capping bei 150 W für GPU-Architekturen und die darauf ausgeführten Anwendungen unterstützen. Sie weisen auch darauf hin, dass die durch Power-Capping erzielten Energieeinsparungen auf Hardware-Plattformen übertragbar sind und wiederholten die Tests, um die Ergebnisse für NVIDIA (NVDA ) K80-, T4- und A100-GPUs zu vergleichen.

Einsparungen, die bei drei verschiedenen NVIDIA-GPUs erzielt wurden.
Inferenz, nicht Training, verbraucht Energie
Das Papier zitiert mehrere vorherige Studien, die zeigen, dass trotz der Schlagzeilen die Inferenz (die Verwendung eines fertigen Modells, wie z. B. eines NLP-Modells) und nicht das Training den größten Energieverbrauch aufweist, was darauf hindeutet, dass der Energieverbrauch zu einem größeren Problem werden könnte, wenn populäre Modelle kommerzialisiert und in den Mainstream gelangen – stärker als in der gegenwärtigen, noch frühen Entwicklungsphase von NLP.
Daher maßen die Forscher die Auswirkungen der Inferenz auf den Energieverbrauch und stellten fest, dass die Anwendung einer Leistungsbegrenzung eine deutliche Auswirkung auf die Inferenzverzögerung hat:
‘Im Vergleich zu 250 W benötigte eine 100-W-Einstellung doppelt so viel Inferenzzeit (eine Erhöhung um 114 %) und verbrauchte 11,0 % weniger Energie, 150 W benötigte 22,7 % mehr Zeit und sparte 24,2 % Energie, und 200 W benötigte 8,2 % mehr Zeit mit 12,0 % weniger Energie.’
Wintertraining
Das Papier schlägt vor, dass das Training (aus offensichtlichen Gründen jedoch nicht die Inferenz) zu Zeiten geplant werden könnte, wenn das Rechenzentrum bei der Power Usage Effectiveness (PUE) am effizientesten ist – also im Winter und nachts.
‘Erhebliche Energieeinsparungen können erzielt werden, wenn Workloads zu Zeiten geplant werden, wenn eine geringere PUE erwartet wird. Beispielsweise kann die Verlagerung eines kurzen Jobs vom Tag zur Nacht eine Reduzierung von etwa 10 % bewirken, und die Verlagerung eines längeren, teuren Jobs (z. B. eines Sprachmodells, dessen Training Wochen bis zum Abschluss benötigt) vom Sommer zum Winter kann eine Reduzierung von 33 % bewirken.
‘Während es schwierig ist, die Einsparungen vorherzusagen, die ein einzelner Forscher erzielen kann, unterstreicht die hier präsentierte Information die Bedeutung von Umweltfaktoren, die den gesamten Energieverbrauch der Workloads beeinflussen.’
Cloud-Computing nutzen
Schließlich bemerkt das Papier, dass eigene Rechenressourcen wahrscheinlich nicht die gleichen Effizienzmaßnahmen wie große Rechenzentren und Cloud-Computing-Anbieter implementiert haben und dass Umweltvorteile durch die Verlagerung von Workloads zu Standorten erzielt werden können, die erheblich in einen guten PUE-Wert investiert haben.
‘Während es bequem ist, private Rechenressourcen zu haben, die zugänglich sind, kommt diese Bequemlichkeit zu einem Preis. Im Allgemeinen lassen sich Energieeinsparungen und die damit verbundenen Auswirkungen in größerem Maßstab leichter erzielen. Rechenzentren und Cloud-Computing-Anbieter investieren erheblich in die Effizienz ihrer Einrichtungen.’
* Relevante Links aus dem Papier.












