Het terugdringen van de groeiende energievraag van machine learning

Gezien de groeiende bezorgdheid over de energievraag van grote machine learning-modellen, heeft een recente studie van het MIT Lincoln Laboratory en de Northeastern University onderzocht welke besparingen kunnen worden gemaakt door power-capping van GPUs die worden gebruikt bij modeltraining en inferentie, evenals enkele andere technieken en methoden om de energievraag van AI te verminderen.

Het nieuwe onderzoek roept ook op tot het opnemen van een ‘Energieverklaring’ (soortgelijk aan de recente trend van ‘ethische implicatie’ verklaringen in papers van de machine learning onderzoekssector).

De belangrijkste suggestie van het onderzoek is dat power-capping (het beperken van de beschikbare stroom naar de GPU die het model traint) waardevolle energievraagbesparingen biedt, met name voor Masked Language Modeling (MLM) en frameworks zoals BERT en zijn afgeleiden.

Drie taalmodellennetwerken die opereren op een percentage van de standaard 250W-instellingen (zwarte lijn), in termen van stroomverbruik. Het beperken van stroomverbruik beperkt de trainings-efficiëntie of nauwkeurigheid niet op een 1-op-1-basis en biedt aanzienlijke energievraagbesparingen op grote schaal. Bron: https://arxiv.org/pdf/2205.09646.pdf

Voor grotere modellen, die de aandacht hebben getrokken vanwege hyperschaal datasets en nieuwe modellen met miljarden of triljarden parameters, kunnen soortgelijke besparingen worden behaald als een compromis tussen trainingsduur en energievraag.

Het trainen van meer formidabele NLP-modellen op grote schaal onder stroombeperkingen. De gemiddelde relatieve tijd onder een 150W-limiet wordt weergegeven in blauw, en de gemiddelde relatieve energievraag voor 150W in oranje.

Voor deze grotere inzet, vonden de onderzoekers dat een 150W-limiet op stroomgebruik een gemiddelde daling van 13,7% in energievraag opleverde ten opzichte van de standaard 250W-maximum, evenals een relatief kleine toename van 6,8% in trainingsduur.

Bovendien merken de onderzoekers op dat, ondanks de koppen die de kosten van modeltraining de afgelopen jaren hebben gegenereerd, de energiekosten van het daadwerkelijk gebruik van getrainde modellen veel hoger*.

‘Voor taalmodellering met BERT zijn de energiewinsten door stroombeperking opvallend groter bij inferentie dan bij training. Als dit consistent is voor andere AI-toepassingen, kan dit aanzienlijke gevolgen hebben voor energieverbruik op grote schaal of in cloud computing-platforms die inferentie-toepassingen voor onderzoek en industrie serveren.’

Verder, en misschien wel het meest omstreden, suggereert het papier dat grote training van machine learning-modellen moet worden toegewezen aan de koudere maanden van het jaar en ‘s nachts, om op koelkosten te besparen.

Boven, PUE-statistieken voor elke dag van 2020 in de datacenter van de auteurs, met een opvallende en duurzame piek/plato in de zomermaanden. Onder, de gemiddelde uurlijkse variatie in PUE voor dezelfde locatie in de loop van een week, met energieverbruik dat toeneemt naar het midden van de dag, aangezien zowel de interne GPU-koelhardware als de omgevingskoeling van het datacenter worstelt om een werkbaar temperatuur te behouden.

De auteurs verklaren:

‘Het is duidelijk dat zware NLP-werkbelastingen typisch veel minder efficiënt zijn in de zomer dan die die worden uitgevoerd tijdens de winter. Gezien de grote seizoensvariatie, als er computationally kostbare experimenten zijn die kunnen worden getimed tot koelere maanden, kan dit de koolstofvoetafdruk aanzienlijk verminderen.’

Het papier erkent ook de opkomende energievraagbesparingsmogelijkheden die mogelijk zijn door het snoeien en optimaliseren van modelarchitectuur en workflows – hoewel de auteurs verdere ontwikkeling van deze route overlaten aan andere initiatieven.

Tenslotte suggereren de auteurs dat nieuwe wetenschappelijke papers uit de machine learning-sector moeten worden aangemoedigd, of misschien beperkt, om te eindigen met een verklaring waarin de energievraag van het onderzoek wordt verklaard, en de potentiële energievraagimplicaties van het invoeren van initiatieven die in het onderzoek worden voorgesteld.

Het papier, dat het goede voorbeeld geeft, legt de energievraagimplicaties van het eigen onderzoek uit.

Het papier heet Grote macht, grote verantwoordelijkheid: Aanbevelingen voor het verminderen van energievraag voor het trainen van taalmodellen, en komt van zes onderzoekers van het MIT Lincoln en Northeastern.

Machine Learning’s Looming Energy Grab

Aangezien de computationele eisen voor machine learning-modellen zijn toegenomen in tandem met de bruikbaarheid van de resultaten, houdt de huidige ML-cultuur energievraag gelijk aan prestatieverbetering – ondanks enkele opvallende campagnevoerders, zoals Andrew Ng, die suggereren dat dataverzameling een belangrijker factor kan zijn.

In een sleutel MIT-samenwerking uit 2020, werd geschat dat een tien keer betere modelprestatie een 10.000 keer grotere computationele vereiste met zich meebrengt, evenals een overeenkomstige hoeveelheid energie.

Als gevolg hiervan is het onderzoek naar minder energievraagintensieve effectieve ML-training de afgelopen jaren toegenomen. Het nieuwe papier, waarvan de auteurs claimen dat het het eerste is dat diep ingaat op het effect van stroombeperkingen op machine learning-training en inferentie, met een focus op NLP-frameworks (zoals de GPT-serie).

Aangezien de kwaliteit van inferentie een belangrijke zorg is, verklaren de auteurs van hun bevindingen aan het begin:

‘Deze methode beïnvloedt de voorspellingen van getrainde modellen of hun prestatieaccuuratie op taken niet. Dat wil zeggen, als twee netwerken met dezelfde structuur, initiële waarden en batchgegevens worden getraind voor hetzelfde aantal batches onder verschillende stroombeperkingen, zullen hun resulterende parameters identiek zijn en zal alleen de energievraag die nodig is om ze te produceren verschillen.’

Cutting Down the Power for NLP

Om het effect van stroombeperkingen op training en inferentie te beoordelen, gebruikten de auteurs de nvidia-smi (System Management Interface) command-line utility, samen met een MLM-bibliotheek van HuggingFace.

De auteurs trainden Natural Language Processing-modellen BERT, DistilBERT en Big Bird over MLM, en monitorden hun stroomverbruik tijdens training en inzet.

De modellen werden getraind tegen DeepAI’s WikiText-103 dataset voor 4 epochs in batches van acht, op 16 V100 GPUs, met vier verschillende stroombeperkingen: 100W, 150W, 200W en 250W (de standaard, of baseline, voor een NVIDIA V100 GPU). De modellen hadden scratch-getrainde parameters en willekeurige init-waarden, om vergelijkbare trainingsbeoordelingen te garanderen.

Zoals te zien is in de eerste afbeelding hierboven, laten de resultaten goede energievraagbesparingen zien bij niet-lineaire, gunstige toenames in trainingsduur. De auteurs verklaren:

‘Onze experimenten geven aan dat het implementeren van stroombeperkingen de energievraag aanzienlijk kan verminderen ten koste van trainingsduur.’

Slimming Down ‘Big NLP’

Vervolgens pasten de auteurs dezelfde methode toe op een meer veeleisende situatie: het trainen van BERT met MLM op gedistribueerde configuraties over meerdere GPUs – een meer typische use case voor goed gefinancierde en bekende FAANG NLP-modellen.

Het belangrijkste verschil in dit experiment was dat een model tussen de 2-400 GPUs per trainingsinstantie kon gebruiken. Dezelfde beperkingen voor stroomgebruik werden toegepast, en dezelfde taak werd gebruikt (WikiText-103). Zie de tweede afbeelding hierboven voor grafieken van de resultaten.

Het papier vermeldt:

‘Gemiddeld over elke keuze van configuratie, leidde een 150W-limiet op stroomgebruik tot een gemiddelde daling van 13,7% in energievraag en een toename van 6,8% in trainingsduur ten opzichte van de standaard maximum. [De] 100W-instelling heeft aanzienlijk langere trainingsduur (31,4% langer gemiddeld). Een 200W-limiet komt overeen met bijna dezelfde trainingsduur als een 250W-limiet, maar met bescheidener energievraagbesparingen dan een 150W-limiet.’

De auteurs suggereren dat deze resultaten ondersteuning bieden voor stroombeperking bij 150W voor GPU-architecturen en de toepassingen die daarop draaien. Ze merken ook op dat de energievraagbesparingen die worden behaald, worden vertaald naar hardwareplatforms, en voerden de tests opnieuw uit om de resultaten te vergelijken voor NVIDIA K80, T4 en A100 GPUs.

Bespard wordt over drie verschillende NVIDIA GPUs.

Inference, Not Training, Eats Power

Het papier citeert verschillende eerdere studies die aantonen dat, ondanks de koppen, het inferentie (het gebruik van een afgemaakt model, zoals een NLP-model) en niet de training is die de meeste stroom verbruikt, waardoor stroomverbruik een groter probleem kan worden naarmate populaire modellen worden gecommercialiseerd en mainstream worden.

‘In vergelijking met 250W, vereiste een 100W-instelling de dubbele inferentietijd (een toename van 114%) en verbruikte 11,0% minder energie, 150W vereiste 22,7% meer tijd en bespaarde 24,2% energie, en 200W vereiste 8,2% meer tijd met 12,0% minder energie.’

Winter Training

Het papier suggereert dat training (als het niet om inferentie gaat, om voor de hand liggende redenen) kan worden gepland op tijden wanneer het datacenter op het hoogste niveau van Power Usage Effectiveness (PUE) is – effectief, dat is in de winter, en ‘s nachts.

‘Aanzienlijke energievraagbesparingen kunnen worden behaald als workloads kunnen worden gepland op tijden wanneer een lagere PUE wordt verwacht. Bijvoorbeeld, het verplaatsen van een kortlopende taak van dag naar nacht kan een besparing van ongeveer 10% opleveren, en het verplaatsen van een langere, dure taak (bijv. een taalmodel dat weken duurt om te voltooien) van zomer naar winter kan een besparing van 33% opleveren.

‘Hoewel het moeilijk is om de besparingen te voorspellen die een individuele onderzoeker kan behalen, benadrukt de informatie die hier wordt gepresenteerd het belang van omgevingsfactoren die de totale energievraag van hun workloads beïnvloeden.’

Keep it Cloudy

Tenslotte merkt het papier op dat homegrown verwerkingsbronnen waarschijnlijk niet dezelfde efficiëntiemaatregelen hebben geïmplementeerd als grote datacenters en hoogwaardige cloud computing-spelers, en dat milieuvriendelijke voordelen kunnen worden behaald door workloads over te dragen naar locaties die zwaar hebben geïnvesteerd in goede PUE.

‘Er is gemak in het hebben van private verwerkingsbronnen die toegankelijk zijn, maar deze gemak komt met een kostenpost. Over het algemeen kan energievraagbesparing en impact gemakkelijker worden behaald op grotere schaal. Datacenters en cloud computing-aanbieders investeren aanzienlijk in de efficiëntie van hun faciliteiten.’

* Pertinente links verstrekt door het papier.