Andersons vinkel
Begrensning av maskinlærings modellers økende energibehov

Viktige punkterÅ begrense strømforbruket til GPU-er til 150 W reduserer energibruken med 13,7 % mens…
Vis mer
- Å begrense strømforbruket til GPU-er til 150 W reduserer energibruken med 13,7 % mens det bare øker treningstiden med 6,8 %.
- Inferens bruker langt mer energi enn trening, så strømgrenser lønner seg mest der.
- Å planlegge tung trening om vinteren og om natten kan redusere karbonutslippene betydelig.
I lys av økende bekymring om energikravene til store maskinlæringsmodeller, har en ny studie fra MIT Lincoln Laboratory og Northeastern University undersøkt besparelsene som kan gjøres ved å begrense strømforbruket til GPU-er brukt i modelltrening og inferens, samt flere andre teknikker og metoder for å kutte ned AI-energibruken.
Den nye studien oppfordrer også til at nye AI-artikler skal avsluttes med en ‘Energi-erklæring’ (tilsvarende den nye trenden for ‘etiske implikasjoner’-uttalelser i artikler fra maskinlæringsforskningen).
Hovedforslaget fra studien er at effektbegrensning (å begrense tilgjengelig effekt til GPU-en som trener modellen) tilbyr verdifulle energibesparende fordeler, spesielt for Masked Language Modeling (MLM), og rammeverk som BERT og dens derivater.

Tre språkmodelleringnettverk som opererer på en prosentdel av de standard 250W-innstillingene (svart linje), i forhold til strømforbruk. Å begrense strømforbruket begrenser ikke treningseffektivitet eller nøyaktighet på en 1-1-basis, og tilbyr energibesparelser som er merkbare i stor skala. Kilde: https://arxiv.org/pdf/2205.09646.pdf
For større modeller, som har fått oppmerksomhet de siste årene på grunn av hyperskala-datasett og nye modeller med milliarder eller tusenvis av milliarder parametere, kan lignende besparelser oppnås som en avveining mellom treningstid og energibruken.

Trening av mer imponerende NLP-modeller i størrelsesorden under effektbegrensninger. Gjennomsnittlig relativ tid under en 150W-begrensning er vist i blått, og gjennomsnittlig relativ strømforbruk for 150W i oransje.
For disse større utbredelsene fant forskerne at en 150W-begrensning på strømforbruket resulterte i en gjennomsnittlig 13,7% reduksjon i energibruken sammenlignet med den standard 250W-maksimum, samt en relativt liten 6,8% økning i treningstid.
Forskerne bemerker også at, til tross for overskriftene som kostnadene for modelltrening har fått de siste årene, er energikostnadene for å faktisk bruke de trente modellene mye høyere*.
‘For språkmodellering med BERT, er energibesparelse gjennom effektbegrensning merkbart større når man utfører inferens enn for trening. Hvis dette er konsistent for andre AI-applikasjoner, kan dette ha betydelige konsekvenser for energiforbruket til større eller sky-baserte plattformer som serverer inferens-applikasjoner for forskning og industri.’
Videre, og kanskje mest kontroversielt, foreslår artikkelen at større trening av maskinlæringsmodeller bør overføres til de kalde månedene av året, og om natten, for å spare på kjøle-kostnader.

Ovenfor, PUE-statistikk for hver dag i 2020 i forfatternes datasenter, med en merkbar og vedvarende økning og et høyt platå i sommermånedene. Under, den gjennomsnittlige timevise variasjonen i PUE for samme sted i løpet av en uke, med energiforbruk som øker mot midten av dagen, da både den interne kjølemaskinvaren i GPU-en og den omgivende datasenter-kjøling sliter med å opprettholde en arbeidbar temperatur.
Forfatterne påstår:
‘Det er åpenbart at tungt NLP-arbeid er typisk mye mindre effektivt om sommeren enn de som utføres under vinteren. Gitt den store sesongvariasjonen, hvis det er komputasjonskrevende eksperimenter som kan tidfestes til kjøligere måneder, kan denne tidsplanleggingen betydelig redusere karbonavtrykket.’
Artikkelen erkjenner også de fremvoksende energibesparende mulighetene som er mulige gjennom beskjæring og optimalisering av modellarkitektur og arbeidsflyter – selv om forfatterne overlater videre utvikling av denne veien til andre initiativer.
Til slutt foreslår forfatterne at nye vitenskapelige artikler fra maskinlæringssektoren bør oppmuntres, eller kanskje pålegges, til å avslutte med en uttalelse som erklærer energibruken for arbeidet utført i forskningen, og de potensielle energikonsekvensene av å innføre initiativer foreslått i arbeidet.

Artikkelen, som følger eget eksempel, forklarer energikonsekvensene av sin egen forskning.
Den artikkelen heter Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models, og kommer fra seks forskere på tvers av MIT Lincoln og Northeastern.
Maskinlæringens økende energibehov
Ettersom de komputasjonsmessige kravene til maskinlæringsmodeller har økt i takt med nyttene av resultater, likestiller dagens ML-kultur energiforbruk med forbedret ytelse – til tross for noen fremtredende forkjempere, slik som Andrew Ng, som foreslår at datakurering kan være en viktigere faktor.
I et viktig MIT-samarbeid fra 2020, ble det estimert at en ti-dobling av modell-ytelse medfører en 10 000-dobling av komputasjonskrav, samt en tilsvarende mengde energi.
Følgelig har forskning i mindre strøm-intensiv effektiv ML-trening økt de siste årene. Den nye artikkelen, som forfatterne hevder, er den første som tar et grundig blikk på effekten av effektbegrensninger på maskinlærings-trening og inferens, med fokus på NLP-rammeverk (slik som GPT-serien).
Ettersom kvaliteten på inferens er en hovedbekymring, påstår forfatterne av funnene sine:
‘[Denne] metoden påvirker ikke forutsagnene av trente modeller eller deres ytelse-nøyaktighet på oppgaver. Det vil si, hvis to nettverk med samme struktur, initialverdier og batchede data er trent for samme antall batcher under forskjellige effektbegrensninger, vil deres resulterende parametre være identiske og kun energien som er nødvendig for å produsere dem kan være forskjellig.’
Kutting ned strømforbruket for NLP
For å vurdere effekten av effektbegrensninger på trening og inferens, brukte forfatterne nvidia-smi (System Management Interface) kommandolinje-verktøyet, sammen med et MLM-bibliotek fra HuggingFace.
Forfatterne trente NLP-modeller BERT, DistilBERT og Big Bird over MLM, og overvåket deres strømforbruk under trening og utrulling.
Modellene ble trent mot DeepAI’s WikiText-103-datasett for 4 epoker i batcher på åtte, på 16 V100-GPU-er, med fire forskjellige effektbegrensninger: 100W, 150W, 200W og 250W (standard, eller basis, for en NVIDIA V100-GPU). Modellene hadde parametere trent fra grunnen av og tilfeldige startverdier, for å sikre sammenlignbare treningsevalueringer.
Som vist i første bildet ovenfor, viser resultater gode energibesparelser ved ikke-lineære, gunstige økninger i treningstid. Forfatterne påstår:
‘Våre eksperimenter indikerer at implementering av effektbegrensninger kan betydelig redusere energibruken på bekostning av treningstid.’
Redusere ressursbruken i store NLP-modeller
Deretter anvendte forfatterne samme metode på et mer krevende scenario: trening av BERT med MLM på distribuerte konfigurasjoner over flere GPU-er – en mer typisk brukssak for godt finansierte og godt omtalte FAANG NLP-modeller.
Hovedforskjellen i dette eksperimentet var at en modell kunne bruke hvor som helst mellom 2-400 GPU-er per treningsinstans. Samme begrensninger for strømbruk ble anvendt, og samme oppgaven ble brukt (WikiText-103). Se andre bildet ovenfor for graf over resultater.
Artikkelen påstår:
‘Gjennomsnittlig over hvert valg av konfigurasjon, førte en 150W-begrensning på strømforbruket til en gjennomsnittlig 13,7% reduksjon i energibruken og 6,8% økning i treningstid sammenlignet med standard-maksimum. [Den] 100W-innstillingen har betydelig lengre treningstider (31,4% lengre i gjennomsnitt). En 200W-begrensning korresponderer med nesten samme treningstid som en 250W-begrensning, men mer beskjedne energibesparelser enn en 150W-begrensning.’
Forfatterne foreslår at disse resultater støtter effektbegrensning på 150W for GPU-arkitekturer og applikasjonene som kjører på dem. De bemerker også at energibesparelsene som oppnås, oversetter seg over hardware-plattformer, og kjørte testene igjen for å sammenligne resultater for NVIDIA (NVDA ) K80, T4 og A100-GPU-er.

Besparelser oppnådd over tre forskjellige NVIDIA-GPU-er.
Inferens, ikke trening, spiser strøm
Artikkelen henviser til flere tidligere studier som viser at, til tross for overskriftene, er det inferens (bruk av en ferdig modell, som en NLP-modell) og ikke trening som trekker mest strøm, og foreslår at når populære modeller blir kommersialisert og kommer inn i hovedstrømmen, kan strømforbruket bli et større problem enn det er i dette mer spede stadiet av NLP-utvikling.
Derfor målte forskerne effekten av inferens på strømforbruket, og fant at pålegg av effektbegrensninger har en merkbar effekt på inferens-forsinkelse:
‘I sammenligning med 250W, krevde en 100W-innstilling dobbel inferenstid (en 114% økning) og forbrukte 11,0% mindre energi, 150W krevde 22,7% mer tid og sparte 24,2% energi, og 200W krevde 8,2% mer tid med 12,0% mindre energi.’
Vinter-trening
Artikkelen foreslår at trening (men ikke inferens, av åpenbare årsaker) kunne planlegges til tider når datasenteret er på toppen av Power Usage Effectiveness (PUE) – effektivt, det vil si om vinteren, og om natten.
‘Betydelige energibesparelser kan oppnås hvis arbeidsbelastninger kan planlegges til tider når en lavere PUE forventes. For eksempel, å flytte en kortvarig jobb fra dagtid til natt kan gi en omtrent 10% reduksjon, og å flytte en lengre, kostbar jobb (for eksempel en språkmodell som tar uker å fullføre) fra sommer til vinter kan se en 33% reduksjon.
‘Selv om det er vanskelig å forutsi besparelsene som en enkelt forsker kan oppnå, understreker informasjonen presentert her viktigheten av miljøfaktorer som påvirker den totale energien som forbrukes av arbeidsbelastningene deres.’
Velg skyen
Til slutt bemerker artikkelen at hjemmelagde prosesseringsressurser er usannsynlig å ha implementert samme effisiensforbedringer som større datasentre og store leverandører av skybasert databehandling, og at miljømessige fordeler kan oppnås ved å overføre arbeidsbelastninger til steder som har investert tungt i god PUE.
‘Selv om det er en komfort å ha private prosesseringsressurser som er tilgjengelige, kommer denne komforten med en kostnad. Generelt sett er energibesparelse og påvirkning lettere å oppnå på større skala. Datasentre og sky-computingleverandører gjør betydelige investeringer i effisiensen av sine fasiliteter.’
* Pertinente lenker gitt av artikkelen.












