Koneoppimisen kasvavat energiatarpeet

Koneoppimisen suurten mallien energiatarpeiden kasvavan huolen vuoksi MIT Lincoln Laboratoryn ja Northeastern Universityn tutkimus on selvittänyt, miten voittoja voidaan saavuttaa rajoittamalla GPU:n tehokkuutta mallien koulutuksessa ja päätöksenteossa sekä muilla menetelmillä, joilla voidaan leikata koneoppimisen energiankulutusta.

Tutkimuksessa ehdotetaan, että uusissa koneoppimisen tutkimusartikkeleissa tulisi olla “Energialausuma” (jollainen on jo trendi “eettisten vaikutusten” lausumisen suhteen koneoppimisen tutkimuksen alalla).

Tutkimuksen pääehdotus on, että voittoja voidaan saavuttaa rajoittamalla GPU:n tehokkuutta, erityisesti Masked Language Modeling (MLM) -sovelluksissa ja kehyksissä kuten BERT ja sen johdannaisissa.

Kuvassa 1 on kolme kielen malliverkkoa, jotka toimivat prosentuaalisesti oletusarvoisista 250 W:sta, tehokkuuden suhteen. Rajoittamalla energiankulutusta ei vaikuta koulutuksen tehokkuuteen tai tarkkuuteen suoraan, ja tarjoaa merkittäviä säästöjä suuremmassa mittakaavassa. Lähde: https://arxiv.org/pdf/2205.09646.pdf

Suuremmassa mittakaavassa, johon on kiinnitetty huomiota viime vuosina hyperskaalaisen tietojoukon ja uusien mallien myötä, joissa on miljardeja tai biljoonia parametreja, voidaan saavuttaa samankaltaisia säästöjä vaihtamalla koulutuksen ja energiankulutuksen välillä.

Kuvassa 2 on esitetty suuremmassa mittakaavassa koulutettavien NLP-mallien kulutus rajoitettuna. Kuvassa 2 on esitetty keskimääräinen suhteellinen aika 150 W:n rajoituksessa sinisellä ja keskimääräinen suhteellinen energiankulutus oranssilla.

Tutkijat havaitsivat, että 150 W:n rajoitus energiankulutuksessa johti keskimäärin 13,7 %:n laskuun energiankulutuksessa verrattuna oletusarvoiseen 250 W:n maksimiin, sekä suhteellisen pieniin 6,8 %:n kasvuun koulutuksen ajassa.

Lisäksi tutkijat huomauttavat, että vaikka otsikot ovat keskittyneet siihen, että mallien koulutuksen kustannukset ovat kasvaneet viime vuosina, itse koulutettujen mallien käytön energiakustannukset ovat paljon suuremmat kuin koulutuksen kustannukset.

Tutkijat toteavat: “Kielellisen mallittamisen osalta BERT:in kanssa energiansäästöt ovat huomattavasti suurempia päätöksenteon aikana kuin koulutuksen aikana. Jos tämä on yleistettävissä muihin koneoppimisen sovelluksiin, se voi vaikuttaa merkittävästi energiankulutukseen suurissa tai pilvipalvelimissa, jotka tarjoavat päätöksentekopalveluita tutkimukselle ja teollisuudelle.”

Tutkimus ehdottaa myös, että suurten koneoppimismallien koulutus voitaisiin siirtää viileämmille kuukausille ja yöaikaan säästääksesi jäähdytyskustannuksia.

Kuvassa 3 on esitetty PUE-tiedot jokaiselle päivälle vuonna 2020 tutkijoiden datakeskuksessa, joissa on merkittävä ja pitkäaikainen nousu kesäkuukausina. Alempana on esitetty keskimääräinen tunnin välinen muutos samassa datakeskuksessa viikon aikana, jossa energiankulutus kasvaa päivän aikana, kun sekä GPU:n sisäinen jäähdytyslaite että datakeskuksen ilmastointi kamppailevat säilyttääkseen toimivan lämpötilan.

Tutkijat toteavat: “Ilmeisesti suuret kielelliset työkuormat ovat paljon vähemmän tehokkaita kesäkuukausina kuin niiden suorittaminen talvikuukausina. Ottaen huomioon suuren vuodenaikaisen vaihtelun, jos on olemassa laskennallisia kokeita, jotka voidaan ajoittaa viileämmille kuukausille, tämä voi merkittävästi vähentää hiilijalanjälkeä.”

Tutkimus myös tunnustaa energiansäästömahdollisuudet, jotka voidaan saavuttaa mallirakenteen ja työnkulkujen harvennus- ja optimointimenetelmien kautta, vaikka tutkijat jättävät tämän kehityksen muiden aloitteiden varaan.

Tutkijat ehdottavat, että uusissa tieteellisissä artikkeleissa koneoppimisen alalla tulisi lopettaa “Energialausumalla”, jossa ilmoitetaan tutkimuksen energiankulutus ja mahdolliset energialliset vaikutukset ehdotettujen toimenpiteiden toteuttamisesta.

Kuvassa 4 on esitetty tutkimuksen energialliset vaikutukset. Tutkimus on nimeltään “Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models” ja se on tehty kuudella tutkijalla MIT Lincoln Laboratorysta ja Northeastern Universitysta.

Koneoppimisen energiankulutuksen kasvu

Koneoppimisen laskennallisten vaatimusten kasvaessa yhteen mallien hyödyllisyyden kanssa, nykyinen koneoppimiskulttuuri yhdistää energiankulutuksen suorituskykyyn, vaikka jotkut merkittävät kampanjat, kuten Andrew Ng, ovat ehdottaneet, että datan kuratointi voi olla tärkeämpää.

Yhdessä MIT:n yhteistyössä 2020 arvioitiin, että kymmenkertainen parannus mallin suorituskyvyssä edellyttää 10 000-kertaista kasvua laskennallisisissa vaatimuksissa ja vastaavassa määrässä energiaa.

Seurauksena tutkimuksesta vähemmän energiankulutuksella tehtävään koneoppimiseen on lisääntynyt viime vuosina. Uusi tutkimus, jonka tekijät väittävät olevan ensimmäinen, joka tarkastelee syvällisesti GPU:n tehokkuuden rajoittamisen vaikutusta koneoppimisen koulutukseen ja päätöksentekoon, keskittyen erityisesti NLP-kehyksiin (kuten GPT-sarjaan).

Tutkijat toteavat aluksi: “[Tämä] menetelmä ei vaikuta koulutettujen mallien ennusteisiin tai niiden suorituskykyyn tehtävissä. Toisin sanoen, jos kaksi verkkoa, joilla on sama rakenne, alkuarvot ja batch-aineistot, koulutetaan samalle määrälle batcheja eri tehokkuusrajoituksilla, niiden lopputulokset ovat identtisiä, ja ainoastaan energia, jota niiden tuottamiseen vaaditaan, voi vaihdella.”

NLP:n energiankulutuksen vähentäminen

Arvioidakseen tehokkuusrajoitusten vaikutusta koulutukseen ja päätöksentekoon tutkijat käyttivät nvidia-smi (System Management Interface) -komentorivityökalua yhdessä HuggingFacen MLM-kirjaston kanssa.

Tutkijat kouluttivat NLP-malleja BERT, DistilBERT ja Big Bird MLM:llä ja seurasivat niiden energiankulutusta koulutuksen ja käytön aikana.

Mallit koulutettiin DeepAI:n WikiText-103 -aineistolla neljä kertaa, batch-koossa kahdeksan, 16 V100 GPU:lla, neljällä eri tehokkuusrajoituksella: 100 W, 150 W, 200 W ja 250 W (oletusarvo, eli NVIDIA V100 GPU:n oletusarvoinen tehokkuusrajoitus). Mallit sisälsivät koulutetut parametriarvot ja satunnaiset alkuarvot, jotta koulutusarviot olisivat vertailukelpoisia.

Kuten kuvassa 1 näkyy, tulokset osoittavat hyviä energiansäästöjä epälineaarisissa, suotuisissa koulutusajan kasvussa. Tutkijat toteavat: “Kokeemme osoittavat, että tehokkuusrajoitusten käyttöönotto voi vähentää merkittävästi energiankulutusta koulutuksen aikana, vaikka se hidastaa koulutusta.”

‘Big NLP’:n laihdutus

Seuraavaksi tutkijat sovelsivat samaa menetelmää vaativampaan skenaarioon: BERT-mallin koulutukseen MLM:llä jakautuneilla konfiguraatioilla useiden GPU:iden yli – tyypillinen käyttötapa hyvin rahoitetuille ja maineikkaille FAANG NLP-malleille.

Pääero tässä kokeessa oli, että malli saattoi käyttää 2-400 GPU:ta koulutuksessa. Samaa tehokkuusrajoitusta sovellettiin, ja sama tehtävä käytettiin (WikiText-103). Katso kuvaa 2 tuloksista.

Tutkimus toteaa: “Keskimäärin jokaisen konfiguraation valinnassa 150 W:n rajoitus energiankulutuksessa johti keskimäärin 13,7 %:n laskuun energiankulutuksessa ja 6,8 %:n kasvuun koulutuksen ajassa verrattuna oletusarvoiseen maksimiin. 100 W:n asetus johti merkittävästi pidempiin koulutusajoille (31,4 % pidemmät keskimäärin). 200 W:n rajoitus vastasi lähes samaa koulutusaikaa kuin 250 W:n rajoitus, mutta tarjosi vaatimattomampia energiansäästöjä kuin 150 W:n rajoitus.”

Tutkijat ehdottavat, että nämä tulokset tukevat 150 W:n tehokkuusrajoitusta GPU:ille ja niiden sovelluksille. He myös toteavat, että energiansäästöt ovat yleispäteviä laitteiston yli, ja suorittivat kokeet uudelleen vertaamaan tuloksia NVIDIA K80, T4 ja A100 GPU:iden kanssa.

Kuvassa 5 on esitetty säästöt, jotka saavutettiin eri NVIDIA GPU:illa.

Päätöksenteko, ei koulutus, kuluttaa eniten energiaa

Tutkimus viittaa useisiin aiempiin tutkimuksiin, jotka osoittavat, että vaikka otsikot ovat keskittyneet siihen, että mallien koulutuksen kustannukset ovat kasvaneet, valmiiden mallien käytön energiakustannukset ovat paljon suuremmat kuin koulutuksen kustannukset, ja että kun suositut mallit tulevat yleisemmiksi ja tulevat osaksi arkipäivää, energiankulutus voi muodostua suuremmaksi ongelman kuin se on tällä hetkellä.

Tutkijat mitättiivät myös päätöksenteon vaikutusta energiankulutukseen ja totesivat, että tehokkuusrajoitusten asettaminen vaikuttaa merkittävästi päätöksenteon viiveisiin:

“Verrattuna 250 W:hin, 100 W:n asetus vaati kaksinkertaisen päätöksenteon ajan (114 %:n kasvu) ja kulutti 11,0 %:n vähemmän energiaa, 150 W:n asetus vaati 22,7 %:n enemmän aikaa ja säästi 24,2 %:n energiasta, ja 200 W:n asetus vaati 8,2 %:n enemmän aikaa ja kulutti 12,0 %:n vähemmän energiaa.”

Talvikoulutus

Tutkimus ehdottaa, että koulutus (joskaan ei päätöksentekoa, johtuen ilmeisiä syitä) voitaisiin ajoittaa ajankohtiin, jolloin datakeskuksessa on huippu Power Usage Effectiveness (PUE) – arvo – eli talvella ja yöaikaan.

Tutkijat toteavat: “Merkitseviä energiansäästöjä voidaan saavuttaa, jos työkuormat voidaan ajoittaa ajankohtiin, jolloin PUE on odotettavissa olevan alhaisempi. Esimerkiksi lyhytaikaisen työn siirtäminen päivästä yöaikaan voi tarjota noin 10 %:n vähennyksen, ja kalliin, pitkäaikaisen työn (esim. kielen mallin, joka kestää viikkoja) siirtäminen kesästä talveen voi johtaa 33 %:n vähennykseen.”

Tutkijat toteavat: “Vaikka on vaikea ennustaa, mitkä säästöt yksittäinen tutkija voi saavuttaa, tässä esitetty tieto korostaa ympäristötekijöiden merkitystä koko energiankulutuksessa.”

Pilvipalvelut

Lopuksi tutkimus toteaa, että kotiin omat laskentaresurssit eivät ole todennäköisesti toteuttaneet samoja tehokkuusmittauksia kuin suuret datakeskukset ja korkean tason pilvipalveluntarjoajat, ja että ympäristövaikutuksia voidaan saavuttaa siirtämällä työkuormia paikkoihin, jotka ovat panostaneet laitteidensa tehokkuuteen.

Tutkijat toteavat: “Vaikka on mukavaa, kun yksityiset laskentaresurssit ovat saatavilla, tämä mukavuus tulee kustannuksella. Yleisesti ottaen energiansäästöt ja vaikutus on helpommin saavutettavissa suuremmassa mittakaavassa. Datakeskukset ja pilvipalveluntarjoajat tekevät merkittäviä investointeja laitteidensa tehokkuuden parantamiseksi.”

* Tutkimuksessa mainittuja merkittäviä linkkejä.