Andersonin kulma
Koneoppimisen kasvavan energiantarpeen hillitseminen

Suurten koneoppimismallien energiantarpeesta kannetaan yhä enemmän huolta. MIT Lincoln Laboratoryn ja Northeastern Universityn tuore tutkimus selvittää, millaisia säästöjä voidaan saavuttaa rajoittamalla mallien koulutuksessa ja päättelyssä käytettävien GPU:iden tehonkulutusta sekä muilla tekoälyn energiankulutusta vähentävillä menetelmillä.
Tutkimuksessa ehdotetaan myös, että uudet tekoälyä käsittelevät tutkimusartikkelit päättyisivät energiankulutusta koskevaan lausumaan. Ehdotus muistuttaa koneoppimistutkimuksessa jo nähtyä suuntausta lisätä artikkeleihin lausuma eettisistä vaikutuksista.
Tutkimuksen keskeinen ehdotus on, että tehon rajoittaminen eli mallia kouluttavan GPU:n käytettävissä olevan tehon rajaaminen tarjoaa merkittäviä energiansäästöjä erityisesti peitettyjen sanojen ennustamiseen perustuvassa kielimallinnuksessa (Masked Language Modeling, MLM) sekä BERTin ja sen johdannaisten kaltaisissa malleissa.

Kolmen kielimalliverkon tehonkulutus eri osuuksina oletusarvoisesta 250 W:n asetuksesta (musta viiva). Tehonkulutuksen rajoittaminen ei heikennä koulutuksen tehokkuutta tai tarkkuutta samassa suhteessa, ja säästöt ovat suuressa mittakaavassa huomattavia. Lähde: https://arxiv.org/pdf/2205.09646.pdf
Suurissa malleissa, jotka ovat viime vuosina saaneet huomiota valtavien tietoaineistojen ja miljardeja tai biljoonia parametreja sisältävien uusien mallien vuoksi, voidaan saavuttaa vastaavia säästöjä tekemällä kompromissi koulutusajan ja energiankulutuksen välillä.

Suurempien NLP-mallien koulutus tehorajoilla. Keskimääräinen suhteellinen aika 150 W:n rajalla näkyy sinisenä ja keskimääräinen suhteellinen energiankulutus oranssina.
Näissä laajamittaisemmissa toteutuksissa tutkijat havaitsivat, että 150 W:n tehoraja vähensi energiankulutusta keskimäärin 13,7 % oletusarvoiseen 250 W:n enimmäistehoon verrattuna. Samalla koulutusaika piteni suhteellisen vähän, 6,8 %.
Tutkijat huomauttavat lisäksi, että vaikka mallien koulutuskustannukset ovat viime vuosina saaneet runsaasti huomiota otsikoissa, koulutettujen mallien varsinaisen käytön energiakustannukset ovat paljon suuremmat*.
”BERTillä tehtävässä kielimallinnuksessa tehon rajoittamisesta saatavat energiansäästöt ovat selvästi suurempia päättelyssä kuin koulutuksessa. Jos sama pätee muihin tekoälysovelluksiin, sillä voi olla merkittäviä vaikutuksia tutkimusta ja teollisuutta palvelevien laajamittaisten laskenta-alustojen ja pilvipalvelujen energiankulutukseen.”
Lisäksi tutkimuksessa ehdotetaan, kenties kiistanalaisimmin, että suuret koneoppimismallien koulutusajot siirrettäisiin vuoden kylmemmille kuukausille ja yöaikaan jäähdytyskustannusten säästämiseksi.

Yllä tekijöiden datakeskuksen PUE-tilastot vuoden 2020 jokaiselta päivältä. Kesäkuukausina näkyy selvä ja pitkäkestoinen nousu ja korkea tasanne. Alla saman paikan keskimääräinen tuntikohtainen PUE-vaihtelu viikon aikana. Energiankulutus kasvaa keskipäivää kohti, kun sekä GPU:n oma jäähdytys että datakeskuksen jäähdytys joutuvat kamppailemaan sopivan lämpötilan ylläpitämiseksi.
”Raskaat NLP-työkuormat ovat ilmeisesti kesällä yleensä huomattavasti vähemmän energiatehokkaita kuin talvella suoritetut. Suuren kausivaihtelun vuoksi laskennallisesti kalliiden kokeiden ajoittaminen viileämmille kuukausille voi pienentää hiilijalanjälkeä merkittävästi.”
Tutkimuksessa tunnistetaan myös energiansäästömahdollisuuksia, joita mallien karsiminen sekä malliarkkitehtuurien ja työnkulkujen optimointi voivat tarjota. Tekijät jättävät kuitenkin tämän suunnan jatkokehityksen muiden hankkeiden tehtäväksi.
Lopuksi tekijät ehdottavat, että uusia koneoppimisalan tieteellisiä artikkeleita kannustettaisiin tai kenties velvoitettaisiin päättymään lausumaan, jossa ilmoitetaan tutkimuksen energiankulutus sekä työssä ehdotettujen toimenpiteiden käyttöönoton mahdolliset energiavaikutukset.

Tutkimus näyttää esimerkkiä selittämällä oman tutkimustyönsä energiavaikutukset.
Tutkimus on nimeltään Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models, ja sen on laatinut kuusi MIT Lincoln Laboratoryn ja Northeastern Universityn tutkijaa.
Koneoppimisen kasvava energiantarve
Koneoppimismallien laskentavaatimukset ovat kasvaneet samalla kun tuloksista on tullut hyödyllisempiä. Nykyinen koneoppimiskulttuuri rinnastaa energiankulutuksen parempaan suorituskykyyn, vaikka jotkut näkyvät alan vaikuttajat, kuten Andrew Ng, pitävät aineistojen huolellista koostamista mahdollisesti tärkeämpänä tekijänä.
Eräässä keskeisessä MIT:n yhteistyötutkimuksessa vuodelta 2020 arvioitiin, että mallin suorituskyvyn kymmenkertainen paraneminen edellyttää laskentavaatimusten 10 000-kertaistumista ja vastaavaa energiankulutusta.
Tämän vuoksi tehokkaiden mutta vähemmän tehoa kuluttavien koneoppimisen koulutusmenetelmien tutkimus on lisääntynyt viime vuosina. Tekijöiden mukaan uusi tutkimus tarkastelee ensimmäisenä perusteellisesti tehorajojen vaikutusta koneoppimisen koulutukseen ja päättelyyn keskittyen erityisesti NLP-malleihin, kuten GPT-sarjaan.
Koska päättelyn laatu on ensiarvoisen tärkeää, tekijät toteavat tuloksistaan heti aluksi:
”[Tämä] menetelmä ei vaikuta koulutettujen mallien ennusteisiin eikä siten niiden tehtäväkohtaiseen tarkkuuteen. Jos siis kahta rakenteeltaan, alkuarvoiltaan ja dataeriltään samanlaista verkkoa koulutetaan yhtä monen erän ajan eri tehorajoilla, niiden lopulliset parametrit ovat samat ja ainoastaan niiden tuottamiseen tarvittava energia voi vaihdella.”
NLP:n tehonkulutuksen vähentäminen
Arvioidakseen tehorajojen vaikutusta koulutukseen ja päättelyyn tutkijat käyttivät nvidia-smi-komentorivityökalua (System Management Interface) yhdessä HuggingFacen MLM-kirjaston kanssa.
Tekijät kouluttivat luonnollisen kielen käsittelyn malleja BERT, DistilBERT ja Big Bird MLM-tehtävällä ja seurasivat niiden tehonkulutusta koulutuksen ja käytön aikana.
Malleja koulutettiin DeepAI:n WikiText-103-aineistolla neljän epookin ajan kahdeksan näytteen erissä 16 V100-GPU:lla. Käytössä oli neljä tehorajaa: 100 W, 150 W, 200 W ja 250 W, joka on NVIDIA V100 -GPU:n oletusarvoinen eli vertailutason tehoraja. Mallit koulutettiin alusta alkaen satunnaisista alkuarvoista, jotta koulutuksen vertailut olisivat vertailukelpoisia.
Kuten yllä ensimmäisestä kuvasta näkyy, tulokset osoittavat hyviä energiansäästöjä suhteessa koulutusajan epälineaariseen ja kohtuulliseen kasvuun. Tekijät toteavat:
”Kokeemme osoittavat, että tehorajojen käyttöönotto voi vähentää energiankulutusta merkittävästi koulutusajan pitenemisen kustannuksella.”
Suurten NLP-mallien keventäminen
Seuraavaksi tekijät sovelsivat samaa menetelmää vaativampaan tilanteeseen: BERTin MLM-koulutukseen usealle GPU:lle hajautetuissa kokoonpanoissa. Tämä vastaa paremmin hyvin rahoitettujen ja paljon julkisuutta saavien FAANG-yhtiöiden NLP-mallien tyypillistä käyttöä.
Kokeen keskeinen ero oli se, että malli saattoi käyttää 2–400 GPU:ta koulutusajoa kohti. Käytössä olivat samat tehorajat ja sama tehtävä, WikiText-103. Tulokset on esitetty yllä toisessa kuvassa.
Tutkimuksessa todetaan:
”Kaikkien kokoonpanovaihtoehtojen keskiarvona 150 W:n tehoraja vähensi energiankulutusta 13,7 % ja pidensi koulutusaikaa 6,8 % oletusarvoiseen enimmäistehoon verrattuna. 100 W:n asetuksella koulutusajat ovat selvästi pidempiä, keskimäärin 31,4 %. 200 W:n raja vastaa lähes 250 W:n koulutusaikaa, mutta sen energiansäästö on vaatimattomampi kuin 150 W:n rajalla.”
Tekijöiden mukaan tulokset tukevat 150 W:n tehorajan käyttöä GPU-arkkitehtuureissa ja niillä toimivissa sovelluksissa. He huomauttavat myös säästöjen toteutuvan eri laitteistoalustoilla ja toistivat kokeet NVIDIA (NVDA ) K80-, T4- ja A100-GPU:illa tulosten vertailemiseksi.

Kolmella eri NVIDIA-GPU:lla saavutetut säästöt.
Päättely, ei koulutus, kuluttaa eniten energiaa
Tutkimuksessa viitataan useisiin aiempiin töihin, joiden mukaan otsikoista huolimatta eniten energiaa kuluttaa päättely eli valmiin mallin, kuten NLP-mallin, käyttö eikä koulutus. Suosittujen mallien tuotteistuessa ja yleistyessä energiankulutuksesta voi tulla vielä suurempi ongelma kuin NLP-kehityksen tässä varhaisemmassa vaiheessa.
Tutkijat mittasivatkin päättelyn vaikutusta tehonkulutukseen ja havaitsivat tehorajojen vaikuttavan merkittävästi päättelyviiveeseen:
”250 W:iin verrattuna 100 W:n asetus vaati kaksinkertaisen päättelyajan, eli aika piteni 114 %, ja kulutti 11,0 % vähemmän energiaa. 150 W vaati 22,7 % enemmän aikaa ja säästi 24,2 % energiaa, kun taas 200 W vaati 8,2 % enemmän aikaa ja kulutti 12,0 % vähemmän energiaa.”
Koulutus talvella
Tutkimuksessa ehdotetaan koulutuksen, vaikkakaan ei ilmeisistä syistä päättelyn, ajoittamista ajankohtiin, jolloin datakeskuksen energiatehokkuus eli Power Usage Effectiveness (PUE) on parhaimmillaan: käytännössä talveen ja yöaikaan.
”Merkittäviä energiansäästöjä voidaan saavuttaa, jos työkuormat ajoitetaan ajankohtiin, jolloin PUE:n odotetaan olevan matalampi. Esimerkiksi lyhyen työn siirtäminen päivästä yöaikaan voi vähentää kulutusta noin 10 %. Pitkän ja kalliin työn, esimerkiksi viikkoja kestävän kielimallin koulutuksen, siirtäminen kesästä talveen voi tuoda 33 %:n vähennyksen.”
”Vaikka yksittäisen tutkijan mahdollisia säästöjä on vaikea ennustaa, tässä esitetyt tiedot korostavat ympäristötekijöiden merkitystä työkuormien kokonaisenergiankulutuksessa.”
Suosi pilveä
Lopuksi tutkimuksessa todetaan, että omissa laskentaresursseissa ei todennäköisesti ole toteutettu samoja tehokkuustoimia kuin suurissa datakeskuksissa ja merkittävillä pilvipalveluntarjoajilla. Ympäristöhyötyjä voidaan saada siirtämällä työkuormia paikkoihin, joissa hyvään PUE-arvoon on investoitu paljon.
”Vaikka omat, helposti käytettävissä olevat laskentaresurssit ovat käteviä, tällä mukavuudella on hintansa. Yleisesti ottaen energiansäästöjä ja vaikuttavuutta on helpompi saavuttaa suuressa mittakaavassa. Datakeskukset ja pilvipalveluntarjoajat investoivat merkittävästi tilojensa tehokkuuteen.”
* Tutkimuksessa annetut aiheeseen liittyvät linkit.












