It-trażżin tal-Ħtiġijiet ta' Qawwa li qed Tkabbir tat-Tagħlim Magni

Fid-dawl tat-tħassib dejjem jikber dwar ir-rekwiżiti tal-enerġija ta 'mudelli kbar ta' tagħlim tal-magni, studju reċenti mill-MIT Lincoln Laboratory u l-Università tal-Grigal investiga l-iffrankar li jista 'jsir mill-GPUs b'limitazzjoni tal-enerġija impjegati fit-taħriġ tal-mudelli u l-inferenza, kif ukoll bosta oħrajn. tekniki u metodi ta' tnaqqis fl-użu tal-enerġija tal-IA.

Ix-xogħol il-ġdid jitlob ukoll għal dokumenti ġodda dwar l-AI biex jikkonkludu b''Dikjarazzjoni dwar l-Enerġija' (simili għall- xejra reċenti għal dikjarazzjonijiet ta' 'implikazzjoni etika' f'dokumenti mis-settur tar-riċerka tat-tagħlim tal-magni).

Is-suġġeriment ewlieni mix-xogħol huwa li power-capping (li jillimita l-qawwa disponibbli għall-GPU li qed iħarreġ il-mudell) joffri benefiċċji utli għall-iffrankar tal-enerġija, partikolarment għal Masked Language Modeling (MLM), u oqfsa bħal BERT u d-derivattivi tagħha.

Tliet netwerks tal-immudellar tal-lingwi li joperaw f'perċentwal tas-settings default ta '250W (linja sewda), f'termini ta' użu tal-enerġija. Ir-restrizzjoni tal-konsum tal-enerġija ma tillimitax l-effiċjenza jew l-eżattezza tat-taħriġ fuq bażi 1-1, u toffri ffrankar tal-enerġija li huwa notevoli fuq skala. Sors: https://arxiv.org/pdf/2205.09646.pdf

Għal mudelli fuq skala akbar, li ġibdu l-attenzjoni f'dawn l-aħħar snin minħabba settijiet ta' dejta fuq skala kbira u mudelli ġodda b'biljuni jew triljuni ta' parametri, jista' jinkiseb iffrankar simili bħala kompromess bejn il-ħin tat-taħriġ u l-użu tal-enerġija.

Taħriġ ta 'mudelli NLP aktar formidabbli fuq skala taħt restrizzjonijiet ta' enerġija. Il-ħin relattiv medju taħt limitu ta '150W jidher bil-blu, u l-konsum relattiv medju ta' enerġija għal 150W fl-oranġjo.

Għal dawn l-iskjeramenti fuq skala ogħla, ir-riċerkaturi sabu li 150W marbut mal-utilizzazzjoni tal-enerġija kiseb medja ta '13.7% tnaqqis fl-użu tal-enerġija meta mqabbel mal-massimu default ta' 250W, kif ukoll żieda relattivament żgħira ta '6.8% fil-ħin tat-taħriġ.

Barra minn hekk, ir-riċerkaturi jinnotaw li, minkejja l- aħbarijiet li l-ispiża tat-taħriġ tal-mudelli ġabret matul l-aħħar ftit snin, l-ispejjeż tal-enerġija tal-użu fil-fatt tal-mudelli mħarrġa huma ferm ogħla*.

'Għall-immudellar tal-lingwa bil-BERT, il-gwadann tal-enerġija permezz tal-power-capping huma notevolment akbar meta ssir inferenza milli għat-taħriġ. Jekk dan ikun konsistenti għal applikazzjonijiet oħra tal-AI, dan jista' jkollu ramifikazzjonijiet sinifikanti f'termini ta' konsum tal-enerġija għal pjattaformi ta' kompjuters fuq skala kbira jew cloud li jservu applikazzjonijiet ta' inferenza għar-riċerka u l-industrija.'

Barra minn hekk, u forsi l-aktar b'mod kontroversjali, id-dokument jissuġġerixxi li t-taħriġ ewlieni tal-mudelli tat-tagħlim tal-magni jiġi relegat għax-xhur kesħin tas-sena, u għal bil-lejl, biex jiffrankaw l-ispejjeż tat-tkessiħ.

Hawn fuq, statistika PUE għal kull jum tal-2020 fiċ-ċentru tad-dejta tal-awturi, bi spike/plateau notevoli u sostnut fix-xhur tas-sajf. Hawn taħt, il-varjazzjoni medja fis-siegħa fil-PUE għall-istess post matul ġimgħa, bil-konsum tal-enerġija jiżdied lejn nofs il-ġurnata, peress li kemm il-ħardwer intern tat-tkessiħ tal-GPU kif ukoll it-tkessiħ taċ-ċentru tad-dejta ambjentali jitħabtu biex iżommu temperatura li taħdem.

L-awturi jgħidu:

'Ovvjament, piżijiet ta' xogħol tqal ta' NLP huma tipikament ħafna inqas effiċjenti fis-sajf minn dawk imwettqa matul ix-xitwa. Minħabba l-varjazzjoni staġjonali kbira, jekk ikun hemm, hemm esperimenti li jiswew ħafna flus u li jistgħu jiġu mgħoddija għal xhur aktar friski, dan iż-żmien jista 'jnaqqas b'mod sinifikanti l-impronta tal-karbonju.'

Id-dokument jirrikonoxxi wkoll il-possibilitajiet emerġenti li jiffrankaw l-enerġija li huma possibbli permezz taż-żbir u l-ottimizzazzjoni tal-arkitettura tal-mudell u l-flussi tax-xogħol - għalkemm l-awturi jħallu żvilupp ulterjuri ta 'din it-triq għal inizjattivi oħra.

Fl-aħħarnett, l-awturi jissuġġerixxu li dokumenti xjentifiċi ġodda mis-settur tat-tagħlim tal-magni jiġu mħeġġa, jew forsi kostretti, biex jagħlqu b’dikjarazzjoni li tiddikjara l-użu tal-enerġija tax-xogħol imwettaq fir-riċerka, u l-implikazzjonijiet potenzjali tal-enerġija tal-adozzjoni ta’ inizjattivi ssuġġeriti fix-xogħol. .

Id-dokument, li jwassal bl-eżempju, jispjega l-implikazzjonijiet tal-enerġija tar-riċerka tiegħu stess.

il karta huwa intitolat Qawwa Kbira, Responsabbiltà Kbira: Rakkomandazzjonijiet għat-Tnaqqis tal-Enerġija għat-Taħriġ tal-Mudelli tal-Lingwa, u ġej minn sitt riċerkaturi madwar MIT Lincoln u Northeastern.

Il-Grab tal-Enerġija imminenti tal-Machine Learning

Kif għandha l-ħtiġijiet komputazzjonali għall-mudelli tat-tagħlim tal-magni żdied flimkien mal-utilità tar-riżultati, il-kultura ML attwali tqabbel in-nefqa tal-enerġija ma' prestazzjoni mtejba - minkejja xi kampanji notevoli, bħal Andrew Ng, li jissuġġerixxi li l-kura tad-dejta tista' tkun a fattur aktar importanti.

F'wieħed kollaborazzjoni ewlenija tal-MITn mill-2020, kien stmat li titjib ta 'għaxar darbiet fil-prestazzjoni tal-mudell jinvolvi żieda ta' 10,000 darba fir-rekwiżiti komputazzjonali, flimkien ma 'ammont korrispondenti ta' enerġija.

Konsegwentement, ir-riċerka f'taħriġ ML effettiv b'inqas qawwa intensiva żdiedet matul l-aħħar ftit snin. Id-dokument il-ġdid, isostnu l-awturi, huwa l-ewwel li jagħti ħarsa profonda lejn l-effett tal-limiti tal-enerġija fuq it-taħriġ u l-inferenza tat-tagħlim tal-magni, b'enfasi fuq oqfsa NLP (bħas-serje GPT).

Peress li l-kwalità tal-inferenza hija tħassib kbir, l-awturi jiddikjaraw is-sejbiet tagħhom mill-bidu:

“[Dan] il-metodu ma jaffettwax il-previżjonijiet tal-mudelli mħarrġa jew konsegwentement l-eżattezza tal-prestazzjoni tagħhom fuq il-kompiti. Jiġifieri, jekk żewġ netwerks bl-istess struttura, valuri inizjali u data batched jiġu mħarrġa għall-istess numru ta' lottijiet taħt power-caps differenti, il-parametri li jirriżultaw tagħhom ikunu identiċi u l-enerġija meħtieġa biss biex jiġu prodotti tista' tkun differenti.'

Tnaqqis tal-Qawwa għall-NLP

Biex jevalwaw l-impatt tal-limiti tal-qawwa fuq it-taħriġ u l-inferenza, l-awturi użaw il- nvidia-smi (System Management Interface) utilità tal-linja tal-kmand, flimkien ma' Librerija MLMy minn HuggingFace.

L-awturi mħarrġa mudelli tal-Ipproċessar tal-Lingwa Naturali BERT, DistilBERT u, Għasafar Kbir fuq MLM, u mmonitorjaw il-konsum tal-enerġija tagħhom fit-taħriġ u l-iskjerament.

Il-mudelli ġew imħarrġa kontra DeepAI's WikiText-103 dataset għal 4 epoki f'lottijiet ta' tmienja, fuq 16-il GPU V100, b'erba' limiti ta' enerġija differenti: 100W, 150W, 200W, u 250W (il-default, jew linja bażi, għal GPU NVIDIA V100). Il-mudelli dehru parametri mħarrġa scratch u valuri init każwali, biex jiżguraw evalwazzjonijiet ta 'taħriġ komparabbli.

Kif jidher fl-ewwel immaġini ta 'hawn fuq, ir-riżultati juru iffrankar tajjeb tal-enerġija f'żidiet mhux lineari u favorevoli fil-ħin tat-taħriġ. L-awturi jgħidu:

"L-esperimenti tagħna jindikaw li l-implimentazzjoni ta 'limiti tal-enerġija tista' tnaqqas b'mod sinifikanti l-użu tal-enerġija bl-ispiża tal-ħin tat-taħriġ."

Tnaqqis 'l-NLP il-Kbir'

Sussegwentement l-awturi applikaw l-istess metodu għal xenarju aktar impenjattiv: it-taħriġ ta 'BERT ma' MLM fuq konfigurazzjonijiet distribwiti f'diversi GPUs - każ ta 'użu aktar tipiku għal mudelli FAANG NLP iffinanzjati tajjeb u ppubbliċizzati sew.

Id-differenza ewlenija f'dan l-esperiment kienet li mudell jista 'juża kullimkien bejn 2-400 GPU għal kull istanza ta' taħriġ. Ġew applikati l-istess restrizzjonijiet għall-użu tal-enerġija, u ntuża l-istess kompitu (WikiText-103). Ara t-tieni immaġni hawn fuq għal graffs tar-riżultati.

Il-karta tgħid:

'B'medja ta' kull għażla ta' konfigurazzjoni, 150W marbut mal-użu tal-enerġija wassal għal tnaqqis medju ta' 13.7% fl-użu tal-enerġija u żieda ta' 6.8% fil-ħin tat-taħriġ meta mqabbel mal-massimu default. [L-issettjar] 100W għandu ħinijiet ta 'taħriġ itwal b'mod sinifikanti (31.4% itwal bħala medja). Limitu ta '200W jikkorrispondi ma' kważi l-istess ħin ta 'taħriġ bħal limitu ta' 250W iżda iffrankar ta 'enerġija aktar modest minn limitu ta' 150W.'

L-awturi jissuġġerixxu li dawn ir-riżultati jappoġġjaw power-capping f'150W għall-arkitetturi GPU u l-applikazzjonijiet li jaħdmu fuqhom. Huma jinnotaw ukoll li l-iffrankar tal-enerġija miksub jissarraf fuq pjattaformi tal-ħardwer, u reġgħu wettqu t-testijiet biex iqabblu r-riżultati għall-GPUs NVIDIA K80, T4 u A100.

Iffrankar miksub fuq tliet GPUs NVIDIA differenti.

Inferenza, Mhux Taħriġ, Jiekol Qawwa

Id-dokument jiċċita diversi studji preċedenti li juru li, minkejja l-aħbarijiet, hija l-inferenza (l-użu ta’ mudell lest, bħal mudell NLP) u mhux it-taħriġ li jiġbed l-akbar ammont ta’ qawwa, li jissuġġerixxi li hekk kif il-mudelli popolari huma komodifikati u jidħlu fil- mainstream, l-użu tal-enerġija jista 'jsir kwistjoni akbar milli hi bħalissa f'dan l-istadju aktar naxxenti tal-iżvilupp tal-NLP.

Għalhekk ir-riċerkaturi kejlu l-impatt tal-inferenza fuq l-użu tal-enerġija, u sabu li l-impożizzjoni tal-limiti tal-enerġija għandha effett notevoli fuq il-latenza tal-inferenza:

'Imqabbel ma' 250W, issettjar ta '100W kien jeħtieġ id-doppju tal-ħin ta' inferenza (żieda ta '114%) u kkunsmat 11.0% inqas enerġija, 150W kien jeħtieġ 22.7% aktar ħin u ffrankat 24.2% tal-enerġija, u 200W kien jeħtieġ 8.2% aktar ħin bi 12.0% inqas. enerġija.'

Taħriġ tax-Xitwa

Id-dokument jissuġġerixxi li t-taħriġ (jekk mhux inferenza, għal raġunijiet ovvji) jista 'jiġi skedat f'ħinijiet meta ċ-ċentru tad-dejta jkun fl-ogħla Effettività tal-Użu tal-Enerġija (PUE) - b'mod effettiv, dak fix-xitwa, u bil-lejl.

'Jista' jinkiseb iffrankar sinifikanti tal-enerġija jekk il-piżijiet tax-xogħol jistgħu jiġu skedati f'ħinijiet meta PUE aktar baxx huwa mistenni. Pereżempju, iċ-ċaqliq ta' xogħol qasir minn bi nhar għal billejl jista' jipprovdi tnaqqis ta' bejn wieħed u ieħor 10%, u ċaqliq ta' xogħol itwal u għali (eż. mudell tal-lingwa li jieħu ġimgħat biex jitlesta) mis-sajf għax-xitwa jista' jara tnaqqis ta' 33%.

"Filwaqt li huwa diffiċli li wieħed ibassar l-iffrankar li jista' jikseb riċerkatur individwali, l-informazzjoni ppreżentata hawn tenfasizza l-importanza ta' fatturi ambjentali li jaffettwaw l-enerġija ġenerali kkunsmata mill-piżijiet tax-xogħol tagħhom."

Żommha Imdardra

Fl-aħħar nett, id-dokument josserva li r-riżorsi tal-ipproċessar homegrown x'aktarx li ma jkunux implimentaw l-istess miżuri ta 'effiċjenza bħal ċentri tad-dejta ewlenin u atturi ta' cloud compute ta' livell għoli, u li jistgħu jinkisbu benefiċċji ambjentali billi jittrasferixxu l-piżijiet tax-xogħol f'postijiet li investew ħafna f'PUE tajba.

“Filwaqt li hemm konvenjenza li jkun hemm riżorsi tal-kompjuter privati ​​li huma aċċessibbli, din il-konvenjenza tiġi bi spiża. Ġeneralment l-iffrankar tal-enerġija u l-impatt jinkisbu aktar faċilment fuq skali akbar. Id-datacenters u l-fornituri tal-cloud computing jagħmlu investimenti sinifikanti fl-effiċjenza tal-faċilitajiet tagħhom.'

* Links pertinenti mogħtija mill-karta.