Anderson का एंगल

मशीन लर्निंग की बढ़ती ऊर्जा जरूरतों को कम करना

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुGPU को 150W पर पावर-कैप करने से ऊर्जा उपयोग 13.7% घटता है, जबकि प्रशिक्षण समय में केवल…
और देखें
  • GPU को 150W पर पावर-कैप करने से ऊर्जा उपयोग 13.7% घटता है, जबकि प्रशिक्षण समय में केवल 6.8% की वृद्धि होती है।
  • इन्फ़रेंस प्रशिक्षण की तुलना में कहीं अधिक ऊर्जा खपत करता है, इसलिए पावर कैप का सबसे अधिक लाभ वहीं मिलता है।
  • भारी प्रशिक्षण को सर्दियों में और रात के समय निर्धारित करने से कार्बन उत्सर्जन में काफ़ी कमी आ सकती है।

बड़े मशीन लर्निंग मॉडलों की ऊर्जा जरूरतों को लेकर बढ़ती चिंता के बीच, MIT Lincoln Laboratory और Northeastern University के एक हालिया अध्ययन ने मॉडल प्रशिक्षण और अनुमान में इस्तेमाल होने वाले GPU की उपलब्ध शक्ति सीमित करने से मिलने वाली बचत की जाँच की है। इसमें AI की ऊर्जा खपत घटाने की अन्य तकनीकों और विधियों का भी अध्ययन किया गया है।

नया शोध यह भी कहता है कि नए AI शोधपत्रों के अंत में ऊर्जा उपयोग संबंधी वक्तव्य होना चाहिए। यह मशीन लर्निंग शोधपत्रों में नैतिक प्रभाव संबंधी वक्तव्य जोड़ने के हालिया रुझान जैसा है।

कार्य का मुख्य सुझाव यह है कि पावर-कैपिंग (मॉडल को प्रशिक्षित करने वाले जीपीयू के लिए उपलब्ध शक्ति को सीमित करना) विशेष रूप से मास्क्ड लैंग्वेज मॉडलिंग (एमएलएम) के लिए और बीईआरटी और इसके व्युत्पन्न जैसे फ्रेमवर्क के लिए ऊर्जा-बचत लाभ प्रदान करता है।

भाषा मॉडलिंग के तीन नेटवर्कों की शक्ति खपत, डिफ़ॉल्ट 250 W सेटिंग के अलग-अलग प्रतिशतों पर। काली रेखा डिफ़ॉल्ट सेटिंग दिखाती है। शक्ति खपत सीमित करने से प्रशिक्षण की दक्षता या सटीकता उसी अनुपात में नहीं घटती और बड़े पैमाने पर उल्लेखनीय ऊर्जा बचत मिलती है। स्रोत: https://arxiv.org/pdf/2205.09646.pdf

भाषा मॉडलिंग के तीन नेटवर्कों की शक्ति खपत, डिफ़ॉल्ट 250 W सेटिंग के अलग-अलग प्रतिशतों पर। काली रेखा डिफ़ॉल्ट सेटिंग दिखाती है। शक्ति खपत सीमित करने से प्रशिक्षण की दक्षता या सटीकता उसी अनुपात में नहीं घटती और बड़े पैमाने पर उल्लेखनीय ऊर्जा बचत मिलती है। स्रोत: https://arxiv.org/pdf/2205.09646.pdf

बड़े पैमाने के मॉडलों ने अत्यंत विशाल डेटासेट और अरबों या खरबों पैरामीटर वाले नए मॉडलों के कारण हाल के वर्षों में ध्यान खींचा है। इनमें प्रशिक्षण समय और ऊर्जा खपत के बीच संतुलन बनाकर ऐसी ही बचत मिल सकती है।

शक्ति सीमाओं के अंतर्गत अधिक बड़े और जटिल NLP मॉडलों का प्रशिक्षण। नीले रंग में 150 W सीमा पर औसत सापेक्ष समय और नारंगी रंग में उसी सीमा पर औसत सापेक्ष ऊर्जा खपत दिखाई गई है।

शक्ति सीमाओं के अंतर्गत अधिक बड़े और जटिल NLP मॉडलों का प्रशिक्षण। नीले रंग में 150 W सीमा पर औसत सापेक्ष समय और नारंगी रंग में उसी सीमा पर औसत सापेक्ष ऊर्जा खपत दिखाई गई है।

इन बड़े पैमाने की व्यवस्थाओं में शोधकर्ताओं ने पाया कि 150 W की शक्ति सीमा से डिफ़ॉल्ट अधिकतम 250 W की तुलना में ऊर्जा खपत औसतन 13.7% घटी, जबकि प्रशिक्षण समय में अपेक्षाकृत छोटी, 6.8% की वृद्धि हुई।

शोधकर्ता यह भी बताते हैं कि पिछले कुछ वर्षों में मॉडल प्रशिक्षण की लागत से जुड़ी सुर्खियों के बावजूद, प्रशिक्षित मॉडलों के वास्तविक उपयोग की ऊर्जा लागत कहीं अधिक होती है*।

“BERT से भाषा मॉडलिंग में शक्ति सीमित करने से मिलने वाली ऊर्जा बचत प्रशिक्षण के मुकाबले अनुमान के दौरान स्पष्ट रूप से अधिक है। यदि अन्य AI अनुप्रयोगों में भी ऐसा ही हो, तो शोध और उद्योग के लिए अनुमान सेवाएँ देने वाले बड़े पैमाने के या क्लाउड कंप्यूटिंग प्लेटफ़ॉर्म की ऊर्जा खपत पर इसके महत्वपूर्ण प्रभाव हो सकते हैं।”

इसके अलावा, और संभवतः सबसे विवादास्पद सुझाव के रूप में, शोधपत्र कहता है कि मशीन लर्निंग मॉडलों के बड़े प्रशिक्षण कार्य वर्ष के ठंडे महीनों और रात में किए जाएँ, ताकि शीतलन की लागत बच सके।

ऊपर, लेखकों के डेटा सेंटर में वर्ष 2020 के प्रत्येक दिन के PUE आँकड़े हैं। गर्मियों में स्पष्ट उछाल और लगातार ऊँचा स्तर दिखाई देता है। नीचे, उसी जगह एक सप्ताह के दौरान PUE का औसत घंटेवार बदलाव है। दोपहर के आसपास ऊर्जा खपत बढ़ती है, क्योंकि GPU का आंतरिक शीतलन हार्डवेयर और पूरे डेटा सेंटर का शीतलन दोनों कामचलाऊ तापमान बनाए रखने के लिए जूझते हैं।

ऊपर, लेखकों के डेटा सेंटर में वर्ष 2020 के प्रत्येक दिन के PUE आँकड़े हैं। गर्मियों में स्पष्ट उछाल और लगातार ऊँचा स्तर दिखाई देता है। नीचे, उसी जगह एक सप्ताह के दौरान PUE का औसत घंटेवार बदलाव है। दोपहर के आसपास ऊर्जा खपत बढ़ती है, क्योंकि GPU का आंतरिक शीतलन हार्डवेयर और पूरे डेटा सेंटर का शीतलन दोनों कामचलाऊ तापमान बनाए रखने के लिए जूझते हैं।

लेखक कहते हैं:

“स्पष्ट है कि भारी NLP कार्यभार आमतौर पर गर्मियों में सर्दियों की तुलना में बहुत कम ऊर्जा-कुशल होते हैं। बड़े मौसमी बदलाव को देखते हुए, यदि अधिक गणना की जरूरत वाले महँगे प्रयोगों को ठंडे महीनों में किया जा सके, तो इससे कार्बन पदचिह्न काफी घट सकता है।”

शोधपत्र मॉडल की छँटाई तथा मॉडल आर्किटेक्चर और कार्यप्रवाह के अनुकूलन से उभरती ऊर्जा बचत की संभावनाओं को भी स्वीकार करता है। हालाँकि, लेखक इस दिशा का आगे का विकास अन्य पहलों पर छोड़ते हैं।

अंत में, लेखक सुझाव देते हैं कि मशीन लर्निंग क्षेत्र के नए वैज्ञानिक शोधपत्रों को ऊर्जा उपयोग संबंधी वक्तव्य के साथ समाप्त करने के लिए प्रोत्साहित किया जाए या शायद अनिवार्य किया जाए। इसमें शोध में खर्च हुई ऊर्जा और शोधपत्र में सुझाई गई पहलों को अपनाने के संभावित ऊर्जा प्रभाव बताए जाएँ।

शोधपत्र उदाहरण प्रस्तुत करते हुए अपने ही शोध के ऊर्जा प्रभावों को समझाता है।

शोधपत्र उदाहरण प्रस्तुत करते हुए अपने ही शोध के ऊर्जा प्रभावों को समझाता है।

इस शोधपत्र का शीर्षक ग्रेट पावर, ग्रेट रिस्पॉन्सिबिलिटी: भाषा मॉडलों के प्रशिक्षण में ऊर्जा खपत घटाने की सिफारिशें है। इसे MIT Lincoln और Northeastern के छह शोधकर्ताओं ने लिखा है।

मशीन लर्निंग की बढ़ती ऊर्जा जरूरतें

जैसा कि मशीन लर्निंग मॉडल्स की गणनात्मक मांगें उनके परिणामों की उपयोगिता के साथ बढ़ी हैं, वर्तमान एमएल संस्कृति ऊर्जा व्यय को बेहतर प्रदर्शन से जोड़ती है – कुछ उल्लेखनीय अभियानों के बावजूद, जैसे कि एंड्रू एनजी द्वारा, जो सुझाव देते हैं कि डेटा क्यूरेशन एक अधिक महत्वपूर्ण कारक हो सकता है।

एक प्रमुख एमआईटी सहयोग से 2020 में, यह अनुमान लगाया गया था कि मॉडल प्रदर्शन में दस गुना सुधार के लिए 10,000 गुना अधिक गणनात्मक आवश्यकताओं और ऊर्जा की आवश्यकता होती है।

इसके परिणामस्वरूप, कम शक्ति खपत वाले प्रभावी एमएल प्रशिक्षण में शोध बढ़ गया है। नए पत्र में, लेखक दावा करते हैं कि यह पहला अध्ययन है जो मशीन लर्निंग प्रशिक्षण और अनुमान पर पावर कैप्स के प्रभाव को गहराई से देखता है, विशेष रूप से एनएलपी फ्रेमवर्क (जैसे जीपीटी श्रृंखला) पर जोर देता है।
चूँकि अनुमान की गुणवत्ता सबसे महत्वपूर्ण चिंताओं में से एक है, लेखक शुरू में ही अपने निष्कर्षों के बारे में कहते हैं:

“यह तरीका प्रशिक्षित मॉडलों की भविष्यवाणियों और इसलिए कार्यों पर उनकी सटीकता को प्रभावित नहीं करता। अर्थात यदि समान संरचना, शुरुआती मान और बैचों में विभाजित डेटा वाली दो नेटवर्कों को अलग-अलग शक्ति सीमाओं पर समान संख्या में बैचों तक प्रशिक्षित किया जाए, तो उनके अंतिम पैरामीटर समान होंगे। केवल उन्हें तैयार करने के लिए जरूरी ऊर्जा अलग हो सकती है।”

एनएलपी के लिए शक्ति को कम करना

प्रशिक्षण और अनुमान पर पावर कैप्स के प्रभाव का आकलन करने के लिए, लेखकों ने nvidia-smi (System Management Interface) कमांड-लाइन यूटिलिटी का उपयोग किया, साथ ही हगिंगफ़ेस से एक एमएलएम लाइब्रेरी का उपयोग किया।

लेखकों ने बीईआरटी, डिस्टिलबीईआरटी और बिग बर्ड जैसे प्राकृतिक भाषा प्रसंस्करण मॉडलों को एमएलएम पर प्रशिक्षित किया और उनकी शक्ति खपत की निगरानी की।

मॉडलों को डीपएआई के विकिटेक्स्ट-103 डेटासेट के खिलाफ 4 एपोक्स में 8 के बैचों में 16 वी100 जीपीयू पर प्रशिक्षित किया गया था, चार अलग-अलग शक्ति कैप्स के साथ: 100W, 150W, 200W, और 250W (डिफ़ॉल्ट, या बेसलाइन, एक एनवीडिया वी100 जीपीयू के लिए)। मॉडल में स्क्रैच-ट्रेन्ड पैरामीटर और रैंडम इनिट वैल्यू शामिल थे, ताकि तुलनात्मक प्रशिक्षण मूल्यांकन सुनिश्चित किया जा सके।
ऊपर पहली तस्वीर में दिखाए गए परिणामों के अनुसार प्रशिक्षण समय में गैर-रैखिक और अनुकूल वृद्धि के बदले अच्छी ऊर्जा बचत मिलती है। लेखक कहते हैं:

“हमारे प्रयोग बताते हैं कि शक्ति की सीमाएँ लागू करने से प्रशिक्षण समय बढ़ने की कीमत पर ऊर्जा खपत काफी कम हो सकती है।”

‘बिग एनएलपी’ को पतला करना

इसके बाद लेखकों ने एक अधिक मांग वाले परिदृश्य पर उसी तरीके का अनुप्रयोग किया: बीईआरटी को वितरित कॉन्फ़िगरेशन में एमएलएम के साथ प्रशिक्षित करना – एक अधिक विशिष्ट उपयोग केस अच्छी तरह वित्तपोषित और व्यापक रूप से चर्चित FAANG कंपनियों के NLP मॉडल्स के लिए।

मुख्य अंतर यह था कि एक मॉडल प्रशिक्षण के दौरान 2-400 जीपीयू का उपयोग कर सकता था। समान शक्ति उपयोग प्रतिबंध लागू किए गए थे, और समान कार्य का उपयोग किया गया था (विकिटेक्स्ट-103)। परिणामों के आलेख के लिए ऊपर दूसरी तस्वीर देखें।

पत्र में कहा गया है:

‘औसतन, एक 150W बाउंड पावर उपयोग पर 13.7% की कमी और 6.8% की प्रशिक्षण समय में वृद्धि हुई, डिफ़ॉल्ट अधिकतम की तुलना में। [100W सेटिंग में] प्रशिक्षण समय काफी लंबा था (31.4% लंबा)। एक 200W सीमा 250W सीमा के समान प्रशिक्षण समय के साथ मिलती है, लेकिन 150W सीमा की तुलना में अधिक मामूली ऊर्जा बचत। ‘

लेखक सुझाव देते हैं कि ये परिणाम जीपीयू आर्किटेक्चर और उनके अनुप्रयोगों के लिए 150W पर पावर-कैपिंग का समर्थन करते हैं। वे यह भी नोट करते हैं कि प्राप्त ऊर्जा बचत हार्डवेयर प्लेटफ़ॉर्म के पार हो जाती है, और उन्होंने NVIDIA (NVDA ) K80, टी4 और ए100 जीपीयू के लिए परिणामों की तुलना करने के लिए परीक्षणों को दोहराया।

NVIDIA के तीन अलग-अलग GPU पर मिली ऊर्जा बचत।

NVIDIA के तीन अलग-अलग GPU पर मिली ऊर्जा बचत।

अनुमान, न कि प्रशिक्षण, शक्ति का उपभोग करता है

पत्र में यह बताया गया है कि अनुमान (एक पूर्ण मॉडल का उपयोग, जैसे कि एक एनएलपी मॉडल) और न कि प्रशिक्षण सबसे अधिक शक्ति का उपभोग करता है, यह सुझाव देता है कि जब लोकप्रिय मॉडल कमोडिटी बन जाते हैं और मुख्यधारा में प्रवेश करते हैं, तो शक्ति का उपयोग एक बड़ा मुद्दा बन सकता है जो वर्तमान में एनएलपी विकास के इस अधिक प्रारंभिक चरण में है।

इसलिए, शोधकर्ताओं ने शक्ति खपत पर अनुमान के प्रभाव को मापा, और पाया कि पावर कैप्स का अनुमान विलंबता पर एक उल्लेखनीय प्रभाव पड़ता है:

‘250W की तुलना में, 100W सेटिंग में अनुमान समय में 114% की वृद्धि और 11.0% कम ऊर्जा की खपत हुई, 150W में 22.7% अधिक समय और 24.2% ऊर्जा की बचत हुई, और 200W में 8.2% अधिक समय और 12.0% कम ऊर्जा। ‘

सर्दियों का प्रशिक्षण

पत्र सुझाव देता है कि प्रशिक्षण (स्पष्ट कारणों से अनुमान के विपरीत) को तब अनुसूचित किया जा सकता है जब डेटा सेंटर अपनी पीक पावर उपयोग प्रभावशीलता (पीयूई) पर होता है – प्रभावी रूप से, यह सर्दियों में और रात में होता है।

‘महत्वपूर्ण ऊर्जा बचत प्राप्त की जा सकती है यदि कार्यभार को कम पीयूई की उम्मीद के समय पर अनुसूचित किया जा सकता है। उदाहरण के लिए, एक छोटे रनिंग जॉब को दिन के समय से रात के समय में ले जाने से लगभग 10% की कमी आ सकती है, और एक लंबे समय तक चलने वाले महंगे जॉब (जैसे कि एक भाषा मॉडल जो हफ्तों तक पूरा होने में लगता है) को गर्मियों से सर्दियों में ले जाने से 33% की कमी आ सकती है। ‘

‘हालांकि यह भविष्यवाणी करना मुश्किल है कि एक व्यक्ति शोधकर्ता को कितनी बचत हो सकती है, यहाँ प्रस्तुत जानकारी उनके कार्यभार द्वारा उपभोगित कुल ऊर्जा पर पर्यावरणीय कारकों के महत्व को रेखांकित करती है। ‘

क्लाउड का उपयोग करें

अंत में, पत्र यह बताता है कि स्व-निर्मित प्रसंस्करण संसाधनों में डेटा केंद्रों और उच्च-स्तरीय क्लाउड कंप्यूट प्लेयरों के समान कुशलता उपाय नहीं हो सकते हैं, और पर्यावरण लाभ तब प्राप्त किए जा सकते हैं जब कार्यभार को उन स्थानों पर स्थानांतरित किया जाता है जिन्होंने अच्छे PUE के लिए बड़े पैमाने पर निवेश किया है।

‘हालांकि निजी कंप्यूटिंग संसाधनों के सुलभ होने से सुविधा मिलती है, यह सुविधा एक लागत पर आती है।सामान्य तौर पर, ऊर्जा बचत और प्रभाव अधिक आसानी से बड़े पैमाने पर प्राप्त किया जा सकता है। डेटा सेंटर और क्लाउड कंप्यूट प्रदाता अपनी सुविधाओं की कुशलता में महत्वपूर्ण निवेश करते हैं। ‘

* पत्र द्वारा दिए गए प्रासंगिक लिंक।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai