मशीन लर्निंग की बढ़ती ऊर्जा जरूरतों को कम करना

मशीन लर्निंग मॉडल्स की ऊर्जा आवश्यकताओं के बारे में बढ़ती चिंता के मद्देनजर, एमआईटी लिंकन लेबोरेटरी और नॉर्थईस्टर्न यूनिवर्सिटी के एक हालिया अध्ययन ने जीपीयू को मॉडल प्रशिक्षण और अनुमान में नियोजित करने के साथ-साथ अन्य तकनीकों और विधियों के माध्यम से एआई ऊर्जा उपयोग को कम करने के लिए किए जा सकने वाले बचत की जांच की है।

नई कार्य भी नए एआई पत्रों को एक ‘ऊर्जा बयान’ (मशीन लर्निंग अनुसंधान क्षेत्र से पत्रों में ‘नैतिक प्रभाव’ बयानों के लिए हालिया रुझान के समान) के साथ समाप्त होने का आह्वान करता है।

कार्य का मुख्य सुझाव यह है कि पावर-कैपिंग (मॉडल को प्रशिक्षित करने वाले जीपीयू के लिए उपलब्ध शक्ति को सीमित करना) विशेष रूप से मास्क्ड लैंग्वेज मॉडलिंग (एमएलएम) के लिए और बीईआरटी और इसके व्युत्पन्न जैसे फ्रेमवर्क के लिए ऊर्जा-बचत लाभ प्रदान करता है।

इसके अलावा, शोधकर्ता यह भी नोट करते हैं कि उच्च-स्तरीय नियोजन के लिए, उन्होंने पाया कि 150W की शक्ति उपयोग पर 13.7% की औसत ऊर्जा खपत में कमी और 6.8% की प्रशिक्षण समय में वृद्धि हुई।

इसके अलावा, शोधकर्ता यह भी नोट करते हैं कि प्रशिक्षण के दौरान और प्रशिक्षण के बाद दोनों समय ऊर्जा की बचत संभव है, और वे नए वैज्ञानिक पत्रों को अपने शोध में ऊर्जा उपयोग की घोषणा करने के लिए प्रोत्साहित करते हैं।

पत्र का शीर्षक ग्रेट पावर, ग्रेट रिस्पॉन्सिबिलिटी: लैंग्वेज मॉडल्स के लिए ऊर्जा को कम करने के सुझाव है, और यह एमआईटी लिंकन और नॉर्थईस्टर्न से छह शोधकर्ताओं द्वारा आयोजित किया गया है।

मशीन लर्निंग की बढ़ती ऊर्जा जरूरतें

जैसा कि मशीन लर्निंग मॉडल्स की गणनात्मक मांगें उनके परिणामों की उपयोगिता के साथ बढ़ी हैं, वर्तमान एमएल संस्कृति ऊर्जा व्यय को बेहतर प्रदर्शन से जोड़ती है – कुछ उल्लेखनीय अभियानों के बावजूद, जैसे कि एंड्रू एनजी द्वारा, जो सुझाव देते हैं कि डेटा क्यूरेशन एक अधिक महत्वपूर्ण कारक हो सकता है।

एक प्रमुख एमआईटी सहयोग से 2020 में, यह अनुमान लगाया गया था कि मॉडल प्रदर्शन में दस गुना सुधार के लिए 10,000 गुना अधिक गणनात्मक आवश्यकताओं और ऊर्जा की आवश्यकता होती है।

इसके परिणामस्वरूप, कम शक्तिशाली प्रभावी एमएल प्रशिक्षण में शोध बढ़ गया है। नए पत्र में, लेखक दावा करते हैं कि यह पहला अध्ययन है जो मशीन लर्निंग प्रशिक्षण और अनुमान पर पावर कैप्स के प्रभाव को गहराई से देखता है, विशेष रूप से एनएलपी फ्रेमवर्क (जैसे जीपीटी श्रृंखला) पर जोर देता है।

एनएलपी के लिए शक्ति को कम करना

प्रशिक्षण और अनुमान पर पावर कैप्स के प्रभाव का आकलन करने के लिए, लेखकों ने न्वीडिया सिस्टम मैनेजमेंट इंटरफ़ेस (एसएमआई) कमांड-लाइन यूटिलिटी का उपयोग किया, साथ ही हगिंगफ़ेस से एक एमएलएम लाइब्रेरी का उपयोग किया।

लेखकों ने बीईआरटी, डिस्टिलबीईआरटी और बिग बर्ड जैसे प्राकृतिक भाषा प्रसंस्करण मॉडलों को एमएलएम पर प्रशिक्षित किया और उनकी शक्ति खपत की निगरानी की।

मॉडलों को डीपएआई के विकिटेक्स्ट-103 डेटासेट के खिलाफ 4 एपोक्स में 8 के बैचों में 16 वी100 जीपीयू पर प्रशिक्षित किया गया था, चार अलग-अलग शक्ति कैप्स के साथ: 100W, 150W, 200W, और 250W (डिफ़ॉल्ट, या बेसलाइन, एक एनवीडिया वी100 जीपीयू के लिए)। मॉडल में स्क्रैच-ट्रेन्ड पैरामीटर और रैंडम इनिट वैल्यू शामिल थे, ताकि तुलनात्मक प्रशिक्षण मूल्यांकन सुनिश्चित किया जा सके।

‘बिग एनएलपी’ को पतला करना

इसके बाद लेखकों ने एक अधिक मांग वाले परिदृश्य पर同 तरीके का अनुप्रयोग किया: बीईआरटी को वितरित कॉन्फ़िगरेशन में एमएलएम के साथ प्रशिक्षित करना – एक अधिक विशिष्ट उपयोग केस फैंग नेलपी मॉडल्स के लिए।

मुख्य अंतर यह था कि एक मॉडल प्रशिक्षण के दौरान 2-400 जीपीयू का उपयोग कर सकता था। समान शक्ति उपयोग प्रतिबंध लागू किए गए थे, और समान कार्य का उपयोग किया गया था (विकिटेक्स्ट-103)।

पत्र में कहा गया है:

‘औसतन, एक 150W बाउंड पावर उपयोग पर 13.7% की कमी और 6.8% की प्रशिक्षण समय में वृद्धि हुई, डिफ़ॉल्ट अधिकतम की तुलना में। [100W सेटिंग में] प्रशिक्षण समय काफी लंबा था (31.4% लंबा)। एक 200W सीमा 250W सीमा के समान प्रशिक्षण समय के साथ मिलती है, लेकिन 150W सीमा की तुलना में अधिक मामूली ऊर्जा बचत। ‘

लेखक सुझाव देते हैं कि ये परिणाम जीपीयू आर्किटेक्चर और उनके अनुप्रयोगों के लिए 150W पर पावर-कैपिंग का समर्थन करते हैं। वे यह भी नोट करते हैं कि प्राप्त ऊर्जा बचत हार्डवेयर प्लेटफ़ॉर्म के पार हो जाती है, और उन्होंने एनवीडिया के80, टी4 और ए100 जीपीयू के लिए परिणामों की तुलना करने के लिए परीक्षणों को दोहराया।

अनुमान, न कि प्रशिक्षण, शक्ति का उपभोग करता है

पत्र में यह बताया गया है कि अनुमान (एक पूर्ण मॉडल का उपयोग, जैसे कि एक एनएलपी मॉडल) और न कि प्रशिक्षण सबसे अधिक शक्ति का उपभोग करता है, यह सुझाव देता है कि जब लोकप्रिय मॉडल कमोडिटी बन जाते हैं और मुख्यधारा में प्रवेश करते हैं, तो शक्ति का उपयोग एक बड़ा मुद्दा बन सकता है जो वर्तमान में एनएलपी विकास के इस अधिक प्रारंभिक चरण में है।

इसलिए, शोधकर्ताओं ने अनुमान पर शक्ति के प्रभाव को मापा, और पाया कि पावर कैप्स का अनुमान विलंबता पर एक उल्लेखनीय प्रभाव पड़ता है:

‘250W की तुलना में, 100W सेटिंग में अनुमान समय में 114% की वृद्धि और 11.0% कम ऊर्जा की खपत हुई, 150W में 22.7% अधिक समय और 24.2% ऊर्जा की बचत हुई, और 200W में 8.2% अधिक समय और 12.0% कम ऊर्जा। ‘

सर्दियों का प्रशिक्षण

पत्र सुझाव देता है कि प्रशिक्षण (स्पष्ट कारणों से अनुमान के विपरीत) को तब अनुसूचित किया जा सकता है जब डेटा सेंटर अपनी पीक पावर उपयोग प्रभावशीलता (पीयूई) पर होता है – प्रभावी रूप से, यह सर्दियों में और रात में होता है।

‘महत्वपूर्ण ऊर्जा बचत प्राप्त की जा सकती है यदि कार्यभार को कम पीयूई की उम्मीद के समय पर अनुसूचित किया जा सकता है। उदाहरण के लिए, एक छोटे रनिंग जॉब को दिन के समय से रात के समय में ले जाने से लगभग 10% की कमी आ सकती है, और एक लंबे समय तक चलने वाले महंगे जॉब (जैसे कि एक भाषा मॉडल जो हफ्तों तक पूरा होने में लगता है) को गर्मियों से सर्दियों में ले जाने से 33% की कमी आ सकती है। ‘

‘हालांकि यह भविष्यवाणी करना मुश्किल है कि एक व्यक्ति शोधकर्ता को कितनी बचत हो सकती है, यहाँ प्रस्तुत जानकारी उनके कार्यभार द्वारा उपभोगित कुल ऊर्जा पर पर्यावरणीय कारकों के महत्व को रेखांकित करती है। ‘

इसे बादल रखें

अंत में, पत्र यह观察 करता है कि स्व-निर्मित प्रसंस्करण संसाधनों में डेटा केंद्रों और उच्च-स्तरीय क्लाउड कंप्यूट प्लेयरों के समान कुशलता उपाय नहीं हो सकते हैं, और पर्यावरण लाभ तब प्राप्त किए जा सकते हैं जब कार्यभार को उन स्थानों पर स्थानांतरित किया जाता है जिन्होंने अपनी सुविधाओं की कुशलता में बड़े पैमाने पर निवेश किया है।

‘हालांकि निजी कंप्यूटिंग संसाधनों के सुलभ होने से सुविधा मिलती है, यह सुविधा एक लागत पर आती है।一般 बोलते हुए, ऊर्जा बचत और प्रभाव अधिक आसानी से बड़े पैमाने पर प्राप्त किया जा सकता है। डेटा सेंटर और क्लाउड कंप्यूट प्रदाता अपनी सुविधाओं की कुशलता में महत्वपूर्ण निवेश करते हैं। ‘

* पत्र द्वारा दिए गए प्रासंगिक लिंक।