рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
рд╕реНрдорд╛рд░реНрдЯрдлрд╝реЛрди рдХреЛ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдореЙрдбрд▓ рдЪрд▓рд╛рддреЗ рд╕рдордп рдардВрдбрд╛ рд░рдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдХреИрд╕реЗ
ऑस्टिन विश्वविद्यालय और कार्नेगी मेलन के शोधकर्ताओं ने एक नए तरीके का प्रस्ताव दिया है जिसमें मोबाइल डिवाइस जैसे स्मार्टफ़ोन और कम शक्तिशाली एज डिवाइस पर कम्प्यूटेशनल रूप से महंगे मशीन लर्निंग मॉडल चलाए जा सकते हैं, और थर्मल थ्रॉटलिंग को ट्रिगर किए बिना – एक सामान्य सुरक्षा तंत्र पेशेवर और उपभोक्ता डिवाइस में डिज़ाइन किया गया है, जो होस्ट डिवाइस के तापमान को कम करने के लिए इसके प्रदर्शन को धीमा करके स्वीकार्य ऑपरेटिंग तापमान प्राप्त करने तक।
नई दृष्टिकोण से अधिक जटिल एमएल मॉडल को अनुमान और विभिन्न प्रकार के कार्यों को चलाने में मदद मिल सकती है, बिना होस्ट स्मार्टफ़ोन की स्थिरता को खतरे में डाले।
मुख्य विचार डायनामिक नेटवर्क का उपयोग करना है, जहां एक मॉडल के वज़न एक ‘लो प्रेशर’ और ‘फुल इंटेंसिटी’ संस्करण दोनों द्वारा स्थानीय मशीन लर्निंग मॉडल द्वारा एक्सेस किए जा सकते हैं।
जब स्थानीय स्थापना के एक मशीन लर्निंग मॉडल का संचालन डिवाइस के तापमान को महत्वपूर्ण रूप से बढ़ाने का कारण बनता है, तो मॉडल एक कम मांग वाले मॉडल में गतिशील रूप से स्विच हो जाता है जब तक कि तापमान स्थिर नहीं हो जाता, और फिर पूर्ण विकसित संस्करण में वापस स्विच हो जाता है।
परीक्षण कार्यों में एक छवि वर्गीकरण कार्य और एक प्रश्न-उत्तर प्राकृतिक भाषा अनुमान (QNLI) कार्य शामिल थे – दोनों प्रकार के ऑपरेशन जो मोबाइल एआई अनुप्रयोगों को शामिल कर सकते हैं। स्रोत: https://arxiv.org/pdf/2206.10849.pdf
शोधकर्ताओं ने 2019 होनर वी30 प्रो स्मार्टफ़ोन और रास्पबेरी पाई 4बी 4जीबी पर कंप्यूटर विजन और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडल के लिए प्रूफ-ऑफ-кон्सेप्ट परीक्षण किए।
परिणामों से (स्मार्टफ़ोन के लिए), हम देख सकते हैं कि छवि में होस्ट डिवाइस का तापमान बढ़ और गिर रहा है जैसे इसका उपयोग किया जा रहा है। लाल रेखाएं एक मॉडल को बिना डायनामिक शिफ्टिंग के चलाती हैं।
हालांकि परिणाम बहुत समान दिख सकते हैं, वे नहीं हैं: जो तापमान को नीले रेखाओं (यानी नए पत्र के तरीके का उपयोग करके) के लिए उतार-चढ़ाव कर रहा है, वह सरल और अधिक जटिल मॉडल संस्करणों के बीच आगे-पीछे है। किसी भी समय थर्मल थ्रॉटलिंग कभी भी ट्रिगर नहीं किया जाता है।
जो तापमान को लाल रेखाओं के मामले में बढ़ा और गिरा रहा है, वह डिवाइस में थर्मल थ्रॉटलिंग का स्वचालित रूप से जुड़ना है, जो मॉडल के संचालन को धीमा कर देता है और इसकी विलंबता बढ़ा देता है।
उपयोगकर्ता के लिए, उच्च विलंबता अधिक प्रतीक्षा समय का कारण बन सकती है, जो कार्य को छोड़ने और होस्ट ऐप के साथ असंतुष्ट होने का कारण बन सकती है।
एनएलपी (कंप्यूटर विजन के बजाय) प्रणालियों के मामले में, उच्च प्रतिक्रिया समय और अधिक परेशान करने वाले हो सकते हैं, क्योंकि कार्य त्वरित प्रतिक्रिया (जैसे ऑटो-अनुवाद, या विकलांग उपयोगकर्ताओं की मदद करने वाले उपयोगिताओं) पर निर्भर कर सकते हैं।
वास्तविक समय वीआर/एआर जैसे वास्तविक समय-महत्वपूर्ण अनुप्रयोगों के लिए, उच्च विलंबता मॉडल की मूल उपयोगिता को प्रभावी ढंग से मार देगी।
शोधकर्ता कहते हैं:
‘हम तर्क देते हैं कि थर्मल थ्रॉटलिंग मोबाइल एमएल अनुप्रयोगों के लिए एक गंभीर खतरा है जो विलंबता-महत्वपूर्ण हैं। उदाहरण के लिए, वीडियो स्ट्रीमिंग या गेमिंग के लिए वास्तविक समय दृश्य रेंडरिंग के दौरान, प्रति फ्रेम प्रोसेसिंग विलंबता में अचानक वृद्धि उपयोगकर्ता अनुभव पर महत्वपूर्ण नकारात्मक प्रभाव डालेगी। इसके अलावा, आधुनिक मोबाइल ऑपरेटिंग सिस्टम अक्सर दृष्टि विकृत व्यक्तियों के लिए विशेष सेवाएं और अनुप्रयोग प्रदान करते हैं, जैसे कि वॉयसओवर ऑन आईओएस और टॉकबैक ऑन एंड्रॉइड। ‘
‘उपयोगकर्ता आमतौर पर पूरी तरह से भाषण पर निर्भर करके मोबाइल फोन के साथ बातचीत करते हैं, इसलिए इन सेवाओं की गुणवत्ता अनुप्रयोग की प्रतिक्रिया या विलंबता पर बहुत अधिक निर्भर करती है।’
बेर्ट वी50 डी50 के प्रदर्शन को दर्शाने वाले ग्राफ, जो बिना सहायता प्राप्त और डायनामिक शिफ्टिंग द्वारा सहायता प्राप्त है। नोट डायनामिक शिफ्टिंग (नीला) में विलंबता की समानता।
<paper का शीर्षक प्ले इट कूल: डायनामिक शिफ्टिंग थर्मल थ्रॉटलिंग को रोकता है है, और यह यूओए के दो शोधकर्ताओं; कार्नेगी मेलन से एक; और दोनों संस्थानों का प्रतिनिधित्व करने वाले एक के बीच सहयोग है।
सीपीयू-आधारित मोबाइल एआई
हालांकि डायनामिक शिफ्टिंग और मल्टी-स्केल आर्किटेक्चर एक स्थापित और सक्रिय अध्ययन क्षेत्र है, अधिकांश पहल उच्च-अंत वाले गणना उपकरणों के सरणी पर केंद्रित रही हैं, और वर्तमान समय में प्रयास का केंद्र बिंदु स्थानीय (यानी, डिवाइस-आधारित) न्यूरल नेटवर्क के तीव्र अनुकूलन के बीच विभाजित है, आमतौर पर प्रशिक्षण के बजाय अनुमान के उद्देश्य से, और समर्पित मोबाइल हार्डवेयर में सुधार।
शोधकर्ताओं द्वारा किए गए परीक्षण सीपीयू चिप्स पर किए गए थे, न कि जीपीयू चिप्स पर। जीपीयू चिप्स पर बढ़ती रुचि के बावजूद मोबाइल मशीन लर्निंग अनुप्रयोगों में स्थानीय जीपीयू संसाधनों का लाभ उठाने के लिए (और यहां तक कि मोबाइल डिवाइस पर सीधे प्रशिक्षण, जो अंतिम मॉडल की गुणवत्ता में सुधार कर सकता है), जीपीयू आमतौर पर अधिक शक्ति खींचते हैं, जो सीमित संसाधनों वाले डिवाइस में स्वतंत्र (क्लाउड सेवाओं से) और उपयोगी होने के प्रयास में एआई के लिए एक महत्वपूर्ण कारक है।
वज़न साझा करने का परीक्षण
परियोजना के लिए परीक्षण किए गए नेटवर्क स्लिमेबल नेटवर्क और डायनाबेर्ट थे, जो क्रमशः एक कंप्यूटर विजन और एक एनएलपी-आधारित कार्य का प्रतिनिधित्व करते हैं।
हालांकि बेर्ट के संस्करण बनाने के लिए विभिन्न पहल हैं जो मोबाइल डिवाइस पर कुशलता से और आर्थिक रूप से चल सकते हैं, कुछ प्रयासों की आलोचना की गई है क्योंकि वे जटिल काम के चारों ओर हैं। शोधकर्ता नए पत्र के लेखक ध्यान दें कि बेर्ट का उपयोग मोबाइल स्थान में एक चुनौती है, और कि ‘बेर्ट मॉडल आमतौर पर मोबाइल फोन के लिए बहुत गणनात्मक रूप से तीव्र होते हैं। ‘
डायनाबेर्ट एक चीनी पहल है जो गूगल के शक्तिशाली एनएलपी/एनएलयू फ्रेमवर्क को संसाधन-वंचित वातावरण के संदर्भ में अनुकूलित करने के लिए है; लेकिन शोधकर्ताओं ने पाया कि यहां तक कि बेर्ट का यह कार्यान्वयन भी बहुत मांग वाला था।
फिर भी, स्मार्टफ़ोन और रास्पबेरी पीआई डिवाइस दोनों पर, लेखकों ने दो प्रयोग चलाए। सीवी प्रयोग में, एक ही छवि को रेसनेट 50 में एक वर्गीकरण कार्य के रूप में लगातार और पुनरावृत्ति किया गया था, और पूरे प्रयोग के रनटाइम के लिए स्थिर रूप से और थर्मल थ्रॉटलिंग को ट्रिगर किए बिना चलाया जा सकता था।
पेपर में कहा गया है:
‘हालांकि यह कुछ सटीकता को त्याग सकता है, प्रस्तावित डायनामिक शिफ्टिंग में तेज़ अनुमान गति है। सबसे महत्वपूर्ण बात, हमारे डायनामिक शिफ्टिंग दृष्टिकोण में एक सुसंगत अनुमान है।’
रेसनेट 50 को बिना सहायता प्राप्त और डायनामिक शिफ्टिंग के बीच स्लिमेबल रेसनेट 50 एक्स 1.0 और एक्स 0.25 संस्करण के बीच एक निरंतर छवि वर्गीकरण कार्य पर चलाना।
एनएलपी परीक्षणों के लिए, लेखकों ने प्रयोग को डायनाबेर्ट सूट में दो सबसे छोटे मॉडल के बीच स्विच करने के लिए सेट किया, लेकिन पाया कि 1.4एक्स विलंबता पर, बेर्ट 70° पर थ्रॉटल होता है। उन्होंने इसलिए डाउन-शिफ्ट को तब तक सेट किया जब तक कि ऑपरेटिंग तापमान 65° तक नहीं पहुंच जाता।
बेर्ट प्रयोग में स्थापना को ग्लू के ओएनएलआई डेटासेट से एक प्रश्न/उत्तर जोड़े पर निरंतर अनुमान चलाना शामिल था।
विलंबता और सटीकता के व्यापार-आधारित बेर्ट कार्य के लिए कंप्यूटर विजन कार्यान्वयन की तुलना में अधिक गंभीर थे:
शोधकर्ताओं के प्रयोगों के दो क्षेत्र कार्यों में विलंबता बनाम सटीकता।
लेखकों का निरीक्षण:
‘डायनामिक शिफ्टिंग आम तौर पर बेर्ट मॉडल को थर्मल थ्रॉटलिंग से रोक नहीं सकती है क्योंकि मॉडल की भारी गणनात्मक तीव्रता के कारण। हालांकि, कुछ सीमाओं के तहत, डायनामिक शिफ्टिंग मोबाइल फोन पर बेर्ट मॉडल तैनात करते समय अभी भी सहायक हो सकती है।’
लेखकों ने पाया कि बेर्ट मॉडल होनर वी30 फोन के सीपीयू तापमान को 80° तक 32 सेकंड से कम समय में बढ़ा देते हैं, और छह मिनट से कम समय में थर्मल थ्रॉटलिंग को ट्रिगर करते हैं। इसलिए, लेखकों ने केवल आधे चौड़ाई बेर्ट मॉडल का उपयोग किया।
प्रयोगों को रास्पबेरी पीआई सेटअप पर दोहराया गया, और तकनीक इस वातावरण में भी थर्मल थ्रॉटलिंग को ट्रिगर करने से रोकने में सक्षम थी। हालांकि, लेखकों का नोट है कि रास्पबेरी पीआई उसी चरम तापमान प्रतिबंधों के तहत संचालित नहीं होता है जैसा कि एक तंग-पैक स्मार्टफ़ोन है, और उन्होंने इस प्रयोगों के एक और प्रदर्शन के रूप में जोड़ा है।
पहली बार 23 जून 2022 को प्रकाशित।
