स्मार्टफोन को मैशीन लर्निंग मॉडल चलाते समय ठंडा रखने के लिए कैसे रखें

ऑस्टिन विश्वविद्यालय और कार्नेगी मेलन के शोधकर्ताओं ने एक नए तरीके का प्रस्ताव दिया है जिससे मोबाइल डिवाइस जैसे स्मार्टफोन और कम शक्ति वाले एज डिवाइस पर कम्प्यूटेशनल रूप से महंगे मशीन लर्निंग मॉडल चलाए जा सकते हैं, बिना थर्मल थ्रॉटलिंग को ट्रिगर किए – एक सामान्य सुरक्षा तंत्र पेशेवर और उपभोक्ता डिवाइस में डिज़ाइन किया गया है, जो होस्ट डिवाइस के तापमान को कम करने के लिए इसके प्रदर्शन को धीमा कर देता है, जब तक कि स्वीकार्य ऑपरेटिंग तापमान फिर से प्राप्त नहीं हो जाता।

नई दृष्टिकोण से अधिक जटिल एमएल मॉडल को अनुमान और विभिन्न अन्य प्रकार के कार्यों को चलाने में मदद मिल सकती है, बिना होस्ट स्मार्टफोन की स्थिरता को खतरे में डाले।

मुख्य विचार डायनामिक नेटवर्क का उपयोग करना है, जहां एक मॉडल के वजन को एक ‘लो प्रेशर’ और ‘फुल इंटेंसिटी’ संस्करण दोनों द्वारा एक्सेस किया जा सकता है।

जब मॉडल के स्थानीय संस्करण का संचालन डिवाइस के तापमान को महत्वपूर्ण रूप से बढ़ाने का कारण बनता है, तो मॉडल डायनामिक रूप से एक कम मांग वाले मॉडल में स्विच हो जाता है जब तक कि तापमान स्थिर नहीं हो जाता, और फिर पूर्ण संस्करण में वापस स्विच हो जाता है।

परीक्षण कार्यों में एक छवि वर्गीकरण कार्य और एक प्रश्न-उत्तर प्राकृतिक भाषा अनुमान (QNLI) कार्य शामिल थे – दोनों मोबाइल एआई अनुप्रयोगों में शामिल होने की संभावना वाले ऑपरेशन के प्रकार। स्रोत: https://arxiv.org/pdf/2206.10849.pdf

शोधकर्ताओं ने कंप्यूटर विजन और नेचरल लैंग्वेज प्रोसेसिंग (एनएलपी) मॉडल के लिए 2019 होनर वी30 प्रो स्मार्टफोन और रास्पबेरी पाई 4बी 4जीबी पर प्रूफ-ऑफ-кон्सेप्ट परीक्षण किए।

परिणामों (स्मार्टफोन के लिए) से, हम देख सकते हैं कि छवि में होस्ट डिवाइस का तापमान उपयोग के साथ बढ़ और गिर रहा है। लाल रेखाएं एक मॉडल को बिना डायनामिक शिफ्टिंग के चलाने का प्रतिनिधित्व करती हैं।

हालांकि परिणाम काफी समान दिख सकते हैं, वे नहीं हैं: जो नीली रेखाओं (यानी, नए पत्र के तरीके का उपयोग करके) के लिए तापमान को उतार-चढ़ाव कर रहा है वह सरल और अधिक जटिल मॉडल संस्करणों के बीच स्विचिंग है। किसी भी समय थर्मल थ्रॉटलिंग कभी भी ट्रिगर नहीं किया जाता है।

जो लाल रेखाओं के मामले में तापमान को बढ़ा और गिरा रहा है वह डिवाइस में थर्मल थ्रॉटलिंग का स्वचालित रूप से शामिल होना है, जो मॉडल के प्रदर्शन को धीमा कर देता है और इसकी विलंबता को बढ़ा देता है।

मॉडल की उपयोगिता के संदर्भ में, हम देख सकते हैं कि नीचे दी गई छवि में अनएडेड मॉडल के लिए विलंबता काफी अधिक है जब यह थर्मल थ्रॉटलिंग के अधीन होता है:

उसी समय, ऊपर दी गई छवि में दिखाया गया है कि डायनामिक शिफ्टिंग द्वारा प्रबंधित मॉडल प्रतिक्रिया में कोई भी परिवर्तन नहीं दिखाता है, जो पूरे समय प्रतिक्रिया देता है।

अंतिम उपयोगकर्ता के लिए, उच्च विलंबता बढ़ी हुई प्रतीक्षा समय का कारण बन सकती है, जो कार्य को छोड़ने और होस्ट ऐप के साथ असंतुष्टता का कारण बन सकती है।

एनएलपी (कंप्यूटर विजन के बजाय) प्रणालियों में, उच्च प्रतिक्रिया समय और भी अधिक परेशान करने वाला हो सकता है, क्योंकि कार्य त्वरित प्रतिक्रिया (जैसे ऑटो-अनुवाद, या विकलांग उपयोगकर्ताओं की मदद के लिए उपयोगिताओं) पर निर्भर कर सकते हैं।

वास्तविक समय में वीआर/एआर जैसे वास्तविक समय अनुप्रयोगों के लिए, उच्च विलंबता मॉडल की मूल उपयोगिता को प्रभावित करेगी।

शोधकर्ता कहते हैं:

‘हम तर्क देते हैं कि थर्मल थ्रॉटलिंग मोबाइल एमएल अनुप्रयोगों के लिए एक गंभीर खतरा है जो विलंबता-संवेदनशील हैं। उदाहरण के लिए, वीडियो स्ट्रीमिंग या गेमिंग के लिए वास्तविक समय दृश्य रेंडरिंग के दौरान, प्रति फ्रेम प्रसंस्करण विलंबता में अचानक वृद्धि उपयोगकर्ता अनुभव पर महत्वपूर्ण नकारात्मक प्रभाव डालेगी। इसके अलावा, आधुनिक मोबाइल ऑपरेटिंग सिस्टम अक्सर दृष्टि से वंचित व्यक्तियों के लिए विशेष सेवाएं और अनुप्रयोग प्रदान करते हैं, जैसे कि आईओएस पर वॉयसओवर और एंड्रॉइड पर टॉकबैक। ‘

‘उपयोगकर्ता आमतौर पर मोबाइल फोन के साथ पूरी तरह से भाषण पर निर्भर करते हुए बातचीत करते हैं, इसलिए इन सेवाओं की गुणवत्ता अनुप्रयोग की प्रतिक्रिया या विलंबता पर बहुत अधिक निर्भर करती है।’

बेर्ट वी50 डी50 के प्रदर्शन को दर्शाने वाले ग्राफ, अनएडेड (लाल) और डायनामिक शिफ्टिंग (नीला) द्वारा सहायता प्राप्त। नोट डायनामिक शिफ्टिंग (नीला) में विलंबता की समानता।

पेपर पेपर का शीर्षक प्ले इट कूल: डायनामिक शिफ्टिंग थर्मल थ्रॉटलिंग को रोकता है है, और यह यूओए के दो शोधकर्ताओं, कार्नेगी मेलन से एक, और दोनों संस्थानों का प्रतिनिधित्व करने वाले एक के बीच सहयोग है।

सीपीयू-आधारित मोबाइल एआई

हालांकि डायनामिक शिफ्टिंग और मल्टी-स्केल आर्किटेक्चर एक स्थापित और सक्रिय अध्ययन क्षेत्र है, अधिकांश पहलों ने उच्च-अंत कंप्यूटेशनल डिवाइसों के सरणी पर ध्यान केंद्रित किया है, और वर्तमान में प्रयास का केंद्र बिंदु स्थानीय (यानी, डिवाइस-आधारित) न्यूरल नेटवर्क के तीव्र अनुकूलन के बीच विभाजित है, आमतौर पर अनुमान के उद्देश्यों के लिए, और समर्पित मोबाइल हार्डवेयर में सुधार।

शोधकर्ताओं द्वारा किए गए परीक्षण सीपीयू चिप्स पर किए गए थे, जीपीयू चिप्स के बजाय। जीपीयू संसाधनों का लोकल मोबाइल मशीन लर्निंग अनुप्रयोगों में लाभ उठाने में बढ़ती रुचि के बावजूद (और यहां तक कि मोबाइल डिवाइस पर सीधे प्रशिक्षण, जो अंतिम मॉडल की गुणवत्ता में सुधार कर सकता है), जीपीयू आमतौर पर अधिक शक्ति खींचते हैं, एक महत्वपूर्ण कारक है कि एआई को स्वतंत्र (क्लाउड सेवाओं से) और एक सीमित संसाधन वाले डिवाइस में उपयोगी होने का प्रयास किया जा रहा है।

वजन साझा करने का परीक्षण

परियोजना के लिए परीक्षण किए गए नेटवर्क स्लिमेबल नेटवर्क और डायनाबेर्ट थे, जो क्रमशः कंप्यूटर विजन और एनएलपी-आधारित कार्य का प्रतिनिधित्व करते हैं।

हालांकि बेर्ट को मोबाइल डिवाइस पर कुशलता से चलाने में सक्षम बनाने के लिए विभिन्न पहल हुई हैं, कुछ प्रयासों की आलोचना की गई है क्योंकि वे मोबाइल स्पेस में बेर्ट का उपयोग करना एक चुनौती है, और ‘बेर्ट मॉडल一般 रूप से मोबाइल फोन के लिए बहुत गणनात्मक रूप से महंगे हैं’।

डायनाबेर्ट एक चीनी पहल है जो गूगल के शक्तिशाली एनएलपी/एनएलयू फ्रेमवर्क को संसाधन-स्टार्व्ड वातावरण के संदर्भ में अनुकूलित करने का प्रयास करती है; लेकिन यहां तक कि इस बेर्ट के कार्यान्वयन को भी शोधकर्ताओं ने बहुत मांग वाला पाया।

फिर भी, स्मार्टफोन और रास्पबेरी पीआई डिवाइस दोनों पर, लेखकों ने दो प्रयोग किए। सीवी प्रयोग में, रेसनेट50 में एक ही छवि को वर्गीकरण कार्य के रूप में लगातार और दोहराव से संसाधित किया गया था, और पूरे प्रयोग के रनटाइम के लिए स्थिर रूप से और थर्मल थ्रॉटलिंग को ट्रिगर किए बिना चलने में सक्षम था।

पेपर कहता है:

‘हालांकि यह कुछ सटीकता को त्याग सकता है, प्रस्तावित डायनामिक शिफ्टिंग में अनुमान की गति तेज है। सबसे महत्वपूर्ण बात, हमारे डायनामिक शिफ्टिंग दृष्टिकोण में सुसंगत अनुमान है।’

रेसनेट50 को अनएडेड और डायनामिक शिफ्टिंग के बीच स्लिमेबल रेसनेट50 एक्स1.0 और एक्स0.25 संस्करण के बीच 60 मिनट की निरंतर छवि वर्गीकरण कार्य पर चलाना।

एनएलपी परीक्षणों के लिए, लेखकों ने प्रयोग को डायनाबेर्ट सूट में दो सबसे छोटे मॉडलों के बीच स्विच करने के लिए सेट किया, लेकिन पाया कि 1.4एक्स विलंबता पर, बेर्ट 70° पर थ्रॉटल होता है। उन्होंने इसलिए डाउन-शिफ्ट को तब तक होने दिया जब तक कि ऑपरेटिंग तापमान 65° तक नहीं पहुंच जाता।

बेर्ट प्रयोग में स्थापना को ग्लू के ओएनएलआई डेटासेट से एक प्रश्न-उत्तर जोड़ी पर निरंतर अनुमान चलाना शामिल था।

विलंबता और सटीकता के ट्रेड-ऑफ बेर्ट कार्य के लिए कंप्यूटर विजन कार्यान्वयन की तुलना में अधिक गंभीर थे, और सटीकता को नियंत्रित करने की आवश्यकता के खर्च पर आया, ताकि थ्रॉटलिंग से बचा जा सके:

शोधकर्ताओं के प्रयोगों में दो क्षेत्र कार्यों के लिए विलंबता बनाम सटीकता।

लेखकों का अवलोकन है:

‘डायनामिक शिफ्टिंग,一般 रूप से, बेर्ट मॉडल को थर्मल थ्रॉटलिंग से रोक नहीं सकती है क्योंकि मॉडल की भारी गणनात्मक तीव्रता के कारण। हालांकि, कुछ सीमाओं के तहत, डायनामिक शिफ्टिंग मोबाइल फोन पर बेर्ट मॉडल तैनात करते समय अभी भी सहायक हो सकती है।’

लेखकों ने पाया कि बेर्ट मॉडल होनर वी30 फोन के सीपीयू तापमान को 80° तक 32 सेकंड से कम समय में बढ़ाते हैं और छह मिनट से कम समय में थर्मल थ्रॉटलिंग को ट्रिगर करते हैं। इसलिए, लेखकों ने केवल आधी-चौड़ाई बेर्ट मॉडल का उपयोग किया।

प्रयोगों को रास्पबेरी पीआई सेटअप पर दोहराया गया, और तकनीक इस वातावरण में भी थर्मल थ्रॉटलिंग को ट्रिगर होने से रोकने में सक्षम थी। हालांकि, लेखकों का नोट है कि रास्पबेरी पीआई एक तंग-पैक स्मार्टफोन के समान चरम तापमान सीमाओं के तहत संचालित नहीं होता है, और उन्होंने इस प्रयोगों के समूह को मॉडेस्टली आउटफिटेड प्रोसेसिंग वातावरण में विधि की प्रभावशीलता के एक और प्रदर्शन के रूप में जोड़ा है।

पहली बार 23 जून 2022 को प्रकाशित।