كيفية الحفاظ على برودة الهواتف الذكية عند تشغيل نماذج التعلم الآلي

اقترح باحثون من جامعة أوستن وكارنيجي ميلون طريقة جديدة لتشغيل نماذج التعلم الآلي المكلفة حسابيًا على الأجهزة المحمولة مثل الهواتف الذكية، وعلى الأجهزة الطرفية ذات الطاقة المنخفضة، دون إثارة الاختناق الحراري - آلية حماية مشتركة في الأجهزة الاحترافية والمستهلكين ، مصممة لخفض درجة حرارة الجهاز المضيف عن طريق إبطاء أدائه ، حتى يتم الحصول على درجات حرارة تشغيل مقبولة مرة أخرى.

يمكن أن يساعد النهج الجديد نماذج ML الأكثر تعقيدًا في تشغيل الاستدلال وأنواع أخرى مختلفة من المهام دون تهديد استقرار ، على سبيل المثال ، الهاتف الذكي المضيف.

الفكرة المركزية هي استخدام الشبكات الديناميكية، حيث الأوزان من نموذج يمكن الوصول إليه من خلال إصدار "الضغط المنخفض" و "الكثافة الكاملة" من نموذج التعلم الآلي المحلي.

في الحالات التي يجب أن يتسبب فيها تشغيل التثبيت المحلي لنموذج التعلم الآلي في ارتفاع درجة حرارة الجهاز بشكل كبير ، سيتحول النموذج ديناميكيًا إلى نموذج أقل تطلبًا حتى تستقر درجة الحرارة ، ثم يعود إلى الوضع الكامل إصدار.

تتألف مهام الاختبار من وظيفة تصنيف الصور ومهمة استدلال اللغة الطبيعية للإجابة على الأسئلة (QNLI) - كلا النوعين من العمليات التي من المحتمل أن تشرك تطبيقات الذكاء الاصطناعي المحمولة. المصدر: https://arxiv.org/pdf/2206.10849.pdf

أجرى الباحثون اختبارات إثبات المفهوم لرؤية الكمبيوتر ونماذج معالجة اللغات الطبيعية (NLP) على هاتف ذكي Honor V2019 Pro لعام 30 وجهاز Raspberry Pi 4B 4GB.

من النتائج (للهاتف الذكي) ، يمكننا أن نرى في الصورة أدناه درجة حرارة الجهاز المضيف ترتفع وتنخفض مع الاستخدام. تمثل الخطوط الحمراء نموذجًا يعمل بدون التحول الديناميكي.

على الرغم من أن النتائج قد تبدو متشابهة تمامًا ، إلا أنها ليست كذلك: ما يتسبب في تموج درجة الحرارة لـ أزرق الخطوط (أي باستخدام طريقة الورقة الجديدة) هي التبديل بين إصدارات النموذج الأبسط والأكثر تعقيدًا. لا يحدث اختناق حراري في أي وقت من الأوقات.

ما الذي يسبب ارتفاع وانخفاض درجة الحرارة في حالة أحمر الخطوط هي الاشتباك التلقائي للاختناق الحراري في الجهاز ، مما يؤدي إلى إبطاء تشغيل النموذج ويزيد من زمن وصوله.

فيما يتعلق بمدى قابلية استخدام النموذج ، يمكننا أن نرى في الصورة أدناه أن زمن الوصول للنموذج غير المُساعد يكون أعلى بشكل ملحوظ أثناء اختناقه حراريًا:

في الوقت نفسه ، لا تُظهر الصورة أعلاه أي اختلاف تقريبًا في زمن الانتقال للنموذج الذي تتم إدارته بواسطة Dynamic Shifting ، والذي يظل مستجيبًا طوال الوقت.

بالنسبة إلى المستخدم النهائي ، قد يعني وقت الاستجابة العالي زيادة وقت الانتظار ، مما قد يتسبب في التخلي عن مهمة وعدم الرضا عن التطبيق الذي يستضيفها.

في حالة أنظمة البرمجة اللغوية العصبية (بدلاً من رؤية الكمبيوتر) ، يمكن أن تكون أوقات الاستجابة العالية أكثر إثارة للقلق ، لأن المهام قد تعتمد على الاستجابة السريعة (مثل الترجمة التلقائية ، أو الأدوات المساعدة لمساعدة المستخدمين المعاقين).

بالنسبة للتطبيقات المهمة حقًا للوقت - مثل الواقع الافتراضي / الواقع المعزز في الوقت الفعلي - فإن وقت الاستجابة العالي سيقضي على الفائدة الأساسية للنموذج بشكل فعال.

يقول الباحثون:

نحن نجادل بأن الاختناق الحراري يشكل تهديدًا خطيرًا لتطبيقات ML المحمولة التي تعتبر حرجة في زمن الوصول. على سبيل المثال ، أثناء العرض المرئي في الوقت الفعلي لدفق الفيديو أو الألعاب ، سيكون للطفرة المفاجئة في زمن انتقال المعالجة لكل إطار تأثير سلبي كبير على تجربة المستخدم. أيضًا ، غالبًا ما توفر أنظمة تشغيل الأجهزة المحمولة الحديثة خدمات وتطبيقات خاصة للأفراد ضعاف البصر ، مثل VoiceOver على iOS و TalkBack على Android.

يتفاعل المستخدم عادةً مع الهواتف المحمولة من خلال الاعتماد كليًا على الكلام ، وبالتالي فإن جودة هذه الخدمات تعتمد بشكل كبير على استجابة التطبيق أو زمن انتقاله.

رسوم بيانية توضح أداء BERT w50 d50 بدون مساعدة (أحمر) ، ومساعدة من Dynamic Shifting (أزرق). لاحظ تساوي زمن الانتقال في التحويل الديناميكي (الأزرق).

• ورقة بعنوان Play It Cool: التحويل الديناميكي يمنع الاختناق الحراري، وهو عبارة عن تعاون بين باحثين من UoA ؛ واحد من كارنيجي ميلون ؛ وواحد يمثل كلا المؤسستين.

AI المحمول المعتمد على وحدة المعالجة المركزية (CPU)

على الرغم من أن التحول الديناميكي والبنى متعددة المقاييس تعتبر ملف راسخ ونشط مجال الدراسة ، ركزت معظم المبادرات على المصفوفات المتطورة للأجهزة الحسابية ، وموقع الجهد في الوقت الحالي مقسم بين التحسين المكثف للشبكات العصبية المحلية (أي القائمة على الجهاز) ، عادةً لأغراض الاستدلال بدلاً من التدريب وتحسين الأجهزة المحمولة المخصصة.

تم إجراء الاختبارات التي أجراها الباحثون على وحدة المعالجة المركزية بدلاً من شرائح وحدة معالجة الرسومات. بالرغم من اهتمام متزايد في الاستفادة من موارد GPU المحلية في تطبيقات التعلم الآلي المحمولة (وحتى التدريب مباشرة على الأجهزة المحمولة، التي يمكن أن تحسن الجودة النموذج النهائي) ، تستمد وحدات معالجة الرسومات عادةً مزيدًا من القوة ، وهو عامل حاسم في جهود الذكاء الاصطناعي لتكون مستقلة (عن الخدمات السحابية) ومفيدة في جهاز ذي موارد محدودة.

اختبار تقاسم الوزن

تم اختبار الشبكات للمشروع شبكات قابلة للتنحيف و دينابيرت، تمثل ، على التوالي ، رؤية الكمبيوتر ومهمة تعتمد على البرمجة اللغوية العصبية.

على الرغم من وجود العديد المبادرات لإجراء تكرارات BERT التي يمكن تشغيلها بكفاءة واقتصادية على الأجهزة المحمولة ، فإن بعض المحاولات لها تم انتقادها كحلول معقدة ، لاحظ الباحثون في الورقة الجديدة أن استخدام BERT في الفضاء المحمول يمثل تحديًا ، وأن "نماذج BERT بشكل عام مكثفة للغاية من الناحية الحسابية للهواتف المحمولة".

DynaBERT هي مبادرة صينية لتحسين قوة Google إطار عمل NLP / NLU في سياق بيئة تفتقر إلى الموارد ؛ ووجد الباحثون أنه حتى تطبيق BERT هذا كان صعبًا للغاية.

ومع ذلك ، أجرى المؤلفون تجربتين على الهاتف الذكي وجهاز Raspberry PI. في تجربة السيرة الذاتية ، تمت معالجة صورة واحدة تم اختيارها عشوائيًا بشكل مستمر ومتكرر في ريسنت 50 كمهمة تصنيف ، وتمكنت من العمل بثبات ودون الحاجة إلى الاختناق الحراري لمدة ساعة كاملة من وقت تشغيل التجربة.

تقول الورقة:

على الرغم من أنه قد يضحي ببعض الدقة ، فإن التحويل الديناميكي المقترح له سرعة استدلال أسرع. الأهم من ذلك ، يتمتع نهج التحول الديناميكي الخاص بنا باستدلال ثابت.

تشغيل ResNet50 بدون مساعدة وبتحويل ديناميكي بين Slimmable ResNet50 x1.0 وإصدار x0.25 في مهمة تصنيف صورة مستمرة ، لمدة ستين دقيقة.

بالنسبة لاختبارات البرمجة اللغوية العصبية ، عيّن المؤلفون التجربة للانتقال بين أصغر نموذجين في مجموعة DynaBERT ، لكنهم وجدوا أنه في زمن انتقال 1.4X ، يخنق BERT عند حوالي 70 درجة. لذلك ، قاموا بضبط التحول إلى الأسفل ليحدث عندما تصل درجة حرارة التشغيل إلى 65 درجة.

تضمنت تجربة BERT السماح للتثبيت بتشغيل الاستدلال بشكل مستمر على زوج سؤال / إجابة من مجموعة بيانات ONLI الخاصة بـ GLUE.

كانت مقايضات الكمون والدقة أكثر شدة مع مهمة BERT الطموحة مقارنة بتنفيذ رؤية الكمبيوتر ، وجاءت الدقة على حساب الحاجة الشديدة للتحكم في درجة حرارة الجهاز ، من أجل تجنب الاختناق:

الكمون مقابل الدقة لتجارب الباحثين عبر مهمتي القطاع.

يلاحظ المؤلفون:

لا يمكن أن يمنع التحول الديناميكي ، بشكل عام ، نماذج BERT من الاختناق الحراري بسبب الكثافة الحسابية الهائلة للنموذج. ومع ذلك ، في ظل بعض القيود ، يمكن أن يظل التحويل الديناميكي مفيدًا عند نشر نماذج BERT على الهواتف المحمولة.

وجد المؤلفون أن طرازات BERT تتسبب في ارتفاع درجة حرارة وحدة المعالجة المركزية لهاتف Honor V30 إلى 80 درجة في أقل من 32 ثانية ، وسوف تستدعي الاختناق الحراري في أقل من ست دقائق من النشاط. لذلك استخدم المؤلفون نماذج BERT نصف العرض فقط.

تم تكرار التجارب على إعداد Raspberry PI ، وكانت التقنية قادرة أيضًا في تلك البيئة على منع بدء الاختناق الحراري. ومع ذلك ، لاحظ المؤلفون أن Raspberry PI لا يعمل تحت نفس القيود الحرارية الشديدة مثل الهاتف الذكي المعبأ بإحكام ، ويبدو أنه أضاف هذه المجموعة من التجارب كدليل إضافي على فعالية الطريقة في بيئات المعالجة المتواضعة.

نُشر لأول مرة في 23 يونيو 2022.