زاوية Anderson
تقييد الاحتياجات المتزايدة للطاقة في تعلم الآلة

النقاط الرئيسيةتحديد سقف استهلاك طاقة وحدات معالجة الرسوميات عند 150 واط يقلل استهلاك الطاقة بنسبة…
عرض المزيد
- تحديد سقف استهلاك طاقة وحدات معالجة الرسوميات عند 150 واط يقلل استهلاك الطاقة بنسبة 13.7% مقابل زيادة زمن التدريب بنسبة 6.8% فقط.
- يستهلك الاستدلال طاقة أكبر بكثير من التدريب، لذا فإن حدود الطاقة تعود بأكبر فائدة هناك.
- يمكن لجدولة التدريب المكثف في الشتاء وأثناء الليل أن تقلل انبعاثات الكربون بشكل كبير.
مع تزايد القلق بشأن متطلبات الطاقة لنماذج تعلم الآلة الكبيرة، بحثت دراسة حديثة من مختبر لينكولن التابع لمعهد ماساتشوستس للتكنولوجيا وجامعة نورث إيسترن مقدار الوفر الممكن تحقيقه بوضع حد لقدرة وحدات معالجة الرسومات المستخدمة في تدريب النماذج والاستدلال. وتناولت كذلك تقنيات وأساليب أخرى لتقليل استهلاك الذكاء الاصطناعي للطاقة.
وتدعو الدراسة إلى اختتام الأبحاث الجديدة في الذكاء الاصطناعي بـ«بيان للطاقة»، على غرار الاتجاه الحديث لإضافة بيانات عن الآثار الأخلاقية إلى أبحاث تعلم الآلة.
وتتمثل توصيتها الرئيسية في أن تحديد القدرة، أي تقييد القدرة الكهربائية المتاحة لوحدة معالجة الرسومات التي تدرّب النموذج، يحقق فوائد جديرة بالاهتمام في توفير الطاقة، ولا سيما في نمذجة اللغة المقنّعة (MLM) وأطر مثل BERT ومشتقاته.

ثلاث شبكات لنمذجة اللغة تعمل عند نسب مختلفة من إعداد القدرة الافتراضي البالغ 250 واط، والممثل بالخط الأسود. لا يؤدي تقييد استهلاك القدرة إلى خفض كفاءة التدريب أو دقته بنسبة واحد إلى واحد، ويوفر طاقة ملحوظة على نطاق واسع. المصدر: https://arxiv.org/pdf/2205.09646.pdf
وفي النماذج الأكبر حجمًا، التي استقطبت الاهتمام في السنوات الأخيرة بفضل مجموعات البيانات فائقة الضخامة والنماذج الجديدة ذات مليارات أو تريليونات المعلمات، يمكن تحقيق وفر مماثل من خلال الموازنة بين زمن التدريب واستهلاك الطاقة.

تدريب نماذج أقوى لمعالجة اللغة الطبيعية على نطاق واسع تحت قيود القدرة. يوضح الأزرق متوسط الزمن النسبي عند حد 150 واط، والبرتقالي متوسط استهلاك الطاقة النسبي عند الحد نفسه.
وفي هذه التطبيقات الأكبر حجمًا، وجد الباحثون أن تحديد القدرة عند 150 واط خفّض استهلاك الطاقة بمتوسط 13.7% مقارنة بالحد الأقصى الافتراضي البالغ 250 واط، مع زيادة صغيرة نسبيًا في زمن التدريب بلغت 6.8%.
ويشير الباحثون أيضًا إلى أنه رغم العناوين الإخبارية التي استقطبتها تكلفة تدريب النماذج في السنوات الأخيرة، فإن تكاليف الطاقة لاستخدام النماذج المدرّبة فعليًا أعلى بكثير من تكاليف التدريب.*
«في نمذجة اللغة باستخدام BERT، تكون مكاسب الطاقة الناتجة عن تحديد القدرة أكبر بوضوح أثناء الاستدلال منها أثناء التدريب. وإذا انطبق ذلك بصورة متسقة على تطبيقات الذكاء الاصطناعي الأخرى، فقد تكون له آثار مهمة على استهلاك الطاقة في منصات الحوسبة واسعة النطاق أو السحابية التي تقدم تطبيقات الاستدلال للبحث والصناعة».
كما تقترح الورقة، وربما في أكثر توصياتها إثارة للجدل، نقل مهام التدريب الكبيرة لنماذج تعلم الآلة إلى أشهر السنة الأبرد وإلى الليل لتقليل تكاليف التبريد.

أعلى: إحصاءات PUE لكل يوم من عام 2020 في مركز بيانات المؤلفين، مع قفزة واضحة وهضبة مرتفعة مستمرة في أشهر الصيف. أسفل: متوسط التغير الساعي في PUE للمكان نفسه على مدى أسبوع. يرتفع استهلاك الطاقة قرب منتصف النهار مع سعي أجهزة تبريد GPU الداخلية وتبريد بيئة مركز البيانات إلى الحفاظ على درجة حرارة مناسبة للتشغيل.
ويقول المؤلفون:
«من الواضح أن أعباء عمل معالجة اللغة الطبيعية الثقيلة تكون عادة أقل كفاءة بكثير في الصيف منها عند تنفيذها شتاءً. ونظرًا إلى التباين الموسمي الكبير، فإن جدولة التجارب المكلفة حسابيًا في الأشهر الأبرد، إن أمكن ذلك، قد تخفض البصمة الكربونية بدرجة كبيرة».
وتقر الورقة أيضًا بإمكانات توفير الطاقة الناشئة من تقليم بنية النموذج وسير العمل وتحسينهما، لكن المؤلفين يتركون مواصلة تطوير هذا المسار لمبادرات أخرى.
وأخيرًا، يقترح المؤلفون تشجيع الأبحاث العلمية الجديدة في تعلم الآلة، أو ربما إلزامها، بالاختتام ببيان يوضح استهلاك الطاقة في العمل البحثي المنفذ، والآثار المحتملة لاعتماد المبادرات المقترحة على استهلاك الطاقة.

تقدم الورقة مثالًا عمليًا بتوضيح الآثار المرتبطة بالطاقة في بحثها نفسه.
وتحمل الورقة عنوان قدرة كبيرة، مسؤولية كبيرة: توصيات لخفض الطاقة اللازمة لتدريب نماذج اللغة، وقد أعدها ستة باحثين من مختبر لينكولن وجامعة نورث إيسترن.
الطلب الوشيك والمتزايد على الطاقة في تعلم الآلة
مع ارتفاع المتطلبات الحسابية لنماذج تعلم الآلة بالتوازي مع فائدة نتائجها، تساوي الثقافة السائدة في المجال بين الإنفاق على الطاقة وتحسن الأداء. ويحدث ذلك رغم أن بعض الداعين البارزين، مثل أندرو نغ، يقترحون أن انتقاء البيانات وتنظيمها قد يكون عاملًا أهم.
وفي تعاون بحثي رئيسي لمعهد ماساتشوستس للتكنولوجيا عام 2020، قُدّر أن تحسين أداء النموذج عشرة أضعاف يستلزم زيادة المتطلبات الحسابية 10,000 ضعف، مع كمية مقابلة من الطاقة.
وبالتالي، زادت في السنوات الأخيرة الأبحاث المتعلقة بالتدريب الفعال لتعلم الآلة مع استهلاك قدرة أقل. ويقول المؤلفون إن الورقة الجديدة هي الأولى التي تتعمق في أثر حدود القدرة على التدريب والاستدلال، مع التركيز على أطر معالجة اللغة الطبيعية مثل سلسلة GPT.
ولأن جودة الاستدلال مسألة بالغة الأهمية، يوضح المؤلفون منذ البداية:
«لا تؤثر هذه الطريقة في تنبؤات النماذج المدرّبة، وبالتالي لا تؤثر في دقتها في المهام. أي إن شبكتين لهما البنية نفسها والقيم الابتدائية نفسها والبيانات المجمعة في دفعات نفسها، إذا دُرّبتا على العدد نفسه من الدفعات تحت حدود قدرة مختلفة، فستكون معلماتهما الناتجة متطابقة؛ وقد تختلف فقط الطاقة اللازمة لإنتاجها».
خفض القدرة المستخدمة لمعالجة اللغة الطبيعية
لتقييم أثر حدود القدرة على التدريب والاستدلال، استخدم المؤلفون أداة سطر الأوامر nvidia-smi، أي واجهة إدارة النظام، إلى جانب مكتبة لنمذجة اللغة المقنّعة من HuggingFace.
ودرّبوا نماذج معالجة اللغة الطبيعية BERT وDistilBERT وBig Bird باستخدام نمذجة اللغة المقنّعة، وراقبوا استهلاكها للطاقة أثناء التدريب والتشغيل.
ودُرّبت النماذج على مجموعة بيانات WikiText-103 من DeepAI لأربع دورات تدريبية، في دفعات من ثماني عينات، على 16 وحدة معالجة رسومات V100. واستُخدمت أربعة حدود قدرة: 100 واط و150 واط و200 واط و250 واط، والأخير هو الإعداد الافتراضي أو المرجعي لوحدة NVIDIA V100. واستخدمت النماذج معلمات تُدرَّب من الصفر وقيم تهيئة عشوائية لضمان إمكان المقارنة بين تقييمات التدريب.
وكما في الصورة الأولى أعلاه، تُظهر النتائج وفرًا جيدًا في الطاقة مقابل زيادات غير خطية ومواتية في زمن التدريب. ويقول المؤلفون:
«تشير تجاربنا إلى أن تطبيق حدود القدرة يمكن أن يقلل استخدام الطاقة بدرجة كبيرة مقابل زيادة زمن التدريب».
تخفيف أعباء معالجة اللغة الطبيعية الكبيرة
ثم طبق المؤلفون الطريقة نفسها على سيناريو أكثر تطلبًا: تدريب BERT باستخدام نمذجة اللغة المقنّعة في تكوينات موزعة عبر وحدات معالجة رسومات متعددة. وهذه حالة استخدام أكثر شيوعًا لنماذج معالجة اللغة الطبيعية التابعة لشركات FAANG، التي تتمتع بتمويل جيد وشهرة واسعة.
وكان الفرق الرئيسي أن النموذج قد يستخدم ما بين وحدتين و400 وحدة معالجة رسومات لكل عملية تدريب. وطُبقت حدود القدرة نفسها والمهمة نفسها، وهي WikiText-103. وتعرض الصورة الثانية أعلاه رسوم النتائج.
وتقول الورقة:
«عند حساب المتوسط لجميع خيارات التكوين، أدى حد 150 واط إلى انخفاض متوسطه 13.7% في استخدام الطاقة وزيادة 6.8% في زمن التدريب مقارنة بالحد الأقصى الافتراضي. أما إعداد 100 واط فله أزمنة تدريب أطول بكثير، بمتوسط زيادة 31.4%. ويعطي حد 200 واط زمن تدريب يكاد يماثل حد 250 واط، لكن وفر الطاقة أقل منه عند حد 150 واط».
ويقترح المؤلفون أن هذه النتائج تدعم تحديد القدرة عند 150 واط لبنى وحدات معالجة الرسومات والتطبيقات التي تعمل عليها. ويشيرون إلى أن الوفر ينتقل عبر منصات العتاد المختلفة، وقد أعادوا الاختبارات لمقارنة النتائج لوحدات NVIDIA (NVDA ) K80 وT4 وA100.

الوفر المحقق على ثلاث وحدات معالجة رسومات مختلفة من NVIDIA.
الاستدلال، وليس التدريب، يستهلك القدرة الأكبر
تستشهد الورقة بدراسات سابقة متعددة تبيّن أنه رغم العناوين الإخبارية، فإن الاستدلال، أي استخدام نموذج مكتمل مثل نموذج لمعالجة اللغة الطبيعية، وليس التدريب، هو ما يستهلك أكبر قدر من القدرة. وتشير إلى أن تحول النماذج الشائعة إلى منتجات تجارية وانتشارها قد يجعل استهلاك القدرة مشكلة أكبر مما هو عليه في هذه المرحلة المبكرة نسبيًا من تطور معالجة اللغة الطبيعية.
لذلك قاس الباحثون أثر الاستدلال على استخدام القدرة، ووجدوا أن فرض حدود لها يؤثر بوضوح في زمن الاستدلال:
«مقارنة بـ250 واط، احتاج إعداد 100 واط إلى نحو ضعف زمن الاستدلال، بزيادة 114%، واستهلك طاقة أقل بنسبة 11.0%. واحتاج 150 واط إلى وقت أطول بنسبة 22.7% ووفر 24.2% من الطاقة، بينما احتاج 200 واط إلى وقت أطول بنسبة 8.2% مع طاقة أقل بنسبة 12.0%».
التدريب في الشتاء
تقترح الورقة جدولة التدريب، لا الاستدلال لأسباب واضحة، في الأوقات التي يكون فيها مركز البيانات في أفضل كفاءة لاستخدام الطاقة وفق مؤشر PUE، أي شتاءً وليلًا.
«يمكن تحقيق وفر كبير في الطاقة إذا جُدولت أعباء العمل في الأوقات المتوقع فيها انخفاض قيمة PUE. فمثلًا، قد يوفر نقل مهمة قصيرة من النهار إلى الليل انخفاضًا يقارب 10%، وقد يوفر نقل مهمة أطول ومكلفة، كنموذج لغوي يستغرق أسابيع لإكماله، من الصيف إلى الشتاء انخفاضًا بنسبة 33%».
«رغم صعوبة توقع مقدار الوفر الذي قد يحققه باحث بعينه، فإن المعلومات المعروضة هنا تبرز أهمية العوامل البيئية التي تؤثر في إجمالي الطاقة المستهلكة في أعباء عمله».
الاستفادة من الحوسبة السحابية
وأخيرًا، تلاحظ الورقة أن موارد المعالجة المنشأة داخليًا يُستبعد أن تكون قد طبقت إجراءات الكفاءة نفسها التي تطبقها مراكز البيانات الكبرى وكبار مزودي الحوسبة السحابية. وقد تتحقق فوائد بيئية بنقل أعباء العمل إلى مواقع استثمرت بكثافة لتحقيق قيمة جيدة لمؤشر PUE.
«رغم راحة امتلاك موارد حوسبة خاصة يسهل الوصول إليها، فإن لهذه الراحة تكلفة. وعمومًا يسهل تحقيق وفر الطاقة والأثر المرتبط به على نطاق أكبر. وتستثمر مراكز البيانات ومزودو الحوسبة السحابية مبالغ كبيرة في كفاءة مرافقهم».
* روابط ذات صلة أوردتها الورقة.












