تقييد الاحتياجات المتزايدة للطاقة في تعلم الآلة

في ضوء تزايد القلق بشأن متطلبات الطاقة للنماذج الكبيرة من تعلم الآلة، قامت دراسة حديثة من معهد ماساتشوستس للتكنولوجيا ومختبر لينكولن و جامعة نورث إيسترن بدراسة المدخرات التي يمكن تحقيقها من خلال تقييد الطاقة لوحدات معالجة الرسومات المستخدمة في تدريب النماذج و الاستدلال، بالإضافة إلى تقنيات و طرق أخرى لتقليل استهلاك الطاقة في الذكاء الاصطناعي.

كما تدعو الدراسة الجديدة إلى إضافة بيان حول استهلاك الطاقة في الأبحاث الجديدة في مجال تعلم الآلة، مشابهة للاتجاه الحديث في إضافة بيانات حول الآثار الأخلاقية في الأبحاث.

الاقتراح الرئيسي في الدراسة هو أن تقييد الطاقة يوفر فوائد في توفير الطاقة، خاصة في نماذج اللغة مثل BERT و تطبيقاتها.

ثلاثة شبكات نمذجة اللغة تعمل بنسبة من الإعدادات الافتراضية 250 واط (الخط الأسود)، من حيث استهلاك الطاقة. تقييد استهلاك الطاقة لا يقيّد كفاءة التدريب أو الدقة على أساس 1-1، ويوفر توفيرات في الطاقة ملحوظة على نطاق واسع. مصدر: https://arxiv.org/pdf/2205.09646.pdf

لنماذج أكبر، التي لفتت الانتباه في السنوات الأخيرة بسبب مجموعات البيانات الضخمة والنمذجة الجديدة التي تحتوي على مليارات أو تريليونات المعاملات، يمكن الحصول على مدخرات مماثلة من خلال التوفيق بين وقت التدريب و استهلاك الطاقة.

تدريب نماذج اللغة الأكثر قوة على نطاق واسع تحت قيود الطاقة. يظهر متوسط الوقت النسبي تحت حد 150 واط باللون الأزرق، ومتوسط استهلاك الطاقة النسبي ل 150 واط باللون البرتقالي.

للتطبيقات على نطاق أكبر، وجد الباحثون أن تقييد استهلاك الطاقة عند 150 واط يؤدي إلى توفير متوسط 13.7% في استهلاك الطاقة مقارنة بالحد الأقصى الافتراضي 250 واط، بالإضافة إلى زيادة نسبتها 6.8% في وقت التدريب.

كما يشير الباحثون إلى أن التكاليف الفعلية لاستخدام النماذج المتدربة أعلى بكثير من تكاليف التدريب نفسها، خاصة مع نمو استخدام نماذج اللغة في التطبيقات العملية.

‘من خلال تقييد الطاقة، يمكن تحقيق توفيرات ملحوظة في استهلاك الطاقة، خاصة عند استخدام نماذج اللغة مثل BERT. إذا كانت هذه النتائج متسقة مع تطبيقات الذكاء الاصطناعي الأخرى، فقد يكون لهذا تأثير كبير على استهلاك الطاقة في التطبيقات على نطاق واسع.’

كما يُقترح في الدراسة أن يتم نقل التدريب الكبير لنماذج تعلم الآلة إلى الأشهر الباردة من السنة، و إلى الليل، لتحقيق توفيرات في تكاليف التبريد.

إحصائيات كفاءة استخدام الطاقة في مركز البيانات، مع ارتفاع ملحوظ في الاستهلاك خلال الأشهر الصيفية. أسفل، التباين الساعي المتوسط في استهلاك الطاقة لنفس الموقع خلال الأسبوع، مع زيادة استهلاك الطاقة نحو منتصف النهار.

‘من الواضح أن حمولات اللغة الطبيعية الكبيرة تكون أقل كفاءة في الصيف مقارنة بالفترات الأخرى. إذا كانت هناك تجارب مكلفة يمكن جدولتها في الأشهر الباردة، يمكن أن يؤدي ذلك إلى تقليل بصمة الكربون.’

تُشير الدراسة أيضًا إلى إمكانيات التوفير في الطاقة من خلال تحسين هيكل النموذج و سير العمل، على الرغم من أن المؤلفين يتركون تطوير هذا الجانب لمبادرات أخرى.

أخيرًا، يُقترح المؤلفون أن يتم تشجيع الأبحاث الجديدة في مجال تعلم الآلة على إضافة بيان يعلن عن استهلاك الطاقة في البحث و الآثار المحتملة لاستخدام المبادرات المقترحة.

الورقة، التي تتبع مثالها، توضح الآثار الطاقوية لأبحاثها.

الورقة، التي تحمل عنوان القوة العظيمة، المسؤولية العظيمة: توصيات لتقليل الطاقة لتدريب نماذج اللغة، تأتي من ستة باحثين من معهد ماساتشوستس للتكنولوجيا و جامعة نورث إيسترن.

الطاقة المتزايدة لتعلم الآلة

随着 زيادة متطلبات الحوسبة لنماذج تعلم الآلة، يرتبط ذلك بزيادة في استهلاك الطاقة، على الرغم من بعض الدعوات للاهتمام بجانب آخر هو جودة البيانات.

في أحد الأبحاث الرئيسية من معهد ماساتشوستس للتكنولوجيا في عام 2020، تم تقدير أن تحسين أداء النموذج بعشر مرات يحتاج إلى زيادة في متطلبات الحوسبة بنسبة 10 آلاف مرة، مع زيادة tương ứng في استهلاك الطاقة.

نتيجة لذلك، زادت الأبحاث حول طرق تدريب تعلم الآلة الأقل استهلاكا للطاقة خلال السنوات القليلة الماضية. تقول الدراسة الجديدة إنها أول دراسة تتناول تأثير تقييد الطاقة على تدريب و استدلال نماذج تعلم الآلة، مع التركيز على إطارات اللغة الطبيعية.

تقليل استهلاك الطاقة لنماذج اللغة الطبيعية

للتحقق من تأثير تقييد الطاقة على تدريب و استدلال نماذج اللغة، استخدم الباحثون أداة إدارة النظام من نيفيديا، إلى جانب مكتبة لتعلم اللغة الطبيعية من هوجينغ فايس.

تم تدريب نماذج اللغة الطبيعية مثل BERT و DistilBERT و Big Bird على مجموعة بيانات WikiText-103 لمدة 4 دورات بatches من 8، على 16 وحدة معالجة رسومات V100، مع أربعة حدود طاقة مختلفة: 100 واط، 150 واط، 200 واط، و 250 واط (الحد الأقصى الافتراضي لوحدة معالجة رسومات نيفيديا V100).

أظهرت النتائج توفيرات جيدة في استهلاك الطاقة مع زيادات غير خطية في وقت التدريب. يقول الباحثون:

‘تجاربنا تشير إلى أن تطبيق تقييد الطاقة يمكن أن يقلل بشكل كبير من استهلاك الطاقة مع زيادة في وقت التدريب.’

تقليل حجم نماذج اللغة الطبيعية الكبيرة

ثم طبق الباحثون نفس الطريقة على سيناريو أكثر تحديا: تدريب BERT على تطبيقات اللغة الطبيعية على تكوينات موزعة عبر عدة وحدات معالجة رسومات – وهو سيناريو أكثر شيوعا لنماذج اللغة الطبيعية الكبيرة.

الفرق الرئيسي في هذا التجربة كان أن النموذج قد يستخدم بين 2 إلى 400 وحدة معالجة رسومات لكل عملية تدريب. تم تطبيق نفس قيود استهلاك الطاقة، وتم استخدام نفس المهمة (WikiText-103). انظر الصورة الثانية أعلاه لمخططات النتائج.

تقول الورقة:

‘متوسط التوفير في استهلاك الطاقة عند حد 150 واط كان 13.7%، مع زيادة 6.8% في وقت التدريب مقارنة بالحد الأقصى الافتراضي. إعداد 100 واط يؤدي إلى أوقات تدريب أطول (31.4% أطول في المتوسط). حد 200 واط يتوافق مع نفس وقت التدريب تقريبا مثل 250 واط، ولكن مع توفيرات طاقة أقل من حد 150 واط.’

يقترح الباحثون أن هذه النتائج تدعم تقييد الطاقة عند 150 واط لأنظمة وحدات معالجة رسومات و التطبيقات التي تعمل عليها. كما لاحظوا أن التوفيرات في استهلاك الطاقة تم الحصول عليها عبر منصات أجهزة مختلفة، وقاموا بتشغيل الاختبارات مرة أخرى لمقارنة النتائج على وحدات معالجة رسومات نيفيديا K80 و T4 و A100.

التوفيرات المحققة عبر ثلاث وحدات معالجة رسومات نيفيديا مختلفة.

الاستدلال، لا التدريب، يستهلك الطاقة

تُشير الورقة إلى دراسات سابقة تُظهر أن الاستدلال (استخدام نموذج مدرب)، وليس التدريب، هو الذي يستهلك أكبر قدر من الطاقة، مما قد يؤدي إلى زيادة في استهلاك الطاقة مع نمو استخدام نماذج اللغة في التطبيقات العملية.

لذلك، قاس الباحثون تأثير الاستدلال على استهلاك الطاقة، ووجدوا أن تطبيق تقييد الطاقة له تأثير ملحوظ على زمن الاستدلال:

‘مقارنةً ب 250 واط، إعداد 100 واط يتطلب ضعف الوقت (زيادة 114%) و يستهلك 11.0% أقل طاقة، و إعداد 150 واط يتطلب 22.7% أكثر وقت و يوفّر 24.2% من الطاقة، و إعداد 200 واط يتطلب 8.2% أكثر وقت مع 12.0% أقل طاقة.’

التدريب الشتوي

تُقترح الورقة أن التدريب (وليس الاستدلال، لأسباب واضحة) يمكن جدولته في الأوقات التي يكون فيها مركز البيانات عند أعلى كفاءة استخدام الطاقة – أي في الشتاء، و في الليل، لتحقيق توفيرات في تكاليف التبريد.

‘يمكن تحقيق توفيرات كبيرة في الطاقة إذا تم جدولة الحمولات في الأوقات التي من المتوقع أن تكون فيها كفاءة استخدام الطاقة أقل. على سبيل المثال، نقل مهمة قصيرة الأجل من النهار إلى الليل قد يوفر توفيرًا بنسبة 10%، و نقل مهمة طويلة و مكلفة (مثل نموذج اللغة الذي يستغرق أسابيع للانتهاء) من الصيف إلى الشتاء قد يؤدي إلى توفير بنسبة 33%.’

‘على الرغم من صعوبة التنبؤ بالتوفيرات التي سيتحققها باحث فردي، فإن المعلومات المقدمة هنا تسلط الضوء على أهمية العوامل البيئية التي تؤثر على استهلاك الطاقة الإجمالي للحمولات.’

احتفظ بالسحابية

أخيرًا، تلاحظ الورقة أن الموارد الحسابية الداخلية غير محتملة أن تكون قد طبقت نفس الإجراءات الكفيلة بالكفاءة مثل المراكز الرئيسية و مزودي الحوسبة السحابية، و أن المنافع البيئية يمكن أن تتحقق من خلال نقل الحمولات إلى مواقع استثمارت بشكل كبير في كفاءة المرافق.

‘هناك راحة في وجود موارد حسابية خاصة يمكن الوصول إليها، لكن هذه الراحة تأتي بتكلفة. بشكل عام، التوفيرات في الطاقة و التأثير أكثر سهولة في الحصول عليها على نطاق أكبر. المراكز و مزودو الحوسبة السحابية يستثمرون بشكل كبير في كفاءة مرافقهم.’