تقنية تدريب جديدة تقرّب التعلم على الجهاز مدى الحياة

فريق من الباحثين في معهد ماساتشوستس للتكنولوجيا و معمل ماساتشوستس للتكنولوجيا – آي بي إم واطسون للذكاء الاصطناعي طور تقنية جديدة تمكن من التدريب على الجهاز باستخدام أقل من ربع ميغابايت من الذاكرة. هذا التطور هو إنجاز مثير للإعجاب لأن حلول التدريب الأخرى عادة تحتاج إلى أكثر من 500 ميغابايت من الذاكرة، وهو ما يتجاوز سعة معظم الميكروكونترولرز البالغة 256 كيلوبايت.

من خلال تدريب نموذج تعلم الآلة على جهاز حافة ذكي، يمكنه التكيف مع بيانات جديدة وتحقيق تنبؤات أفضل. ومع ذلك، فإن عملية التدريب عادة ما تتطلب الكثير من الذاكرة، لذلك غالبًا ما يتم إجراؤها على أجهزة كمبيوتر في مركز بيانات قبل نشر النموذج على الجهاز. هذه العملية أكثر تكلفة وتثير مخاوف بشأن الخصوصية مقارنة بالتقنية الجديدة التي طورها الفريق.

طور الباحثون الخوارزميات والإطار بطريقة تقلل من كمية الحسابات اللازمة لتدريب النموذج، مما يجعل العملية أسرع وأكثر كفاءة في الذاكرة. يمكن أن تساعد التقنية في تدريب نموذج تعلم الآلة على ميكروكونترولر في بضع دقائق فقط.

تساعد التقنية الجديدة أيضًا في حماية الخصوصية لأنها تحتفظ بالبيانات على الجهاز، وهو ما يهم عند التعامل مع بيانات حساسة. وفي الوقت نفسه، يحسن الإطار من دقة النموذج مقارنة بالمناهج الأخرى.

سونغ هان هو أستاذ مشارك في قسم الهندسة الكهربائية وعلوم الحاسوب (EECS)، وعضو في معمل ماساتشوستس للتكنولوجيا – آي بي إم واطسون للذكاء الاصطناعي، والمؤلف الأقدم للورقة البحثية.

“دراستنا تمكن أجهزة إنترنت الأشياء ليس فقط من إجراء الاستدلال، بل أيضًا من تحديث نماذج الذكاء الاصطناعي باستمرار باستخدام البيانات المجمعة حديثًا، مما يفتح الطريق لتعلم على الجهاز مدى الحياة”، قال هان. “إن استخدام الموارد المنخفضة يجعل التعلم العميق أكثر سهولة ويمكن أن يكون له تأثير أوسع، خاصة على أجهزة الحافة منخفضة استهلاك الطاقة”.

الورقة شملت المؤلفين الرئيسيين المشتركين وطلاب الدكتوراه في EECS جي لين و ليجينج زو، وباحثَي ما بعد الدكتوراه في معهد ماساتشوستس للتكنولوجيا وي-مينج تشين ووي-تشين وانج. كما شملت تشوانغ جان، عضو هيئة البحث الرئيسية في معمل ماساتشوستس للتكنولوجيا – آي بي إم واطسون للذكاء الاصطناعي.

جعل عملية التدريب أكثر كفاءة

لجعل عملية التدريب أكثر كفاءة وأقل استهلاكا للذاكرة، اعتمد الفريق على حلّين خوارزميين. الأولى تسمى التحديث المتناثر، وهي تستخدم خوارزمية تحدد الأوزان الأكثر أهمية لتحديثها خلال كل جولة من التدريب. تقوم الخوارزمية بتجميد الأوزان واحدة تلو الأخرى حتى تنخفض الدقة إلى عتبة معينة، وعند هذه النقطة تتوقف. ثم يتم تحديث الأوزان المتبقية ولا يلزم تخزين التنشيطات المقابلة للأوزان المجمدة في الذاكرة.

“تحديث النموذج بأكمله مكلف للغاية بسبب وجود الكثير من التنشيط، لذلك يعتاد الناس على تحديث الطبقة الأخيرة فقط، ولكن كما يمكنك أن تتخيل، هذا يضر بالدقة”، قال هان. “بالنسبة لطريقتنا، نقوم بتحديث الأوزان المهمة بشكل انتقائي ونضمن أن الدقة محفوظة بالكامل”.

الحل الثاني الذي طوره الفريق يتضمن التدريب المُكمَّم وتبسيط الأوزان. تقوم الخوارزمية أولاً بتقريب الأوزان إلى ثمانية بتات فقط من خلال عملية تكميم، مما يقلل أيضًا من كمية الذاكرة المطلوبة للتدريب والاستدلال، حيث يتم تعريف الاستدلال على أنه عملية تطبيق نموذج على مجموعة بيانات وتوليد تنبؤ. ثم تعتمد الخوارزمية على تقنية تسمى التحجيم الواعي بالتكميم (QAS)، والتي تعمل كعامل ضرب لضبط النسبة بين الوزن والتدرج. هذا يساعد على تجنب أي انخفاض في الدقة قد ينتج عن التدريب المُكمَّم.

طور الباحثون نظامًا يسمى محرك التدريب الصغير، والذي يقوم بتشغيل ابتكارات الخوارزمية على ميكروكونترولر بسيط بدون نظام تشغيل. لاستكمال المزيد من العمل في مرحلة الترجمة، قبل نشر النموذج على جهاز الحافة، يقوم النظام بتغيير ترتيب الخطوات في عملية التدريب.

“ننقل الكثير من الحسابات، مثل الاشتقاق التلقائي وتحسين الرسم البياني، إلى وقت الترجمة. كما نقوم بإزالة العمليات الزائدة بشكل مكثف لدعم التحديثات المتناثرة. بمجرد وصولنا إلى وقت التشغيل، يكون لدينا حمولة عمل أقل للقيام بها على الجهاز”، يقول هان.

تقنية عالية الكفاءة

في حين أن التقنيات التقليدية المصممة للتدريب الخفيف عادة ما تحتاج إلى حوالي 300 إلى 600 ميغابايت من الذاكرة، فإن تحسين الفريق احتاج فقط إلى 157 كيلوبايت لتدريب نموذج تعلم الآلة على ميكروكونترولر.

تم اختبار الإطار من خلال تدريب نموذج رؤية حاسوبية لاكتشاف الأشخاص في الصور، وتمكن النموذج من تعلم هذه المهمة في غضون 10 دقائق فقط. كانت الطريقة قادرة أيضًا على تدريب نموذج أكثر من 20 مرة أسرع من الطرق الأخرى.

سيبحث الباحثون الآن في تطبيق التقنيات على نماذج اللغة و أنواع مختلفة من البيانات. كما يرغبون في استخدام المعرفة المكتسبة لتقليل حجم النماذج الأكبر دون فقدان الدقة، مما قد يساعد أيضًا في تقليل بصمة الكربون لتدريب نماذج التعلم الآلي على نطاق كبير.