تعلم على الجهاز مدى الحياة أقرب مع تقنية تدريب جديدة

فريق من الباحثين في معهد ماساتشوستس للتكنولوجيا و معمل ماساتشوستس للتكنولوجيا – آي بي إم واطسون للذكاء الاصطناعي طور تقنية جديدة تمكن من التدريب على الجهاز باستخدام أقل من ربع ميغابايت من الذاكرة. هذا التطور هو إنجاز مثير للإعجاب لأن حلول التدريب الأخرى عادة تحتاج إلى أكثر من 500 ميغابايت من الذاكرة، وهو ما يتجاوز سعة معظم الميكروكونترولرز البالغة 256 كيلوبايت.

من خلال تدريب نموذج تعلم الآلة على جهاز حافة ذكي، يمكنه التكيف مع بيانات جديدة وتحقيق تنبؤات أفضل. ومع ذلك، فإن عملية التدريب عادة ما تتطلب الكثير من الذاكرة، لذلك غالبًا ما يتم إجراؤها على أجهزة كمبيوتر في مركز بيانات قبل نشر النموذج على الجهاز. هذا العملية أكثر تكلفة وتثير مخاوف بشأن الخصوصية مقارنة بالتقنية الجديدة التي طورها الفريق.

طور الباحثون الخوارزميات والإطار بطريقة تقلل من كمية الحسابات اللازمة لتدريب النموذج، مما يجعل العملية أسرع وأكثر كفاءة في الذاكرة. يمكن أن تساعد التقنية في تدريب نموذج تعلم الآلة على ميكروكونترولر في بضع دقائق فقط.

تساعد التقنية الجديدة أيضًا على الخصوصية لأنها تحتفظ بالبيانات على الجهاز، وهو ما يهم عند التعامل مع بيانات حساسة. وفي الوقت نفسه، يحسن الإطار من دقة النموذج مقارنة بالمناهج الأخرى.

سونغ هان هو أستاذ مساعد في قسم الهندسة الكهربائية وعلوم الحاسوب (EECS)، وعضو في معمل ماساتشوستس للتكنولوجيا – آي بي إم واطسون للذكاء الاصطناعي، والمؤلف الرئيسي للورقة البحثية.

“دراستنا تمكن أجهزة إنترنت الأشياء من أداء الاستدلال وليس فقط تحديث نماذج الذكاء الاصطناعي على البيانات التي تم جمعها حديثًا، مما يفتح الطريق لتعلم على الجهاز مدى الحياة”، قال هان. “إن استخدام الموارد المنخفضة يجعل التعلم العميق أكثر سهولة ويمكن أن يكون له تأثير أوسع، خاصة على أجهزة الحافة منخفضة القوة”.

الورقةشملت المؤلفين الرئيسيين المشتركين وطلاب الدكتوراه في EECS جي لين و ليجينج زو، وزمالة ما بعد الدكتوراه في معهد ماساتشوستس للتكنولوجيا وي-مينج تشين ووي-تشين وانج. كما شملت تشوانغ جان، عضو هيئة البحث الرئيسية في معمل ماساتشوستس للتكنولوجيا – آي بي إم واطسون للذكاء الاصطناعي.

جعل عملية التدريب أكثر كفاءة

为了 جعل عملية التدريب أكثر كفاءة وأقل استهلاكا للذاكرة، اعتمد الفريق على حلول خوارزمية. الأولى تسمى تحديث نادر، وهي تستخدم خوارزمية تحدد الأوزان الأكثر أهمية لتحديثها خلال كل جولة من التدريب. تقوم الخوارزمية بتجميد الأوزان واحدة تلو الأخرى حتى ينخفض الدقة إلى عتبة معينة، عند هذه النقطة يتوقف. ثم يتم تحديث الأوزان المتبقية ولا يلزم تخزين التنشيطات المقابلة للأوزان المجمدة في الذاكرة.

“تحديث النموذج بأكمله مكلف للغاية بسبب وجود الكثير من التنشيط، لذلك يعتاد الناس على تحديث الطبقة الأخيرة فقط، ولكن كما يمكنك أن تتخيل، هذا يضر بالدقة”، قال هان. “بالنسبة لطريقةنا، نقوم بتحديث الأوزان المهمة بشكل انتقائي ونضمن أن الدقة محفوظة بالكامل”.

الحل الثاني الذي طوره الفريق يتضمن تدريب كمومي وبسيط الأوزان. تقوم الخوارزمية أولاً بتقريب الأوزان إلى ثمانية بتات فقط من خلال عملية كمومة، مما يقلل أيضًا من كمية الذاكرة المطلوبة للتدريب والاستدلال، حيث يتم تعريف الاستدلال على أنه عملية تطبيق نموذج على مجموعة بيانات وتوليد تنبؤ. ثم تعتمد الخوارزمية على تقنية تسمى كمومة دقيقة للتسجيل (QAS)، والتي تعمل كعامل لت điều chỉnh النسبة بين الوزن والتدرج. هذا يساعد على تجنب أي انخفاض في الدقة قد ينتج عن التدريب الكمومي.

طور الباحثون نظامًا يسمى محرك التدريب الصغير، والذي يقوم بتشغيل ابتكارات الخوارزمية على ميكروكونترولر بسيط بدون نظام تشغيل. لاستكمال المزيد من العمل في مرحلة الترجمة، قبل نشر النموذج على جهاز الحافة، يقوم النظام بتغيير ترتيب الخطوات في عملية التدريب.

“نقوم بضغط الكثير من الحسابات، مثل التمايز التلقائي وتحسين الرسم البياني، إلى وقت الترجمة. كما نقوم بتقليم المشغلين الزائدين بشكل جيد لدعم التحديثات النادرة. بمجرد وصولنا إلى وقت التشغيل، يكون لدينا حمولة عمل أقل للقيام بها على الجهاز”، يقول هان.

تقنية عالية الكفاءة

في حين أن التقنيات التقليدية المصممة للتدريب الخفيف عادة ما تحتاج إلى حوالي 300 إلى 600 ميغابايت من الذاكرة، فإن تحسين الفريق احتاج فقط إلى 157 كيلوبايت لتدريب نموذج تعلم الآلة على ميكروكونترولر.

تم اختبار الإطار من خلال تدريب نموذج رؤية حاسوبية لاكتشاف الأشخاص في الصور، وتمكنت من تعلم هذه المهمة في غضون 10 دقائق فقط. كانت الطريقة قادرة أيضًا على تدريب نموذج أكثر من 20 مرة أسرع من الطرق الأخرى.

سيبحث الباحثون الآن في تطبيق التقنيات على نماذج اللغة و أنواع مختلفة من البيانات. كما يرغبون في استخدام المعرفة المكتسبة لتقليل حجم النماذج الأكبر دون فقدان الدقة، مما قد يساعد أيضًا في تقليل بصمة الكربون لتدريب نماذج التعلم الآلي على نطاق كبير.