جوجل تجعل تدريب الذكاء الاصطناعي أسرع بنسبة 28٪ باستخدام نماذج SLM كأساتذة

تدريب نماذج اللغة الكبيرة (LLMs) أصبح خارج متناول معظم المنظمات. مع تكاليف تتراوح في الملايين ومتطلبات حوسبة ستجعل جهاز كمبيوتر فائق التطور يعرق، ظل تطوير الذكاء الاصطناعي محبوسًا خلف أبواب العمالقة التكنولوجية. لكن جوجل قامت بقلب هذه القصة رأسًا على عقب بمقاربة بسيطة لدرجة أنك تتساءل لماذا لم يفكر أحد في ذلك من قبل: استخدام نماذج الذكاء الاصطناعي الصغيرة كأساتذة.

كيف يعمل SALT: نهج جديد لتدريب نماذج الذكاء الاصطناعي

في ورقة بحثية حديثة بعنوان “مساعدة صغيرة تذهب بعيدًا: تدريب LLM فعال عن طريق الاستفادة من نماذج LLM الصغيرة،” قدمت جوجل البحث وديب مايند SALT (تدريب نموذج كبير بمساعدة نموذج صغير). هذا هو النهج المبتكر الذي ي挑ل نهجنا التقليدي لتدريب LLMs.

لماذا هذا البحث مهم؟ حاليًا، تدريب نماذج الذكاء الاصطناعي الكبيرة مثل محاولة تعليم شخص كل ما يحتاج إلى معرفته حول موضوع في وقت واحد – فهو غير فعال وغالي الثمن وأحيانًا مقيد بالمنظمات التي لديها موارد حوسبة ضخمة. SALT يتبع مسارًا مختلفًا، ويقدم عملية تدريب من مرحلتين هي مبتكرة وعملية.

كيف يعمل SALT بشكل حقيقي:

المرحلة 1: استخلاص المعرفة

• يعمل نموذج اللغة الصغير (SLM) كأستاذ، حيث يشارك فهمه مع النموذج الأكبر
• يركز النموذج الصغير على نقل “المعرفة المكتسبة” من خلال ما يسميه الباحثون “العلامات الناعمة”
• افكر فيه مثل مساعد تدريس يتعامل مع المفاهيم الأساسية قبل أن يتحرك الطالب إلى مواضيع متقدمة
• تكون هذه المرحلة فعالة بشكل خاص في “مناطق سهلة” من التعلم – المناطق التي يكون فيها النموذج الصغير ثقة تنبؤية قوية

المرحلة 2: التعلم الذاتي الإشرافي

• يتransition النموذج الكبير إلى التعلم المستقل
• يركز على إتقان أنماط معقدة ومهام صعبة
• هذا هو المكان الذي يطور فيه النموذج قدرات تتجاوز ما يمكن أن يقدمه “أستاذه” الصغير
• تستخدم الانتقال بين المراحل استراتيجيات معدة بعناية، بما في ذلك الانخفاض الخطي والانخفاض الخطي للوزن الخسارة

في مصطلحات غير تقنية، تخيل أن النموذج الصغير مثل معلم مساعد يوجه النموذج الأكبر في مراحل التدريب الأولى. يقدم هذا المعلم معلومات إضافية مع إجاباته، مما يشير إلى مدى ثقته في كل إجابة. تساعد هذه المعلومات الإضافية، المعروفة باسم “العلامات الناعمة”، النموذج الأكبر على التعلم بشكل أسرع وأكثر فعالية.

• الانخفاض الخطي: إنه مثل خفض صوت صوت المعلم ببطء. يصبح توجيه المعلم أقل وضوحًا مع كل خطوة، مما يسمح للنموذج الأكبر بالتركيز أكثر على التعلم من البيانات الخام نفسها.
• الانخفاض الخطي للنسبة: هذا مثل تعديل التوازن بين نصيحة المعلم والمهمة الفعلية. مع تقدم التدريب، ينتقل التركيز أكثر نحو المهمة الأصلية، بينما يصبح مدخلات المعلم أقل سيطرة.

النتائج ممتازة. عندما قام باحثو جوجل بتحديد SALT باستخدام نموذج SLM يحتوي على 1.5 مليار معامل لتدريب نموذج LLM يحتوي على 2.8 مليار معامل على مجموعة البيانات Pile، رأوا:

• خفض بنسبة 28٪ في وقت التدريب مقارنة بالطرق التقليدية
• تحسينات كبيرة في الأداء بعد التعديل الدقيق:
  • دقة حل المشكلات الرياضية قفزت إلى 34.87٪ (مقارنة بـ 31.84٪ البaseline)
  • القراءة الفهمية达到了 67٪ دقة (أعلى من 63.7٪)

لكن ما يجعل SALT حقًا مبتكرًا هو الإطار النظري. اكتشف الباحثون أن حتى نموذج “أضعف” يمكن أن يعزز أداء الطالب من خلال تحقيق ما يسمونه “اتجاه مفضل لتبادل الانحياز والتباين”. في مصطلحات أبسط، يساعد النموذج الصغير النموذج الأكبر على التعلم الأنماط الأساسية بشكل أكثر كفاءة، مما يخلق أساسًا أقوى للتعلم المتقدم.

لماذا قد يغير SALT ساحة تطوير الذكاء الاصطناعي

تذكر عندما قامت الحوسبة السحابية بتحويل من يمكنه بدء شركة تكنولوجية؟ قد يفعل SALT الشيء نفسه لتطوير الذكاء الاصطناعي.

لقد كنت أتابع ابتكارات تدريب الذكاء الاصطناعي لسنوات، ومعظم الاختراقات كانت تخدم بشكل رئيسي العمالقة التكنولوجية. لكن SALT مختلف.

هذا ما قد يعنيه لمستقبل:

لمنظمات ذات الموارد المحدودة:

• قد لا تحتاج بعد ذلك إلى بنية تحتية حوسبية ضخمة لتطوير نماذج ذكاء اصطناعي قادرة
• يمكن لمعاملات البحث الصغيرة والشركات تطوير نماذج مخصصة
• الانخفاض بنسبة 28٪ في وقت التدريب يترجم مباشرة إلى تكاليف حوسبية أقل
• أكثر من ذلك، يمكنك البدء بموارد حوسبية متواضعة ولا تزال تحقق نتائج محترفة

لمناظير تطوير الذكاء الاصطناعي:

• يمكن أن يدخل المزيد من اللاعبين السوق، مما يؤدي إلى حلول ذكاء اصطناعي أكثر تنوعًا وتخصصًا
• يمكن للجامعات ومؤسسات البحث تشغيل المزيد من التجارب باستخدام الموارد الحالية
• يقلل الحاجز أمام دخول البحث في الذكاء الاصطناعي بشكل كبير
• نحن قد نشهد تطبيقات جديدة في مجالات لم تكن قادرة على تحمل تكاليف تطوير الذكاء الاصطناعي من قبل

ما يعنيه هذا لمستقبل

من خلال استخدام نماذج صغيرة كأساتذة، لا نجعل فقط تدريب الذكاء الاصطناعي أكثر كفاءة – نحن نغير أيضًا من المشاركين في تطوير الذكاء الاصطناعي. التأثيرات تمتد إلى ما هو أبعد من التحسينات الفنية.

النقاط الرئيسية التي يجب وضعها في الاعتبار:

• الانخفاض بنسبة 28٪ في وقت التدريب هو الفرق بين بدء مشروع ذكاء اصطناعي واعتباره خارج متناول
• تحسينات الأداء (34.87٪ في الرياضيات، 67٪ في مهام القراءة) تظهر أن سهولة الوصول لا تعني بالضرورة التضحية بالجودة
• يؤكد نهج SALT على أن الحلول الأفضل أحيانًا تأتي من إعادة التفكير في الأساسيات بدلاً من إضافة المزيد من القوة الحوسبية

ما يجب مراقبته:

1. احرص على متابعة المنظمات الصغيرة التي تطور نماذج ذكاء اصطناعي مخصصة
2. انظر إلى التطبيقات الجديدة في المجالات التي لم تكن قادرة على تحمل تكاليف تطوير الذكاء الاصطناعي من قبل
3. ابحث عن الابتكارات في كيفية استخدام نماذج صغيرة لمهام متخصصة

تذكر: القيمة الحقيقية لـ SALT تكمن في كيفية تغييره لمشاركين في ابتكار الذكاء الاصطناعي. سواء كنت تقود معمل بحث أو تدير فريق تكنولوجي أو مجرد اهتمام بتطوير الذكاء الاصطناعي، هذا النوع من الابتكارات يمكن أن يجعل فكرتك التالية الكبيرة ممكنة.

ربما يجب أن تبدأ في التفكير في ذلك المشروع الذكاء الاصطناعي الذي اعتقدت أنه خارج متناولك. قد يكون أكثر إمكانية مما تتصور.