زفير-7B: نموذج لغة كبير محسن من هوجينغ فايس مبني على میسترال 7B

مقدمة

تطور النماذج الكبيرة المفتوحة للغة (LLM) قد أثر بشكل كبير على مجتمع البحث في مجال الذكاء الاصطناعي، خاصة في تطوير النماذج المتحدثة والمتشابهة. بعد إصدار نماذج مثل LLaMA، ظهرت موجة من البحث حول التعدين الفعال، وتحسين التعامل مع البرومبت، وتوليد الإيمان المعزز بالاسترجاع (RAG)، والكمية.

على سبيل المثال، نموذج LLaMA يعتبر حقبة جديدة في التعدين والسياق البرومبتي، مما مهد الطريق للنماذج اللاحقة مثل MPT من MosaicML، وRedPajama-INCITE من Together AI، وFalcon من TII، وLlama 2 من Meta. كل نموذج من هذه النماذج يساهم بخصائص فريدة، مما يعزز الوظيفة الإجمالية ونطاق النماذج الكبيرة للغة.

میسترال AI، شركة ناشئة من باريس تأسست من قبل موظفين سابقين في Google DeepMind وMeta، قد اكتسبت شهرة باسمها الأول: میسترال 7B.

ميزة میسترال 7B تكمن في كفاءتها، حيث تقدم قدرات مماثلة أو محسنة مقارنة بنماذج أخرى مثل Llama 2 ولكن مع demande حسابية أقل.

特别 تم تعدين میسترال 7B للاستخدام في المهام الإرشادية، حيث يبرز في منصات مثل Hugging Face، حيث يتفوق على نماذج أخرى من نفس الحجم ويتنافس بشكل وثيق مع نماذج أكبر حجمًا.

بناءً على ذلك، قامت Hugging Face بتقديم Zephyr 7B Alpha، مما يظهر أن نموذج میسترال 7B المعدل يمكنه فعلاً تجاوز قدرات نماذج أكبر بكثير، وفي بعض المهام، حتى منافسة GPT-4. كانت “Alpha” فقط البداية، حيث تبعتها Zephyr 7B بيتا بعد فترة قصيرة.

سيستكشف هذا المقال كيف يستفيد Zephyr 7B من قوة النماذج الأكبر لتحسين قدرته على الاستجابة والتوافق مع التوجيه البشري، وهو عملية ممكنة من خلال تقنية التقطير المعرفي. هذه الطريقة تتضمن تدريب نماذج أصغر على الأنماط المعقدة التي تعلمها النماذج الأكبر، مما يقلل من متطلبات التدريب دون التضحية بقدرات نمذجة اللغة.

التقطير المعرفي

الابتكار الرئيسي في تطوير نماذج مثل Zephyr-7B هو التقطير المعرفي الإشرافي المقطر (dSFT). هذه الطريقة تتضمن استخدام الإخراج من نموذج أكبر وأكثر قدرة “مدرس” لتدريب نموذج أصغر “طالب”، مما يعزز دقته. بينما يحسن التقطير النماذج المفتوحة في مهام مختلفة، لا يزال هناك فجوة في الأداء مقارنة بنماذج المعلم.

التقطير المعرفي هو طريقة في التعلم الآلي حيث يتم تعليم نموذج مضغوط، يسمى “الطالب”، لتقليده الأداء نموذج أكبر وأكثر تعقيداً “المعلم”. هذه التقنية تمكن الطالب من أداء مهام كانت خارج قدراته السابقة من خلال نقل الأنماط المعقدة التي تعلمها المعلم.

التقطير المعرفي | نموذج المعلم والطالب

يتم تدريب نموذج الطالب على الاحتمالات الإخراجية أو الميزات التي ينتجها نموذج المعلم، مع التركيز على مطابقة هذه الإخراجات بدلاً من مجرد التنبؤات النهائية. هذا يسمح للطالب بتعلم العمليات المتعقدة للاتخاذ القرارات للمعلم، مما يؤدي غالبًا إلى تحسين الأداء أكثر من التدريب باستخدام بيانات الحقيقة فقط.

historically، تم استخدام التقطير المعرفي في نماذج مثل شبكات التقطير الأصلية لهينتون، وفي التعلم الآلي مع نماذج مثل DistilBERT، التي قطرت نموذج BERT إلى نسخة أصغر وأسرع تحتفظ بالمعظم من قدرات فهم اللغة الأصلية. مثال آخر هو TinyBERT، الذي يضبط الحجم والسرعة للاستخدام على الأجهزة المحمولة أو الحواف.

في حالة Zephyr-7B، يتم استخدام التقطير المعرفي لتمكين نموذج ذي 7B من المعلمات بالحصول على قدرات نماذج أكبر. من خلال ذلك، يحقق Zephyr-7B توازنًا بين الأداء والكفاءة، مما يجعله مناسبًا للبيئات التي تكون فيها الموارد الحسابية محدودة، دون التضحية بجودة التفاعل والفهم.

في تطوير Zephyr-7B، تعامل الباحثون مع تحدي محاذاة نموذج لغة مفتوح صغير بالكامل من خلال التقطير. قدموا نهجًا يسمى التقطير المباشر للمفضلة (dDPO)، الذي يستخدم ملاحظات من مجموعة من نماذج المعلم كبيانات تفضيل. هذه الطريقة، التي لا تتطلب تعليقات بشرية، تقلل بشكل كبير من الوقت والموارد اللازمة لتدريب النموذج.

بناء ZEPHYR-7B

为了 التحقق من dDPO، بنى الباحثون ZEPHYR-7B، وهو نسخة محاذاة من نموذج Mistral-7B. عملية البناء تضمنت ثلاث خطوات:

1. dSFT باستخدام مجموعة UltraChat: التقطير المعرفي الإشرافي المقطر (dSFT) هو طريقة متقدمة لتدريب نماذج اللغة الكبيرة (LLM) بالاعتماد على إخراج نماذج أكبر وأكثر قدرة “مدرس”. يبدأ بنموذج لغة خام يتم تدريبه على الاستجابة لتحفيزات المستخدم. على عكس التعدين الإشرافي التقليدي (SFT) الذي يستخدم مجموعة بيانات ثابتة، يستخدم dSFT نهجًا ديناميكيًا حيث يولد النموذج نفسه التوجيهات والاستجابات. هذه الطريقة، المعروفة باسم “التنفيذ الذاتي”، تتضمن استخدام نموذج المعلم لتقديم الإجابات وتحسين التوجيهات بناءً على الاستجابات.
2. دمج بيانات ملاحظات AI من UltraFeedback: هذه البيانات كانت حاسمة لتحسين استجابات النموذج. في هذه الخطوة، يولد النموذج استجابات لمختلف التحفيزات (مثل وصف كيفية صنع 브라وني الشوكولاتة) التي يتم بعد ذلك تقييمها بواسطة نموذج أكثر تقدمًا مثل GPT-4.
3. تطبيق dDPO: المرحلة الأخيرة، التقطير المباشر للمفضلة (dDPO)، تتضمن تحسين نموذج dSFT عن طريق تعظيم احتمالية تصنيف الاستجابات المفضلة أعلى. يتم ذلك باستخدام دالة مكافأة في نموذج التفضيل، والتي تعتمد على سياسة LLM المثالية π* والسياسة الأصلية πdSFT.

الطريقة المستخدمة في Zephyr-7B تقلد العمليات المستخدمة في InstructGPT

من الملاحظ أن Zephyr-7B يحقق أداءً قابلاً للمقارنة مع نماذج أكبر بكثير، ذات 70B من المعلمات، ومحاذاة مع ملاحظات بشرية. يتفوق في كل من المعايير الأكاديمية وقدرات المحادثة، مما يبرز فعالية تعلم التفضيل في تطوير النماذج.

معالجة تحدي محاذاة النية

من المخاوف البارزة المتعلقة بنماذج LLM هي محاذاتها مع النية البشرية. غالبًا ما فشلت النماذج السابقة في إنتاج استجابات تتوافق مع تفضيلات المستخدم، مما أدى إلى استجابات غير دقيقة أو غير ملائمة. ومع ذلك، فإن المعايير الحديثة مثل MT-Bench وAlpacaEval قدمت أدوات لقياس وتحسين هذا الجانب، مما يبرز الأداء الأفضل لنماذج خاصة مدربة بملاحظات بشرية أكثر من تلك المدربة فقط من خلال التقطير.

طرق التقييم

تقييم Zephyr 7B تضمن اختبارات صارمة عبر معايير تقييم قدرات النموذج في المحادثات في سياقات فردية ومتعددة:

• MT-Bench: هذه المعيار المتعدد للتحويل يتطلب من النموذج معالجة 160 سؤالاً عبر ثمانية مجالات. يتم تقييم كل استجابة بواسطة GPT-4، ويعكس درجة النموذج النهائية متوسط الدرجات عبر جولتين من الأسئلة.
• AlpacaEval: في هذه المعيار الفردي، يتم تقديم 805 سؤال للنموذج عبر مواضيع مختلفة. يركز هنا على فائدة النموذج، حيث يقيم GPT-4 الاستجابات لتحديد معدل الفوز النسبي.

بالإضافة إلى ذلك، تم اختبار Zephyr 7B على لوحة القيادة المفتوحة للنماذج الكبيرة للغة (Open LLM Leaderboard)، والتي، على الرغم من أنها لا تقيم مباشرة مهارات المحادثة، تقدم رؤى حول قدرة النموذج على التفكير والصدق بعد التعدين.

تم مقارنة Zephyr 7B مع مجموعة متنوعة من النماذج المفتوحة والخاصة، بما في ذلك تلك التي تختلف في الحجم وطريقة المحاذاة. وقد حدد معايير جديدة لنماذج 7B على MT-Bench وAlpacaEval، وأظهر أداءً تنافسيًا ضد نماذج أكبر، مما يؤكد فعالية التقطير المباشر للمفضلة (dDPO) في التدريب.

مراحل التعدين الإشرافي والتفضيل تمت برمجتها بدقة، وامتدت عبر عدة عصور وضبط معدلات التعلم وحجم الدفعة لتحقيق الأداء الأمثل. ظهر نموذج Zephyr النهائي ليس فقط مقاومًا للتجاوز، ولكن أيضًا محسّنًا في التعامل مع المهام العملية والمعايير الأكاديمية.

المجموعات البيانية والنتائج

المجموعات البيانية المستخدمة

في تطوير Zephyr-7B، تم استخدام مجموعتين رئيسيتين لتدريب وتنقيح النموذج، كل واحدة تتعامل مع جوانب مختلفة من توليد الحوار:

مجموعة UltraChat

• المصدر: تم تطويرها من حوارات تم توليدها بواسطة GPT-3.5-TURBO.
• المحتوى: تحتوي على 1.47 مليون حوار متعدد الدورات عبر 30 موضوعًا و20 نوعًا من المواد النصية.
• التنقيح: خضعت المجموعة البيانية لنهج Truecasing لتصحيح المشكلات النحوية، وتم تطبيق مرشحات لزيادة فائدة الاستجابات وإزالة عبارات التمهيد غير المفيدة.

مجموعة UltraFeedback

• المصدر: تتكون من تحفيزات تم تقييمها بواسطة GPT-4، والتي قيمت الاستجابات بناءً على اتباع التوجيه والصدق والفائدة.
• المحتوى: تشمل 64,000 تحفيز مع أربع استجابات لكل منها، تم تقييمها بواسطة GPT-4.
• التفضيلات الثنائية: تم توليدها bằng cách اختيار الاستجابة ذات أعلى متوسط درجة كـ “مختارة” واختيار عشوائي من الباقي كـ “مرفوض” لتعزيز التنوع و挑enger عملية التقطير المباشر للمفضلة (DPO).

كلا المجموعة البيانية هامة لتدريب Zephyr-7B على فهم وتوليد حوار بشري يتبع التوجيهات ويكون صادقًا وفعالًا. تم إتاحة هذه المجموعات البيانية على منصة Hugging Face Hub، والتي يمكن الوصول إليها هنا.

الأداء والنتائج

الرسم البياني التالي يظهر أداء Zephyr 7B عبر فئات مختلفة من المهام مقارنة بنماذج أخرى مثل GPT-3.5-turbo، Claude 1، GPT-4، وLlama-2-70b-chat. الفئات قد تشمل الكتابة، العلوم الإنسانية، تمثيل الأدوار، التفكير، العلوم والتكنولوجيا، الاستخراج، البرمجة، والرياضيات.

من الرسم البياني، يمكننا استنتاج الفئات التي يتفوق فيها Zephyr 7B والفئات التي قد تحتاج إلى تحسين. على سبيل المثال، إذا كان خط Zephyr يمتد إلى أبعد على محور الكتابة مقارنة بالآخرين، فهذا يشير إلى أن Zephyr قوي بشكل خاص في توليد المحتوى المكتوب. 반대로، إذا كان الخط أقرب إلى المركز على محور الرياضيات، قد يشير هذا إلى ضعف نسبي في حل المسائل الرياضية.

مخطط الشعاع يساعد في تحديد نقاط القوة والضعف في Zephyr 7B، مما يوفر تمثيلًا مرئيًا لمواقفه مقابل نماذج أكبر مثل GPT-4 ونماذج متخصصة مثل Llama-2-70b-chat.

مخطط أداء النموذج

الاستنتاج

في الختام، يظهر تطوير Zephyr-7B أن محاذاة وتقطير القدرات التفاعلية من نموذج لغة كبير إلى نموذج أصغر يمكن أن يتحقق بدون الاعتماد على أساليب العينة. من خلال استخدام التقطير المباشر للمفضلة (DPO) مع ملاحظات AI، يستفيد Zephyr-7B من الأساس القوي لمیسترال-7B لتحديد معيار جديد لنماذج المحادثة ذات 7B من المعلمات، مما يظهر قدرة النماذج المفتوحة الصغيرة على فهم وتفاعل مع نية المستخدم بشكل فعال.

然而، هذه الدراسة ليست خالية من القيود. الاعتماد على GPT-4 كمدقق للمعايير يُroduce تحيزًا تجاه النماذج التي تم تقطيرها منه، مما قد يفضل استجابات دقيقة. بالإضافة إلى ذلك، لا يزال التوسع في هذه الطريقة إلى نماذج أكبر، مثل LLAMA2-70B، وتأثيره على مكاسب الأداء، مجالات بحث مستقبلية.

نظرًا إلى ما وراء الدراسة، من الواضح أن إمكانية نماذج أصغر للعمل على مستوى نماذج أكبر يمكن أن يُ民主ية الذكاء الاصطناعي، مما يسمح باستخدام أكثر سهولة وكفاءة في تطبيقات مختلفة. نجاح Zephyr-7B يشجع على استكشاف نماذج مفتوحة أكثر، مما يمكن أن يسرع التقدم في مجال الذكاء الاصطناعي من خلال تعزيز البحث التعاوني والتنمية.