نماذج ومنصات الذكاء الاصطناعي
زفير-7B: نموذج لغة كبير محسن من هوجينغ فايس مبني على میسترال 7B
النقاط الرئيسيةيثبت Zephyr أن نموذجًا مفتوحًا صغيرًا يمكنه مجاراة أنظمة محادثة أكبر بكثير من خلال…
عرض المزيد
- يثبت Zephyr أن نموذجًا مفتوحًا صغيرًا يمكنه مجاراة أنظمة محادثة أكبر بكثير من خلال التقطير.
- تعمل تحسين التفضيل المباشر المقطَّر على مواءمة النماذج باستخدام تغذية راجعة من الذكاء الاصطناعي بدلًا من التعليق البشري المكلف.
- الاعتماد على GPT-4 كحَكَم يُحيّز المعايير لصالح النماذج المقطَّرة منه.
مقدمة
تطور النماذج الكبيرة المفتوحة للغة (LLM) قد أثر بشكل كبير على مجتمع البحث في مجال الذكاء الاصطناعي، خاصة في تطوير روبوتات المحادثة والتطبيقات المشابهة. بعد إصدار نماذج مثل LLaMA، ظهرت موجة من البحث حول الضبط الدقيق الفعال، وتحسين التعامل مع البرومبت، والتوليد المعزّز بالاسترجاع (RAG)، والتكميم.
على سبيل المثال، نموذج LLaMA يعتبر حقبة جديدة في الضبط الدقيق والسياق البرومبتي، مما مهد الطريق للنماذج اللاحقة مثل MPT من MosaicML، وRedPajama-INCITE من Together AI، وFalcon من TII، وLlama 2 من Meta. كل نموذج من هذه النماذج يساهم بخصائص فريدة، مما يعزز الوظيفة الإجمالية ونطاق النماذج الكبيرة للغة.
میسترال AI، شركة ناشئة من باريس تأسست من قبل موظفين سابقين في Google DeepMind وMeta، قد اكتسبت شهرة بمنتجها الأول: میسترال 7B.
ميزة میسترال 7B تكمن في كفاءتها، حيث تقدم قدرات مماثلة أو محسنة مقارنة بنماذج أخرى مثل Llama 2 ولكن مع متطلبات حسابية أقل.
على وجه الخصوص ضُبط نموذج Mistral 7B Instruct للاستخدام في المهام الإرشادية، حيث يبرز في منصات مثل Hugging Face، حيث يتفوق على نماذج أخرى من نفس الحجم ويتنافس بشكل وثيق مع نماذج يبلغ عدد معلماتها نحو ضعف عدد معلماته.
بناءً على ذلك، قامت Hugging Face بتقديم Zephyr 7B Alpha، مما يظهر أن نموذج میسترال 7B المعدل يمكنه فعلاً تجاوز قدرات نماذج أكبر بكثير، وفي بعض المهام، حتى منافسة GPT-4. كانت “Alpha” فقط البداية، حيث تبعتها Zephyr 7B بيتا بعد فترة قصيرة.
سيستكشف هذا المقال كيف يستفيد Zephyr 7B من قوة النماذج الأكبر لتحسين قدرته على الاستجابة والتوافق مع التوجيه البشري، وهو عملية ممكنة من خلال تقنية التقطير المعرفي. هذه الطريقة تتضمن تدريب نماذج أصغر على الأنماط المعقدة التي تعلمها النماذج الأكبر، مما يقلل من متطلبات التدريب دون التضحية بقدرات نمذجة اللغة.
التقطير المعرفي
الابتكار الرئيسي في تطوير نماذج مثل Zephyr-7B هو الضبط الدقيق الخاضع للإشراف بالتقطير (dSFT). هذه الطريقة تتضمن استخدام الإخراج من نموذج أكبر وأكثر قدرة “مدرس” لتدريب نموذج أصغر “طالب”، مما يعزز دقته. بينما يحسن التقطير النماذج المفتوحة في مهام مختلفة، لا يزال هناك فجوة في الأداء مقارنة بنماذج المعلم.
التقطير المعرفي هو طريقة في التعلم الآلي حيث يتم تعليم نموذج مضغوط، يسمى “الطالب“، على محاكاة أداء نموذج أكبر وأكثر تعقيدًا يسمى “المعلم“. هذه التقنية تمكن الطالب من أداء مهام كانت خارج قدراته السابقة من خلال نقل الأنماط المعقدة التي تعلمها المعلم.
يتم تدريب نموذج الطالب على الاحتمالات الإخراجية أو الميزات التي ينتجها نموذج المعلم، مع التركيز على مطابقة هذه الإخراجات بدلاً من مجرد التنبؤات النهائية. هذا يسمح للطالب بتعلم العمليات المتعقدة للاتخاذ القرارات للمعلم، مما يؤدي غالبًا إلى تحسين الأداء أكثر من التدريب باستخدام بيانات الحقيقة فقط.
تاريخيًا، تم استخدام التقطير المعرفي في نماذج مثل شبكات التقطير الأصلية لهينتون، ومؤخرًا في معالجة اللغة الطبيعية مع نماذج مثل DistilBERT، التي قطرت نموذج BERT إلى نسخة أصغر وأسرع تحتفظ بالمعظم من قدرات فهم اللغة الأصلية. مثال آخر هو TinyBERT، الذي يضبط الحجم والسرعة للاستخدام على الأجهزة المحمولة أو الحواف.
في حالة Zephyr-7B، يتم استخدام التقطير المعرفي لتمكين نموذج ذي 7B من المعلمات بالحصول على قدرات نماذج أكبر. من خلال ذلك، يحقق Zephyr-7B توازنًا بين الأداء والكفاءة، مما يجعله مناسبًا للبيئات التي تكون فيها الموارد الحسابية محدودة، دون التضحية بجودة التفاعل والفهم.
في تطوير Zephyr-7B، تعامل الباحثون مع تحدي محاذاة نموذج لغة مفتوح صغير بالكامل من خلال التقطير. قدموا نهجًا يسمى التحسين المباشر للتفضيلات بالتقطير (dDPO)، الذي يستخدم تغذية راجعة مولّدة بالذكاء الاصطناعي من مجموعة نماذج معلّمة كبيانات تفضيل. هذه الطريقة، التي لا تتطلب تعليقات بشرية، تقلل بشكل كبير من الوقت والموارد اللازمة لتدريب النموذج.
بناء ZEPHYR-7B
من أجل التحقق من dDPO، بنى الباحثون ZEPHYR-7B، وهو نسخة محاذاة من نموذج Mistral-7B. عملية البناء تضمنت ثلاث خطوات:
- dSFT باستخدام مجموعة UltraChat: الضبط الدقيق الخاضع للإشراف بالتقطير (dSFT) هو طريقة متقدمة لتدريب نماذج اللغة الكبيرة (LLM) بالاعتماد على إخراج نماذج أكبر وأكثر قدرة “مدرس”. يبدأ بنموذج لغة خام يتم تدريبه على الاستجابة لتحفيزات المستخدم. على عكس الضبط الدقيق الإشرافي التقليدي (SFT) الذي يستخدم مجموعة بيانات ثابتة، يستخدم dSFT نهجًا ديناميكيًا حيث يولد النموذج نفسه التوجيهات والاستجابات. هذه الطريقة، المعروفة باسم “التوجيه الذاتي” (self-instruct)، تتضمن استخدام نموذج المعلم لتقديم الإجابات وتحسين التوجيهات بناءً على الاستجابات. تبدأ العملية بمجموعة مطالبات أولية (x₀₁, x₀₂, …, x₀_J) تمثل موضوعات متنوعة. تُحسّن كل مطالبة تكراريًا: للمطالبة x₀ يولّد النموذج المعلّم استجابة y₀، ثم تُسحب تعليمة جديدة x₁ اعتمادًا على x₀ وy₀. وتُستخدم مجموعة البيانات النهائية C = {(x₁, y₁), …, (x_J, y_J)} لضبط النموذج بدقة.
- دمج بيانات ملاحظات AI من UltraFeedback: هذه البيانات كانت حاسمة لتحسين استجابات النموذج. في هذه الخطوة، يولد النموذج استجابات لمختلف التحفيزات (مثل وصف كيفية صنع براوني الشوكولاتة) التي يتم بعد ذلك تقييمها بواسطة نموذج أكثر تقدمًا مثل GPT-4. وتشكّل الاستجابة الأعلى تقييمًا (yw) واستجابة أقل تقييمًا تُختار عشوائيًا (yl) مجموعة بيانات التغذية الراجعة D.
- تطبيق dDPO: المرحلة الأخيرة، التحسين المباشر للتفضيلات بالتقطير (dDPO)، تتضمن تحسين نموذج dSFT عن طريق تعظيم احتمالية تصنيف الاستجابات المفضلة أعلى. يتم ذلك باستخدام دالة المكافأة rθ(x, y) في نموذج التفضيل، والتي تعتمد على سياسة LLM المثالية π* والسياسة الأصلية πdSFT. ويُصاغ هدف التحسين على النحو التالي: πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)). وهذا يبسّط التدريب بالبدء من نسخة dSFT للنموذج والتكرار عبر كل ثلاثية من بيانات التغذية الراجعة بالذكاء الاصطناعي.
من الملاحظ أن Zephyr-7B يحقق أداءً قابلاً للمقارنة مع نماذج أكبر بكثير، ذات 70B من المعلمات، ومحاذاة مع ملاحظات بشرية. يتفوق في كل من المعايير الأكاديمية وقدرات المحادثة، مما يبرز فعالية تعلم التفضيل في تطوير النماذج. تتوفر النماذج والشفرة والتعليمات في مستودع Hugging Face على GitHub.
معالجة تحدي محاذاة النية
من المخاوف البارزة المتعلقة بنماذج LLM هي محاذاتها مع النية البشرية. غالبًا ما فشلت النماذج السابقة في إنتاج استجابات تتوافق مع تفضيلات المستخدم، مما أدى إلى استجابات غير دقيقة أو غير ملائمة. ومع ذلك، فإن المعايير الحديثة مثل MT-Bench وAlpacaEval قدمت أدوات لقياس وتحسين هذا الجانب، مما يبرز الأداء الأفضل لنماذج خاصة مدربة بملاحظات بشرية أكثر من تلك المدربة فقط من خلال التقطير.
طرق التقييم
تقييم Zephyr 7B تضمن اختبارات صارمة عبر معايير تقييم قدرات النموذج في المحادثات في سياقات أحادية الجولة ومتعددة الجولات:
- MT-Bench: هذا المعيار متعدد الجولات يتطلب من النموذج معالجة 160 سؤالاً عبر ثمانية مجالات. يتم تقييم كل استجابة بواسطة GPT-4، ويعكس درجة النموذج النهائية متوسط الدرجات عبر جولتين من الأسئلة.
- AlpacaEval: في هذا المعيار أحادي الجولة، يتم تقديم 805 سؤال للنموذج عبر مواضيع مختلفة. يركز هنا على فائدة النموذج، حيث يقيم GPT-4 الاستجابات لتحديد معدل الفوز النسبي.
بالإضافة إلى ذلك، تم اختبار Zephyr 7B على لوحة القيادة المفتوحة للنماذج الكبيرة للغة (Open LLM Leaderboard)، والتي، على الرغم من أنها لا تقيم مباشرة مهارات المحادثة، تقدم رؤى حول قدرة النموذج على التفكير والصدق بعد الضبط الدقيق.
تم مقارنة Zephyr 7B مع مجموعة متنوعة من النماذج المفتوحة والخاصة، بما في ذلك تلك التي تختلف في الحجم وطريقة المحاذاة. وقد حدد معايير جديدة لنماذج 7B على MT-Bench وAlpacaEval، وأظهر أداءً تنافسيًا ضد نماذج أكبر، مما يؤكد فعالية التحسين المباشر للتفضيلات بالتقطير (dDPO) في التدريب.
مراحل الضبط الدقيق الإشرافي والتفضيل تمت برمجتها بدقة، وامتدت عبر عدة عصور وضبط معدلات التعلم وحجم الدفعة لتحقيق الأداء الأمثل. ظهر نموذج Zephyr النهائي ليس فقط مقاومًا لفرط التكيّف، ولكن أيضًا محسّنًا في التعامل مع المهام العملية والمعايير الأكاديمية.
مجموعات البيانات والنتائج
مجموعات البيانات المستخدمة
في تطوير Zephyr-7B، تم استخدام مجموعتين رئيسيتين لتدريب وتنقيح النموذج، كل واحدة تتعامل مع جوانب مختلفة من توليد الحوار:
مجموعة UltraChat
- المصدر: تم تطويرها من حوارات تم توليدها بواسطة GPT-3.5-TURBO.
- المحتوى: تحتوي على 1.47 مليون حوار متعدد الدورات عبر 30 موضوعًا و20 نوعًا من المواد النصية.
- التنقيح: خضعت مجموعة البيانات لنهج Truecasing لتصحيح المشكلات النحوية، وتم تطبيق مرشحات لزيادة فائدة الاستجابات وإزالة عبارات التمهيد غير المفيدة.
مجموعة UltraFeedback
- المصدر: تتكون من تحفيزات تم تقييمها بواسطة GPT-4، والتي قيمت الاستجابات بناءً على اتباع التوجيه والصدق والفائدة.
- المحتوى: تشمل 64,000 تحفيز مع أربع استجابات لكل منها، تم تقييمها بواسطة GPT-4.
- التفضيلات الثنائية: تم توليدها عن طريق اختيار الاستجابة ذات أعلى متوسط درجة كـ “مختارة” واختيار عشوائي من الباقي كـ “مرفوض” لتعزيز التنوع ووضع تحديات أمام عملية التحسين المباشر للتفضيلات (DPO).
كلتا مجموعتي البيانات مهمتان لتدريب Zephyr-7B على فهم وتوليد حوار بشري يتبع التوجيهات ويكون صادقًا وفعالًا. تم إتاحة هذه مجموعات البيانات على منصة Hugging Face Hub، والتي يمكن الوصول إليها هنا.
الأداء والنتائج
الرسم البياني التالي يظهر أداء Zephyr 7B عبر فئات مختلفة من المهام مقارنة بنماذج أخرى مثل GPT-3.5-turbo، Claude 1، GPT-4، وLlama-2-70b-chat. الفئات قد تشمل الكتابة، العلوم الإنسانية، تمثيل الأدوار، التفكير، العلوم والتكنولوجيا، الاستخراج، البرمجة، والرياضيات.
من الرسم البياني، يمكننا استنتاج الفئات التي يتفوق فيها Zephyr 7B والفئات التي قد تحتاج إلى تحسين. على سبيل المثال، إذا كان خط Zephyr يمتد إلى أبعد على محور الكتابة مقارنة بالآخرين، فهذا يشير إلى أن Zephyr قوي بشكل خاص في توليد المحتوى المكتوب. على العكس، إذا كان الخط أقرب إلى المركز على محور الرياضيات، قد يشير هذا إلى ضعف نسبي في حل المسائل الرياضية.
مخطط الشعاع يساعد في تحديد نقاط القوة والضعف في Zephyr 7B، مما يوفر تمثيلًا مرئيًا لمواقفه مقابل نماذج أكبر مثل GPT-4 ونماذج متخصصة مثل Llama-2-70b-chat.
مقارنة بين نماذج لغوية مختلفة على معياري MT-Bench وAlpacaEval. تُقيَّم النماذج بحسب الحجم وطريقة المحاذاة، مثل dSFT للضبط الدقيق الخاضع للإشراف بالتقطير أو dDPO للتحسين المباشر للتفضيلات بالتقطير، ودرجات الأداء. ويتميز Zephyr بدرجات مرتفعة في المعيارين، ما يدل على فعاليته في توليد استجابات متوافقة مع التفضيلات.
الاستنتاج
في الختام، يظهر تطوير Zephyr-7B أن محاذاة وتقطير القدرات التفاعلية من نموذج لغة كبير إلى نموذج أصغر يمكن أن يتحقق بدون الاعتماد على أساليب العينة. من خلال استخدام التحسين المباشر للتفضيلات (DPO) مع ملاحظات AI، يستفيد Zephyr-7B من الأساس القوي لمیسترال-7B لتحديد معيار جديد لنماذج المحادثة ذات 7B من المعلمات، مما يظهر قدرة النماذج المفتوحة الصغيرة على فهم وتفاعل مع نية المستخدم بشكل فعال.
ومع ذلك، هذه الدراسة ليست خالية من القيود. الاعتماد على GPT-4 كمدقق للمعايير يُدخل تحيزًا تجاه النماذج التي تم تقطيرها منه، وقد يجعل تفضيل هذه النماذج يطغى على تقييم دقة الإجابات. بالإضافة إلى ذلك، لا يزال التوسع في هذه الطريقة إلى نماذج أكبر، مثل LLAMA2-70B، وتأثيره على مكاسب الأداء، مجالات بحث مستقبلية. وتبرز هذه القيود الحاجة إلى الابتكار المستمر وتطوير طرق تقييم غير متحيزة في مجتمع الذكاء الاصطناعي.
نظرًا إلى ما وراء الدراسة، من الواضح أن إمكانية نماذج أصغر للعمل على مستوى نماذج أكبر يمكن أن يتيح الذكاء الاصطناعي للجميع، مما يسمح باستخدام أكثر سهولة وكفاءة في تطبيقات مختلفة. نجاح Zephyr-7B يشجع على استكشاف نماذج مفتوحة أكثر، مما يمكن أن يسرع التقدم في مجال الذكاء الاصطناعي من خلال تعزيز البحث التعاوني والتنمية.
















