زفير-7B: مقدمة في التقطير المباشر للاستيعاب في نماذج اللغة

تقدمت النماذج اللغوية المفتوحة الصغيرة من GPT-2 إلى نماذج أكثر دقة وكفاءة وصغرًا. وتستخدم في التدريب رموزًا أكثر بكثير من المقدار الذي عُدّ أمثل حسابيًا وفق قوانين تشينشيلا. ويمكن تحسينها أيضًا بالضبط الدقيق الخاضع للإشراف بالتقطير (dSFT)، حيث تصبح مخرجات نموذج معلّم قوي بيانات إشراف للنموذج الطالب.

يهدف Zephyr-7B إلى أداء متقدم في اختبارات المحادثة للنماذج ذات سبعة مليارات معلمة دون الحاجة إلى وسوم بشرية. والغرض هو مواءمة نموذج صغير بصورة أفضل مع نية المستخدم. إلى جانب dSFT، يدرس تعلم التفضيلات لبناء نموذج محادثة أكثر توافقًا. نتناول هنا البنية والطريقة والنتائج.

Zephyr-7B: التقطير المباشر لمواءمة النماذج اللغوية

تطورت النماذج من GPT-2 إلى GPT-4 وMiniGPT-5، مع زيادة الدقة والكفاءة وعدد رموز التدريب. ويتيح dSFT تدريب نموذج صغير على إجابات معلّم، بما في ذلك النماذج المملوكة. يعزز التقطير قدرات النماذج المفتوحة في مهام كثيرة، لكنه لا يكرر أداء المعلّم بالكامل. وقد تظل الإجابات غير متوافقة مع طلب المستخدم.

تستهدف اختبارات AlpacaEval وMT-Bench هذه المشكلة. يجمع Zephyr تغذية راجعة من الذكاء الاصطناعي (AIF) لتحديد تفضيلات بين إجابات نماذج متعددة، ثم يستخدم dDPO: التحسين المباشر للتفضيلات بالتقطير (distilled direct preference optimization). لا يتطلب ذلك وسومًا بشرية ولا أخذ عينات بالتعلم التعزيزي أثناء تحسين التفضيلات كما في PPO.

ملاحظة اصطلاحية: يوسّع المقال الإنجليزي اختصار dDPO في موضع إلى تعبير يتعلق بـالانتشار ويضيف شرحًا لخطوات إزالة الضوضاء. يحدد تقرير Zephyr، arXiv:2310.16944، الاسم بأنه distilled direct preference optimization؛ ولا ينتمي شرح إزالة الضوضاء إلى طريقة المواءمة هذه.

Zephyr-7B نسخة مواءمة من Mistral-7B. يبدأ بضبط dSFT على UltraChat، ثم يطبق dDPO على بيانات التغذية الراجعة. أظهرت التجارب أن سبعة مليارات معلمة قد تحقق نتائج محادثة مماثلة لنماذج تتجاوز 70 مليار معلمة وجرى ضبطها بتغذية راجعة بشرية. وكان تعلم التفضيلات مهمًا لتحسين اختبارات المحادثة والاختبارات الأكاديمية.

يقارن الشكل أداء MT-Bench بنماذج أكبر، مفتوحة ومملوكة، مثل GPT-3.5-Turbo وLlama-2-70B، استخدمت تعلمًا تعزيزيًا إضافيًا وكميات كبيرة من الملاحظات البشرية. رغم فرق الحجم، ينافس Zephyr-7B معظمها ويتفوق على بعضها في مجالات معينة.

الطريقة والعمل والبنية

الهدف مواءمة نموذج لغوي كبير مفتوح مع نية المستخدم. تفترض الطريقة إمكان الاستعلام من معلّم كبير بالمطالبات، وتتبع مسارًا شبيهًا بـInstructGPT لإنتاج طالب فعال.

1. إنشاء بيانات كبيرة بأسلوب التعليمات الذاتية وإجراء dSFT.
2. جمع إجابات من عدة نماذج محادثة وتقييمها بـGPT-4 وتحويلها إلى أزواج تفضيل ثنائية.
3. تطبيق dDPO على النموذج المضبوط مسبقًا باستخدام بيانات التغذية الراجعة.

dSFT: الضبط الخاضع للإشراف بالتقطير

يحتاج النموذج الأساسي إلى تعلم الإجابة عن مطالبات المستخدم. يستخدم SFT عادة تعليمات عالية الجودة وإجابات مقابلة. وبوجود معلّم، يمكن توليد التعليمات والإجابات وتدريب الطالب عليها مباشرة. في الرسم، تمثل x مطالبات أولية تغطي موضوعات متنوعة، وy إجابة نموذجية، وx1 تعليمة جديدة لتحسين المثال، وC نقطة النهاية في البيانات النهائية.

التغذية الراجعة الآلية بالتفضيلات

تأتي التغذية الراجعة البشرية عادة في صورة تفضيل لجودة الإجابات. يستبدلها Zephyr، على غرار UltraFeedback، بتقييم المعلّم لمخرجات نماذج أخرى. تُرسل كل مطالبة x إلى أربعة نماذج مثل Llama وFalcon وClaude وغيرها. يقيّم معلّم مثل GPT-3 أو GPT-4 الإجابات، وتُحفظ الأعلى درجة.

dDPO: التحسين المباشر للتفضيلات بالتقطير

تحسّن الخطوة الأخيرة الطالب المضبوط بـdSFT لزيادة احتمال الإجابة المفضلة مقارنة بالمرفوضة. يستخدم PPO، أي Proximal Policy Optimization، نموذج مكافأة ثم عينات من السياسة الحالية لحساب التحديثات. أما DPO فيحسّن مباشرة على بيانات تفضيل ثابتة. تظهر الدالة الهدف بعد التعويض بدالة المكافأة في نموذج التفضيل أدناه.

التجارب والاختبارات والنتائج

أُجريت التجارب بضبط Mistral-7B، الذي ينافس نماذج أكبر في عدة مهام لمعالجة اللغة الطبيعية.

البيانات

استُخدمت مجموعتان حواريتان مقطّرتان من مزيج نماذج مفتوحة ومملوكة.

UltraChat

تضم قرابة 1.5 مليون حوار متعدد الأدوار عبر 30 موضوعًا و20 نوعًا من المواد النصية التي ولدها GPT-3.5-Turbo. وتُطبّق قواعد لتصحيح استخدام الأحرف الكبيرة والصغيرة في البيانات.

UltraFeedback

أكثر من 64 ألف مطالبة، لكل منها أربع إجابات. تُختار صاحبة أعلى متوسط تقييم، وتُختار واحدة عشوائيًا من الثلاث الباقية كإجابة مرفوضة لبناء تفضيل ثنائي.

التقييم

يختبر معياران للمحادثة اتباع التعليمات وجودة الاستجابة.

MT-Bench

يتضمن 160 سؤالًا في ثمانية مجالات معرفية، مع سؤال أول وإجابة عن سؤال متابعة.

AlpacaEval

اختبار أحادي الدور بأكثر من 800 سؤال في موضوعات متعددة، يركز على الفائدة.

يُقيّم النموذج كذلك على Open LLM Leaderboard في التصنيف متعدد الفئات، مثل ARC وHellaSwag وMMLU. وتشمل المقارنة نماذج مفتوحة ومملوكة تختلف في إجراءات المواءمة.

النتائج

dDPO يعزز المحادثة

يعرض الجدول نتائج AlpacaEval وMT-Bench.

في مجموعة النماذج المفتوحة ذات سبعة مليارات معلمة، يتفوق Zephyr-7B بوضوح على نماذج dSFT وحده في الاختبارين، ويحقق مستوى متقدمًا في المقارنة. ويتجاوز XWIN-LM-7B الذي يستخدم PPO بالتقطير، مع أداء مماثل لـLlama2-Chat ذي أكثر من 70 مليار معلمة.

تحسين المهام الأكاديمية

يقارن الشكل التالي نماذج مفتوحة ومملوكة متعددة.

يتفوق Zephyr-7B على نماذج السبعة مليارات وعلى أفضل نماذج dSFT في المجموعة. ومع زيادة حجم المنافسين لا يبقى متفوقًا، لكنه يوازي نماذج ذات 40 مليار معلمة.

تحسين التفضيلات

الجمع بين dSFT وdDPO يحسن MT-Bench وAlpacaEval بدرجة كبيرة.

يوضح الشكل الأخير دقة التدريب والاختبار أثناء DPO. وبحسب تحليل المقال الأصلي، لا يضر DPO بأداء المهام اللاحقة.

الخلاصة

يعالج Zephyr-7B المبني على Mistral-7B تقطير المواءمة من نموذج كبير إلى نموذج أصغر مدرّب مسبقًا. يضيف تعلم التفضيلات إلى dSFT لزيادة التوافق مع نية المستخدم.

توجد حدود، منها احتمال تحيز GPT-4 عند تقييم MT-Bench وAlpacaEval نحو النماذج المقطّرة منه. ومع ذلك، يقدم النهج اتجاهًا واعدًا لاستكشاف نماذج مفتوحة صغيرة أكثر ملاءمة للتفاعل.