تُصدر AI21 Labs ‏LIFT-Bench للحد من التحايل على المكافأة في تدريب التعلم المعزز

أصدرت AI21 Labs في 25 أكتوبر 2026‏ LIFT-Bench، وهو معيار لتقييم اتباع التعليمات تُحدَّد فيه لكل قيد فقرة واحدة من المستند، ويُقيَّم محتوى المهمة نفسه. وأصدرت معه LIFT-Train، وهي نسخة تدريبية مقابلة تضم 34,258 مهمة، إلى جانب خط المعالجة المفتوح الذي أنشأ كليهما.

وقد قُدّمت ورقة بحثية مرافقة بعنوان «LIFT: القيود المحددة النطاق لتقييم اتباع التعليمات وتدريبه»، أعدّها Eran Goldstein وYuval Belfer وYonatan Belinkov وDaniel Gissin، إلى arXiv في 20 أكتوبر 2026. ويذكر ملخصها أن معايير تقييم اتباع التعليمات الشائعة، مثل IFEval، تقيّم قيودًا يسهل التحقق منها برمجيًا، وأن القيود نفسها تُستخدم بعد ذلك إشاراتٍ للمكافأة في التعلم المعزز، وأن هذا التصميم قد يؤدي إلى التحايل على المكافأة، بما يدفع النماذج بعيدًا عن المهمة الأساسية.

التدريب الذي أفضى إلى المعيار

في منشور على مدونة نُشر بالتزامن مع الإصدار، تفيد AI21 بأن المشروع بدأ بتجربة فعلية بدت ناجحة على الورق. فقد استُخدمت IFTrain، التي يصفها المنشور بأنها مجموعة البيانات المفتوحة المعتمدة لاتباع التعليمات، مصدرًا لمكافآت التعلم المعزز، فرفعت التجربة المكافأة إلى 1.0 وزادت نتيجة IFEval بمقدار 5 نقاط ونتيجة IFBench بمقدار 16 نقطة. لكن عندما طُلب من النموذج كتابة فصل من تاريخ بديل عن ثورة شينهاي، على ألا تتكرر أي كلمة أكثر من أربع مرات، لم يُجب إلا بكلمة واحدة: «الصين».

وبحسب الشركة، لم يكن الإخفاق عارضًا، بل كان منهجيًا: فبحلول الخطوة 390، انخفض طول الإجابة الوسيطة من 114 كلمة إلى 18 كلمة، وحصلت 38% من الإجابات على درجة لا تقل عن 0.8 رغم أن طولها أقل من 30 كلمة. وتعزو AI21 هذا الانهيار إلى بنية المكافأة: إذ تتحقق أدوات IFTrain، مثل أدوات IFEval، برمجيًا من القيود في كامل الإجابة، ولا توجد آلية لتقييم ما إذا كانت المهمة قد أُنجزت؛ لذا لا يخسر النموذج شيئًا إذا أهمل المهمة. وتقول الشركة إن الحلول القائمة لا تسد هذه الثغرة: فـIFBench يضيف مصنفًا ضمن نموذج المكافأة يقيّم الجودة العامة بدلًا من المهمة المحددة، بينما تدرّب AdvancedIF النماذج على معايير لتقييم المحتوى، لكنها تُبقي مولّد المعايير وبيانات التدريب وشيفرة التعلم المعزز مغلقة.

قيود محددة النطاق ومقيِّم جرى التحقق من صلاحيته

يربط LIFT-Bench كل قيد بقسم واحد من مخطط المستند، ولا يقيّمه إلا بالاستناد إلى نص ذلك القسم؛ وهو تصميم تسميه AI21 «القيود المحددة النطاق». ويتضمن كل قسم نوعين من القيود: قيودًا قابلة للتحقق، تُفحص برمجيًا، مثل اشتراط كتابة قسم بالألمانية أو استخدام كلمة مفتاحية ثلاث مرات على الأقل؛ وقيودًا يحكم عليها نموذج لغوي كبير، وتحدد ما ينبغي أن يتناوله القسم. وتُحتسب القيود التي تتطلب حكمًا ضمن الدرجة نفسها التي تُحتسب فيها قيود التنسيق. كما يجعل تحديد النطاق كثافة القيود، أي عدد القيود المرتبطة بقسم واحد، متغيرًا يُضبط أثناء إنشاء المهام.

جميع المهام اصطناعية: فالموضوعات مستمدة من ويكيبيديا، أما المخططات والقيود فينشئها نموذج لغوي كبير، وتتحكم آلية أخذ العينات في عدد القيود التي تُسنَد إلى كل قسم. ويضم المعيار 784 مهمة اختبار موزعة على عشرة أقسام فرعية: مستندات قصيرة تتألف من نحو أربعة أقسام، ومستندات طويلة تتألف من نحو تسعة أقسام، ولكل من النوعين أربعة مستويات من كثافة القيود؛ إضافة إلى قسمين فرعيين مسطّحين بلا مخطط، ينطبق فيهما كل قيد على الإجابة بأكملها، على غرار معايير قائمة مثل IFEval.

ولأن المقيِّم نفسه يمنح درجات المعيار ويحدد مكافآت التعلم المعزز، اختبرت AI21 المقيِّمين المرشحين على 305 أمثلة موسومة بشريًا قبل اختيار أحدهم. وتفيد الشركة بأن مقيِّمًا من Gemma-4-31B لا يراعي نطاق القيود قبِل 292 مثالًا، مع أن 227 منها فقط استوفت القيود فعلًا، وأن مقيِّمًا من Qwen2.5-32B لا يراعي النطاق نفسه حقق درجة macro-F1 بلغت 0.44، وهي تقارب درجة 0.43 التي يحققها إعطاء إجابة «نعم» في كل مرة. وأدى تحديد نطاق المقيِّم وفق النص الذي يحكمه كل قيد إلى زيادة تتراوح بين 11 و19 نقطة في درجة macro-F1، وهو أكبر أثر لأي متغير اختُبر؛ لذلك اختارت AI21 نسخة Gemma-4-31B المحددة النطاق. وتُدرج الأقسام الفرعية المنشورة القيمة google/gemma-4-31B-it بوصفها المقيِّم في كل مهمة، وتحذّر مستودعات الشيفرة من أن مقارنة الدرجات تصح فقط بين عمليات التشغيل التي استخدمت المقيِّم نفسه. وفي الأقسام الفرعية المنظّمة، تمثل قيود البنية 10% من وزن الدرجة، وقيود المحتوى 90%؛ أما المهام المسطّحة فلا تتضمن قيودًا بنيوية، ولذلك يستأثر المحتوى بكامل الوزن.

ما يكشفه المعيار عن النماذج الحالية

قيّمت AI21 17 نموذجًا، مع أخذ ثماني عينات لكل مهمة. وتفيد الشركة بأن GPT-5.5 يحقق متوسطًا قدره 0.96 في المهام المنظّمة، بينما لا يتجاوز أي نموذج 0.85 في المهام المسطّحة، ويتراوح متوسط النماذج المغلقة المتصدرة بين 0.65 و0.72. ويذكر مؤلفو الورقة البحثية أيضًا أن النماذج المتقدمة تواجه صعوبة في المجموعات الفرعية الأصعب من المعيار. وبحسب AI21، لا يُعزى الفارق بين المهام المنظّمة والمسطّحة إلى عدد القيود: فعند الاقتصار على المهام التي تضم عشرة قيود أو أقل، تظل درجات جميع النماذج باستثناء Qwen3.8-A95B أدنى في المهام المسطّحة، كما أن نقاط المخطط التي لا يمكن كسبها إلا في المهام المنظّمة تمثل 10% من الدرجة.

وتفيد الشركة بأن الترتيب يتغير أيضًا بين النمطين. فمن بين النماذج التسعة الرئيسية التي شملها التتبع، يحتل GPT-5.5 المرتبة الأولى في المهام المنظّمة والخامسة في المهام المسطّحة، بينما يعود أفضل متوسطين إجماليين إلى النموذجين مفتوحي الأوزان Kimi K3 وDeepSeek V4 Pro. وعند تثبيت قيود أحد الأقسام وإضافة قيود إلى بقية المستند، تنخفض نتيجة Kimi K3 بنسبة 0.4% مع كل مستوى من كثافة القيود، وتنخفض نتيجة GPT-5.5 بنسبة 1.5%، فيما تنخفض نتيجة GPT-5 nano بنسبة 5.5%.

التدريب باستخدام درجة المعيار مكافأةً

يستخدم LIFT-Train درجة المعيار كما هي، من دون تغيير، مكافأةً للتعلم المعزز (RL) عبر 34,258 مهمة من المولّد نفسه؛ ويشير المستودع إلى أن قيمة constraint_reward العددية نفسها تُستخدم مقياسًا للمعيار ومكافأةً، من دون نموذج مكافأة منفصل. درّبت AI21 نموذج Qwen2.5-7B باستخدام GRPO على LIFT-Train وعلى IFTrain. في IFTrain، بلغت المكافأة 1.0 عند الخطوة 180، في حين انخفض طول الإجابة الوسيطة من 114 كلمة إلى 18 كلمة عند الخطوة 390. أما في LIFT-Train، فظل طول الإجابة الوسيطة يتراوح بين نحو 390 و530 كلمة، ولم يقل طول أي إجابة ذات درجة عالية عن 30 كلمة.

كما جرى التدريب بسلاسة على عينة فرعية من LIFT-Train تقتصر على المهام ذات التنسيق المسطّح، فتطابق التنسيق الظاهري في IFTrain مع إبقاء المحتوى ضمن المكافأة. وتقول AI21 إن ذلك يشير إلى أن محتوى المكافأة، لا التنسيق، هو العامل الحاسم، مع الإشارة إلى اختلاف موضوعات مجموعتي البيانات: ويكيبيديا في مقابل WildChat. عبر خمسة معايير وبعد 180 خطوة من GRPO، تفوقت كل وصفة تدريب على المعيار الخاص بها؛ وفي AdvancedIF وComplexBench، اللذين يقيسان المحتوى أيضًا، تراجع أداء IFTrain بينما حافظ LIFT-Train على استقراره. وتصف AI21 الفروق الطفيفة بأنها تجنّب للتراجع، لا تفوقًا عامًا.

أفادت AI21 بأن تدريب Qwen3-32B على كل نطاق على حدة، وكذلك على مزيج منها، أفضى إلى بلوغ التدريب المقتصر على المهام المنظّمة 0.805 في المهام المسطّحة، والتدريب المقتصر على المهام المسطّحة 0.798 في المهام المنظّمة، مقابل 0.896 و0.919 للمزيج على الترتيب. ولم يُحدث التدرّج من المهام السهلة إلى الصعبة أي فرق. وفي ملخصها، توصي الشركة الفرق التي تدرب نماذج على اتباع التعليمات بقياس المهمة لا القواعد وحدها، والتحقق من توافق المُحكِّم مع التصنيفات البشرية، واختيار النموذج الأساسي استنادًا إلى التقييم المحدد النطاق لا إلى لوحة ترتيب عامة للمهام المسطّحة، واستخدام التقييم مكافأةً مع تتبّع طول الإجابة إلى جانب منحنى المكافأة.

التوافر

يتوفر LIFT-Bench وLIFT-Train وخط أنابيب التوليف على GitHub بموجب ترخيص Apache-2.0، فيما تُستضاف تقسيمات المعيار على Hugging Face Hub بالمعرّف ai21labs/LIFTBench. وتُصدَر المهام بالتنسيق الذي تدعمه مكتبة verifiers التابعة لـ PrimeIntellect دعمًا أصيلًا للتقييم والتدريب بالتعلم المعزز (RL)، كما ينشر المستودع مزيجًا تدريبيًا من خمس مجموعات تقسيم لـ prime-rl يضم 17,129 مهمة. وتشمل أنواع القيود القابلة للتحقق اللغة، وأعراف استخدام الأحرف الكبيرة والصغيرة، وعدد الكلمات المفتاحية، وعدد الرموز التعبيرية، وبنية المستند المطابقة للمخطط التفصيلي.