تُصدر Ai2 أداة StateBench لقياس تتبّع الحالة عبر السياقات الطويلة

أعلن Allen Institute for AI (Ai2) عن إطلاق StateBench في 3 نوفمبر 2026، وأتاح معيارًا مرجعيًا من أربعة مستويات ومجموعة بيانات ورمزًا برمجيًا لاختبار قدرة النماذج اللغوية على تتبّع المتغيرات المتغيرة عبر المستندات الطويلة. وأفادت Ai2 بأن النماذج الأربعة المتقدمة التي اختبرتها أخفقت في الأنماط الأصعب من تتبّع الحالة كلما طالت المدخلات.

تعرض الورقة البحثية المصاحبة، التي أعدّها Jackson Petty وWilliam Merrill وAshish Sabharwal، هذا العمل بوصفه استجابةً لفجوة في القياس. وقد ركّزت الاختبارات القائمة على مسألة الكلمات S₅، وهي مهمة صعبة تقوم على تتبّع عمليات التبديل المتعاقبة بين خمسة عناصر، في حين قد تكون الأنماط الأبسط أقرب إلى تمثيل المهام العملية، وقد تكشف بالفعل عن اختلافات بين البنى المعمارية. أما StateBench، فيصنّف تتبّع الحالة بحسب نوع التحديث الذي يتعين على النموذج متابعته.

أربعة مستويات لتحديثات الحالة

في المستوى الأول، تستخدم المهام ذات الخاصية r-trivial إسنادات ثابتة لا تتغير، لذا لا يحتاج النموذج إلا إلى استرجاع القيمة الأصلية لمتغير ما. وتتيح المهام غير الدورية إعادة الإسناد باستخدام قيمة، بحيث يكفي الاعتماد على أحدث إسناد. أما المهام القابلة للحل، فتضيف تحديثات ذاتية الإحالة مثل x = x + 5، ما يتطلب مواصلة تمرير كل تغيير إلى الخطوات التالية. وتضيف المهام المنتهية العامة الإسناد بالمرجعية، بما في ذلك عمليات التبديل، التي تنشئ اعتمادًا متبادلًا بين المتغيرات.

وتستند هذه الفئات أيضًا إلى أساس صوري في نظرية Krohn–Rhodes، وهي إطار جبري يقسّم مسائل تتبّع الحالات المنتهية إلى عمليات أولية. ولإجراء مقارنات مضبوطة، اشتقّ الباحثون الصيغ الأخرى من تسلسل عام واحد للحالات المنتهية، مع الحفاظ على عدد المتغيرات والقيم المتميزة ومواضع الإسناد، وتغيير عملية التحديث وحدها. وتتراوح مجموعة التقييم بين 8 و64,000 عملية إسناد، ويقترن كل تسلسل بحالة نهائية صحيحة واحدة وأربعة خيارات خاطئة، لاختبارات التوليد أو الاختيار من متعدد. كما عُرضت المسائل بصيغ نصية متعددة، منها شيفرة الأعداد الصحيحة وخلايا جداول البيانات، لاختبار ما إذا كان شكل العرض يؤثر في النتيجة.

تتعثر النماذج المدرّبة مسبقًا مع تنامي الاعتماديات

شمل تقييم Ai2 للنماذج المفتوحة نموذج Olmo 3 القائم على بنية المحوّلات، والذي يضم 7 مليارات معلمة، ونموذج Olmo Hybrid الذي يضيف طبقات Gated DeltaNet، إلى جانب أنظمة أصغر دُرّبت على البيانات نفسها. ولم يسبق لأي منها أن عالج سياقات تتجاوز 64,000 وحدة ترميز أثناء التدريب، بينما اختُبرت معظمها على أطوال أكبر من ذلك. وأفادت Ai2 بأن أداء جميع النماذج تقريبًا كان جيدًا في المهام ذات الخاصية r-trivial، وأن دقتها تراجعت في المهام غير الدورية كلما ازدادت المدخلات طولًا، وظلت عند مستوى التخمين في المهام المنتهية العامة.

أثّر أسلوب العرض في النتائج: إذ قالت Ai2 إن النموذج الهجين الصغير ونماذج Gated DeltaNet حققت درجات قاربت الحد الأقصى في المطالبات ذات الخاصية r-trivial عند عرضها بصيغة معينة، لكنها قاربت مستوى التخمين عندما ظهرت مسائل مكافئة على هيئة تعديلات في جداول البيانات. وتعني هذه الفجوة أن تحقيق نتيجة قوية بصيغة واحدة لا يثبت بالضرورة امتلاك قدرة عامة على تتبّع الحالة.

طلبت الاختبارات الخاصة من Gemini 3.8 Flash وClaude Opus 5.5 وGPT-6 Sol وGPT-6 Luna توليد القيمة النهائية لكل متغير. وأفادت Ai2 بأن النماذج الأربعة جميعها أدّت جيدًا في المسائل ذات الخاصية r-trivial وغير الدورية، لكن أداءها تراجع بشدة في المسائل القابلة للحل والمنتهية العامة كلما طالت المدخلات، فوصلت دقتها إلى 13% أو أقل في أطول حالات المهام المنتهية العامة.

التدريب المباشر يفصل أثر البنية المعمارية عن التدريب المسبق

ولتحديد ما إذا كانت هذه الإخفاقات ناجمة عن البنى المعمارية أم عن التدريب المسبق، درّب الباحثون ستة نماذج من الصفر، يضم كل منها 275 مليون معلمة: نسختين من المحوّلات، ونموذجين هجينين، ونسختين من Gated DeltaNet تختلفان في القيود المفروضة على تحديث الذاكرة. ولم تتجاوز سلاسل التدريب 256 عملية إسناد، بينما امتد الاختبار إلى طول يعادل 250 ضعفًا لهذا الحد الأقصى.

وأفادت Ai2 بأن نماذج Gated DeltaNet والنماذج الهجينة عمّمت أداءها على نحو شبه مثالي في المهام ذات الخاصية r-trivial وغير الدورية والقابلة للحل، حتى أطول السلاسل التي اختُبرت. وتعلمت المحوّلات المستويات الأسهل، لكن أداءها تراجع خارج نطاق بيانات التدريب، ولم تتعلم المهام المنتهية العامة مطلقًا، حتى ضمن نطاق بيانات التدريب. وفي المهام المنتهية العامة، حافظ إصدار Gated DeltaNet الذي يسمح بقيم ذاتية موجبة وسالبة على أداء شبه مثالي حتى نحو 10 أضعاف أقصى طول استُخدم في تدريبه، في حين تراجع أداء الإصدار ذي القيم الذاتية غير السالبة فور تجاوز حد التدريب.

ويرى الباحثون أن هذا التباين يدل على أن التدريب المسبق يساعد في تفسير إخفاقات النماذج التكرارية والهجينة المدرّبة مسبقًا، بينما يشير استمرار إخفاق المحوّلات في أصعب المستويات حتى بعد تدريب موجّه إلى وجود قصور في بنيتها المعمارية.

الموارد المتاحة للجمهور والقيود المتبقية

تضم مجموعة البيانات التي أُتيحت 68,000 سجل، يبلغ حجمها الإجمالي 1.05 GB. ويحتوي التكوين المعياري على مسارات العمليات والحالات النهائية بصرف النظر عن أداة التنسيق؛ أما السجلات المعروضة فتضيف المطالبات والإكمالات والبدائل الخاطئة وتسميات التعقيد والبيانات الوصفية للتوليد. وتتيح حقول طول الرموز وطبقات التصنيف اختيار أمثلة بحسب طول المطالبة.

ويولّد مستودع الشيفرة، المنشور بموجب ترخيص Apache-2.0، مجموعات المهام انطلاقًا من مسارات معيارية، ويمكنه فرض الفصل الدلالي بين مجموعتي التدريب والاختبار. وهو يدعم التقييم وتوليد بيانات التدريب، مع الحفاظ على العلاقة المضبوطة بين مستويات الصعوبة.

تقدّم الورقة أيضًا برهانًا على أن Gated DeltaNet، عند استخدام دقة ثابتة وقيم ذاتية غير سالبة، يستطيع حل جميع المهام غير الدورية وبعض المهام الدورية. وتشمل هذه المهام التكافؤ، أي تحديد ما إذا كان إدخال متكرر قد ظهر عددًا زوجيًا أم فرديًا من المرات، مع أن بناء حلّ لمهمة التكافؤ يعتمد على التقريب. ولا يزال الموضع الدقيق لهذا النموذج في التسلسل الهرمي غير محسوم، وكذلك قدرته على حل كل مهمة قابلة للحل، وآثار الدقة العددية وإضافة طبقات الانتباه.

يفترض StateBench أيضًا عددًا ثابتًا من المتغيرات، لذا فهو لا يحاكي بعدُ المحادثات أو المستندات التي يظهر فيها أشخاص وأشياء جدد بمرور الوقت.

يتمثل التمييز الجوهري في هذا المعيار في الفرق بين قبول مُدخل طويل والحفاظ على الحالة التي يتضمنها. وتجعل مهامه المضبوطة هذا الفرق قابلًا للقياس عبر البنى المختلفة، لكن تصميمه القائم على عدد ثابت من المتغيرات يعني أن حتى النتيجة المثالية لن تثبت القدرة على تتبّع الكيانات الجديدة في مستند أو محادثة على نحو موثوق.