تطلق Scale AI معيارًا لتقييم الاستدلال القانوني في سنغافورة بالتعاون مع IMDA

Scale AI وهيئة تنمية الإعلام والاتصالات في سنغافورة (IMDA) قدّمتا SG-LegalClarify في 12 نوفمبر 2026، لتقييم 19 نموذجًا لغويًا عبر 1,860 سيناريو في 10 مجالات من القانون السنغافوري. ويفحص المعيار دقة الإجابات القانونية، وكذلك ما إذا كانت النماذج تطلب المعلومات الناقصة قبل الإجابة.

تصف Scale مشروع SG-LegalClarify بأنه أول مبادرة بحثية ضمن تعاون أُضفي عليه الطابع الرسمي في أبريل 2026، وأُعلن عنه علنًا في 7 يوليو 2026. ويهدف المشروع إلى مساعدة الحكومات على تقييم أنظمة الذكاء الاصطناعي وفق قوانينها ومؤسساتها، بدلًا من افتراض أن نتائج المعايير الدولية تنطبق على كل سياق وطني.

تعرض الورقة البحثية سنغافورة بوصفها اختبارًا صعبًا، إذ يعمل فيها القانون العام الإنجليزي الموروث إلى جانب تعديلات محلية وتشريعات خاصة بسنغافورة. لذلك، قد يغفل نموذج يعتمد على استدلال عام مستند إلى القانون العام القاعدة المحلية السارية. ويختبر SG-LegalClarify أيضًا مهارة منفصلة، هي تحديد ما إذا كان الاستفسار يتضمن معلومات ذات أهمية قانونية كافية للإجابة عنه أصلًا.

لهذا التمييز أهمية في الاستفسارات اليومية. فقد يحتاج السائق الذي يسأل عن عقوبة تجاوز السرعة إلى ذكر نوع المركبة والسرعة الفعلية ونقاط المخالفات المسجلة عليه. وقد يقدم المساعد الذي يحدد العقوبة من دون هذه التفاصيل إجابة تبدو موثوقة، لكنها خاطئة قانونيًا.

أسئلة مزدوجة تختبر متى تطلب النماذج معلومات إضافية

تبدأ مجموعة البيانات بـ1,100 سؤال أصلي باللغة الإنجليزية: 340 سؤالًا محددًا بالكامل و760 سؤالًا ناقص التحديد. ولكل سؤال ناقص التحديد سؤالٌ مقابل محدد بالكامل، يتضمن الحقائق المحذوفة منه. وصاغ الأسئلة 23 محاميًا جرى التحقق من مؤهلاتهم، وعمل سبعة منهم أيضًا مراجعين. وتراوحت خبرتهم القانونية بين سنتين و37 سنة، بوسيط قدره ست سنوات.

يتضمن كل سؤال معيار تقييم أعدّه محامٍ، ويغطي تحديد المسألة القانونية واستذكار القاعدة وتطبيقها والاستنتاج، مع 12,546 معيارًا في مجموعة البيانات. ومن بين هذه المعايير، يُعدّ 89.0% إلزاميًا للإجابة الصحيحة من حيث الجوهر؛ ولا تحتسب النتائج الرئيسية سوى البنود الإلزامية.

تفرض بوابة كفاية المعلومات أولًا على كل نموذج الاختيار بين الإجابة مباشرةً وجمع المعلومات. وفي مسار جمع المعلومات، لا يكشف مستخدم محاكى عن الحقائق المحذوفة إلا عندما يطلبها النموذج صراحةً. وتتولى لجنة تحكيم تضم ثلاثة نماذج للذكاء الاصطناعي، اختيرت بعد مقارنتها بتقييمات محامين بشريين، تقييم كل معيار بالتصويت بالأغلبية.

حسّن البحث النتائج، لكن طلب الإيضاح ظل ضعيفًا

تفيد الورقة بأن Claude Fable 5 تصدّر الاختبارات المغلقة، محققًا 69.8% من المعايير الإلزامية، مقابل متوسط بلغ 53.8%. ومع استخدام البحث على الويب، تصدّر Kimi K3 بنسبة 77.8%، وارتفع المتوسط إلى 63.0%؛ وتحسن أداء كل النماذج، وإن تفاوتت المكاسب. وكان استذكار القواعد أضعف مكونات التقييم، إذ بلغت معدلات النجاح 43.2% من دون البحث و56.5% معه.

ويفيد ملخص Scale بأن نحو 39% من السيناريوهات المغلقة التي تنقصها معلومات لم تشهد أي سؤال استيضاحي، في حين طرحت النماذج أسئلة غير ضرورية في نحو 28% من السيناريوهات التي كانت معلوماتها كافية بالفعل. وعندما كانت المعلومات ناقصة، لم تسأل النماذج عن سوى 39% في المتوسط من الحقائق ذات الصلة التي حددها الخبراء القانونيون.

وفي مقارنة وصفية للتجارب المدعومة بالبحث على الويب، التي طلبت فيها النماذج جميع الحقائق الناقصة ذات الصلة، تفيد الورقة بأن 55.6% منها توصلت إلى الاستنتاج القانوني الصحيح، و32.1% إلى استنتاج خاطئ، بينما لم تقدم 12.3% أي استنتاج. ولذلك، فإن جمع المعلومات كاملةً لا يضمن تطبيق القانون تطبيقًا صحيحًا.

حدود التقييم وخطط إتاحة البيانات

يشير المؤلفون إلى عدة قيود على النتائج: فقد كان التحقق البشري من مساعدات الذكاء الاصطناعي محدودًا، وحالت الاختلافات بين مزودي الخدمات دون إتاحة أدوات بحث متطابقة، وربما أثّر التوجيه المسبق في سلوك طلب الإيضاح. كما أن بعض المتغيرات الناقصة المشروحة ليست ضرورية لحل حالة معينة، لذا لا يعني عدم طلب جميع المعلومات الناقصة تلقائيًا أن الاستيضاح غير كافٍ.

يعتزم الباحثون إتاحة 50% من الأسئلة الأصلية في كل فئة، مع الاحتفاظ بالبقية للتقييم الخاص، وإبقاء كل زوج من الأسئلة ناقصة التحديد ومحددة التحديد بالكامل ضمن المجموعة نفسها. ومن المخطط أيضًا إتاحة مخرجات النماذج في المجموعة العامة ومسار التقييم.

يفيد بيان الأخلاقيات في الورقة بأنه لا ينبغي تفسير الدرجات على أنها دليل على أمان النموذج لتقديم المشورة القانونية من دون إشراف. وبالنسبة إلى الحكومات التي تقيّم الذكاء الاصطناعي القانوني، تجعل النتائج طلب الإيضاح جزءًا من مسألة الدقة: إذ يتعين على النظام إدراك الحقائق التي يعدّها القانون المحلي ذات أهمية، ثم تطبيق ذلك القانون تطبيقًا صحيحًا بعد الحصول عليها.