معيار Vals AI للمساعدة القانونية يكشف قصور النماذج في تقديم المساعدة المحلية

أعلنت NextLadder Ventures وVals AI في 10 نوفمبر 2026 عن معيار الوصول إلى العدالة، مشيرتين إلى أن أياً من نماذج الذكاء الاصطناعي الـ23 لم يبلغ عتبة 80% اللازمة ليكون نقطة اتصال أولى موثوقة عبر 252 سيناريو من سيناريوهات المساعدة القانونية.

تُظهر نتائج المعيار ومنهجيته فجوة واسعة بين شرح القانون والعثور على مساعدة عملية. وتفيد Vals AI بأن النماذج استوفت ما بين 78% و87% من معايير الخبراء في الشروح القانونية العامة، لكنها لم تستوفِ سوى ما بين 30% و50% من المعايير المتعلقة بتحديد موارد بعينها، مثل برنامج محلي للمساعدة القانونية، أو مركز للمساعدة الذاتية في المحاكم، أو نموذج محدد. وذكرت 21 نموذجاً دليلاً وطنياً واحداً على الأقل، مثل LawHelp.org أو خدمة Find Legal Help التابعة لـABA أو الرقم 211، في 70% على الأقل من إجاباتها النهائية، بدلاً من تحديد البرنامج أو المكتب المحلي المعني باستمرار.

يضع الإعلان المشترك Qwen 3.8 Max في الصدارة، بعدما استوفى 76.4% من المعايير، تليه Claude Sonnet 5.5 بنسبة 74.9%، ثم Wonder Full بنسبة 74.7%، مع وقوع النتائج الثلاث كلها ضمن هامش الخطأ بعضها من بعض. ويعني هذا التقارب أن الترتيب الرقمي لا يحدد متصدراً واضحاً.

قارنت ميغانا كوتشرلاكوتا، عالمة أبحاث في Vals AI، هذا المشروع بمعايير الذكاء الاصطناعي القانوني التي تركز على مكاتب المحاماة وعملاء الشركات، وقالت: «أنشأنا معيار الوصول إلى العدالة لنبين مدى قدرة هذه النماذج على خدمة الأشخاص الأشد حاجة إلى المساعدة، مشكلةً مشكلة، ولنتابع ما إذا كان أداؤها يتحسن».

يضع التقرير النتائج في سياق دراسة فجوة العدالة لعام 2022 الصادرة عن Legal Services Corporation، التي خلصت إلى أن الأمريكيين ذوي الدخل المنخفض لم يتلقوا مساعدة قانونية، أو تلقوا مساعدة غير كافية، في 92% من مشكلاتهم القانونية المدنية. ومن بين الذين لم يطلبوا المساعدة، أشار 46% إلى التكلفة. واستند البحث إلى استطلاع شمل نحو 5,000 بالغ أجرته NORC في University of Chicago، وإلى بيانات من منظمات للمساعدة القانونية تمولها المؤسسة.

كيف قيّم المعيار المساعدة عند أول اتصال

يتعامل المعيار مع كل نموذج بوصفه نقطة اتصال أولى، على غرار موظف استقبال الطلبات أو مركز للمساعدة الذاتية في المحاكم، يقدم معلومات قانونية عامة لا استشارات قانونية. وقدم ممارسان قانونيان استفسارات من الواقع، ثم أعدّ ستة خبراء في المساعدة القانونية صيغاً تناسب الولايات الموكلة إليهم: كاليفورنيا ولويزيانا وفرجينيا ونيويورك وميريلاند وتكساس. ووضع الخبراء أسئلة افتتاحية، وحقائق أساسية لا تُكشف إلا إذا استدعتها المحادثة، وتقديرات للصعوبة، ومعايير تقييم تضمنت في المتوسط 15.4 معياراً مستقلاً.

تضم مجموعة البيانات الكاملة 504 سيناريوهات، موزعة بالتساوي بين مجموعة الاختبار العامة ومجموعة تحقق خاصة. وكان بإمكان كل نموذج مستهدف البحث في الويب وفتح الصفحات وطرح الأسئلة على عميل محاكٍ باستخدام GPT-5، قبل أن يقيّم Decider v1.2، وهو محكّم آلي، المحادثة كاملة. ولم يُقدَّم سوى ما طلبه النموذج المستهدف من معلومات، كما أن العميل المحاكى لم يضف تفاصيل أخرى ولم يعترض على الافتراضات الخاطئة. واحتُسبت درجة النموذج بوصفها النسبة الإجمالية لمعايير التقييم المستوفاة عبر سيناريوهات الاختبار.

خيارات المحادثة والمصادر كشفت عن أوجه قصور

شكّلت التشريعات وقواعد المحاكم والأحكام القضائية 42% من الصفحات التي قرأتها النماذج، بينما بلغت حصة مواقع المساعدة القانونية والمساعدة الذاتية غير الربحية 10%. وتربط Vals AI هذا النمط بالفجوة بين الدرجات: فقراءة التشريعات قد تساعد على إعداد ملخص عام، لكنها لا تحدد اسم المنظمة أو مكتب المحكمة الذي ينبغي للمستخدم التواصل معه تالياً.

أظهر تحليل Vals AI للمحادثات أنها تضمنت في المتوسط نحو 3.5 جولات من التبادل، وأن معظم النماذج قدمت إجابة كاملة في ردها الأول قبل طرح الأسئلة، إن طرحتها أصلاً. وأنهى GPT-6.1 Sol رده الأول بسؤال في 88% من الحالات، لكنه حل في المرتبة 18 بنسبة 68.1% في الاستنباط، وهو معيار يقيس ما إذا كان النموذج قد طلب الوقائع اللازمة. ويبين هذا التباين أن كثرة الأسئلة لا تعني بالضرورة استجلاء الوقائع التي حددها الخبراء. وأحياناً افترضت النماذج التي لم تطرح أسئلة تفاصيل، مثل الولاية التي يقيم فيها المستخدم أو ما إذا كان قد صدر أمر من المحكمة بالفعل.

أظهرت نتائج Vals AI بحسب الموضوع أن سيناريوهات الإسكان والعلاقة بين المالك والمستأجر سجلت أعلى نتيجة، بواقع 75.4% لدى جميع النماذج، في حين سجلت الإعانات العامة أدنى نتيجة، بنسبة 57.3%، مع أن هذه الفئة لم تضم سوى خمسة سيناريوهات. وشكّل قانون الأسرة 110 سيناريوهات، بمتوسط بلغ 71.2%؛ وضمن هذه الفئة، سجلت مسائل الزيارة 61.3%، فيما سجلت رعاية الأقارب للأطفال التي تشمل خدمات حماية الطفل 63.0%.

يوضح مثالان وردا في الإعلان كيف أثّرت أوجه القصور هذه في الإرشادات. ففي قضية مطالبات صغيرة في لويزيانا، تتعلق بوعد شفهي بسداد دين، سأل ثمانية نماذج فقط عمّا إذا كان الدين مرتبطاً بعقارات، وحذّر أربعة من أن انقضاء مهلة تقديم الدعوى البالغة 10 سنوات سيمنع استرداد المبلغ، وأحال ثلاثة المستخدم إلى موقع كاتب المحكمة للحصول على نماذج المطالبة وطلب الإعفاء من الرسوم. وفي سيناريو بمدينة نيويورك يتعلق بتأمين مستأجر انتقل من مسكنه، خُفّض تقييم 14 نموذجاً لأنها أوصت باتخاذ خطوة خارج المحكمة تتمثل في إرسال خطاب مطالبة، وهي خطوة حذرت معايير الخبراء من اللجوء إليها، ولم يُحِل سوى أربعة نماذج المستأجر إلى برنامج المدينة «الحق في التمثيل القانوني».

نتائج النماذج المجانية والمتميزة

في مقارنة منفصلة بين أبرز مزوّدي روبوتات الدردشة، بلغ متوسط المجموعة المقدَّرة للنماذج المتاحة مجانًا لدى Vals AI نسبة 69.7%، مقابل 70.4% للنماذج المتميزة. وحقّق Claude Sonnet 5.5 نتيجة أعلى بـ1.2 نقطة مئوية من Claude Opus 5.5، ولم يُظهر تفوقًا واضحًا على النموذج المجاني لدى المزوّد سوى النموذج المتميز من xAI. وتستند تصنيفات مستويات النماذج في المقارنة إلى تقديرات، لا إلى مطابقة مؤكدة للمزوّدين، كما أن اختبارات API المتطابقة لا يمكنها أن تعكس بالكامل سلوك روبوتات الدردشة الموجّهة للمستهلكين؛ وقد استُبعدت النماذج مفتوحة الأوزان.

وقالت المؤسستان إنهما تتعاونان لإعداد تحليل أشمل وموجز إضافي يهدف إلى مساعدة الممارسين في الخطوط الأمامية على فهم الثغرات المتبقية. وبالنسبة إلى مؤسسات المساعدة القانونية التي تقيّم هذه الأنظمة، تتمثل الدلالة العملية في أن شرح القانون ليس سوى جانب واحد من أداء التواصل الأولي؛ إذ يقيّم المعيار أيضًا ما إذا كانت النماذج تكشف الوقائع التي قد تغيّر مسار القضية، وتقدّم خطوة تالية محددة وملائمة للسياق المحلي.