نماذج ومنصات الذكاء الاصطناعي
تنشر Anthropic إرشادات لإجراء تقييمات أكثر موثوقية لسلامة الذكاء الاصطناعي
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةRefusal rate misleads on self-harm because declining to engage can itself be a failure.
عرض المزيد
- Refusal rate misleads on self-harm because declining to engage can itself be a failure.
- Anthropic reports multi-turn confidence intervals can exceed ±10 percentage points.
- A model's safety score depends on deployment configuration as much as the model itself.
نشرت Anthropic توصيات لإجراء تقييمات أكثر موثوقية لسلامة الذكاء الاصطناعي في 13 نوفمبر 2026، وأفادت بأن معدلات الاستجابة غير الضارة الإجمالية تراوحت بين 94% و98% لدى كل نموذج حديث في اختبارات واجهة API أحادية الدور. وتفيد هذه الاختبارات، التي بلغت نتائجها سقفًا مرتفعًا، أساسًا في التحقق من عدم عودة إخفاقات معروفة؛ أما التقييمات متعددة الأدوار فتتيح تنوعًا أكبر، ويمكنها رصد التغيرات التدريجية خلال المحادثة.
يقيس تقييم السلامة مدى ميل النموذج إلى التسبب في الضرر أو الإسهام فيه، وما إذا كانت استجابته تزيد احتمال وقوع الضرر أو تقلله، ومدى جسامة الضرر المحتمل، بدلًا من قياس قدرة بعينها. ومن الشواغل الأساسية صلاحية البناء، أي ما إذا كان الاختبار يقيس المفهوم الذي يُفترض أن يقيسه. وقد يكون معدل الرفض مضللًا في المحادثات المتعلقة بالانتحار وإيذاء النفس، لأن مجرد الامتناع عن التفاعل قد يُعد بحد ذاته إخفاقًا؛ فالاستجابة المنشودة تقدم الدعم وتوجّه المستخدم إلى طلب المساعدة من إنسان. وبدلًا من ذلك، تقيس تقييمات Anthropic متعددة الأدوار معدل الاستجابة الملائمة على امتداد المحادثة كلها، باستخدام معايير تقييم خاصة بكل نوع من المخاطر، بحيث يؤدي دور واحد سيئ إلى اعتبار المحادثة بأكملها إخفاقًا.
اختبارات متعددة الأدوار وتغطية للواقع العملي
لإعداد هذه الاختبارات، يكتب خبير في المجال مواصفات تحدد أهداف المستخدم المحاكى وأساليبه وشخصيته وظروفه ونبرته وأسلوبه في المحادثة. ويظل الدور الأول للمستخدم ثابتًا، بينما يتولى نموذج Claude منفصل توليد الأدوار اللاحقة استجابةً للنموذج الخاضع للاختبار. ويُعاد تشغيل كل سيناريو مرات عدة باستخدام مجموعات مختلفة من السمات، ثم يقيّم نموذج مخصّص للتقييم النص الكامل للمحادثة وفق معيار المخاطر المناسب.
يساعد تغيير الأبعاد كلٌّ على حدة في تحديد العوامل المحركة للسلوك؛ فإذا اتسمت كل حالة شديدة بنبرة ملحّة أيضًا، تعذر فصل أثر شدة الحالة عن أثر النبرة. وتوصي Anthropic كذلك بالاستناد إلى سلوك مرصود وبيانات متاحة للعامة ونصوص محاكاة الهجمات وتقارير الحوادث ومقابلات الخبراء، بدلًا من الاعتماد على مواقف مختلقة وحدها. وتغطي مجموعات اختبارات Anthropic أحادية الدور 16 مجالًا من مجالات السياسات بسبع لغات، عبر واجهات متعددة للمنتجات، كما تُطابق بيئة التقييم مع بيئة النشر الخاضعة للاختبار.
يتطلب تشغيل الاختبارات أيضًا احتواءً للمخاطر. ففي تقييمات الأمن السيبراني، تدعو الإرشادات إلى استخدام بيئات معزولة بلا اتصال بالإنترنت ومراقبة آنية، بحيث يمكن إيقاف التشغيل إذا كان من شأن تصرفات النموذج أن تسبب ضررًا في العالم الحقيقي.
التحقق من صلاحية نماذج التقييم والقيود الإحصائية
تنطوي نماذج التقييم الآلية على خطر قياسي آخر، إذ قد تواصل الأنظمة المعطلة إصدار درجات تبدو معقولة. وتشمل الضمانات الموصى بها معايير ذرية تقتصر على الإجابة بنعم أو لا، ومعالجة صريحة لإخلاءات المسؤولية والحالات الحدّية، وتنبيهات واضحة عند الإخفاق، وفحوصًا لتحيزات طول الاستجابة وموضعها وتفضيل النموذج لذاته. وينبغي للمراجعين البشر تصنيف عينة من نصوص المحادثات بصورة مستقلة، كي تُقارن درجة اتفاق نموذج التقييم مع الخبراء بدرجة الاتفاق بين الخبراء أنفسهم.
ويحدد هذا الخط الأساسي البشري الإجراء التصحيحي المناسب. فإذا اتفق الخبراء بعضهم مع بعض، لكنهم اختلفوا مع نموذج التقييم، وجب تحسين معيار التقييم أو النموذج؛ أما إذا اختلف الخبراء فيما بينهم، فقد لا يكون للتقييم جواب ثابت يمكن قياسه. وتدعو الإرشادات أيضًا إلى التسجيل المسبق للمقاييس والمقارنات والعتبات المطلوبة للتحسن قبل الاطلاع على النتائج.
وتشكل أحجام العينات أساسًا لهذه الأحكام. وتعتمد Anthropic حدًا أدنى يبلغ 100 عنصر للتقييمات المعقدة متعددة الأدوار و1,000 عنصر للاختبارات الأبسط أحادية الدور، إلى جانب تكرار مرات التشغيل لمراعاة المخرجات المتقلبة وغير الحتمية. وتفيد Anthropic بأن فواصل الثقة في تقييمات واجهة API متعددة الأدوار قد تتجاوز ±10 نقاط مئوية: ففي تقييم متعدد الأدوار للاحتيال العاطفي على claude.ai، سجل Claude Opus 5 وOpus 5.5 معدلي استجابة ملائمة بلغَا 98% و94% على التوالي، لكن الفرق لم يكن ذا دلالة إحصائية. ويوضح هذا المثال لماذا لا تكفي فجوة رقمية وحدها لإثبات أن أحد النموذجين تصرف بأمان أكبر.
إعدادات النشر وإعداد التقارير
يُعد إعداد النشر متغيرًا آخر موثقًا. وأثناء مراجعة Claude Fable 5.1، وجدت Anthropic أن بعض الاستجابات أضفت ضمنيًا مشروعية على إيذاء النفس باعتباره استراتيجية للتكيف، رغم أنها كانت تثني عن إيذاء النفس وتشير إلى إمكانية الحصول على دعم بشري. وتفيد الشركة بأن إعادة التقييم باستخدام تدابير تخفيف موجّهة في تعليمات النظام أسفرت عن معدل استجابة ملائمة بلغ 94% على claude.ai، مقارنةً بـ60% على واجهة API. وتوضح هذه المقارنة سبب عدم جواز التعامل مع الدرجات الناتجة عن إعدادات مختلفة على أنها متكافئة.
تشمل توصيات إعداد التقارير إصدارات النماذج وإعدادات أخذ العينات والتعليمات وإصدارات نماذج التقييم والتواريخ، إلى جانب التقييم المستمر أثناء الضبط الدقيق بدلًا من الاكتفاء بفحص واحد قبل الإصدار. وينبغي إبلاغ المطوّر أولًا بالعيوب الخطيرة في الأنظمة المنشورة، لإتاحة الوقت لمعالجتها قبل نشر النتائج.
تتمثل أولويات Anthropic الثلاث الأعلى في تحديد البناء المراد قياسه قبل جمع البيانات، والتحقق من نموذج التقييم بالاستناد إلى الأحكام البشرية، والإبلاغ عن عدم اليقين. والمغزى الأوسع هو أن الادعاء بأن نموذجًا أكثر أمانًا من آخر يعتمد على تصميم الاختبار وسياق النشر والقوة الإحصائية، بقدر اعتماده على النتيجة المعلنة.
