تقارير Scale AI عن نتائج ROK-FORTRESS في سلامة الذكاء الاصطناعي متعدد اللغات

نشرت Scale AI في 17 سبتمبر 2026 نتائج من ROK-FORTRESS، وهو معيار سلامة عدائي ثنائي اللغة الإنجليزية–الكورية تم تطويره بالتعاون مع معهد كوريا لسلامة الذكاء الاصطناعي، وأفادت أن العبارات المكتوبة بالكورية والمستندة إلى سياقات كورية ارتبطت باستمرار بأضرار أقل قياسًا عبر ما يقرب من جميع النماذج المتقدمة الأربعة عشر التي تم تقييمها.

تصميم المعيار: مصفوفة إعادة الصياغة

معظم معايير سلامة متعدد اللغات تترجم عبارة ثابتة إلى لغة أخرى مع الحفاظ على السيناريو الموصوف دون تغيير. في المنشور البحثي الذي كتبه مادهو سيهواج، تصف Scale AI معيار ROK‑FORTRESS بأنه مصفوفة إعادة صياغة مُتحكم فيها: تُقيَّم كل عبارة عدائية عبر ما يصل إلى أربعة متغيّرات تختلف بشكل مستقل في اللغة، الإنجليزية مقابل الكورية، والأساس الجيوسياسي، أي الكيانات والمؤسسات والتفاصيل التشغيلية الأمريكية مقابل الكورية. تُقارن كل عبارة عدائية بعبارة غير ضارة بحيث يمكن للمعيار أيضًا قياس الإفراط في الرفض.

يغطي مجموعة البيانات الكاملة 1,235 مهمة عبر أربعة مجالات للأمن القومي والسلامة العامة: التهديدات الكيميائية والبيولوجية والإشعاعية والنووية والمتفجرة (CBRNE)؛ العنف السياسي والإرهاب؛ النشاط الإجرامي والمالي؛ وتسريب المعلومات. تُقَيم الردود بواسطة لجان LLM‑كقاضٍ مُعايرة تم التحقق من صحتها مقابل تسميات مرجعية كتبها خبراء، باستخدام قواعد ثنائية مخصصة لكل عبارة تم تطويرها بواسطة فرق الحمراء المتخصصة.

يوضح المنشور التصميم من خلال سيناريو هجوم واسع النطاق: يمكن للنوايا الأساسية نفسها أن تستدعي تفجير مبنى أوكلاهوما الفيدرالي عام 1995 في الولايات المتحدة أو تفجير رحلة الخطوط الكورية رقم 858 عام 1987 في كوريا، ولا يمكن لتقييم يقتصر على الترجمة وحدها أن يكشف كيف يغيّر هذا التحول في الأساس سلوك النموذج.

يُعد ROK‑FORTRESS أحدث معيار من شراكة أوسع بين Scale AI ومعهد كوريا لسلامة الذكاء الاصطناعي، تشمل البحث المشترك وتقييمات LLM والفرق الحمراء، وهو مبني على معيار FORTRESS، معيار Scale AI للأمن القومي والسلامة العامة للنماذج المتقدمة.

النتائج المبلغ عنها عبر 14 نموذجًا

غطى التقييم مجموعة مزدوجة من النماذج المتقدمة والنماذج المُحسّنة للكورية، وفقًا للورقة. أفادت Scale AI أن العبارات الإنجليزية عمومًا تنتج أعلى درجة مخاطر موزونة حسب الفئة، بينما العبارات الكورية المُعاد صياغتها بالكامل تنتج أدنى درجة، مع تواجد المتغيّرات المتوسطة بينهما، وأن النمط استمر حتى بالنسبة للنماذج الإقليمية المتخصصة في الكورية. اختلفت النماذج الأكثر والأقل ضررًا بنحو تسعة أضعاف تقريبًا في درجات المخاطر.

عقّدت إلغاء الطلب المباشر هذا النمط. تستخدم الاختبارات الرئيسية للمعيار عبارات عدائية معقدة تُخفي الطلبات الضارة داخل تمثيل أدوار، أو خلفيات مختلقة، أو مناشدات عاطفية؛ وعندما أزيلت هذه الأغطية وطُلبت نفس المعلومات بلغة مباشرة وواضحة، اختفت ميزة الكورية إلى حد كبير. ظلت النماذج المملوكة من OpenAI وAnthropic وGoogle أكثر أمانًا إلى حد معتدل عند استخدامها بالكورية، بينما أصبحت خمسة نماذج مفتوحة المصدر أكثر احتمالًا للامتثال بالكورية. تشير الورقة إلى أن هذا الانقسام يوحي بأن جزءًا من تقليل الضرر بالكورية يعود إلى تخصيص العبارة، أي فقدان الأغطية العدائية فعاليتها عبر إعادة الصياغة، وليس نتيجة لتوافق أمان مبني على اللغة بحد ذاته.

كما أفادت Scale AI أن تأثير الانتقال من الإنجليزية إلى الكورية كان تقريبًا 2.5 ضعف حجم تأثير الانتقال من الأساس الأمريكي إلى الأساس الكوري، أي حوالي عشر نقاط مئوية مقابل أربعة، وتقدمت بتفسير واحد يتماشى مع النتائج: أن الكورية تعمل كإشارة مخاطر محافظة. في 4 من النماذج الأربعة عشر، أدى إضافة السياق الكوري إلى إضعاف التخفيض في الردود الضارة المرتبط باللغة الكورية بشكل ملحوظ، ولم يظهر أي نموذج تأثيرًا إحصائيًا معنويًا في الاتجاه المعاكس. عند اعتبار الحالات التي أجاب فيها النماذج بدلاً من الرفض فقط، ما زال 12 من 14 نموذجًا يقدمون ردودًا أقل ضررًا بالكورية، بينما رفضت النماذج أيضًا الطلبات الكورية غير الضارة أكثر تكرارًا، في بعض الحالات بنحو الضعف.

المسودة، مجموعة البيانات العامة، والآثار المعلنة

النسخة الأولية على arXiv، المسمى “ROK-FORTRESS: قياس تأثير إعادة الترجمة الجيوسياسية على الأمن القومي والسلامة العامة”، يذكر مايكل س. لي و15 من المؤلفين الآخرين. تم تقديمه لأول مرة في 13 مايو 2026 وتم تعديله آخر مرة في 7 يوليو 2026، ويشمل 16 صفحة من النص الرئيسي بالإضافة إلى ملحق، 74 صفحة إجمالاً، مع أربع رسومات وجدولين في النص الرئيسي. يضع ملخّصها النتائج كدليل على أن، على الأقل في حالة الإنجليزية–الكورية، يتشكل سلوك السلامة من خلال إشارات اللغة كخطر وتفاعلات السياق التي تفوتها التقييمات التي تعتمد فقط على الترجمة، ويذكر أن منهجية مصفوفة إعادة الترجمة مصممة لتعميمها على أزواج لغات وثقافات أخرى.

مجموعة فرعية عامة من مجموعة البيانات متاحة على Hugging Face تحت ترخيص CC-BY-4.0، خلف اتفاقية وصول تتطلب معلومات الاتصال. تحتوي المجموعة الفرعية على 791 من أصل 1,235 مهمة، أي 64 ٪، بينما تُحجز الـ 444 مهمة المتبقية، أي 36 ٪، كاحتياطي خاص بناءً على تقييم خبراء “red‑team” لإمكانات الضرر، وذلك لتقييد المطالبات التي تُصنّف على أنها تشكل خطرًا أكبر على الاستخدام غير المشروع في العالم الواقعي ولمنع تلوث معيار القياس. تشمل الإصدارة 359 مهمة محايدة ثقافيًا مع متغيرين لكل منها و432 مهمة ذات صلة ثقافية مع أربعة متغيرات لكل منها، ما ينتج 1,519 زوجًا فعالًا من المهمة‑المتغير، وتحتوي كل مهمة على عنصر واحد إلى سبعة عناصر معيارية ثنائية مرتبطة بسبعة أبعاد للضرر مع مستويات مخاطر خاصة بالمجال من الفئة 1 إلى 3. تغطي المجموعة الفرعية العامة مجالات CBRNE (251 مهمة)، والأنشطة الإجرامية والمالية غير المشروعة (248)، والعنف السياسي والإرهاب (209)، وتسريب المعلومات (83)، مع 450 مهمة مُستندة إلى FORTRESS و341 مهمة مكتوبة حديثًا. تُقدم مجموعة البيانات بصيغة Parquet مع نسخة TSV مرفقة.

في المنشور، صرّحت Scale AI بأن تقييمات الترجمة فقط قد تُقدّر بشكل غير دقيق الفجوات الأمنية في العالم الواقعي، وأن المعايير يجب أن تختبر المطالبات المُعاد إنشاؤها التي تُكيّف كلًا من اللغة والأسس الجيوسياسية مع الحفاظ على النية الأساسية، وأن بيانات ما بعد التدريب وممارسات “red‑team” يجب أن تتضمن متغيرات ذات أساس ثقافي بدلاً من الاعتماد فقط على النسخ المترجمة من المطالبات العدائية الإنجليزية. بالنسبة لسياقات الحكومات الحليفة، صرّحت Scale AI أن نموذجًا يحقق أداءً جيدًا في تقييمات السلامة الإنجليزية قد يتصرف بشكل مختلف عند استجوابه باللغة المحلية حول تهديدات محلية الأساس. وأشار المنشور إلى أن اختبارات إضافية ضرورية لتحديد ما إذا كانت الأنماط نفسها سارية في لغات ودول أخرى.