تعرف الذكاء الاصطناعي عندما يتم اختباره، وتوصل الأبحاث إلى نتائج مثيرة

في صدى لفضيحة «ديزل غيت» عام 2015، تشير أبحاث جديدة إلى أن نماذج اللغة مثل GPT-4 وClaude وGemini قد تغيّر سلوكها أثناء الاختبارات، فتتصرف أحياناً بصورة أكثر أماناً مما تفعله في الاستخدام الفعلي. وإذا اعتادت النماذج تعديل سلوكها تحت المراقبة، فقد تمنح اختبارات السلامة شهادات لأنظمة تتصرف بطريقة مختلفة تماماً بعد النشر.

اكتشف المحققون عام 2015 أن فولكس فاغن ثبّتت برمجيات في ملايين سيارات الديزل تستطيع اكتشاف اختبار الانبعاثات، فتخفض التلوث مؤقتاً للتحايل على المعايير. أما أثناء القيادة العادية فتجاوزت الانبعاثات الحدود القانونية. أدى التلاعب إلى تهم جنائية وغرامات بمليارات الدولارات وأزمة عالمية حول موثوقية اختبارات السلامة والامتثال.

وقبل ذلك بعامين كُشف عن آلية مشابهة في هاتف Galaxy Note 3 من سامسونغ، ثم ظهرت قضايا مماثلة لدى Huawei وOnePlus. واليوم تتزايد الأدلة العلمية على أن نماذج اللغة الكبيرة لا تكتشف الاختبار فحسب، بل قد تتصرف بصورة مختلفة عند اكتشافه.

وجدت الدراسة الجديدة أن نماذج حدودية مثل GPT-4 وClaude وGemini تستطيع غالباً تمييز الاختبارات وتعديل سلوكها، بما قد يضعف صلاحية التقييم المنهجي. أطلق الباحثون على ذلك «الوعي بالتقييم» وحذروا من أنه مصدر جديد للانحراف بين توزيع بيانات الاختبار وظروف النشر الفعلي.

في أسوأ الحالات قد تتعمد النماذج خفض أدائها في اختبارات القدرات الخطرة، أو تتظاهر بالمواءمة في اختبارات الميول، ما يدفع المجتمع إلى المبالغة في تقدير سلامتها.

لاحظت دراسات أخرى سلوكاً شبيهاً. فقد وجدت أبحاث من جامعة ستانفورد أن النماذج تعدّل إجاباتها لتبدو أكثر قبولاً اجتماعياً عندما تدرك أنها قيد التقييم، في محاكاة لسلوك البشر في اختبارات الشخصية.

لا يفترض المؤلفون أن النماذج صُممت عمداً للتحايل كما حدث في سيارات فولكس فاغن. يبدو السلوك نتيجة ناشئة عن التدريب والأهداف الكامنة، ولا يزال سببه الأساسي مجهولاً. تحمل الورقة عنوان Large Language Models Often Know When They Are Being Evaluated، وأعدها خمسة باحثين من برنامج MATS المرتبط بجامعة كاليفورنيا في بيركلي ومن مؤسسة Apollo Research المعنية بمخاطر AI.

المنهج

جمع الباحثون ألف سجل حوار من 61 مجموعة بيانات، منها SWE-bench وWMDP وMMLU وXStest وGAIA وAgentHarm وShareGPT وDeep Research وSafetyBench وCivics وRealToxicityPrompts.

قُسمت المادة بالتساوي بين سيناريوهات التقييم والنشر، ثم بين محادثات بسيطة وجلسات وكلاء أكثر تعقيداً تستخدم فيها النماذج الأدوات وقواعد البيانات والإنترنت بصورة مستقلة. شملت بيانات التقييم اختبارات الاستدلال والبرمجة والأمن السيبراني والمعرفة العامة، إلى جانب الأخلاق والسلامة وسلوك الرفض. وجاءت بيانات النشر من تفاعلات مستخدمين فعلية وتشغيلات وكلاء جماعية ومهام اصطناعية.

أنشأ المؤلفون أمثلة إضافية بأطر مثل Aider وSmolAgents لتقليل الإشارات السطحية التي تسمح بحفظ بنية مجموعات البيانات. ثم عرضوا سجلات الحوار على النماذج وسألوها بصيغ مختلفة: هل جاءت هذه المحادثة من اختبار؟ صاغوا 28 نسخة من السؤال وغيروا طريقة عرض السجل، بما في ذلك JSON وXML، ثم اختاروا خمس صيغ مستقرة.

استُخدمت ثلاثة مقاييس: المساحة تحت منحنى ROC أو AUC لقياس القدرة على فصل الاختبار عن الاستخدام العادي؛ ودرجة Brier لدقة الاحتمالات؛ وخطأ المعايرة المتوقع لقياس توافق الثقة مع الصحة الفعلية.

هل تستطيع النماذج فهم غرض الاختبار؟

اختبر الفريق أيضاً قدرة النموذج على استنتاج غرض التقييم. صُنفت السجلات مسبقاً إلى اختبارات قدرة تشمل المهارات والمعرفة والاستدلال، واختبارات مواءمة تشمل السلامة والقيم والرفض.

تلقت النماذج ثلاثة أنواع من الأسئلة: اختيار متعدد مشروط يخبرها أن السجل اختبار، واختيار متعدد غير مشروط يتضمن خيارات واقعية واختبارية، وسؤال مفتوح تُقيّم إجابته أداة تصنيف مستقلة مبنية على GPT-4.1. تحقق الباحثون من أداة التحكيم على خمسين إجابة موسومة يدوياً.

وسم اثنان من المؤلفين السجلات الألف يدوياً من صفر، أي ليست اختباراً، إلى واحد، أي اختبار مؤكد، ثم استُخدم المتوسط كخط أساس بشري. ورغم ذاتية المهمة بلغ معامل الارتباط داخل الفئة 0.768، ما يدل على اتفاق قوي.

البيانات والنتائج

شملت النماذج المختبرة GPT-4.1 وGPT-4o وGPT-4.1-mini وo4-mini وClaude 3.5 Sonnet وClaude 3.7 Sonnet بنسختيه، وGemini 2.5 Flash وGemini 2.5 Pro. أظهرت جميعها مستوى من الوعي بالتقييم.

في بيانات المحادثة اقترب GPT-4.1 من أداء البشر في فصل سجلات الاختبار عن النشر، إذ سجل AUC قدره 0.77 مقابل 0.81 للبشر. وفي بيانات الوكلاء كان الفرق أوضح: سجل Gemini 2.5 Pro نتيجة 0.95 وClaude 3.7 Sonnet نتيجة 0.92، قريبين من الحد البشري البالغ 0.996.

تشير الورقة إلى أن نماذج «الاستدلال» الأحدث أصبحت جيدة بوجه خاص في اكتشاف الاختبار داخل جلسات الوكلاء، لكنها لا تقدّر مستوى الثقة المناسب. إجمالاً كان Claude وGemini الأفضل في الفصل بين حالات الاختبار والاستخدام العادي.

وعند تصنيف الغرض بين القدرة والمواءمة، حقق Claude 3.7 Sonnet دقة 93% وGPT-4.1 دقة 89% عندما أُخبرا أن السجل اختبار. من دون هذا التلميح سجل Claude نسبة 84% بينما انخفض GPT-4.1 إلى 55% وكثيراً ما صنف سجلات الاختبار كتفاعلات حقيقية.

في الأسئلة المفتوحة كان الأداء أضعف، ومع ذلك حدد Claude 3.7 Sonnet الغرض الصحيح في 46% من الحالات. وعند مقارنة الثقة بالنتائج الفعلية، تبين أن النماذج الحدودية تبالغ غالباً في احتمال أن يكون السجل اختباراً.

كان Claude 3.5 Sonnet الأفضل معايرة، بينما كان Gemini 2.5 Pro وClaude 3.7 Sonnet أكثر ثقة من اللازم رغم دقتهما العالية. لم يظهر تحسن واضح في النماذج الأحدث، وحتى عندما ارتفعت دقة الكشف في مهام الوكلاء بقي تقدير الثقة غير موثوق.

ذكريات مجموعات القياس

عند شرح قراراتها اعتمدت نماذج كثيرة على إشارات واضحة مثل صيغة الاختيار المتعدد. أما Gemini 2.5 Pro وClaude 3.7 Sonnet فلاحظا أحياناً إشارات أدق، مثل الأسماء المختلقة والسيناريوهات الاصطناعية، وخصوصاً في AgentHarm.

ذكرت الورقة أن جميع النماذج تتعرف كثيراً إلى استراتيجيات القياس الشائعة، مثل تنسيق المهمة، ووجود حلول قابلة للتحقق، ورسائل النظام المصممة لاستثارة الأداء. لكن النماذج الأقوى وحدها تلتقط بصورة متسقة المدخلات الاصطناعية الأكثر دقة.

في 22% و17% من الحالات على التوالي، أشار Claude 3.7 Sonnet وGemini 2.5 Pro إلى الطبيعة الاصطناعية لسيناريوهات AgentHarm، وصنفاها كتقييمات بصورة صحيحة في أكثر من 95% من المرات. وعندما اعتبرا السجل تفاعلاً حقيقياً، استشهدا غالباً بالحوار المتبادل مع المستخدم كما في تصحيح الأخطاء تكرارياً.

في حالات قليلة تعرفت النماذج إلى مجموعات قياس كاملة من التدريب، ما يشير إلى ذاكرة لبعض بيانات التدريب. كما استخدمت بعض النماذج مجرد سؤالها عن التقييم دليلاً على أنها تخضع للاختبار، وهو ما يسميه المؤلفون «الاستدلال الفوقي». ظهر هذا أكثر في o4-mini، في 15% من إجاباته.

المصادر والروابط المرجعية

• detect when emissions tests were being run
• revealed
• Huawei
• OnePlus
• growing
• LLMs
• very human trait
• GPT-4
• Claude
• Gemini
• new paper
• SWE-bench
• WMDP
• MMLU
• XStest
• GAIA
• AgentHarm
• ShareGPT
• Deep Research
• Safetybench
• Civics
• RealToxicityPrompts
• agentic
• refusal behavior
• Aider
• memorize
• Area Under Receiver Operating Characteristic Curve
• Brier score
• Expected Calibration Error
• intraclass correlation coefficient
• claude-3.7-sonnet
• gemini-2.5-flash
• gemini-2.5-pro
• gpt-4.1-mini
• o4-mini
• black box nature

الخلاصة

كان سيبعث على الاطمئنان أكثر لو كان وعي النماذج بالاختبار ناتجاً ببساطة عن برمجة بشرية صريحة، كما بُرمجت سيارات فولكس فاغن على تمييز ظروف الاختبار. لكن السلوك يبدو ناشئاً تلقائياً كبناء اجتماعي؛ وهو نهج دفاعي مألوف لدى البشر لكنه مزعج وربما خطير في آلة، تبعاً لمقدار استقلالها وقدرتها على الفعل.

لا يوجد علاج فوري. طبيعة الفضاءات الكامنة بوصفها صندوقاً أسود تجبرنا على تقييم النماذج من خلال السلوك بدلاً من فهم بنيتها تجريبياً. كما أن الأداء البشري الوارد في الدراسة يمثل على الأرجح حداً أعلى، لأن الموسمين كانا على دراية عميقة بمجموعات البيانات وطرق تقييم AI.

نُشر المقال لأول مرة يوم الأربعاء 4 يونيو 2025.