لماذا لا يستطيع الذكاء الاصطناعي أن يعترف بأنه لا يعرف الإجابة؟

غالبًا ما توفر نماذج اللغة الكبيرة إجابات واثقة حتى عندما لا يمكن الإجابة على السؤال. تظهر الأبحاث الجديدة أن هذه النماذج تعرف في كثير من الأحيان المشكلة داخليًا، ولكنها لا تزال تنتج إجابة، معظم الوقت، بدلاً من أن تكون لديها الثقة الكافية لتحديد أن الإجابة الصحيحة غير متاحة بسبب نقص المعلومات من المستخدم أو قيود النموذج أو لأسباب أخرى.

من المحتمل أن أي شخص قضى وقتًا معقولاً مع نموذج لغة كبير مثل ChatGPT أو Qwen سيكون قد واجه مواقف حيث قدم النموذج إجابة خاطئة (التي قد تكون أو لا تكون لها عواقب محلية كبرى، حسب مقدار الاعتماد عليها) – وعندما أصبحت الخطأ واضحًا، أصدر فقط اعتذارًا.

لماذا يواجه النماذج الرائدة مثل LLM صعوبة في الاعتراف بأنها لا تعرف إجابة للسؤال هو مجال دراسة صغير ولكن يتوسع صغير ولكن يتوسع. يمكن أن تكون الإجابة “واثقة بشكل خاطئ” ضارة بشكل خاص من واجهة API محددة ومفلترة مثل ChatGPT، لأن هذه النماذج تحجب بشكل عدواني الإدخال أو الإخراج الذي ي違ق القواعد أو يخدش الحياء.

يمكن أن يمنح هذا المستخدم انطباعًا خاطئًا بأن النموذج حاسم وثابت، بينما في الواقع جاء الرفض من هيورستيك تقليدي أو فلتر قائمة على القائمة المصممة لتحديد التعرض القانوني للشركة المضيفة في جميع الأوقات، وليس من أي رؤى من الذكاء الاصطناعي.

من ورقة ‘AbstentionBench’ يونيو 2025 من FAIR في Meta – على اليسار، يبرز الشكل مجموعة أنواع الفشل التي تم 捕获ها في AbstentionBench، والتي تختبر سلوك النموذج على أكثر من 35,000 سؤال غير قابل للإجابة؛ في منتصف، يظهر مثال كيف يستجيب النماذج غالبًا بإجابات مصنعة بدلاً من الاعتراف بأنها تفتقر إلى المعلومات الكافية؛ وعلى اليمين، ينخفض استدعاء الامتناع عندما يتم ضبط النماذج للتفكير بدلاً من اتباع التعليمات. مصدر: https://arxiv.org/pdf/2506.09038

تطعن ورقة جديدة من الصين في أن نماذج LLM تعرف في الواقع أنها لا تستطيع الإجابة على سؤال يتم طرحه من قبل المستخدم، ولكنها لا تزال مضطهدة لإنتاج نوع من الإجابة، معظم الوقت، بدلاً من أن تكون لديها الثقة الكافية لتحديد أن الإجابة الصحيحة غير متاحة بسبب نقص المعلومات من المستخدم أو قيود النموذج أو لأسباب أخرى.

تذكر الورقة ما يلي:

‘[نحن] نُظهر أن [نماذج LLM] تتمتع بقدرات معرفية كافية للاعتراف بالعيوب في هذه الأسئلة. ومع ذلك، فشلت في إظهار سلوك الامتناع المناسب، مما يكشف عن انحراف بين التفكير الداخلي والاستجابة الخارجية.’

لقد طوّر الباحثون نهجًا خفيفًا من مرحلتين يستخدم مراقبة معرفية لتحليل عملية التفكير الداخلية للنموذج لتحديد علامات على أنها تعرف أنها لا تستطيع توفير إجابة؛ ثم يتدخل، لضمان أن طبيعة النموذج “المفيدة” لا تزيد من مشاكل المستخدم من خلال إرساله إلى طريق مسدود أو حتى مدمر.

استخدمت الدراسة أسئلة رياضية غير محددة بشكل متعمد لاختبار ما إذا كان النموذج يمكنه الاعتراف عندما تكون الإجابة غير معروفة؛ ولكن هذا الإعداد يخاطر بتصوير المهمة على أنها “حيلة”. في الواقع، يواجه النماذج أسبابًا أكثر روتينًا للامتناع في المحادثة، من صياغة غامضة إلى فجوات في معرفة المجال.

العمل الجديد بعنوان الإجابة على الأسئلة غير القابلة للإجابة هي الخطأ عمدًا: تحليل وتخفيف فشل الامتناع في نماذج التفكير الكبيرة، ويأتي من أربعة باحثين عبر مختبر الدولة الرئيسي للتكنولوجيا البرمجية الجديدة ومعهد العلوم الصحية الوطنية في جامعة نانجينغ.

الطريقة

(منذ لا توجد منافسة مناسبة لمواجهة نهج المؤلفين في الاختبارات، ومنذ أن تتبع الورقة تنسيقًا غير تقليدي إلى حد ما، وكذلك لا تؤشر الاستشهادات إلى المعيار المعتاد، سنحاول اتباعه بأفضل ما يمكن.)

على غرار النهج السابقة، ركز المؤلفون على تقديم نماذج LLM مع أسئلة رياضية غير قابلة للإجابة من مجموعة الرياضيات غير القابلة للإجابة (SUM) مجموعة البيانات، وتقييم خمس عائلات من النماذج: من مجموعة DeepSeek، R1-Distill-Llama-8B؛ R1-Distill-Qwen-7B، R1-Distill-Qwen-14B؛ ومن سلسلة Qwen، Qwen3-8B، وكذلك Qwen3-14B.

تم إنشاء الأسئلة غير القابلة للإجابة في SUM عن طريق إزالة أو تقليل عناصر أساسية بخمسة طرق: حذف المعلومات الرئيسية؛ إدخال الغموض؛ فرض شروط غير واقعية؛ الإشارة إلى كائنات غير متعلقة؛ أو إزالة السؤال نفسه.

بعد ذلك، تم اختيار عينة من 1,000 حالة من هذا القبيل للتحليل، واستخدم GPT-4o لإنشاء تفسيرات موجزة لتكون بمثابة أساس للتوصل إلى الحقائق.

تم تقييم استجابات النموذج للأسئلة غير القابلة للإجابة باستخدام استجابات معيارية مع حد من 10,000 رمز، خلالها تم ملاحظة ثلاثة أنماط سلوكي رئيسية: في الأول، حدد النموذج السؤال على أنه غير قابل للحل، وامتنع – عادةً بالاستجابة بالتعبير الصريح عن عدم اليقين؛ في الثاني، أنتج إجابة كاملة من خلال اختراع المعلومات المفقودة، مثل إدخال رسوم التعامل البالغة 9.99 دولار لتحديد النتيجة النهائية (انظر الصورة أدناه)؛ في الثالث، يسمى التثبيت المعرفي، أصبح النموذج عالقًا في حلقة استدلال مطولة، وواصل مسارات حل غير صالحة حتى بعد الاعتراف ضمنيًا بأن السؤال يفتقر إلى إجابة قابلة للتطبيق:

مختلف نتائج الاستجابة للسؤال المستحيل.

تقدم الورقة اتجاهًا يبدو أن النماذج الأكبر تمتنع أكثر عن الإجابة على الأسئلة غير القابلة للإجابة، مع انخفاض في كل من الإجابات المخادعة وسلوك التثبيت:

توزيع استجابات النموذج للأسئلة الرياضية غير القابلة للإجابة، مع توضيح التردد النسبي لامتناع صحيح، وإجابات مخادعة، وتثبيت معرفي عبر مقاييس نموذجية مختلفة.

然而، هذا التحول محدود في الحجم، وترك جزءًا كبيرًا من الحالات غير محلولة من خلال الامتناع الصحيح، مما يشير إلى أن زيادة السعة وحدها لا تؤدي إلى سلوك أكثر حذرًا بشكل موثوق.

الوعي بالتعادل

لتحديد ما إذا كانت نماذج اللغة قادرة على تحديد الوقت الذي لا يوجد فيه إجابة للسؤال، قاطع الباحثون جزءًا من عملية التفكير للنموذج، وسألوا إما عن الإجابة النهائية أو عن تفسير لماذا السؤال غير قابل للإجابة.

对于 الحالات التي استمر النموذج في التفكير إلى ما لا نهاية، قاموا بتعليقها عند كلمة “انتظر”، وطلبوا استجابة؛对于 الحالات التي خاطبت النموذج إجابة سريعة، أدخلوا فاصلًا عند حدود الفقرة.

الرسم البياني على اليسار يُظهر 얼마 często النماذج تمنح امتناعًا صحيحًا عند مقاطعة التفكير؛ والرسم البياني على اليمين يُظهر أن معظم النماذج يمكنها تفسير لماذا السؤال غير قابل للإجابة عند التوجيه.

في العديد من هذه الحالات، قدم النموذج امتناعًا صحيحًا أو تفسيرًا واضحًا، حتى لو أنتج إجابة خاطئة في وقت سابق. يشير هذا، وفقًا للمؤلفين، إلى أن النموذج غالبًا ما يعرف المشكلة خلال عمليته التفكيرية، ولكنه يفشل في التصرف بناءً على هذا الوعي في إخراجنه النهائي.

قراءة عقل LLM

لتحديد ما إذا كانت نماذج اللغة تتبع داخليًا ما إذا كان السؤال قابلاً للإجابة، درب الباحثون مصنفات صغيرة على التنشيطات الخفية للنماذج أثناء التفكير، مما يسمح لهم بفحص ما إذا كان التمييز بين الأسئلة القابلة للإجابة والأسئلة غير القابلة للإجابة موجودًا بالفعل في الإشارات الداخلية للنموذج – حتى لو لم يكن ذلك واضحًا في الإخراج النهائي.

بناءً على فكرة أن المفاهيم عالية المستوى مثل الصدق أو الجنس يمكن تمثيلها خطيًا في تنشيطات النموذج، تم اختبار “قابلية الإجابة” لتمثيل مشابه.

تم تدريب مصنفات خطية بسيطة (مخاريف) على التنشيطات الخفية عبر طبقات النموذج المختلفة، باستخدام مخرجات آلية الانتباه المتعدد الرؤوس قبل الاتصال المتبقي.

تم تدريب كل مخاريف على التمييز بين الأسئلة القابلة للإجابة والأسئلة غير القابلة للإجابة، بناءً على التنشيطات الداخلية من عملية التفكير. تم استخدام 2,200 زوجًا من الأسئلة من مجموعة SUM، مع 2,000 للتدريب و200 للتحقق.

في وقت الاستدلال، تم تحويل تنبؤ النموذج عبر الرموز التي تم رؤيتها حتى تلك النقطة في تسلسل التفكير، مما يسمح للمخاريف بتتبع كيف تظهر إشارات متعلقة بقابلية الإجابة بمرور الوقت:

دقة تصنيف المخاريف الخطية المدربة على التمييز بين الأسئلة القابلة للإجابة والأسئلة غير القابلة للإجابة، المقاسة في نقاط مختلفة من عملية التفكير. تتحسن الدقة بشكل عام مع تقدم التفكير، مع نموذج أكبر يصل إلى أكثر من 85% في المراحل النهائية.

كما هو موضح أعلاه، تحسنت دقة المخاريف بشكل مستمر مع تقدم التفكير، مع معظم النماذج تتجاوز 80% من دقة التصنيف بحلول المراحل النهائية – مما يشير إلى أن تمثيلات داخلية غالبًا ما تحمل إشارة واضحة تشير إلى ما إذا كان السؤال يمكن الإجابة عليه أم لا.

الاصرار الصلب

على الرغم من أن النتائج السابقة تشير إلى أن نماذج اللغة الكبيرة غالبًا ما تعرف عندما لا يمكن الإجابة على سؤال، فإن الورقة تشير إلى أنها لا تزال تميل إلى الاستمرار في توليد إجابة بدلاً من الامتناع.

لتحقيق هذا الانحراف، قام الباحثون بتحليل ثقة النماذج في الامتناع في نقاط محددة خلال عملية التفكير، مقارنةً بثقة النموذج عبر ثلاث فئات من الإخراج: امتناع صحيح؛ إجابة مخادعة؛ وتثبيت معرفي.

تم استخدام عينات بحجم متساوٍ لكل فئة، مع تعريف الثقة على أنها المتوسط الحسابي لل احتمالية القصوى المخصصة لكل رمز الإخراج عبر خطوات الفك التشفير، بناءً على صياغة من العمل السابق. كما هو موضح في الرسم البياني أدناه، أظهرت كل من الإجابات المخادعة وسلوك التثبيت معرفي ثقة أقل في الامتناع مقارنةً بالامتناع الصحيح:

مستويات الثقة المرتبطة بإنتاج استجابة الامتناع ‘لا أعرف’ عبر أنواع الاستجابة المختلفة.

كما قاس الباحثون 얼마 często النماذج تنتج استجابة “لا أعرف” خلال عملية التفكير. يشير الرسم البياني أدناه إلى أن حالات الامتناع الصحيح أدت إلى تكرار أعلى لاستجابات “لا أعرف”، بينما أنتجت الفئات الأخرى هذه الاستجابات أقل:

تكرار استجابات ‘لا أعرف’ الملاحظة عند نقاط التوقف خلال التفكير، معروض للأنواع المختلفة من نتائج الاستجابة.

تُظهر هذه النتائج، بحسب المؤلفين، أن النماذج قد تكتشف عدم قابلية الإجابة داخليًا، لكنها غالبًا ما تفتقر إلى الثقة للتصرف بناءً على هذا الوعي، مما يشير إلى تفضيل مستمر لإكمال المهمة بدلاً من الاعتراف بالعدمية.

الاختبارات

بناءً على هذه النتائج، طوّر الباحثون نهجًا من مرحلتين مصممًا لتحسين الامتناع. المرحلة الأولى، وهي المراقبة المعرفية، تتبع حالات النموذج الخفية خلال الاستدلال، وتقسم عملية التفكير إلى وحدات طبيعية مثل الفقرات أو المراحل، محددة بكلمات مثل “انتظر”.

في نهاية كل وحدة، يقدر مخاريف خفيفة وخطية مدربة على إشارات داخلية متعلقة بقابلية الإجابة احتمال أن السؤال غير قابل للإجابة. إذا تجاوز هذا الاحتمال عتبة محددة، ينتقل إلى المرحلة الثانية: تدخل زمني الاستدلال يوجه النموذج نحو الامتناع بدلاً من اختراع استجابة.

عندما يظهر النموذج علامات داخلية على أن السؤال غير قابل للإجابة، يتم قطع التفكير bằng تدخل يُذكر النموذج بأن السؤال قد يفتقر إلى إجابة صالحة:

إشارة لتحفيز التدخل زمني الاستدلال.

يتضمن النهج أيضًا آلية خروج مبكر تمنع استمرار تسلسل التفكير بشكل غير ضروري، مما يشجع النموذج على اعتبار الامتناع خيارًا مشروعًا وأحيانًا أفضل.

للفаза التجريبية، استخدم الباحثون مجموعتي بيانات: مجموعة أسئلة الكلمات الرياضية غير القابلة للإجابة (UMWP)، ومجموعة SUM المذكورة أعلاه.

تم استخدام مجموعة اختبار SUM لهذا الغرض، التي تحتوي على 284 سؤالًا غير قابل للإجابة و284 سؤالًا قابلاً للإجابة تم فحصها يدوياً. تم بناء UMWP من أربعة مصادر لمشاكل الكلمات الرياضية: SVAMP؛ MultiArith؛ Grade School Math (GSM8K)؛ وASDiv.

تتكون المجموعة الكاملة من 5,200 مشكلة، مع 600 تم اختبارها، مقسمة بالتساوي بين أسئلة قابلة وغير قابلة للإجابة.对于 أسئلة UMWP غير القابلة للإجابة، أنتج GPT-4o التفسيرات الصحيحة لماذا لا يمكن حلها.

المقاييس

تم قياس أداء النموذج باستخدام أربعة مقاييس: معدل الامتناع، وهو نسبة الأسئلة غير القابلة للإجابة التي يامتنع فيها النموذج بشكل صحيح بالاستجابة بـ “لا أعرف”؛ دقة السبب، وهي نسبة الأسئلة غير القابلة للإجابة التي يُمنح فيها النموذج تفسيرًا صحيحًا لماذا لا يمكن حل السؤال؛ استخدام الرموز، الذي يُظهر عدد الرموز التي تم توليدها خلال التفكير؛ ودقة الإجابة، وهي نسبة الأسئلة القابلة للإجابة التي يُنتج فيها النموذج الحل الصحيح.

أسس الاختبار

نظرًا لعدم وجود أسس اختبار قياسية لهذا المشكلة، قام الباحثون بمقارنة نهجهم بثلاثة بديلات: Dynasor-CoT والخروج المبكر الديناميكي في نماذج التفكير (DEER)، على افتراض أن الامتناع الصحيح يجب اعتباره الإجابة الصحيحة عندما لا توجد إجابة للسؤال.

يحث Dynasor-CoT النماذج على إنتاج إجابات وسطية ويوقفها عندما تظهر نفس النتيجة ثلاث مرات على التوالي، بينما يراقب DEER الثقة على مستوى الجملة ويتوقف عن التفكير عندما تصل إلى عتبة معينة.

الأساس الثالث، يسمى فانيليا، يشير إلى مخرجات النموذج غير المعدلة. تم استخدام اختبارات الخمس نماذج Qwen وDeepSeek المذكورة أعلاه.

تظهر النتائج المجمعة أدناه:

مقارنة بين النهج المختلفة على أسئلة قابلة وغير قابلة للإجابة عبر نماذج التفكير الكبيرة، مع أعلى قيم في كل عمود موضحة بخط عريض. يُرجى الرجوع إلى ورقة المصدر للحصول على دقة أفضل.

أنتج النهج الجديد أعلى معدلات امتناع وتناسب منطقي على الأسئلة غير القابلة للإجابة.对于 الأسئلة القابلة للإجابة، ظلت الدقة قريبة من نماذج الفانيليا وأحيانًا تحسنت، مما يشير إلى أن حل المشكلات العادية لم يتأثر.

انخفض استخدام الرموز بنسبة 30% إلى 50% في الحالات غير القابلة للإجابة، وانخفض قليلاً في الحالات القابلة للإجابة، مما يشير إلى زيادة في الكفاءة.

تم ملاحظة صلة بين معدل الامتناع ودقة السبب، حيث أن النماذج التي امتنعت أكثر غالبًا ما قدمت تفسيرات أفضل، والتي يفسرها المؤلفون على أنها تحسين في جودة التفكير.

أدت نماذج Qwen3 بشكل عام إلى أداء أفضل من الإصدارات المُستخلصة (المكمّلة)، في حين أظهرت النماذج الأكبر قدرة امتناع أقوى، مما يشير إلى أن كلاً من الهندسة والقياس يهمّان لاكتشاف عدم قابلية الإجابة الموثوق.

أخيرًا، يُبلغ المؤلفون عن أن نهجهم الجديد يقلل من الإجابات المخادعة والتثبيت المعرفي، بينما يزيد من معدل الامتناع الصحيح، في حين أن نهج البديل الذي يعتمد فقط على “الخروج المبكر” يؤدي أحيانًا إلى المزيد من الإجابات المخادعة.

كما يُبلغون عن مكاسب في كل من الثقة وتكرار استجابات “لا أعرف”، مع مراقبة الإشارات الخفية تُثبت كونها أكثر فعالية من الاستراتيجيات التي تعتمد على الدلائل السلوكية.

الاستنتاج

عدم قدرة نماذج LLM على الامتناع عن الإجابة على استفسار عندما يتعين ذلك هو أحد أكبر نقاط الاحتكاك في تجربة المستخدم للذكاء الاصطناعي، لا سيما لأن أخطاء أخرى في الواجهة تمنح المستخدم وهم أن الذكاء الاصطناعي قادر على استجابات محسنة، عندما – على الأقل في الوقت الحالي – عادةً ما لا يكون كذلك.

من المخاوف المتعلقة بأي نوع من التدخل المباشر الذي لا ينتج مباشرةً من “شخصية” النموذج هو أنه قد يتم استخدامه بشكل زائد أو ناقص، اعتمادًا على ما إذا كانت التنشيطات المكتشفة فعلاً ذات صلة بالنسبة للنموذج للاعتراف بالهزيمة.

علاوة على ذلك، فإن التكلفة اللوجستية لمراقبة المخاريف الخطية قد لا تكون تافهاً، ومن المحتمل أن تكون أساليب أبسط مثل تلك التي تحظر المحتوى المحظور على المستخدمين قد تكون حلاً أرخص، إذا كان يمكن تعريف مسببات الإشارة بشكل كافٍ.

* من الطبيعي أن لا يتوافق هذا مع المرادف الواضح ‘المساءلة’، ولكن يحدد بدلاً من ذلك ما إذا كان السؤال يمكن الإجابة عليه أم لا.

نُشر لأول مرة يوم الأربعاء، 27 أغسطس 2025