زاوية Anderson
لماذا لا يستطيع الذكاء الاصطناعي أن يعترف بأنه لا يعرف الإجابة؟

النقاط الرئيسيةأظهر بحث جديد أن النماذج اللغوية الكبيرة تتعرف داخليًا على الأسئلة التي لا يمكن الإجابة…
عرض المزيد
- أظهر بحث جديد أن النماذج اللغوية الكبيرة تتعرف داخليًا على الأسئلة التي لا يمكن الإجابة عليها، لكنها لا تزال تولد ردودًا مُختلقة.
- طريقة خفيفة الوزن من مرحلتين تحسن الامتناع عن الإجابة من خلال مراقبة الإشارات الداخلية والتدخل أثناء عملية التفكير.
- النماذج الأكبر حجمًا تمتنع عن الإجابة في كثير من الأحيان، لكنها لا تزال تفشل في التصرف بناءً على إدراكها الداخلي لعدم اليقين.
غالبًا ما توفر نماذج اللغة الكبيرة إجابات واثقة حتى عندما لا يمكن الإجابة على السؤال. تظهر الأبحاث الجديدة أن هذه النماذج تعرف في كثير من الأحيان المشكلة داخليًا، لكنها مع ذلك تمضي في اختلاق إجابة، مما يكشف فجوة خفية بين ما تعرفه وما تقوله.
من المحتمل أن أي شخص قضى وقتًا معقولاً مع نموذج لغة كبير مثل ChatGPT أو Qwen سيكون قد واجه مواقف حيث قدم النموذج إجابة خاطئة (التي قد تكون أو لا تكون لها عواقب محلية كبرى، حسب مقدار الاعتماد عليها) – وعندما أصبحت الخطأ واضحًا، أصدر فقط اعتذارًا.
لماذا يواجه النماذج الرائدة مثل LLM صعوبة في الاعتراف بأنها لا تعرف إجابة للسؤال هو مجال دراسة صغير ولكن يتوسع. وقد تكون الإجابة «الواثقة وهي خاطئة» ضارة بصورة خاصة عندما تصدر من واجهة مقيّدة ومفلترة مثل ChatGPT، لأن هذه النماذج تحجب بقوة أي مدخلات أو مخرجات تخالف القواعد أو تتجاوز حدود اللياقة.
يمكن أن يمنح هذا المستخدم انطباعًا خاطئًا بأن النموذج حاسم وثابت، بينما في الواقع جاء الرفض من مرشح تقليدي قائم على قواعد استدلالية أو قائمة حظر، صُمم للحد من المخاطر القانونية على الشركة المشغلة بأي ثمن، وليس من أي رؤى من الذكاء الاصطناعي.

من ورقة ‘AbstentionBench’ يونيو 2025 من FAIR في Meta – على اليسار، يبرز الشكل مجموعة أنواع الفشل التي تم رصدها في AbstentionBench، والتي تختبر سلوك النموذج على أكثر من 35,000 سؤال غير قابل للإجابة؛ في منتصف، يظهر مثال كيف يستجيب النماذج غالبًا بإجابات مصنعة بدلاً من الاعتراف بأنها تفتقر إلى المعلومات الكافية؛ وعلى اليمين، ينخفض استدعاء الامتناع عندما يتم ضبط النماذج للتفكير بدلاً من اتباع التعليمات. مصدر: https://arxiv.org/pdf/2506.09038
تؤكد ورقة جديدة من الصين أن نماذج LLM تعرف في الواقع أنها لا تستطيع الإجابة على سؤال يتم طرحه من قبل المستخدم، ولكنها لا تزال مدفوعة لإنتاج نوع من الإجابة، معظم الوقت، بدلاً من أن تكون لديها الثقة الكافية لتحديد أن الإجابة الصحيحة غير متاحة بسبب نقص المعلومات من المستخدم أو قيود النموذج أو لأسباب أخرى.
تذكر الورقة ما يلي:
‘[نحن] نُظهر أن [نماذج LLM] تتمتع بقدرات معرفية كافية للاعتراف بالعيوب في هذه الأسئلة. ومع ذلك، فشلت في إظهار سلوك الامتناع المناسب، مما يكشف عن انحراف بين التفكير الداخلي والاستجابة الخارجية.’
لقد طوّر الباحثون نهجًا خفيفًا من مرحلتين يستخدم مراقبة معرفية لتحليل عملية التفكير الداخلية للنموذج لتحديد علامات على أنها تعرف أنها لا تستطيع توفير إجابة؛ ثم يتدخل، لضمان أن طبيعة النموذج “المفيدة” لا تزيد من مشاكل المستخدم من خلال إرساله إلى طريق مسدود أو حتى مدمر.
استخدمت الدراسة أسئلة رياضية غير محددة بشكل متعمد لاختبار ما إذا كان النموذج يمكنه الاعتراف عندما تكون الإجابة غير معروفة؛ ولكن هذا الإعداد يخاطر بتصوير المهمة على أنها “حيلة”. في الواقع، يواجه النماذج أسبابًا أكثر روتينًا للامتناع في المحادثة، من صياغة غامضة إلى فجوات في معرفة المجال.
العمل الجديد بعنوان الإجابة على الأسئلة غير القابلة للإجابة هي الخطأ عمدًا: تحليل وتخفيف فشل الامتناع في نماذج التفكير الكبيرة، ويأتي من أربعة باحثين عبر مختبر الدولة الرئيسي للتكنولوجيا البرمجية الجديدة والمعهد الوطني لعلوم بيانات الرعاية الصحية في جامعة نانجينغ.
الطريقة
(منذ لا توجد منافسة مناسبة لمواجهة نهج المؤلفين في الاختبارات، ومنذ أن تتبع الورقة تنسيقًا غير تقليدي إلى حد ما، وكذلك لا تؤشر الاستشهادات إلى المعيار المعتاد، سنحاول اتباعه بأفضل ما يمكن.)
على غرار النهج السابقة، ركز المؤلفون على تقديم نماذج LLM مع أسئلة رياضية غير قابلة للإجابة من مجموعة الرياضيات غير القابلة للإجابة (SUM) مجموعة البيانات، وتقييم خمس عائلات من النماذج: من مجموعة DeepSeek، R1-Distill-Llama-8B؛ R1-Distill-Qwen-7B، R1-Distill-Qwen-14B؛ ومن سلسلة Qwen، Qwen3-8B، وكذلك Qwen3-14B.
تم إنشاء الأسئلة غير القابلة للإجابة في SUM عن طريق إزالة أو إفساد عناصر أساسية بخمسة طرق: حذف المعلومات الرئيسية؛ إدخال الغموض؛ فرض شروط غير واقعية؛ الإشارة إلى كائنات غير متعلقة؛ أو إزالة السؤال نفسه.
بعد ذلك، تم اختيار عينة من 1,000 حالة من هذا القبيل للتحليل، واستخدم GPT-4o لإنشاء تفسيرات موجزة لتكون تفسيرات مرجعية صحيحة.
تم تقييم استجابات النموذج للأسئلة غير القابلة للإجابة باستخدام مطالبات معيارية مع حد من 10,000 رمز، خلالها تم ملاحظة ثلاثة أنماط سلوكي رئيسية: في الأول، حدد النموذج السؤال على أنه غير قابل للحل، وامتنع – عادةً بالاستجابة بالتعبير الصريح عن عدم اليقين؛ في الثاني، أنتج إجابة كاملة من خلال اختراع المعلومات المفقودة، مثل إدخال رسوم معالجة غير موجودة قدرها 9.99 دولار لتحديد النتيجة النهائية (انظر الصورة أدناه)؛ في الثالث، يسمى التثبيت المعرفي، أصبح النموذج عالقًا في حلقة استدلال مطولة، وواصل مسارات حل غير صالحة حتى بعد الاعتراف ضمنيًا بأن السؤال يفتقر إلى إجابة قابلة للتطبيق:

مختلف نتائج الاستجابة للسؤال المستحيل.
تقدم الورقة اتجاهًا يبدو أن النماذج الأكبر تمتنع أكثر عن الإجابة على الأسئلة غير القابلة للإجابة، مع انخفاض في كل من الإجابات المخادعة وسلوك التثبيت:

توزيع استجابات النموذج للأسئلة الرياضية غير القابلة للإجابة، مع توضيح التردد النسبي لامتناع صحيح، وإجابات مخادعة، وتثبيت معرفي عبر مقاييس نموذجية مختلفة.
ومع ذلك، هذا التحول محدود في الحجم، وترك جزءًا كبيرًا من الحالات غير محلولة من خلال الامتناع الصحيح، مما يشير إلى أن زيادة السعة وحدها لا تؤدي إلى سلوك أكثر حذرًا بشكل موثوق.
الوعي بالطريق المسدود
لتحديد ما إذا كانت نماذج اللغة قادرة على تحديد الوقت الذي لا يوجد فيه إجابة للسؤال، قاطع الباحثون جزءًا من عملية التفكير للنموذج، وسألوا إما عن الإجابة النهائية أو عن تفسير لماذا السؤال غير قابل للإجابة.
بالنسبة للحالات التي استمر النموذج في التفكير إلى ما لا نهاية، قاموا بتعليقها عند كلمة “انتظر”، وطلبوا استجابة؛ بالنسبة للحالات التي اختلق فيها النموذج إجابة بسرعة، أدخلوا فاصلًا عند حدود الفقرة.

يُظهر الرسم البياني الأيسر مدى تكرار الامتناع الصحيح عند مقاطعة الاستدلال، مع معدلات أعلى في حالات التثبيت المعرفي مقارنة بالإجابات المختلقة. ويُظهر الرسم الأيمن أن معظم النماذج تستطيع تفسير سبب تعذر الإجابة عند مطالبتها بذلك، حتى عندما لا تعكس إجاباتها النهائية هذا الفهم.
في العديد من هذه الحالات، قدم النموذج امتناعًا صحيحًا أو تفسيرًا واضحًا، حتى لو أنتج إجابة خاطئة في وقت سابق. يشير هذا، وفقًا للمؤلفين، إلى أن النموذج غالبًا ما يعرف المشكلة خلال عمليته التفكيرية، ولكنه يفشل في التصرف بناءً على هذا الوعي في إخراجه النهائي.
قراءة عقل LLM
لتحديد ما إذا كانت نماذج اللغة تتبع داخليًا ما إذا كان السؤال قابلاً للإجابة، درب الباحثون مصنفات صغيرة على التنشيطات الخفية للنماذج أثناء التفكير، مما يسمح لهم بفحص ما إذا كان التمييز بين الأسئلة القابلة للإجابة والأسئلة غير القابلة للإجابة موجودًا بالفعل في الإشارات الداخلية للنموذج – حتى لو لم يكن ذلك واضحًا في الإخراج النهائي.
بناءً على فكرة أن المفاهيم عالية المستوى مثل الصدق أو الجنس يمكن تمثيلها خطيًا في تنشيطات النموذج، تم اختبار “قابلية الإجابة” لتمثيل مشابه.
تم تدريب مصنفات خطية بسيطة (مجسّ) على التنشيطات الخفية عبر طبقات النموذج المختلفة، باستخدام مخرجات آلية الانتباه المتعدد الرؤوس قبل الاتصال المتبقي.
تم تدريب كل مجسّ على التمييز بين الأسئلة القابلة للإجابة والأسئلة غير القابلة للإجابة، بناءً على التنشيطات الداخلية من عملية التفكير. تم استخدام 2,200 زوجًا من الأسئلة من مجموعة SUM، مع 2,000 للتدريب و200 للتحقق.
في وقت الاستدلال، حُسب متوسط تنبؤ النموذج عبر الرموز التي تم رؤيتها حتى تلك النقطة في تسلسل التفكير، مما يسمح للمجسّ بتتبع كيف تظهر إشارات متعلقة بقابلية الإجابة بمرور الوقت:

دقة تصنيف المجسّات الخطية المدربة على التمييز بين الأسئلة القابلة للإجابة والأسئلة غير القابلة للإجابة، المقاسة في نقاط مختلفة من عملية التفكير. تتحسن الدقة بشكل عام مع تقدم التفكير، مع نموذج أكبر يصل إلى أكثر من 85% في المراحل النهائية.
كما هو موضح أعلاه، تحسنت دقة المجسّات بشكل مستمر مع تقدم التفكير، مع معظم النماذج تتجاوز 80% من دقة التصنيف بحلول المراحل النهائية – مما يشير إلى أن تمثيلات داخلية غالبًا ما تحمل إشارة واضحة تشير إلى ما إذا كان السؤال يمكن الإجابة عليه أم لا.
الاصرار الصلب
على الرغم من أن النتائج السابقة تشير إلى أن نماذج اللغة الكبيرة غالبًا ما تعرف عندما لا يمكن الإجابة على سؤال، فإن الورقة تشير إلى أنها لا تزال تميل إلى الاستمرار في توليد إجابة بدلاً من الامتناع.
لتحقيق هذا الانحراف، قام الباحثون بتحليل ثقة النماذج في الامتناع في نقاط محددة خلال عملية التفكير، مقارنةً بثقة النموذج عبر ثلاث فئات من الإخراج: امتناع صحيح؛ إجابة مخادعة؛ وتثبيت معرفي.
تم استخدام عينات بحجم متساوٍ لكل فئة، مع تعريف الثقة على أنها المتوسط الحسابي لل احتمالية القصوى المخصصة لكل رمز الإخراج عبر خطوات الفك التشفير، بناءً على صياغة من العمل السابق. كما هو موضح في الرسم البياني أدناه، أظهرت كل من الإجابات المخادعة وسلوك التثبيت معرفي ثقة أقل في الامتناع مقارنةً بالامتناع الصحيح:

مستويات الثقة المرتبطة بإنتاج استجابة الامتناع ‘لا أعرف’ عبر أنواع الاستجابة المختلفة.
كما قاس الباحثون مدى تكرار إنتاج النماذج استجابة “لا أعرف” خلال عملية التفكير. يشير الرسم البياني أدناه إلى أن حالات الامتناع الصحيح أدت إلى تكرار أعلى لاستجابات “لا أعرف”، بينما أنتجت الفئات الأخرى هذه الاستجابات أقل:

تكرار استجابات ‘لا أعرف’ الملاحظة عند نقاط التوقف خلال التفكير، معروض للأنواع المختلفة من نتائج الاستجابة.
تُظهر هذه النتائج، بحسب المؤلفين، أن النماذج قد تكتشف عدم قابلية الإجابة داخليًا، لكنها غالبًا ما تفتقر إلى الثقة للتصرف بناءً على هذا الوعي، مما يشير إلى تفضيل مستمر لإكمال المهمة بدلاً من الاعتراف بعدم اليقين.
الاختبارات
بناءً على هذه النتائج، طوّر الباحثون نهجًا من مرحلتين مصممًا لتحسين الامتناع. المرحلة الأولى، وهي المراقبة المعرفية، تتبع حالات النموذج الخفية خلال الاستدلال، وتقسم عملية التفكير إلى وحدات طبيعية مثل الجمل الفرعية أو الوقفات، محددة بكلمات مثل “انتظر”.
في نهاية كل وحدة، يقدر مجسّ خفيفة وخطية مدربة على إشارات داخلية متعلقة بقابلية الإجابة احتمال أن السؤال غير قابل للإجابة. إذا تجاوز هذا الاحتمال عتبة محددة، ينتقل إلى المرحلة الثانية: تدخل زمني الاستدلال يوجه النموذج نحو الامتناع بدلاً من اختراع استجابة.
عندما يظهر النموذج علامات داخلية على أن السؤال غير قابل للإجابة، يُقطع الاستدلال بتدخل يعزز هذا الوعي ويرفع احتمال الامتناع. وكما هو موضح أدناه، يتمثل التدخل في مطالبة إرشادية تذكّر النموذج بأن السؤال قد يفتقر إلى إجابة صالحة:

إشارة لتحفيز التدخل زمني الاستدلال.
يتضمن النهج أيضًا آلية خروج مبكر تمنع استمرار تسلسل التفكير بشكل غير ضروري، مما يشجع النموذج على اعتبار الامتناع خيارًا مشروعًا وأحيانًا أفضل.
للمرحلة التجريبية، استخدم الباحثون مجموعتي بيانات: مجموعة أسئلة الكلمات الرياضية غير القابلة للإجابة (UMWP)، ومجموعة SUM المذكورة أعلاه.
تم استخدام مجموعة اختبار SUM لهذا الغرض، التي تحتوي على 284 سؤالًا غير قابل للإجابة و284 سؤالًا قابلاً للإجابة تم فحصها يدوياً. تم بناء UMWP من أربعة مصادر لمشاكل الكلمات الرياضية: SVAMP؛ MultiArith؛ Grade School Math (GSM8K)؛ وASDiv.
تضم المجموعة الكاملة 5,200 مسألة، اختُبرت منها 600 مسألة موزعة بالتساوي بين أسئلة قابلة للإجابة وأخرى غير قابلة لها. وبالنسبة إلى أسئلة UMWP غير القابلة للإجابة، قدم GPT-4o تفسيرات صحيحة لسبب تعذر حلها.
المقاييس
تم قياس أداء النموذج باستخدام أربعة مقاييس: معدل الامتناع، وهو نسبة الأسئلة غير القابلة للإجابة التي يمتنع فيها النموذج بشكل صحيح بالاستجابة بـ “لا أعرف”؛ دقة السبب، وهي نسبة الأسئلة غير القابلة للإجابة التي يقدم فيها النموذج تفسيرًا صحيحًا لماذا لا يمكن حل السؤال؛ استخدام الرموز، الذي يُظهر عدد الرموز التي تم توليدها خلال التفكير؛ ودقة الإجابة، وهي نسبة الأسئلة القابلة للإجابة التي يُنتج فيها النموذج الحل الصحيح.
أسس الاختبار
نظرًا لعدم وجود أسس اختبار قياسية لهذا المشكلة، قام الباحثون بمقارنة نهجهم ببديلين: Dynasor-CoT والخروج المبكر الديناميكي في نماذج التفكير (DEER)، على افتراض أن الامتناع الصحيح يجب اعتباره الإجابة الصحيحة عندما لا توجد إجابة للسؤال.
يحث Dynasor-CoT النماذج على إنتاج إجابات وسطية ويوقفها عندما تظهر نفس النتيجة ثلاث مرات على التوالي، بينما يراقب DEER الثقة على مستوى الجملة ويتوقف عن التفكير عندما تصل إلى عتبة معينة.
الأساس الثالث، يسمى فانيليا، يشير إلى مخرجات النموذج غير المعدلة. تم استخدام اختبارات الخمس نماذج Qwen وDeepSeek المذكورة أعلاه.
تظهر النتائج المجمعة أدناه:

مقارنة بين النهج المختلفة على أسئلة قابلة وغير قابلة للإجابة عبر نماذج التفكير الكبيرة، مع أعلى قيم في كل عمود موضحة بخط عريض. يُرجى الرجوع إلى ورقة المصدر للحصول على دقة أفضل.
أنتج النهج الجديد أعلى معدلات امتناع ودقة في التفسير على الأسئلة غير القابلة للإجابة. بالنسبة للأسئلة القابلة للإجابة، ظلت الدقة قريبة من نماذج الفانيليا وأحيانًا تحسنت، مما يشير إلى أن حل المشكلات العادية لم يتأثر.
انخفض استخدام الرموز بنسبة 30% إلى 50% في الحالات غير القابلة للإجابة، وانخفض قليلاً في الحالات القابلة للإجابة، مما يشير إلى زيادة في الكفاءة.
تم ملاحظة صلة بين معدل الامتناع ودقة السبب، حيث أن النماذج التي امتنعت أكثر غالبًا ما قدمت تفسيرات أفضل، والتي يفسرها المؤلفون على أنها تحسين في جودة التفكير.
أدت نماذج Qwen3 بشكل عام إلى أداء أفضل من الإصدارات القائمة على التقطير (المكمّمة)، في حين أظهرت النماذج الأكبر قدرة امتناع أقوى، مما يشير إلى أن كلاً من البنية والحجم يهمّان لاكتشاف عدم قابلية الإجابة الموثوق.
أخيرًا، يُبلغ المؤلفون عن أن نهجهم الجديد يقلل من الإجابات المخادعة والتثبيت المعرفي، بينما يزيد من معدل الامتناع الصحيح، في حين أن نهج البديل الذي يعتمد فقط على “الخروج المبكر” يؤدي أحيانًا إلى المزيد من الإجابات المخادعة.
كما يُبلغون عن مكاسب في كل من الثقة وتكرار استجابات “لا أعرف”، مع مراقبة الإشارات الخفية تُثبت كونها أكثر فعالية من الاستراتيجيات التي تعتمد على الدلائل السلوكية.
الاستنتاج
عدم قدرة نماذج LLM على الامتناع عن الإجابة على استفسار عندما يتعين ذلك هو أحد أكبر نقاط الاحتكاك في تجربة المستخدم للذكاء الاصطناعي، لا سيما لأن أخطاء أخرى في الواجهة تمنح المستخدم وهم أن الذكاء الاصطناعي قادر على استجابات متأنية، عندما – على الأقل في الوقت الحالي – عادةً ما لا يكون كذلك.
من المخاوف المتعلقة بأي نوع من التدخل المباشر الذي لا ينتج مباشرةً من “شخصية” النموذج هو أنه قد يتم استخدامه بشكل زائد أو ناقص، اعتمادًا على ما إذا كانت التنشيطات المكتشفة فعلاً ذات صلة بالنسبة للنموذج للاعتراف بالهزيمة.
علاوة على ذلك، فإن التكلفة اللوجستية لمراقبة المجسّات الخطية قد لا تكون تافهاً، ومن المحتمل أن تكون أساليب أبسط مثل تلك التي تحظر المحتوى المحظور على المستخدمين قد تكون حلاً أرخص، إذا كان يمكن تعريف مسببات الإشارة بشكل كافٍ.
* من الطبيعي أن لا يتوافق هذا مع المرادف الواضح ‘المساءلة’، ولكن يحدد بدلاً من ذلك ما إذا كان السؤال يمكن الإجابة عليه أم لا.
نُشر لأول مرة يوم الأربعاء، 27 أغسطس 2025












