طريقة "زن" لمنع نماذج اللغة من الهلوسة

إن إخبار ChatGPT بالتحقق من صحة إجابة عشوائية قبل حل مشكلة فعلية يجعله يفكر بشكل أكثر صعوبة، ويحصل على الإجابة الصحيحة في كثير من الأحيان - حتى لو لم يكن للإجابة "العشوائية" السابقة أي علاقة باستعلامك الحقيقي.

طورت ورقة بحثية جديدة مثيرة للاهتمام من الصين طريقة منخفضة التكلفة للغاية لإيقاف نماذج اللغة مثل ChatGPT من يهذيولتحسين جودة الإجابات: احصل على نموذج للتحقق من صحة الإجابة على سؤال ما لا علاقة له بالمرة السؤال الأول:

مثال على سؤال غير ذي صلة يمكن أن "يحرر عقل" طالب الماجستير في القانون، ويساعده على التركيز على استفسار لاحق (حقيقي). مصدر

هذه صفعة زين إنها طريقة رخيصة بشكل لا يصدق لتحسين الأداء، مقارنة بالطرق الأخرى الأكثر تعقيدًا، مثل الكون المثالى, صياغة سريعة و أخذ العينات المتوازية، وهو يعمل على نماذج مفتوحة المصدر ومغلقة المصدر على حد سواء، مما يشير إلى اكتشاف سمة شخصية أساسية مشتركة بين هياكل LLM المتعددة (بدلاً من غرابة هشة خاصة بمواد أو أساليب تدريبية محددة).

يقوم المؤلفون بتحديد اقتصاديات الحجم الممكنة من خلال تحسين الإنتاج بهذه الطريقة المتقشفة*:

للتنفيذ بأقل قدر من المعرفة المسبقة الإضافية، يكفي VF تقديم إجابة عشوائية/بسيطة في الموجه. وتبين أن عملية التحقق تتضمن عددًا أقل بكثير من رموز الإخراج مقارنةً بمسار CoT العادي، [وأحيانًا] لا تتضمن عملية تحقق صريحة فقط، مما يتطلب "حساب وقت اختبار إضافي قليل جدًا."

في الاختبارات، هذا النهج - الملقب التحقق أولاً (VF) - كان قادرًا على تحسين الاستجابات في مجموعة متنوعة من المهام، بما في ذلك التفكير الرياضي، عبر المنصات مفتوحة المصدر والتجارية.

ربما يكون جزء من السبب وراء نجاح هذه التقنية نابعًا من الطريقة التي تستوعب بها نماذج اللغة الاتجاهات في علم النفس البشري وتستغلها، بحيث قد يجعل السؤال المباشر النموذج "دفاعيًا" و"عصبيًا"، في حين أن الطلب بالتحقق من عمل شخص آخر لا يثير "غرائز البقاء" هذه.

الفكرة الأساسية هي التحقق من الإجابة يتطلب جهدا أقل من توليد واحد من الصفر، ويمكن أن يؤدي إلى مسار تفكير مختلف يكمل المسار القياسي سلسلة من الأفكار.

إن مطالبة النموذج بنقد إجابة معينة (أي إجابة لم يشارك النموذج في إنشائها) قد يؤدي أيضًا إلى تنشيط نوع من التفكير النقدي الذي يساعد على تجنب الثقة المفرطة في الانطباعات الأولى للنموذج.

يصف العمل العملية من حيث مسار التفكير العكسي:

إن البدء بإجابة مقترحة والرجوع إلى السؤال من منظورٍ عكسي قد يُظهر اختصاراتٍ أو رؤىً يصعب إيجادها عند الاستدلال من منظورٍ مُستقلٍّ بالمشكلة. قد يتبع هذا "المسار العكسي" مسارًا أبسط، ويُقدم معلوماتٍ مُكمّلةٍ للاستدلال التقليدي القائم على سلسلة الأفكار.

كما قام الباحثون بتجسيد المفهوم المركزي في إيتر-VF، وهي طريقة قياس متسلسلة لاختبار الوقت تعمل على تحسين الإجابات بشكل متكرر، وتجنب مشكلة تراكم الأخطاء الشائعة في استراتيجيات التصحيح الذاتي الموجودة غالبًا في هياكل LLM.

أكثر من عمل جديد بعنوان إن مطالبة طلاب الماجستير في القانون بالتحقق أولاً هو بمثابة وجبة غداء مجانية تقريبًاويأتي هذا البحث من باحثين اثنين في قسم الهندسة الإلكترونية بجامعة تسينغهوا في بكين.

الأسلوب

الفكرة المحورية وراء هذا العمل الجديد هي تغيير مجرى التفكير التقليدي في نماذج اللغة. فبدلاً من مطالبة النموذج بحل مسألة من الصفر، يُعطى أولاً إجابة مقترحة (غالباً ما تكون غير صحيحة أو عشوائية)، ويُطلب منه التحقق من منطقيتها.

وهذا يدفع النموذج إلى السبب في الاتجاه المعاكسالعمل بشكل عكسي من الإجابة المقترحة إلى السؤال. بعد اكتمال التحقق، يتابع النموذج حل المسألة الأصلية كالمعتاد.

ويؤكد البحث أن هذا الانعكاس يقلل من الأخطاء غير المقصودة ويشجع على اتباع نمط تفكير أكثر تأملاً، مما يساعد طلاب الماجستير في القانون على اكتشاف البنية المخفية وتجنب الافتراضات المضللة.

كما هو موضح في الأمثلة أدناه، حتى مطالبة النموذج بالتحقق من تخمين خاطئ بشكل واضح مثل '10' يمكن أن يساعدها على التعافي من المنطق المعيب والتفوق على سلسلة الأفكار القياسية:

إن حثّ النموذج على التحقق من الإجابة المُخمَّنة أولاً يُساعده على رصد التناقضات والتعامل مع المشكلة بدقة أكبر. في هذا المثال، يُفضي النهج القياسي إلى حلٍّ سلس ولكنه غير صحيح، بينما يُحفِّز حثّ "التحقق أولاً" بنيةً منطقيةً أوضح والنتيجة الصحيحة.

في العديد من المسائل العملية، ليس من السهل تقديم تخمين للنموذج للتحقق منه، خاصةً عندما تكون المهمة مفتوحة، مثل كتابة الشيفرة البرمجية أو استدعاء واجهة برمجة التطبيقات (API). لذلك، لتحسين التكيف، تُعطي الطريقة أولًا أفضل إجابة لها كالمعتاد، ثم تُعيد هذه الإجابة إلى صيغة "التحقق أولًا". بهذه الطريقة، يتحقق النموذج ويُحسّن مخرجاته.

عندما يُطلب من النموذج التحقق من مُخرجاته السابقة، فإنه يكتشف الخلل في منطقه ويُعيد كتابة الحل بشكل صحيح. يُساعده مُوجّه "التحقق أولاً" على التركيز على الخطأ المُحدد بدلاً من تكرار الخطأ نفسه.

يشكل هذا النهج ما سبقeالمذكورة إيتر-VFيُكرر النموذج هذه الدورة، مُحسّنًا إجابته في كل مرة، دون الحاجة إلى إعادة تدريب أو أدوات مُخصصة. بخلاف استراتيجيات التصحيح الذاتي الأخرى، التي قد تُرهق التفكير السابق وتُعرّض النموذج للتشويش، يُركز Iter-VF فقط على الإجابة الأحدث في كل مرة، مما يُساعد على الحفاظ على وضوح تفكيره.

البيانات والاختبارات

يقوم المؤلفون بتقييم الطريقة في أربعة مجالات: مهام التفكير العام، حيث يتم زرع VF بتخمين تافه؛ المهام الحساسة للوقت، حيث تتم مقارنة Iter-VF بطرق القياس المنافسة؛ مشاكل مفتوحة مثل الترميز واستدعاءات واجهة برمجة التطبيقات، حيث يستخدم VF إجابة النموذج السابقة؛ و ماجستير في القانون التجاري مغلق المصدر، حيث تكون خطوات التفكير الداخلي غير قابلة للوصول.

لاختبار هذه الطريقة، استخدم الباحثون ثلاثة معايير استدلالية: GSM8K و الرياضيات 500 لمشاكل الرياضيات؛ و GPQA-الماس لأسئلة العلوم على مستوى الدراسات العليا.

في كل حالة، تم إعطاء النموذج تخمينًا تافهًا، مثل "1" للإجابات العددية؛ أو خيار اختيار من متعدد عشوائيًا، كنقطة بداية للتحقق. لم يُضف أي ضبط خاص أو معرفة مسبقة، وكان الأساس للمقارنة هو التحفيز التسلسلي القياسي.

أجريت الاختبارات عبر مجموعة كاملة من كوين2.5 و لاما 3 نماذج مُعدّلة للتعليمات، من 1B إلى 72B (معلمات) في الحجم. نماذج Qwen المستخدمة كانت Qwen2.5-1.5B-إرشاد, Qwen2.5-3B-إرشاد, Qwen2.5-14B-إرشادو Qwen2.5-72B-إرشاد. كانت متغيرات Llama3 Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instructو Llama3.3-70B-Instruct.

كما هو موضح أدناه، ظل التحسن الناتج عن المطالبة بالتحقق أولاً ثابتًا عبر مقاييس النموذج، مع تحقيق مكاسب واضحة حتى عند معلمات 1B واستمرارها حتى 72B:

في جميع أحجام النماذج في عائلتي Qwen2.5 وLlama3، تفوقت مطالبة Verification-First باستمرار على مطالبة سلسلة الأفكار القياسية في GSM8K وMATH500 وGPQA-Diamond.

ثبت أن التأثير كان أقوى في معايير الرياضيات المعتمدة على الحوسبة، مثل GSM8K وMATH500، حيث أدى التحقق من إجابة خاطئة إلى استدلال أفضل من محاولة الحل من الصفر. أما في GPQA-Diamond، الذي يعتمد على المعرفة المخزنة أكثر من البنية الاستنتاجية، فكانت الميزة أقل، لكنها متسقة.

كانت التكلفة الحسابية لـ Verification-First متواضعة: في الجدول أدناه، يمكننا أن نرى أن إنشاء خطوة التحقق أضاف حوالي 20-50% من رموز الإخراج مقارنة بالمطالبة بسلسلة الأفكار القياسية:

متوسط ​​عدد رموز الإخراج التي تم إنشاؤها بموجب كل طريقة مطالبة، عبر معايير GSM8K وMATH500 وGPQA.

وعلى الرغم من ذلك، ظلت التكلفة الإضافية أقل بكثير من تكلفة الاستراتيجيات التي تتطلب استكمال عينات متعددة أو التخطيط المتكرر.

في الرسم البياني أدناه، يمكننا أن نرى مدى حساسية الطريقة لجودة الإجابة المُخمَّنة. والمثير للدهشة، حتى عندما يكون التخمين تافهًا ("1"), غير معقول ("2025")، أو خيار اختيار متعدد عشوائي، لا يزال Verification-First يتفوق على المطالبة القياسية:

يتم تحقيق مكاسب الدقة من خلال المطالبة بالتحقق أولاً، عندما يتم منح النموذج إجابات تافهة أو غير معقولة أو صحيحة للتحقق منها عبر GSM8K وMATH500 وGPQA.

كما هو متوقع، ترتفع الدقة إلى أعلى عندما يكون التخمين هو الإجابة الصحيحة؛ ولكن الطريقة نجحت على أي حال، مما يشير إلى أن المكاسب لم تكن مدفوعة بالمعلومات الموجودة في الإجابة المخمنة نفسها، ولكن ببساطة من خلال عمل من التحقق.

تمت مقارنة Iter-VF أيضًا بأربع استراتيجيات لتوسيع نطاق وقت الاختبار تعمل دون إعادة تدريب أو تكيف محدد للمهمة. في تصحيح الذات، تم حث النموذج على مراجعة إجاباته من خلال التفكير في خطوات التفكير السابقة؛ في PHPتمت إضافة الإجابات السابقة إلى المدخلات كتلميحات سياقية، على الرغم من عدم إعطاء أي تعليمات حول كيفية استخدامها.

بالإضافة إلى ذلك ، في الاتساق الذاتيتم أخذ عينات من مسارات التفكير المتعددة وتم اختيار الإجابة النهائية بأغلبية الأصوات؛ وأخيرًا، في أفضل Nتم إنشاء العديد من المخرجات بشكل مستقل وتصنيفها باستخدام موجه التحقق، مع تحديد الاستجابة ذات أعلى درجة.

تم تنفيذ نوعين مختلفين من Iter-VF: أحدهما تم تهيئته بتخمين بسيط ("1"), وآخر مُزروع بمخرجات CoT القياسية:

دقة وكفاءة الرمز على MATH500 في ظل ميزانيات الإنتاج المتزايدة، مما يدل على أن كلا المتغيرين من Iter-VF يتفوقان على جميع الخطوط الأساسية عبر مقاييس النموذج.

لقد أعطى Iter-VF نتائج أفضل من جميع الطرق الأخرى عندما كان الحساب المتاح منخفضًا، وهو ما أرجعه المؤلفون إلى الطريقة التي يتحقق بها من الإجابات، وليس مدى جودة الإجابات الأولية (نظرًا لأن كل من متغيرات VF وCoT وصلت بسرعة إلى دقة مماثلة).

كان أداء PHP أسوأ، على الرغم من إعادة استخدام الإجابات السابقة كتلميحات، ويرجع ذلك على الأرجح إلى أن طلاب الماجستير في القانون لم يستغلوا تلك التلميحات بشكل جيد.

على عكس PHP والتصحيح الذاتي، اللذين يجمعان السياق عبر التكرارات، يأخذ Iter-VF في الاعتبار فقط الإجابة الأحدث في كل خطوة. هذا ماركوفيان إن هذا النهج يتجنب الارتباك المتراكم الناتج عن سلاسل التفكير الممتدة - وهو ضعف ضار بشكل خاص بالنسبة لتصحيح الذات.

لقد تجنبت الأساليب المتوازية مثل الاتساق الذاتي وأفضل N هذه المشكلة، على الرغم من أن التحسينات التي أجريت عليها كانت أبطأ وأكثر تواضعا.

(ملاحظة: إن قسم النتائج، على الرغم من شموله، يعد قراءة غير ودية وطويلة، ويجب علينا في هذه المرحلة اختصار معظم التغطية المتبقية، وإحالة القارئ إلى الورقة المصدر للحصول على مزيد من التفاصيل).

عند اختباره على GPT-5 نانو و GPT-5 مينيفي النماذج التجارية المغلقة التي تخفي أثر الاستدلال الكامل وتُرجع الإجابة النهائية فقط، حسّن Iter-VF الأداء دون الاعتماد على المخرجات الوسيطة. في الجدول أدناه، يُمكننا رؤية تحسن في كلٍّ من MATH500 وGPQA، مما يؤكد أن نهج التحقق ثم التوليد يبقى فعالاً حتى عند توفر المدخلات والإجابة النهائية فقط:

الدقة في MATH500 وGPQA عند تطبيق Iter‑VF على نماذج GPT‑5 مع آثار المنطق المخفية.

الخاتمة

على الرغم من أن الورقة البحثية الجديدة تنتقل من قسم النتائج إلى مرحلة الغموض، إلا أن الاكتشاف الواضح لسمة شاملة في فئة من نماذج الذكاء الاصطناعي يُعد تطورًا مثيرًا للاهتمام. أي شخص يستخدم برنامج ماجستير في القانون بانتظام سيُطوّر غريزيًا مجموعة من الحيل للتغلب على عيوب النماذج، حيث يتضح كل منها مع مرور الوقت، ويظهر النمط؛ ويأمل الجميع في إيجاد "حيلة" قابلة للتطبيق وتعميم مثل هذه.

واحدة من أكبر المشاكل في تنفيذ وتحديث نافذة السياق يبدو أن الموازنة بين الحفاظ على تقدم الجلسات والقدرة على الانطلاق في اتجاهات جديدة عند الضرورة، دون الوقوع في هلوسات زائفة أو الخروج عن الموضوع. في الحالة التي عرضتها الورقة البحثية الجديدة، نرى مثالاً على "نداء تنبيه" لطيف ولكنه مُلحّ، يبدو أنه يُعيد تركيز برنامج الماجستير في القانون ويُعيد ضبطه دون فقدان السياق. سيكون من المثير للاهتمام معرفة ما إذا كانت المشاريع المتعاقبة ستُطوّر هذه الطريقة وتُكيّفها.

يُولي الباحثون أهمية بالغة للاقتصاد المُطلق في طريقتهم الجديدة، وهو اعتبار كان ليُؤخذ بنظر الاعتبار ولو قبل اثني عشر شهرًا فقط. في هذه الأيام، تُشير تداعيات الذكاء الاصطناعي فائق الاتساع بوضوح إلى أن توفير الموارد، الذي كان يُعتبر في السابق أمرًا مُبالغًا فيه، في عصر "البحث المُجرد"، أصبح الآن أمرًا بالغ الأهمية والضرورة.

* يرجى ملاحظة أنني مقيدٌ بتضمين العدد المعتاد من الاقتباسات من البحث، لأن مستوى اللغة الإنجليزية المستخدم في بعض أجزائه قد يُربك القارئ. لذلك، حرصتُ على تلخيص الأفكار الرئيسية، وأُحيل القارئ إلى البحث الأصلي للتحقق.

نُشر لأول مرة يوم الخميس 4 ديسمبر 2025