تعاني الأي.ai للبرمجة من تأثير دونينج-كرuger

تظهر الأبحاث الجديدة أن الأي.ai للبرمجة مثل ChatGPT تعاني من تأثير دونينج-كرuger، وتتصرف بأكثر ثقة عندما تكون أقل كفاءة. عند التعامل مع لغات برمجة غير مألوفة أو نادرة، تدعي ثقة عالية حتى عندما تنهار إجاباتها. يربط الدراسة بين ثقة النموذج والضعف في الأداء وندرة بيانات التدريب، مما يثير مخاوف جديدة حول مقدار ما تعرفه هذه الأنظمة حقًا عما لا تعرفه.

من المعروف أن أي شخص قضى وقتًا معقولاً في التفاعل مع نماذج اللغة الكبيرة حول الأمور الواقعية سيعرف أن نماذج اللغة الكبيرة تميل إلى إعطاء استجابة مثبتة خاطئة للاستعلام المستخدم.

إلى جانب أشكال أكثر وضوحًا من الوهم، فإن سبب هذه الثقة الفارغة ليس واضحًا تمامًا. تشير الأبحاث المنشورة خلال الصيف إلى أن النماذج تعطي إجابات واثقة حتى عندما تعرف أنها مخطئة، على سبيل المثال؛ في حين تنسب نظريات أخرى الثقة الزائدة إلى اختيارات معمارية، من بين إمكانيات أخرى.

ما يمكن للمستخدم التأكد منه هو أن التجربة مريعة للغاية، لأننا مخططون للاعتماد على تقديرات الناس لقدراتهم الخاصة (على الأقل لأن هناك عواقب قانونية وغيرها لشخص يتعهد أكثر مما يستطيع وتقديم أقل مما وعد به)؛ ويعني نوع من التحويل الانثروبولوجي أننا نميل إلى تكرار هذا السلوك مع أنظمة الذكاء الاصطناعي التفاعلية.

لكن نموذج اللغة الكبيرة هو كيان غير مسؤول يمكنه العودة بفعالية بـ oops! Butterfingers… بعد أن يساعد المستخدم على تدمير شيء مهم عن طريق الخطأ، أو على الأقل تضييع بعد الظهر من وقته؛假设 أنه يقر بالمسؤولية على الإطلاق.

أسوأ من ذلك، يبدو أن هذا النقص في الحذر يتعذر إزالته، على الأقل في ChatGPT، الذي سيثري المستخدم بوفرة بالصلاحية من صحة نصيحته، ويشرح عيوب تفكيره فقط بعد أن يتم إلحاق الضرر. لا يبدو أن تحديث ذاكرة النظام الدائمة ولا استخدام التأملات المتكررة له تأثير كبير على هذه القضية.

يمكن للأشخاص أن يكونوا أيضًا عنيدون ومرتدين – على الرغم من أن أي شخص يخطئ بهذا القدر سيتم فصله مبكرًا. مثل هؤلاء يعانون من العكس من “متلازمة المخادع” (حيث يخاف الموظف أنه تم ترقيته فوق قدراته) – تأثير دونينج-كرuger، حيث يقدّر شخص ما بشكل كبير قدراته على أداء مهمة.

تكلفة التضخم

دراسة جديدة من مايكروسوفت تدرس قيمة تأثير دونينج-كرuger فيما يتعلق بأداء معماريات البرمجة المدعومة بالذكاء الاصطناعي (مثل Copilot من ريدموند) في جهد بحثي هو الأول الذي يعالج هذا القطاع الفرعي من نماذج اللغة الكبيرة.

تتحليل الدراسة كيف يمكن أن تقيّم نماذج الكتابة البرمجية بدقة إجاباتها الخاصة من خلال إعطائها آلاف الأسئلة المتعددة الخيارات، مع كل سؤال ينتمي إلى مجال لغة برمجة معين، من بايثون و جافا إلى بيرل و كوبول:

كلف النماذج باختيار الخيار الصحيح، وتقدير مدى ثقتهم في اختيارهم، مع قياس أدائهم الفعلي بمدى频率 التي حصلوا فيها على الإجابة الصحيحة – وثقتهم الذاتية تشير إلى مدى جودة ما يعتقدون أنهم.

لقياس مدى ثقة النماذج الظاهرة، استخدمت الدراسة طريقتين: الثقة المطلقة و الثقة النسبية. في الأولى، طُلب من النموذج تقديم درجة من صفر إلى واحد جنبًا إلى جنب مع كل إجابة، مع تحديد ثقته في لغة معينة بواسطة متوسط تلك الدرجات عبر الأسئلة في تلك اللغة.

نظرت الطريقة الثانية في مدى ثقة النموذج عند اختيار بين سؤالين؛ بالنسبة لكل زوج، كان على النموذج أن يقول أيهما يشعر بأنه أكثر ثقة. تم تصنيف هذه الاختيارات باستخدام أنظمة تصنيف أصلية مصممة للألعاب التنافسية، معاملة كل سؤال كما لو كان لاعبًا في مباراة. تم تطبيع النتائج النهائية وتحويلها إلى متوسط لكل لغة لتحديد درجة الثقة النسبية.

تُفحص الدراسة شكلين مقبولين من تأثير دونينج-كرuger: أحدهما يتبع كيف يسيء نموذج واحد تقييم أدائه عبر مجالات مختلفة؛ والآخر يقارن بين مستويات الثقة بين النماذج الأضعف والأقوى.

الشكل الأول، يسمى دونينج-كرuger داخل المشارك، يبحث عما إذا كان نموذج واحد يصبح أكثر ثقة زائدة في اللغات التي يؤدي فيها أداءً ضعيفًا. الشكل الثاني، دونينج-كرuger بين المشاركين، يسأل عما إذا كانت النماذج التي تؤدي أداءً أسوأ بشكل عام تميل أيضًا إلى تقييم نفسها على أنها أعلى.

في كلتا الحالتين، تُستخدم الفجوة بين الثقة والأداء الفعلي لقياس الثقة الزائدة، مع فجوات أكبر في إعدادات الأداء الضعيف تشير إلى سلوك دونينج-كرuger.

النتائج

تختبر الدراسة تأثير دونينج-كرuger عبر ست نماذج لغة كبيرة: Mistral؛ Phi-3؛ DeepSeek-Distill؛ Phi-4؛ GPT-0.1، و GPT-4o.

تم اختبار كل نموذج على أسئلة برمجة متعددة الخيارات من مجموعة CodeNet العامة، مع تمثيل 37 لغة ليكشف عن كيفية تباين الثقة والدقة عبر مجالات الترميز المألوفة والنادرة.

تظهر التحليلات بين النماذج نمط دونينج-كرuger الواضح:

النماذج التي تتمتع بدقة أقل، بما في ذلك Mistral و Phi-3، تميل إلى المبالغة في تقييم قدراتها، في حين أن النماذج الأفضل أداءً، مثل GPT-4o، أظهرت مستويات ثقة أكثر توافقًا مع أدائها الفعلي، خاصة عند تقييمها بواسطة الثقة النسبية.

تشير النتائج أيضًا إلى أن النماذج الأكثر قدرة قد تقلل من تقديرها أحيانًا (نمط لا تكتشفه درجات الثقة المطلقة).

تظهر النتائج أيضًا أن التحليل داخل النموذج يدعم وجود تأثير دونينج-كرuger. في الرسم البياني للمنتج في بداية المقال، نرى كيف أدى كل نموذج عبر لغات برمجة مختلفة، مرتبة حسب الأداء الفعلي.

في اللغات التي سجلت فيها النماذج أداءً ضعيفًا، خاصة في اللغات النادرة أو منخفضة الموارد مثل كوبول وبرولوج وسييلون، كانت ثقتهم ملاحظة أكثر من تبريرها.

ظهر هذا النمط في كلتا قياسات الثقة المطلقة والثقة النسبية، مما يشير إلى أن النماذج أقل دراية بحدودها عندما تعمل في مجالات برمجة غير مألوفة.

تم تقديم ثلاثة إعدادات بديلة لتحقيق ذلك: أولاً، تم إعطاء كل نموذج شخصية مميزة؛ ثانيًا، تم عينة الاستجابات عند درجة حرارة أعلى أعلى لإنشاء المزيد من التنوع؛ ثالثًا، تم إعادة صياغة التأملات عدة مرات، مع معاملة كل نسخة على أنها مشارك منفصل:

تُظهر جدول النتائج أعلاه كيف يظل نمط دونينج-كرuger موجودًا في جميع الحالات؛ ويظهر أن دونينج-كرuger كان أقوى عندما تم عينة استجابات متعددة من نفس النموذج عند درجة حرارة عالية.

للفهم بشكل أفضل كيف تختلف الأداء المتصورة عن الأداء الفعلي، قارنت الدراسة تقديرات الثقة المطلقة والثقة النسبية، من خلال حساب كيف يبالغ كل نموذج في تقدير قدرته (تحديدًا، الفرق بين درجة ثقته وأدائه الفعلي)، ثم قياس كيف يرتبط ذلك التقييم الزائد بأداء النموذج الحقيقي:

تُظهر جدول النتائج أعلاه كيف يرتبط التقييم الزائد بالأداء الفعلي، عبر مجالات برمجة ومواضيع نموذجية. في كلتا الحالتين، يمكننا رؤية أن النماذج التي تتمتع بأداء أقل تميل إلى إظهار ثقة أكبر.

أخيرًا، اختبر المؤلفون ما إذا كان تأثير دونينج-كرuger يظهر في توليد الشفرة، من خلال تقييم النماذج على مجموعة MultiPL-E عبر ثماني لغات برمجة.

على الرغم من أن التأثير كان لا يزال موجودًا، كان أقل وضوحًا من حالة الأسئلة المتعددة الخيارات، ربما يعكس صعوبة أكبر في تقييم الثقة والدقة في المهام المفتوحة:

فيما يخص تفسير تأثير دونينج-كرuger المتنازع عليه، يخلص المؤلفون إلى:

قد يكون أحد التفسيرات المحتملة التي قد تكون مشتركة بين البشر ونماذج الذكاء الاصطناعي هو التفسير المتعاقب، الذي ينص على أن تقييم جودة أداء مهارة هو جزء حاسم من اكتساب المهارة.

يمكن اختبار هذا التفسير تجريبيًا في نماذج الذكاء الاصطناعي من خلال دراسة مسيطرة لاستراتيجيات التدريب المختلفة وما إذا كانت جميعها تؤدي إلى تحسينات متزامنة في الأداء وقدرة على تقييم جودة الأداء. ومع ذلك، هذه الدراسة تتجاوز نطاق هذا البحث، وتركنا ذلك للعمل المستقبلي.

الخلاصة

حتى في مجاله الأصلي، قد يكون تأثير دونينج-كرuger (كما يشير المقال) ناجمًا إما عن سبب إحصائي أو إدراكي. إذا كان السبب إحصائيًا، فإن تطبيق متلازمة فريدة من نوعها للبشر على سياق تعلم الآلة هو صالح حقًا.

على الرغم من أن المؤلفين يطرحون أن السبب قد يُظهر أنه “إدراكي” في كلتا الحالتين، فإن ذلك سيتطلب موقفًا متأملًا قليلاً.

ربما يكون الاكتشاف الأكثر إثارة للاهتمام في البحث هو مدى تمسك نماذج لغة برمجة متعددة في أسوأ ظروفها، أي من خلال إظهار أقصى ثقة عند التعامل مع لغات أقل شهرة أو أقل شهرة – وهي استراتيجية ستكون ذاتية التدمير في بيئة عمل حقيقية.

* اللغات البرمجية المستخدمة كانت Ada و Bash و C و C# و C++ و COBOL و Ceylon و Clojure و D و Dart و Dash و Elixir و Erland و F# و Fortran و Go و Haskell و Java و JavaScript و Julia و Lisp و Kotlin و Lua و OCaml و Objective-C و PHP و Pascal و Perl و Prolog و Python و Racket و Ruby و Rust و Scala و Swift و TypeScript و Visual Basic.

نشر لأول مرة يوم الأربعاء، 8 أكتوبر 2025