कोडिंग एआई में डनिंग-क्रuger प्रभाव की समस्या

नई रिसर्च बताती है कि कोडिंग एआई जैसे कि चैटजीपीटी डनिंग-क्रuger प्रभाव से ग्रस्त हैं, जो अक्सर अपनी कम्पेटेंसी के बारे में सबसे अधिक आश्वस्त रहते हैं जब वे वास्तव में कम्पेटेंट नहीं होते हैं। जब वे अनजाने या दुर्लभ प्रोग्रामिंग भाषाओं को संभालते हैं, तो वे उच्च आत्मविश्वास का दावा करते हैं भले ही उनके उत्तर टूट जाते हैं। अध्ययन मॉडल की अधिक आत्मविश्वास को खराब प्रदर्शन और प्रशिक्षण डेटा की कमी से जोड़ता है, जो इन सिस्टमों के बारे में ज्ञान के बारे में नई चिंताएं उठाता है।

जो कोई भी बड़ी भाषा मॉडल्स के साथ तथ्यात्मक मामलों पर बातचीत करने में मध्यम समय बिताता है, वह जानता है कि एलएलएम अक्सर उपयोगकर्ता के प्रश्न का एक आत्मविश्वास से भरा गलत उत्तर देते हैं।

हॉलुसिनेशन के अधिक स्पष्ट रूपों के साथ, इसका कारण 100% स्पष्ट नहीं है। गर्मियों के दौरान प्रकाशित शोध से पता चलता है कि मॉडल आत्मविश्वास से भरे उत्तर देते हैं भले ही वे जानते हैं कि वे गलत हैं; हालांकि अन्य सिद्धांतों को वास्तुकला के विकल्पों के लिए आत्मविश्वास का श्रेय देते हैं, अन्य संभावनाओं के बीच।

जो उपयोगकर्ता के लिए निश्चित हो सकता है वह यह है कि अनुभव बहुत ही निराशाजनक है, क्योंकि हम लोगों की अपनी क्षमताओं के बारे में अनुमानों में विश्वास करने के लिए हार्ड-कोडेड हैं (न कि क्योंकि ऐसे मामलों में कानूनी और अन्य परिणाम होते हैं जब कोई व्यक्ति अपनी क्षमताओं को कम आंकता है); और एक प्रकार का मानवीकरण स्थानांतरण हमें ऐसा व्यवहार संवादात्मक एआई प्रणालियों के साथ दोहराने के लिए प्रेरित करता है।

लेकिन एक एलएलएम एक जिम्मेदार इकाई है जो प्रभावी रूप से ‘ओह नो! बटरफिंगर्स…’ लौटा सकता है जब यह उपयोगकर्ता को अनजाने में कुछ महत्वपूर्ण चीज़ को नष्ट करने में मदद करता है, या कम से कम एक दोपहर का समय बर्बाद करता है; यह मानकर कि यह दायित्व स्वीकार करेगा।

लोग भी ऐसे ही अड़ियल और आत्म-मोहित हो सकते हैं – हालांकि जो इतनी गहराई से और बार-बार गलत होते हैं उन्हें शायद जल्द ही निकाल दिया जाएगा। ऐसे लोग नकली सिंड्रोम के विपरीत पीड़ित होते हैं (जहां एक कर्मचारी डरता है कि वह अपनी क्षमताओं से ऊपर पदोन्नत किया गया है) – डनिंग-क्रuger प्रभाव, जहां एक व्यक्ति अपनी क्षमता को अतिरंजित करता है।

मुद्रास्फीति की लागत

माइक्रोसॉफ्ट से एक नई अध्ययन एआई-सहायता प्रोग्रामिंग आर्किटेक्चर (जैसे कि रेडमंड के अपने कोपायलट) के प्रभावी प्रदर्शन से संबंधित डनिंग-क्रuger प्रभाव के मूल्य की जांच करता है, जो इस उप-क्षेत्र को संबोधित करने वाला पहला शोध प्रयास है।

काम मॉडल की अपनी प्रतिक्रियाओं की तुलना में कितनी आत्मविश्वास से भरी हुई है, यह देखने के लिए विश्लेषण करता है कि वे वास्तव में कितनी अच्छी तरह से प्रदर्शन करते हैं, कई प्रोग्रामिंग भाषाओं में। परिणाम एक स्पष्ट मानव जैसे पैटर्न को दर्शाते हैं: जब मॉडल सबसे कम सक्षम थे, तो वे अपने आप में सबसे अधिक आत्मविश्वासी थे।

प्रभाव अस्पष्ट या कम संसाधन भाषाओं में सबसे मजबूत था, जहां प्रशिक्षण डेटा पतला था – मॉडल जितना कमजोर था या भाषा जितनी दुर्लभ थी, कौशल का भ्रम उतना ही अधिक था:

जीपीटी-4ओ का वास्तविक और अनुमानित प्रदर्शन प्रोग्रामिंग भाषाओं में, वास्तविक प्रदर्शन के अनुसार क्रमबद्ध। स्रोत: https://arxiv.org/pdf/2510.05457

चार लेखक, सभी समान योगदानकर्ता जो माइक्रोसॉफ्ट के लिए काम करते हैं, तर्क देते हैं कि काम नई चिंताएं उठाता है कि इन उपकरणों पर कितना विश्वास किया जा सकता है कि वे अपने आउटपुट को जज करने में सक्षम हैं, और वे कहते हैं:

‘हम विभिन्न प्रोग्रामिंग भाषाओं में मॉडल के आत्मविश्वास और प्रदर्शन का विश्लेषण करके दिखाते हैं कि एआई मॉडल मानव पैटर्न को दर्शाते हैं जो अज्ञात या कम संसाधन वाले क्षेत्रों में आत्मविश्वास से भरे हुए हैं।

‘हमारे प्रयोग यह प्रदर्शित करते हैं कि कम सक्षम मॉडल और दुर्लभ प्रोग्रामिंग भाषाओं में काम करने वाले मॉडल डीकेई जैसे पूर्वाग्रह को प्रदर्शित करते हैं, जो यह सुझाव देते हैं कि पूर्वाग्रह की ताकत मॉडल की सक्षमता के अनुपात में है। यह मानव प्रयोगों के लिए पूर्वाग्रह के साथ संरेखित है।’

विधि

अध्ययन ने मॉडल को हजारों बहुविकल्पी प्रोग्रामिंग प्रश्न देकर यह परीक्षण किया कि कोडिंग एआई अपने उत्तरों का कितनी सटीकता से अनुमान लगा सकते हैं, प्रत्येक प्रश्न एक विशिष्ट भाषा डोमेन से संबंधित है, पाइथन और जावा से लेकर पर्ल और कोबोल तक:

अध्ययन में उपयोग की जाने वाली प्रोग्रामिंग भाषा डोमेन, साथ ही प्रत्येक डोमेन के लिए नमूने के बहुविकल्पी कोडिंग प्रश्नों की संख्या।

मॉडल को सही विकल्प चुनने और अपने चयन में कितना आत्मविश्वास महसूस करने का काम सौंपा गया था, और उनके वास्तविक प्रदर्शन को उनके द्वारा सही उत्तर देने की आवृत्ति से मापा गया था – और उनके आत्म-मूल्यांकित आत्मविश्वास ने दर्शाया कि वे कितने अच्छे मानते थे। इन दो मेट्रिक्स की तुलना करके, शोधकर्ताओं ने देखा कि जहां आत्मविश्वास और सक्षमता विचलित हो गए थे।

परिणाम

अध्ययन में छह बड़े भाषा मॉडलों का परीक्षण किया गया: मिस्ट्रल; फाई-3; डीपसीक-डिस्टिल; फाई-4; जीपीटी-0.1, और जीपीटी-4ओ.

प्रत्येक मॉडल का परीक्षण कोडनेट डेटासेट से बहुविकल्पी प्रोग्रामिंग प्रश्नों पर किया गया था, जिसमें 37 भाषाएं शामिल थीं* ताकि यह देखा जा सके कि आत्मविश्वास और सटीकता परिचित और अस्पष्ट कोडिंग डोमेन में कैसे भिन्न होती है।

इंटर-मॉडल विश्लेषण एक स्पष्ट डनिंग-क्रuger पैटर्न दिखाता है:

छह कोड मॉडलों में वास्तविक बनाम अनुमानित प्रदर्शन, जो दिखाता है कि कम प्रदर्शन वाले मॉडल जैसे मिस्ट्रल और फाई-3 उच्च आत्मविश्वास के बावजूद खराब सटीकता प्रदर्शित करते हैं, जबकि मजबूत मॉडल जैसे जीपीटी-4ओ अधिक सटीक आत्मविश्वास प्रदर्शित करते हैं।

मॉडल जो कम सटीकता वाले थे, जिनमें मिस्ट्रल और फाई-3 शामिल थे, अपनी क्षमताओं को अधिक अनुमानित करते थे, जबकि उच्च प्रदर्शन वाले सिस्टम जैसे जीपीटी-4ओ अपने वास्तविक प्रदर्शन के साथ आत्मविश्वास के स्तर को प्रदर्शित करते थे, विशेष रूप से जब सापेक्ष आत्मविश्वास से मापा जाता था।

निष्कर्ष

यहां तक कि अपने मूल डोमेन में, डनिंग-क्रuger प्रभाव (जैसा कि पत्र में उल्लेख किया गया है) या तो एक सांख्यिकीय या संज्ञानात्मक कारण के लिए जिम्मेदार हो सकता है। यदि यह एक सांख्यिकीय कारण के लिए है, तो एक मानव सिंड्रोम को एक मशीन लर्निंग संदर्भ में लागू करना वास्तव में मान्य है।

हालांकि लेखक अनुमान लगाते हैं कि कारण ‘संज्ञानात्मक’ हो सकता है, यह एक थोड़ा अधिक आध्यात्मिक दृष्टिकोण की आवश्यकता होगी।

शायद पत्र में सबसे दिलचस्प खोज यह है कि कई कोडिंग एलएलएम अपनी सबसे कम अनुकूल परिस्थितियों में, अर्थात् अस्पष्ट या कम ज्ञात भाषाओं के साथ काम करते समय, अपने आप में अधिकतम आत्मविश्वास प्रदर्शित करते हैं – जो एक वास्तविक दुनिया के कार्य वातावरण में एक आत्म-विनाशकारी रणनीति होगी।

* अध्ययन में उपयोग की जाने वाली प्रोग्रामिंग भाषाएं थीं एडा, बैश, सी, सी#, सी++, कोबोल, सेल्योन, क्लोजर, डी, डार्ट, डैश, एलिक्सिर, एर्लांग, एफ#, फोरट्रान, गो, हास्केल, जावा, जावास्क्रिप्ट, जूलिया, लिस्प, कोटलिन, लुआ, ओसीएमएल, ऑब्जेक्टिव-सी, पीएचपी, पास्कल, पर्ल, प्रोलोग, पाइथन, रैकेट, रूबी, रस्ट, स्काला, स्विफ्ट, टाइपस्क्रिप्ट और विजुअल बेसिक।

पहली बार बुधवार, 8 अक्टूबर, 2025 को प्रकाशित किया गया।