जब एआई बेंचमार्क मॉडल्स को झूठ बोलना सिखाते हैं

एआई हॉलुसिनेशन — जब एक सिस्टम सही लगते हुए उत्तर देता है लेकिन वास्तव में गलत होता है — आर्टिफ़िशियल इंटेलिजेंस में सबसे कठिन चुनौतियों में से एक बना हुआ है। आज के सबसे उन्नत मॉडल्स, जैसे कि डीपसीक-V3, ल्लामा, और ओपनएआई के नवीनतम रिलीज़, अभी भी उच्च आत्मविश्वास के साथ असटीक जानकारी प्रदान करते हैं। स्वास्थ्य सेवा या कानून जैसे क्षेत्रों में, ऐसी गलतियाँ गंभीर परिणामों का कारण बन सकती हैं।

पारंपरिक रूप से, हॉलुसिनेशन को बड़े भाषा मॉडल्स के प्रशिक्षण के एक उत्पाद के रूप में देखा जाता है: वे अगले सबसे संभावित शब्द की भविष्यवाणी करना सीखते हैं बिना यह सत्यापित किए कि जानकारी सच है या नहीं। लेकिन नए शोध सुझाव देते हैं कि समस्या प्रशिक्षण से आगे जा सकती है; एआई प्रदर्शन का परीक्षण और तुलना करने के लिए उपयोग किए जाने वाले बेंचमार्क वास्तव में भ्रामक व्यवहार को मजबूत कर सकते हैं, जो सही के बजाय आश्वस्त उत्तरों को पुरस्कृत करते हैं।

यह दृष्टिकोण की बदलाव समस्या को फिर से परिभाषित करता है। यदि मॉडल्स सच बताने के बजाय परीक्षण को पास करने के लिए प्रशिक्षित होते हैं, तो हॉलुसिनेशन दुर्भाग्यपूर्ण दोष नहीं हैं, वे सीखी गई रणनीतियाँ हैं। यह देखने के लिए कि यह क्यों होता है, हमें यह जानने की आवश्यकता है कि एआई मॉडल्स अनजान होने के बजाय क्यों अनुमान लगाते हैं?

एआई मॉडल्स अनुमान क्यों लगाते हैं

एआई मॉडल्स अक्सर अनुमान लगाने के बजाय अनजान होने के बजाय क्यों चुनते हैं, एक कठिन परीक्षा प्रश्न का सामना करने वाले छात्र पर विचार करें। छात्र के पास दो विकल्प हैं: उत्तर खाली छोड़ दें और शून्य अंक प्राप्त करें, या एक शिक्षित अनुमान लगाएं जो कुछ अंक प्राप्त कर सकता है। तर्कसंगत रूप से, अनुमान लगाना बेहतर विकल्प लगता है क्योंकि सही होने का कम से कम एक मौका है।

एआई मॉडल्स मूल्यांकन के दौरान एक समान स्थिति का सामना करते हैं। अधिकांश बेंचमार्क एक द्विआधारी स्कोरिंग प्रणाली का उपयोग करते हैं: सही उत्तर अंक प्राप्त करते हैं, जबकि असटीक या अनिश्चित प्रतिक्रियाएं कुछ भी नहीं प्राप्त करती हैं। यदि एक मॉडल से पूछा जाए, “एक शोधकर्ता का जन्मदिन क्या है?” और यह वास्तव में नहीं जानता है, “मुझे नहीं पता” के साथ प्रतिक्रिया करना विफलता के रूप में गिना जाता है। एक तिथि बनाना, हालांकि, सही होने का कुछ मौका है — और भले ही यह गलत हो, प्रणाली आत्मविश्वासी अनुमान को चुप्पी की तुलना में अधिक दंडित नहीं करती है।

यह गतिविधि हॉलुसिनेशन के कारण को समझाती है जो व्यापक शोध के बावजूद बनी रहती है। मॉडल्स विफल नहीं हो रहे हैं; वे मूल्यांकन में निर्मित प्रोत्साहन का पालन कर रहे हैं। वे सीखते हैं कि आत्मविश्वासी होना अपने स्कोर को अधिकतम करने का सबसे अच्छा तरीका है, भले ही उत्तर गलत हो। परिणामस्वरूप, अनिश्चितता को व्यक्त करने के बजाय, मॉडल्स को गलत या सही होने के लिए अधिकारी बयान देने के लिए प्रेरित किया जाता है।

एआई धोखाधड़ी का गणितीय आधार

शोध से पता चलता है कि हॉलुसिनेशन भाषा मॉडल्स के सीखने के गणितीय मूल सिद्धांतों से उत्पन्न होते हैं। यहां तक कि अगर एक मॉडल को केवल पूरी तरह से सटीक जानकारी पर प्रशिक्षित किया जाता है, तो इसके सांख्यिकीय उद्देश्य अभी भी त्रुटियों का कारण बनेंगे। यह इसलिए है क्योंकि सही उत्तर उत्पन्न करना मान्य उत्तर की पहचान करने से मूल रूप से कठिन है।

यह उन मामलों में हॉलुसिनेशन की व्याख्या करता है जहां तथ्य स्पष्ट पैटर्न का अभाव है, जैसे कि जन्मदिन या अन्य विशिष्ट विवरण। गणितीय विश्लेषण सुझाव देता है कि इन मामलों में हॉलुसिनेशन दर प्रशिक्षण डेटा में केवल एक बार दिखाई देने वाले तथ्यों के अंश के रूप में कम से कम होगी। दूसरे शब्दों में, जानकारी जितनी दुर्लभ होगी, मॉडल के साथ संघर्ष करने की संभावना उतनी ही अधिक होगी।

समस्या दुर्लभ तथ्यों तक सीमित नहीं है। संरचनात्मक प्रतिबंध जैसे सीमित मॉडल क्षमता या वास्तुकला डिज़ाइन भी सिस्टमेटिक त्रुटियों का उत्पादन करते हैं। उदाहरण के लिए, पहले के मॉडल्स जिनके पास बहुत छोटी संदर्भ विंडो थी, उन्हें लंबी दूरी की तर्कसंगतता की आवश्यकता वाले कार्यों में निरंतर विफलता का सामना करना पड़ा। ये गलतियाँ यादृच्छिक ग्लिच नहीं थीं, बल्कि मॉडल के गणितीय ढांचे के पredictable परिणाम थे।

पोस्ट-ट्रेनिंग समस्या को क्यों हल नहीं करता है

एक बार जब एक एआई मॉडल को विशाल पाठ डेटासेट पर प्रशिक्षित किया जाता है, तो यह आमतौर पर अपने आउटपुट को अधिक उपयोगी और कम हानिकारक बनाने के लिए फ़ाइन-ट्यूनिंग से गुजरता है। लेकिन यह प्रक्रिया उसी मूल समस्या का सामना करती है जो पहले स्थान पर हॉलुसिनेशन का कारण बनती है; मॉडल्स का मूल्यांकन कैसे किया जाता है।

सबसे आम फ़ाइन-ट्रेनिंग विधियों, जैसे कि मानव प्रतिक्रिया से प्रबलित सीख, अभी भी द्विआधारी स्कोरिंग का उपयोग करते हैं जो मॉडल्स को आश्वस्त उत्तर देने के लिए पुरस्कृत करते हैं और अनिश्चितता के लिए कोई श्रेय नहीं देते हैं। परिणामस्वरूप, एक प्रणाली जो हमेशा आत्मविश्वास के साथ प्रतिक्रिया देती है, भले ही यह गलत हो, एक ऐसे मॉडल की तुलना में बेहतर प्रदर्शन कर सकती है जो ईमानदारी से अनिश्चितता को व्यक्त करता है।

शोधकर्ता इसे अनिश्चितता को दंडित करने की समस्या कहते हैं। हॉलुसिनेशन का पता लगाने या कम करने के लिए उन्नत तकनीकें भी संघर्ष करती हैं जब अंतर्निहित बेंचमार्क अभी भी अति-आत्मविश्वास को पसंद करते हैं। दूसरे शब्दों में, निर्दोष उपचार के बावजूद, जब तक मूल्यांकन प्रणाली आश्वस्त अनुमानों को पुरस्कृत करती है, मॉडल्स गलत लेकिन आत्मविश्वासी उत्तरों की ओर पूर्वाग्रहित रहेंगे, न कि सच्चे संदेह की स्वीकृति की ओर।

प्रगति का भ्रम

नेतृत्व बोर्ड, जो व्यापक रूप से एआई समुदाय में साझा किए जाते हैं, इस समस्या को बढ़ाते हैं। बेंचमार्क जैसे एमएमएलयू, जीपीक्यूए, और एसडब्ल्यू-बेंच शोध पत्रों और उत्पाद घोषणाओं में प्रमुखता से प्रदर्शित होते हैं। कंपनियां अपने स्कोर को तेजी से प्रगति दिखाने के लिए उजागर करती हैं। फिर भी, जैसा कि रिपोर्ट में उल्लेख किया गया है, ये बेंचमार्क स्वयं हॉलुसिनेशन को बढ़ावा देते हैं।

एक मॉडल जो ईमानदारी से “मुझे नहीं पता” कहता है वास्तविक दुनिया की स्थितियों में सुरक्षित हो सकता है, लेकिन लीडरबोर्ड पर कम रैंक करेगा। दूसरी ओर, एक मॉडल जो आश्वस्त लेकिन झूठे उत्तर बनाता है बेहतर स्कोर करेगा। जब गोद लेने, वित्त पोषण और प्रतिष्ठा लीडरबोर्ड रैंकिंग पर निर्भर करती है, तो प्रगति की दिशा विकृत हो जाती है। जनता निरंतर सुधार की कहानी देखती है, लेकिन नीचे, मॉडल्स को धोखा देने के लिए प्रशिक्षित किया जा रहा है।

एआई में ईमानदार अनिश्चितता क्यों महत्वपूर्ण है

हॉलुसिनेशन केवल एक शोध चुनौती नहीं हैं; वे वास्तविक दुनिया के परिणामों का कारण बनते हैं। स्वास्थ्य सेवा में, एक मॉडल जो दवा परस्पर क्रिया का आविष्कार कर सकता है डॉक्टरों को गुमराह कर सकता है। शिक्षा में, एक जो ऐतिहासिक तथ्यों का आविष्कार करता है छात्रों को गलत सूचना दे सकता है। पत्रकारिता में, एक चैटबॉट जो झूठे लेकिन आश्वस्त उद्धरण पैदा कर सकता है भ्रामक सूचना फैला सकता है। ये जोखिम पहले से ही दिखाई दे रहे हैं। स्टैनफोर्ड एआई इंडेक्स 2025 ने बताया कि हॉलुसिनेशन को मापने के लिए डिज़ाइन किए गए बेंचमार्क “तraction हासिल करने के लिए संघर्ष” कर रहे हैं, भले ही एआई अपनाना तेजी से बढ़ रहा हो। इस बीच, लीडरबोर्ड और बेंचमार्क जो आत्मविश्वासी लेकिन अविश्वसनीय उत्तरों को पुरस्कृत करते हैं, प्रगति की दिशा को निर्धारित करना जारी रखते हैं।

ये निष्कर्ष एक चुनौती और एक अवसर दोनों को रेखांकित करते हैं। हॉलुसिनेशन की गणितीय जड़ों की जांच करके, शोधकर्ताओं ने अधिक विश्वसनीय एआई सिस्टम बनाने के लिए स्पष्ट दिशाएं पहचानी हैं। कुंजी यह है कि अनिश्चितता को एक दोष के रूप में नहीं बल्कि एक आवश्यक क्षमता के रूप में मान्यता देना बंद करना है जिसे मापा और पुरस्कृत किया जाना चाहिए।

यह दृष्टिकोण का परिवर्तन हॉलुसिनेशन को कम करने से परे निहितार्थ है। एआई सिस्टम जो अपनी ज्ञान सीमाओं का सटीक मूल्यांकन और संचार कर सकते हैं, उच्च जोखिम वाले अनुप्रयोगों के लिए अधिक उपयुक्त होंगे जहां अति-आत्मविश्वास गंभीर जोखिम उठाता है। चिकित्सा निदान, कानूनी विश्लेषण, और वैज्ञानिक अनुसंधान सभी ज्ञान और सूचित अनुमान के बीच अंतर करने की क्षमता की आवश्यकता होती है।

ईमानदार एआई के लिए मूल्यांकन को पुनः सोच

ये निष्कर्ष इस बात पर जोर देते हैं कि अधिक विश्वसनीय एआई बनाने के लिए, हमें एआई क्षमता को मापने के तरीके को पुनः सोचने की आवश्यकता है। सरल सही या गलत स्कोरिंग पर निर्भर रहने के बजाय, मूल्यांकन ढांचे को मॉडल्स को उपयुक्त रूप से अनिश्चितता व्यक्त करने के लिए पुरस्कृत करना चाहिए। इसका अर्थ है बेंचमार्क निर्देशों के भीतर स्पष्ट आत्मविश्वास सीमा और संबंधित स्कोरिंग योजनाओं के बारे में मार्गदर्शन प्रदान करना।

एक आशाजनक दृष्टिकोण स्पष्ट आत्मविश्वास लक्ष्य बनाना शामिल करता है जो निर्दिष्ट करते हैं कि मॉडल्स को कब उत्तर देना चाहिए और कब प्रतिबंधित करना चाहिए। उदाहरण के लिए, निर्देश यह बता सकते हैं कि उत्तर केवल तभी दिए जाने चाहिए जब विश्वास एक विशिष्ट सीमा से अधिक हो, स्कोरिंग के अनुसार समायोजित किया जाना चाहिए। इस सेटअप में, अनिश्चितता एक कमजोरी नहीं है, बल्कि जिम्मेदार व्यवहार का एक मूल्यवान हिस्सा है।

कुंजी यह है कि आत्मविश्वास आवश्यकताओं को स्पष्ट करना है, न कि अंतर्निहित। वर्तमान बेंचमार्क अनिश्चितता के लिए छिपे हुए दंड बनाते हैं जिनसे मॉडल्स बचना सीखते हैं। स्पष्ट आत्मविश्वास लक्ष्य मॉडल्स को वास्तव में वांछित व्यवहार के लिए अनुकूलन करने में सक्षम बनाएगा: जब आत्मविश्वासी हों तो सटीक उत्तर, और जब ज्ञान की कमी हो तो ईमानदार अनिश्चितता की स्वीकृति।

नीचे की रेखा

एआई हॉलुसिनेशन केवल यादृच्छिक दोष नहीं हैं — वे उन बेंचमार्क द्वारा मजबूत होते हैं जो प्रगति को मापने के लिए उपयोग किए जाते हैं। आत्मविश्वासी अनुमानों को सही उत्तरों की तुलना में पुरस्कृत करके, वर्तमान मूल्यांकन प्रणाली मॉडल्स को धोखाधड़ी की ओर धकेलती है, न कि विश्वसनीयता की ओर। यदि हम स्वास्थ्य सेवा, कानून, और विज्ञान जैसे उच्च जोखिम वाले क्षेत्रों में विश्वास करने योग्य एआई चाहते हैं, तो हमें उन्हें परीक्षण और पुरस्कार देने के तरीके को पुनः सोचने की आवश्यकता है। प्रगति को केवल सटीकता से नहीं मापा जाना चाहिए, बल्कि मॉडल द्वारा अपनी सीमाओं को स्वीकार करने और स्वीकार करने की क्षमता से भी।