आपका AI शायद अब भी आपको सही ढंग से सुधारने में ज़रूरत से ज़्यादा संकोच करता है

सटीक जानकारी के लिए जिन AI प्रणालियों पर हम भरोसा कर सकते हैं—भले ही वह जानकारी हमें खुश करने वाली न हो—उनमें हमारी आपत्तियों के बावजूद तब तक ‘विरोध करने’ की क्षमता होनी चाहिए, जब तक हम अप्रिय समाचारों या तथ्यों को स्वीकार करने के लिए तैयार न हो जाएँ।

AI इस मामले में बहुत अच्छा नहीं है; चूँकि अग्रणी मॉडल उपभोक्ताओं के लिए बनाए जाते हैं, इसलिए वे उपयोगकर्ता की बात मानने और, दरअसल, चापलूसीपूर्ण सहमति की ओर झुकते हैं।

इस समस्या से निपटने के लिए शोध की एक उल्लेखनीय धारा सामने आई है; लेकिन हालिया प्रयासों का निष्कर्ष है कि अगर AI हमारी बात को चुनौती दे, तो हम उसे आसानी से फिर से चापलूसीपूर्ण सहमति की ओर धकेल सकते हैं; AI मानवीय अधिकार के आगे झुकता है, भले ही वह साफ़ तौर पर ग़लत हो; और आम तौर पर कारगर मानी जाने वाली रीइन्फोर्समेंट लर्निंग की तकनीक वास्तव में इस ख़ास समस्या को और बढ़ा देती है।

तथ्य यह है कि विनम्रता के साथ सांस्कृतिक रूप से गुँथा होने के कारण सेवा>उपभोक्ता संदर्भ में ‘दो-टूक बात’ करना असंभव-सा लगता है; ‘ग्राहक हमेशा सही होता है’—भले ही वह किसी खाई में गिरने ही वाला हो।

सही, ग़लत और ‘दुविधापूर्ण’ जवाब

काश, मैं आपको बता पाता कि इस हफ़्ते प्रकाशित शोधपत्रों में से किसी ने इस मुद्दे पर सचमुच उल्लेखनीय प्रगति की है। अफ़सोस, हमें अब भी यही और जानकारी मिल रही है कि जो मॉडल ‘विरोध करते’ हैं और अपने मानवीय मालिकों को सच समझाने की कोशिश करते हैं, वे अब भी इसमें ख़ास अच्छा काम नहीं कर रहे हैं*—और जब वे सत्ता के सामने सच बोलने को तैयार भी होते हैं (यहाँ सत्ता आप हैं), तो उनकी बात किसी दबी-दबी फुसफुसाहट जैसी ही होती है।

इस नए शोधपत्र में काफ़ी बड़े अकादमिक सहयोग से काम किया गया है। इसमें University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University और University of Wisconsin-Madison के शोधकर्ताओं ने हिस्सा लिया।

इस शोधपत्र का शीर्षक है भूसे के ढेर में विरोध: भाषा मॉडल तथ्यात्मक ग़लतियों पर अस्पष्ट और अप्रभावी ढंग से प्रतिक्रिया देते हैं। इस नए शोध का मुख्य निष्कर्ष यह है कि AI मॉडल उपयोगकर्ता के दावे को झूठा पहचान लेने पर भी अक्सर उसे स्पष्ट रूप से सुधारने में नाकाम रहते हैं; इसके बजाय वे अपनी आपत्तियों को अनिश्चित भाषा, प्रशंसा और आंशिक सहमति के बीच दबा देते हैं।

झूठी धारणा पर आधारित अकादमिक शोधपत्रों के अनुरोध का Gemini 2.5 Pro द्वारा हिंदी में दिया गया एक जवाब। हरे रंग से चिह्नित अंश सहमति दर्शाते हैं, जबकि गुलाबी रंग वाले अंश विरोध जताते हैं। यहाँ मॉडल दावे को साफ़ तौर पर ख़ारिज करने के बजाय प्रशंसा को अप्रत्यक्ष आपत्तियों के साथ मिलाता है। स्रोत

सात मॉडलों और पाँच भाषाओं पर किए गए अध्ययन में शोधकर्ताओं ने पाया कि यह ‘अस्पष्टता’ उपयोगकर्ताओं को मूल ग़लत जानकारी पर विश्वास बनाए रखने के लिए प्रेरित कर सकती है, भले ही AI ने तकनीकी रूप से उसे चुनौती दी हो।

चूँकि अलग-अलग भाषाओं में चापलूसीपूर्ण सहमति का इस्तेमाल और उसका स्तर भिन्न होता है, इसलिए दस लेखकों ने अपनी साझा पाँच मातृभाषाओं के आधार पर एक परीक्षण-विधि तैयार की। इसमें अंग्रेज़ी, जर्मन, चीनी, हिंदी और योरूबा शामिल हैं—ऐसी भाषाएँ, जिनका वर्गीकरण उच्च-संसाधन से लेकर कम-संसाधन तक है। वे कहते हैं:

‘हम वाक्यांश-स्तर पर, मनुष्यों द्वारा सत्यापित प्रतिक्रिया-लेबलिंग की एक रूपरेखा प्रस्तुत करते हैं, ताकि यह बारीकी से समझा जा सके कि भाषा मॉडल झूठी इनपुट जानकारी का विरोध कैसे करते हैं और/या उसकी पुष्टि कैसे करते हैं। हम पाँच भाषाओं—अंग्रेज़ी, जर्मन, चीनी, हिंदी और योरूबा—में मॉडल की प्रतिक्रियाओं पर यह रूपरेखा विकसित करते हैं और उसे लागू करते हैं।

‘हमने पाया कि जब मॉडल उपयोगकर्ताओं के झूठे दावों का विरोध करते हैं, तो वे अक्सर अप्रत्यक्ष भाषा का इस्तेमाल करते हैं और उसमें सहमति भी मिला देते हैं। विचाराधीन अन्य भाषाओं की तुलना में हिंदी और योरूबा में उनकी भाषा अधिक अप्रत्यक्ष होती है।’

300 प्रतिभागियों को शामिल करने वाले एक बड़े अध्ययन में शोधकर्ताओं ने पाया कि AI मॉडलों के अस्पष्ट सुधार उपयोगकर्ताओं की तथ्यात्मक ग़लतफ़हमियों को दूर करने के बजाय बरक़रार रख सकते हैं।

एक परीक्षण में पाया गया कि जानकारी माँगने वाले सवालों के जवाब में मॉडलों ने औसतन 46.7 पंक्तियाँ लिखीं, जबकि सुधार बताने वाले वाक्यांश केवल दो या तीन पंक्तियों में आए। यानी, AI किसी झूठे दावे पर आपत्ति जताए भी, तो उसे ढूँढ़ना मुश्किल हो सकता है।

शोधकर्ताओं ने यह भी पाया कि जब मॉडलों से किसी जानकारी की पुष्टि करने के लिए साफ़ तौर पर कहा गया, तो वे सामान्य जानकारी माँगने वाले अनुरोधों में आई ग़लत जानकारी को चुनौती देने की तुलना में ऐसा करने की अधिक संभावना रखते थे। पाठ्यपुस्तकों के हवाले से किए गए दावों का आम तौर पर दोस्तों के हवाले से किए गए दावों की तुलना में कम विरोध हुआ।

जानकारी माँगने वाले 29.4% जवाबों में मॉडलों ने सुधार के साथ सहमति भी जताई; Gemini 2.5 Pro के मामले में यह आँकड़ा बढ़कर 60.1% हो गया। कभी-कभी यह ‘तारीफ़-सैंडविच’ के रूप में सामने आया, जिसमें आश्वस्त करने वाली टिप्पणियों के बीच आपत्तियाँ दब गईं।

संभावित उपाय के तौर पर शोधकर्ताओं ने मॉडलों को जवाब देने से पहले ‘एक पल ठहरने’ के लिए प्रेरित करने का एक सरल तरीका आज़माया। इससे कुछ मामलों में ग़लत बयानों को चुनौती देने की उनकी तत्परता बढ़ी—लेकिन सही बयानों पर ग़लत आपत्तियाँ भी बढ़ गईं।

अध्ययन से पता चलता है कि AI से किसी त्रुटि को पहचानवा पाना समस्या का केवल एक हिस्सा है; उस त्रुटि को बताना अपने आप में एक अलग चुनौती है।

कार्यविधि

परीक्षण सामग्री OpenAI के 2021 के बहुभाषी Massive Multitask Language Understanding (MMLU) मानक परीक्षण से ली गई थी। MMMLU के नाम से जाना जाने वाला यह बहुभाषी डेटासेट जीव विज्ञान और इतिहास सहित शैक्षणिक विषयों को समेटता है।

इस संग्रह के बहुविकल्पीय प्रश्नों को तथ्यात्मक कथनों में बदला गया। गलत दावों को गढ़ने के लिए तीन गलत उत्तरों का, जबकि एक सही दावा बनाने के लिए सही उत्तर का इस्तेमाल किया गया।

इस तरह, हर भाषा के लिए दोहरे अनुवाद वाले MMMLU मानक परीक्षण के 1,756 प्रश्नों से पाँच भाषाओं में कुल 35,120 कथनों का डेटासेट तैयार किया गया। प्रयोगों के लिए विषयों के बीच संतुलित एक छोटा नमूना चुना गया, जिसमें 2,685 गलत और 895 सही कथन थे।

परीक्षण किए गए भाषा मॉडल थे बंद-स्रोत वाले Gemini2.5 Pro और GPT-5.5, साथ ही खुले भार वाले पाँच मॉडल: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; और Aya Expanse 32B।

मॉडलों को परखने के लिए तीन तरह के प्रॉम्प्ट इस्तेमाल किए गए। पहले में किसी कथन को सीधे तथ्य-जाँच के लिए प्रस्तुत किया गया; दूसरे में एक विद्यार्थी को उस कथन से जुड़े अध्ययन-संसाधन खोजते हुए दिखाया गया; और तीसरे में एक प्रोफेसर को उसी आधार पर अकादमिक शोधपत्र माँगते हुए दिखाया गया।

विद्यार्थी वाले प्रॉम्प्ट में कथनों का स्रोत पाठ्यपुस्तकें, शिक्षक, मित्र, इंटरनेट या कोई निर्दिष्ट स्रोत नहीं बताया गया था। प्रोफेसर वाले प्रॉम्प्ट में स्रोत प्रोफेसर का अपना शोध, सहकर्मी, मित्र, इंटरनेट या कोई निर्दिष्ट स्रोत बताया गया था। इन अलग-अलग स्रोत-उल्लेखों के आधार पर आकलन किया गया कि मॉडल गलत दावों को चुनौती देने के लिए कितने तत्पर थे।

अध्ययन में इस्तेमाल किए गए तीन प्रॉम्प्ट प्रारूप: सीधे तथ्य-जाँच (verify); अध्ययन-संसाधन माँगना (novice); और अकादमिक शोधपत्र माँगना (expert)। स्रोत-उल्लेख और विषय-विशेष से जुड़ी जानकारी इन प्रारूपों में जोड़ी गई थी।

मॉडलों के जवाबों को चार श्रेणियों में बाँटा गया: स्पष्ट खंडन, जिसमें गलत कथन को सीधे चुनौती दी गई; अप्रत्यक्ष विरोध, जिसमें पूरी तरह खारिज किए बिना असहमति या संदेह जताया गया; प्रशंसा, जिसमें उपयोगकर्ता के कथन या उसके तरीके की तारीफ की गई; और पुष्टि, जिसमें कथन को सही ठहराया गया।

पाँचों परीक्षण भाषाओं में उपयोगकर्ताओं के कथनों को नकारने, उन पर सवाल उठाने, उनकी प्रशंसा करने या उनकी पुष्टि करने के लिए मॉडलों द्वारा इस्तेमाल किए गए वाक्यांशों के उदाहरण। जहाँ लागू हो, अंग्रेज़ी अनुवाद दिए गए हैं।

हर जवाब की वाक्यांश-दर-वाक्यांश जाँच की गई, ताकि एक ही उत्तर में प्रशंसा, सहमति और असहमति साथ-साथ मौजूद होने पर भी उनकी पहचान की जा सके।

नतीजे

नतीजों ने पहले के निष्कर्षों की पुष्टि की कि जाँचने के लिए कहे जाने पर गलत कथनों की सही पहचान करने वाले मॉडल, जानकारी या सलाह माँगे जाने पर उन्हीं दावों को चुनौती देने की कम संभावना रखते हैं। इस अंतर को ‘विरोध-अंतर’ कहा गया। इसकी गणना यह तुलना करके की गई कि सीधे तथ्य-जाँच वाले परीक्षणों में गलत दावों को कितनी बार चुनौती दी गई और सामान्य जानकारी माँगने वाले अनुरोधों में कितनी बार।

पाँच भाषाओं में सीधे तथ्य-जाँच की तुलना में जानकारी माँगने वाले अनुरोधों के दौरान सात भाषा मॉडलों ने गलत कथनों को कितनी बार चुनौती दी, इसकी तुलना। ऋणात्मक मान बताते हैं कि जानकारी माँगने वाले जवाबों में विरोध कम हुआ। नारंगी और नीले रंग क्रमशः विद्यार्थी और प्रोफेसर वाले प्रॉम्प्ट दर्शाते हैं, जबकि चिह्न बताए गए स्रोतों में अंतर करते हैं। त्रुटि-रेखाएँ 95% विश्वास अंतराल दर्शाती हैं।

जैसा कि ऊपर दिखाया गया है, परीक्षण की गई भाषाओं में दोनों Qwen 3.5 मॉडलों के बीच यह अंतर बाकी मॉडलों की तुलना में कम था। इससे पता चलता है कि प्रश्न को चाहे जिस तरह से रखा जाए, वे गलत सूचना को सुधारने में अधिक निरंतर थे। नतीजे यह भी दिखाते हैं कि स्रोत का दिखने वाला अधिकार परिणामों को प्रभावित करता था: पाठ्यपुस्तकों के नाम पर दिए गए गलत दावों का विरोध, मित्रों के नाम पर दिए गए दावों की तुलना में कम किया गया—यह प्रवृत्ति सभी भाषाओं में देखी गई।

तथ्य-जाँच के बजाय जानकारी माँगे जाने पर, मॉडल झूठे दावों को सिरे से खारिज करने की कम संभावना रखते थे और अप्रत्यक्ष आपत्ति जताने, प्रशंसा करने या पुष्टि करने की अधिक संभावना रखते थे। Qwen 3.5 मॉडल भी—जिनमें कुल मिलाकर आपत्ति जताने की दरों में अपेक्षाकृत कम अंतर दिखा था—इस व्यवहार के प्रति संवेदनशील थे।

पाँच भाषाओं में झूठे दावों को चुनौती देने वाली प्रतिक्रियाओं में से स्पष्ट सुधार वाली प्रतिक्रियाओं का अनुपात। नतीजों को छात्र (नौसिखिया) और प्रोफेसर (विशेषज्ञ) वाले प्रॉम्प्ट के आधार पर बाँटा गया है; क्षैतिज अक्ष पर जानकारी के बताए गए स्रोत दिखाए गए हैं। त्रुटि-रेखाएँ 95% विश्वास अंतराल दर्शाती हैं।

सात में से चार मॉडलों में, अंग्रेज़ी की तुलना में हिंदी, चीनी और योरूबा में झूठे दावों को स्पष्ट रूप से चुनौती दिए जाने की संभावना कम थी। सात में से पाँच मॉडलों में हिंदी की प्रतिक्रियाओं में सबसे अधिक प्रशंसा भी शामिल थी।

जानकारी माँगने वाली 65.3% प्रतिक्रियाओं में आपत्ति जताई गई, हालाँकि आम तौर पर ऐसी आधे से भी कम प्रतिक्रियाओं में झूठे दावे को स्पष्ट रूप से खारिज किया गया। छात्र वाले प्रॉम्प्ट में प्रोफेसर वाले प्रॉम्प्ट की तुलना में सीधे सुधार अधिक आम थे—और जब दावे किसी विश्वसनीय स्रोत के हवाले से किए गए थे, तब कम आम थे।

हिंदी, चीनी और योरूबा में, झूठे दावे को चुनौती देने वाली ज़्यादातर प्रतिक्रियाओं में केवल अप्रत्यक्ष रूप से ऐसा किया गया, जिससे गलती को स्पष्ट रूप से खारिज नहीं किया गया; और जानकारी माँगने वाली 29.4% प्रतिक्रियाओं में झूठे दावों पर आपत्ति के साथ सहमति भी जताई गई। Gemini 2.5 Pro के लिए यह अनुपात बढ़कर 60.1% हो गया:

सात मॉडलों और तीन तरह के प्रॉम्प्ट में झूठे दावे को चुनौती देने से पहले सहमति जताकर शुरू होने वाली प्रतिक्रियाओं का प्रतिशत: सीधा सत्यापन (सत्यापित करें); छात्र के अनुरोध (नौसिखिया); और प्रोफेसर के अनुरोध (विशेषज्ञ)। नतीजों में सहमति और विरोध—दोनों वाली प्रतिक्रियाएँ शामिल हैं। त्रुटि-रेखाएँ 95% विश्वास अंतराल दर्शाती हैं।

जैसा कि ऊपर देखा जा सकता है, मॉडल आम तौर पर झूठे दावे को शुरुआत में ही सुधारने के बजाय आपत्ति जताने से पहले सहमति जताते थे। कुछ मामलों में, आपत्ति के बाद फिर से सहमति जताई गई, जिससे शोधकर्ताओं के वर्णन के अनुसार “प्रशंसा-सैंडविच” बना।

मानव अध्ययन

यह जाँचने के लिए कि इन सुधारों का वास्तव में असर हुआ या नहीं, 300 प्रतिभागियों को शामिल किया गया: 100 अंग्रेज़ी बोलने वाले, 100 जर्मन बोलने वाले और 100 चीनी बोलने वाले। प्रतिभागियों ने मॉडल की प्रतिक्रियाएँ पढ़ने से पहले और बाद में झूठे कथनों का मूल्यांकन किया।

जैसा कि नीचे दिखाया गया है, अंग्रेज़ी और जर्मन बोलने वालों में झूठे दावों पर विश्वास केवल स्पष्ट सुधारों से ही भरोसेमंद ढंग से कम हुआ। इसके बावजूद, बाद में सिर्फ़ 46.7% अंग्रेज़ी बोलने वालों और 43.8% जर्मन बोलने वालों ने कथनों को गलत माना। चीनी बोलने वालों में, केवल वे प्रतिक्रियाएँ जिनमें सहमति के साथ अप्रत्यक्ष विरोध भी था, सांख्यिकीय रूप से महत्वपूर्ण सुधार लाईं:

सहमति, अप्रत्यक्ष आपत्ति या स्पष्ट सुधार वाली मॉडल प्रतिक्रियाएँ पढ़ने के बाद झूठे कथनों के प्रति प्रतिभागियों के मूल्यांकन में बदलाव। नतीजों में अंग्रेज़ी, जर्मन और चीनी—हर भाषा के 100 वक्ता शामिल हैं। ऋणात्मक मान झूठे दावे पर विश्वास में कमी दर्शाते हैं। अलग-अलग बिंदु प्रतिभागियों को दर्शाते हैं, जबकि काली त्रुटि-रेखाएँ 95% विश्वास अंतराल दर्शाती हैं।

शोधकर्ताओं ने यह भी जाँचा कि जवाब देने से पहले मॉडल को “ज़रा ठहरें” कहने का निर्देश देने से गलत जानकारी को चुनौती देने की उनकी तत्परता बढ़ेगी या नहीं। नीचे दिए गए अंतिम चित्र में, कुछ मामलों में आपत्ति जताने में वृद्धि और चापलूसी भरी भाषा में कमी के प्रमाण दिखते हैं—लेकिन यह भी कि इससे सही कथनों पर गलत आपत्तियाँ बढ़ीं:

अंग्रेज़ी और अनूदित प्रॉम्प्ट का इस्तेमाल करते हुए, “ज़रा ठहरें” हस्तक्षेप से पहले और बाद में सात मॉडलों की प्रतिक्रियाओं की तुलना। चार्ट झूठे दावों पर कुल आपत्ति; सहमति जताए बिना किए गए स्पष्ट सुधार; और सही कथनों पर गलत आपत्तियाँ दिखाते हैं। खड़े काले निशान सीधे सत्यापन के नतीजे दर्शाते हैं।

निष्कर्ष

मुमकिन है कि भाषा मॉडलों के ‘आंतरिक तर्क’ में शिष्टता और अधीनता को एक ही समझ लिया गया हो (यानी, उनके प्रशिक्षित मैट्रिक्स और उन पर थोपी गई अनेक बाहरी पाबंदियों के बीच का कुल प्रभाव); और नया अध्ययन यह स्पष्ट नहीं करता कि क्यों मॉडल कभी-कभी किसी झूठे दावे को पहचान लेते हैं, फिर भी अपनी आपत्तियों के साथ प्रशंसा या सहमति जताते हैं।

मूल समस्या यह है कि GPT और Gemini श्रृंखलाओं जैसे उपभोक्ताओं के लिए बनाए गए उत्पादों को इस हद तक मानवीय रूप देने वाली प्रस्तुति-परतों में ढाल दिया गया है कि भुगतान करने वाले ग्राहकों का सबसे व्यापक वर्ग—जिसे शायद ‘सबसे कम साझा स्तर’ कहा जा सकता है और जो सबसे बड़ा तथा सबसे अधिक लाभदायक लक्षित ग्राहक-वर्ग है—उत्पाद को आसानी से समझ सके और उसे खरीदते रहना चाहे।

अगर हम बस यह स्वीकार कर लें कि उत्पाद इंसान नहीं है, तो कम-से-कम हम इस सारे उलझाऊ ‘संदर्भ’ को बंद करने और मॉडलों के प्रशिक्षित ज्ञान तक अधिक सीधे पहुँचने की कोशिश तो कर सकते हैं।

* बेशक, यह जानकारी अपने आप में इस क्षेत्र को आगे बढ़ाती है।

पहली बार प्रकाशित: गुरुवार, 15 अक्टूबर 2026