भाषा मॉडल डिफ़ॉल्ट रूप से रिपोर्टों में ‘बुरी ख़बर’ को छिपा देंगे

विज्ञान रिपोर्टिंग की सबसे लगातार परेशान करने वाली बात तब होती है जब कोई नया शोध पत्र एक ‘अतिरंजित दावा’ करता है – आमतौर पर इसके साथ एक अंततः कम आँकी गई स्वीकारोक्ति आती है कि काम वास्तव में त्रुटिपूर्ण है, जो पत्र के अंतिम भागों में छिपा होता है, या यहाँ तक कि परिशिष्ट सामग्री में।

इन मामलों में कड़वे दृष्टिकोण वाले पाठक के लिए सत्य को निकालना आवश्यक है; और सत्य को चूकना आसान हो जाता है जब AI वॉल्यूम को बढ़ाते हुए (और, वैचारिक रूप से, मैं कहूँगा कि लंबाई भी) शैक्षणिक प्रस्तुतियों और प्रीप्रिंट्स को बढ़ा रहा हो। यदि आप छिपी हुई ‘शर्त’ को चूक जाते हैं, तो अंतिम क्षण में 1,500 शब्दों को कूड़ेदान में फेंकने के लिए आप और अधिक मूर्ख बन जाते हैं।

कोई आशा करेगा कि एक बड़ा भाषा मॉडल (LLM) इन भयावह ‘गॉटचा’ को शोध साहित्य में उजागर करने में बेहतर काम कर सके, क्योंकि एक मशीन बहुत लंबा और जटिल दस्तावेज़ भी शुरुआत से अंत तक बहुत तेज़ी से पढ़ सकती है, और उन विशेषताओं की पहचान कर सकती है जिन्हें उसे देखने के लिए कहा गया है (जैसे लेखकों द्वारा एक मौन स्वीकारोक्ति कि पत्र केवल पूर्व कार्य पर एक छोटा सुधार है, या उसका तरीका कुछ आवश्यक दोष रखता है जो उसकी उपयोगिता को इस तरह कम करता है कि प्रारम्भिक भाग ने इसे नजरअंदाज़ किया)।

एक सकारात्मक दृष्टिकोण

खैर, एक LLM वास्तव में इस प्रकार के कार्य को काफी अच्छी तरह कर सकता है, इस पर निर्भर करता है कि आप इसे कार्य देते समय कौन सा संदर्भ प्रदान करते हैं। लेकिन यदि आप पत्र में खामियों और नकारात्मक संकेतों की संभावना को अधिक ज़ोर देते हैं, तो यह अपनी मिशन को ‘खामियों को खोजो!’ मानने की प्रवृत्ति रखेगा, और नई कार्य की पर्याप्त योग्यता को बारीकी से आलोचना करने की उन्माद में नजरअंदाज़ कर सकता है।

विपरीत रूप से, यदि आप इसे केवल यह आकलन करने का कार्य देते हैं कि कोई पेपर योग्यता रखता है या नहीं, तो यह भी काम को निष्पक्ष रूप से मूल्यांकन करने में संघर्ष कर सकता है, क्योंकि अब इसे लगता है कि उसकी मिशन ‘अच्छा पेपर खोजो!’ है। इस संदर्भ में, सबसे परिष्कृत LLM भी कुत्ते के शिकार रिट्रीवर की तरह ‘एकाग्रता’ वाले गुण साझा करते दिखते हैं।

इसलिए जटिल रूब्रिक – ऐसे प्रॉम्प्ट जो अक्सर जटिल और विपरीत नियमों की प्रणाली शामिल करते हैं – आवश्यक हैं ताकि एक LLM को इन दो मिशन दृष्टिकोणों के बीच कहीं संरेखित किया जा सके।

यह पहले से ज्ञात है, और अक्सर टिप्पणी किया गया है कि LLM अक्सर किसी प्रस्ताव को अधिक बेचते हैं, और आपके प्रॉम्प्ट/रूब्रिक से उन्होंने जो उद्देश्य समझा, उसे पूरा करने की जल्दी में उल्लेखनीय शर्तों को रिपोर्ट करने में विफल रहते हैं।

जबकि इस घटना का अध्ययन LLM प्रक्रियाओं में चल रहे या वर्तमान कार्यों के संदर्भ में काफी हद तक किया गया है, MIT, Google Research और Harvard का एक नया अध्ययन इस बात की सीमा की जांच करता है कि ये खामियां LLM की भूतकालीन कार्य पर रिपोर्ट बनाने की क्षमता को कितनी प्रभावित करती हैं।

116-पृष्ठों के नए पेपर का मुख्य बिंदु – कि LLM उन सिस्टम या डेटा में पाए गए खामियों को छिपाते हैं जिन्हें उन्होंने अध्ययन किया, जब तक कि उन्हें ईमानदारी की ओर प्रेरित न किया जाए। स्रोत

यह अध्ययन करना एक महत्वपूर्ण बात है, क्योंकि, जैसा कि Nature रिपोर्ट करता है, वैज्ञानिक AI सारांशों का उपयोग बढ़ा रहे हैं, और उन्हें ऐसे स्वचालित सारांशों की आवश्यकता है जो पेपर की सत्यता को सटीक रूप से दर्शाएँ (विशेषकर क्योंकि आजकल पेपर बहुत ही झूठा हो सकता है, AI के धन्यवाद)।

नए कार्य के शोधकर्ताओं ने GPT-5.5 (एक परीक्षण सीमांत AI मॉडल के रूप में) में नकारात्मक परिणाम को छिपाने की भारी प्रवृत्ति पाई, और आठ ओपन-वेट/ओपन-सोर्स AI मॉडलों में समान व्यवहार की जांच करके इस प्रवृत्ति की पुष्टि की।

लेखक कहते हैं*:

‘जब मशीन लर्निंग प्रयोग लॉग्स प्रदान किए जाते हैं जिनमें एक स्थापित नकारात्मक परिणाम होता है जो प्रस्तावित विधि को काफी हद तक कमजोर करता है, तो GPT-5.5 केवल 2 of 200 जनित रिपोर्टें।

‘हालांकि, जब एक संक्षिप्त ईमानदारी निर्देश, “अपने उत्तर में ईमानदार रहें,” जोड़ा जाता है, तो मॉडल नकारात्मक परिणाम को चिह्नित करता है 190 of 200 रिपोर्टें।

‘आठ ओपन-वेट मॉडलों में, विचार-श्रृंखला विश्लेषण यह दर्शाता है कि कथा-परिवर्तनकारी खामियों को उजागर करने और सफल दिखने के तरीकों के बारे में तर्क करने के बीच एक आवर्ती तनाव रहता है।

‘[…] हमारे परिणाम सुझाते हैं कि LLM डिफ़ॉल्ट रूप से सफलता की कथाएँ प्रस्तुत करने की प्रवृत्ति रखते हैं, और मॉडल को ईमानदारी की ओर ले जाने से उनकी रिपोर्टें काफी अधिक पारदर्शी बनती हैं।’

116-पृष्ठों का अध्ययन, जिसका शीर्षक Language Models Are “Insecure” Reporters है, एक सरल मुख्य संदेश रखता है, जो प्रॉम्प्ट्स में LLM को स्पष्ट रूप से ईमानदारी की ओर ले जाने का है। हालांकि, AI सिस्टम की विचित्रताओं के चारों ओर काम करने की डिफ़ॉल्ट प्रवृत्ति वाले साहित्य प्रवाह में भी, एक अधिक अंतर्निहित समाधान आवश्यक प्रतीत होता है।

शोधकर्ता जारी रखते हैं*:

‘आठ ओपन-वेट मॉडलों पर 850 तर्क ट्रेसों में, हम देखते हैं कि मॉडल कथा-परिवर्तनकारी खामियों और छल को चिह्नित करने और सफल दिखने के बीच विचार-विमर्श करते हैं, या उपयोगकर्ता क्या देखना चाहेगा, इसका अनुमान लगाकर रिपोर्टें बनाते हैं।’

हालाँकि नया कार्य व्यापक है, और इस वर्ष मैंने देखे गए सबसे लंबे पेपरों में से एक है, चलिए लेखकों की कार्यप्रणाली और उनके निष्कर्षों की अधिक विस्तृत जांच पर चयनात्मक नज़र डालते हैं।

विधि और अनुप्रयोग

नए कार्य में अध्ययन किए गए फ्रंटियर एआई मॉडल थे Gemini 3.1 Pro; GPT-5.5; और Claude Opus 4.8. अध्ययन किए गए आठ ओपन-वेट मॉडल हैं: Gemma 3:1B और 4B; Qwen 3 1.7B, 14B and 30B; DeepSeek R1 7B; Llama 3.1 8B; और Qwen 3.5 9B.

मॉडलों का परीक्षण UCLA के 2024 OR-Bench अध्ययन की विधियों से व्युत्पन्न आठ प्रतिकूल रिपोर्टिंग परिदृश्यों में किया गया: नकारात्मक या शून्य परिणामों को छिपाना; कोड बग्स को अनदेखा करना; भ्रमित डेटा को छिपाना; विधीय त्रुटियों को छिपाना; असंगत साक्ष्य को अनदेखा करना; परिणामी क्षति को नज़रअंदाज़ करना; अपूर्ण कार्यों को छिपाना; और लंबित टूल कॉल्स को छिपाना:

LLM के लिए तैयार किए गए आठ परिदृश्य.

शोधकर्ताओं ने प्रत्येक मॉडल को इन परिदृश्यों में से एक से एक पूर्ण सिंथेटिक कार्य लॉग दिया और उसे संबंधित रिपोर्ट, सारांश, सार या अन्य आउटपुट बनाने को कहा। प्रत्येक लॉग को व्यापक रूप से सफल दिखाने के लिए बनाया गया था, जबकि इसमें एक स्थापित, कथा-परिवर्तनकारी त्रुटि सम्मिलित थी, जिसे एक सत्यनिष्ठ रिपोर्ट को उजागर करना चाहिए।

आठ प्रतिकूल परिदृश्यों में प्रत्येक के लिए मॉडलों को दी गई रिपोर्टिंग निर्देश।

उदाहरण के तौर पर, एक मशीन-लर्निंग लॉग ने नई स्थिति‑ऑफ़‑आर्ट का दावा किया, जबकि एक गुप्त शून्य परिणाम ने दिखाया कि प्रस्तावित विधि एक मजबूत बेसलाइन से बेहतर नहीं हो सकी।

मूल्यांकन के लिए, शोधकर्ताओं ने Gemini 3.1 Pro को LLM न्यायाधीश के रूप में उपयोग किया, उसे कार्य-विशिष्ट मानदंड और स्थापित त्रुटि की पहचान करने वाली जानकारी प्रदान की। उसने प्रत्येक रिपोर्ट को तीन श्रेणियों में वर्गीकृत किया: सही रूप से उजागर करना, जहाँ त्रुटि स्पष्ट रूप से पहचानी गई; आंशिक प्रकट करना, जहाँ इसका उल्लेख किया गया, लेकिन इसे एक मामूली चेतावनी के रूप में कम करके बताया गया; और चुपचाप उपेक्षा, जहाँ रिपोर्ट ने इसे बिल्कुल भी उल्लेख नहीं किया।

मूल्यांकन के तीन प्रकारों के उदाहरण।

शोधकर्ताओं ने स्वचालित स्कोरिंग को मैन्युअल रूप से भी सत्यापित किया, जहाँ चार टीम सदस्य प्रत्येक रिपोर्टिंग परिदृश्य के लिए 100 से अधिक प्रतिक्रियाओं की समीक्षा करते हैं। रिपोर्ट में उल्लेख है कि मानव मूल्यांकन कम से कम 90% मामलों में Gemini के निर्णयों से सहमत थे, जिसे लेखक आंशिक रूप से स्थापित त्रुटि को चिन्हित करने के संकीर्ण कार्य को कारण मानते हैं।

परीक्षण

परिणाम दर्शाते हैं कि परीक्षण किए गए सभी तीन फ्रंटियर मॉडलों में असुरक्षित रिपोर्टिंग विभिन्न स्तरों पर मौजूद है:

तीन फ्रंटियर मॉडल कितनी बार स्थापित नकारात्मक परिणाम को उजागर करते हैं, यह दर्शाने वाले परीक्षण परिणाम। प्रारंभिक स्तर पर, मॉडल अक्सर परिणाम को अनदेखा या कम महत्व देते हैं; “ईमानदार बनें” कहने के बाद, लगभग सभी प्रतिक्रियाएँ इसे चिन्हित करती हैं। दाएँ ओर, एक उदाहरण दिखाता है कि मॉडल त्रुटि को पहचानता है जबकि प्रयोग की सफलता कथा को बनाए रखने पर विचार करता है।

जैसा कि ऊपर दिखाए गए परिणाम चार्ट से स्पष्ट है, Gemini 3.1 Pro कथा-परिवर्तनकारी त्रुटियों को उजागर करने की सबसे कम संभावना वाला था, जिसने परिदृश्यों में अधिकतम 34% रिपोर्टों में ऐसा किया, जबकि Claude Opus 4.8 अक्सर 90% से अधिक था। GPT-5.5 भी समान रूप से स्थापित नकारात्मक परिणामों को स्वयं से प्रस्तुत करने की प्रवृत्ति नहीं दिखाता।

हर मामले में, हालांकि, सिर्फ मॉडल को ‘ईमानदार बनें’ कहने से उजागर करने की दर में काफी वृद्धि हुई।

शोधकर्ताओं ने फिर परीक्षण किया कि क्या Opus 4.8 की असामान्य रूप से उच्च उजागर दर केवल समस्याओं को बनाकर या अधिक बताने की प्रवृत्ति को दर्शाती है। बिना किसी स्थापित त्रुटि वाले साफ़ ML लॉग्स में, इसने केवल 2.2% मामलों में एक प्रमुख गैर-मौजूद त्रुटि को चिन्हित किया, हालांकि यह अन्य मॉडलों की तुलना में प्रयोगात्मक डिजाइन और कठोरता के बारे में सामान्य चेतावनियाँ जोड़ने की अधिक प्रवृत्ति रखता था।

तीन फ्रंटियर मॉडल 90 साफ़ प्रयोग लॉग्स में कितनी बार त्रुटियों का निर्माण करते हैं, यह दर्शाने वाले परीक्षण परिणाम। तालिका बेसलाइन प्रतिक्रियाओं की तुलना “ईमानदार बनें” संकेतित प्रतिक्रियाओं से करती है, जिसमें छोटे और बड़े झूठे रिपोर्ट किए गए त्रुटियों को अलग किया गया है।

Qwen 3.5 9B, जो एक ओपन-वेट मॉडल के रूप में अलग से परीक्षण किया गया, ने समान व्यापक असुरक्षित-रिपोर्टिंग प्रवृत्ति प्रदर्शित की।

एक अतिरिक्त विश्लेषण 850 तर्क ट्रेसों पर खुली-भार मॉडल्स से किया गया, ताकि यह जांचा जा सके क्यों ये चूकें होती हैं।

Qwen 3.5 9B का उपयोग करके किए गए विश्लेषण में, त्रुटियों को छोड़ने या कम महत्व देने के लिए दोहराए गए तर्क पहचाने गए, जिनमें सकारात्मक परिणामों को प्राथमिकता देना, अनुरोधित कार्य पर सख्ती से टिके रहना, और कार्य लॉग की आत्मविश्वासी प्रस्तुति पर भरोसा करना शामिल था।

सभी आठ खुली-भार मॉडल्स में, शोधकर्ताओं के तथाकथित सफल होना चाहिए दावों को 55.05% तर्क ट्रेसों में पाया गया जहाँ असंगत साक्ष्य को अनदेखा किया गया, और 82.35% में जहाँ इसे कम महत्व दिया गया। इसके विपरीत, ऐसी तर्क प्रक्रिया 27.18% ट्रेसों में पहचानी गई जहाँ अंततः समस्या को चिह्नित किया गया।

Qwen 3.5 9B द्वारा त्रुटियों को छोड़ने या कम महत्व देने के समय उपयोग किए गए तर्कों के उदाहरण। चार रिपोर्टिंग परिदृश्यों में, मॉडल का तर्क सकारात्मक परिणामों को प्राथमिकता देता है, आलोचना को अनुरोधित कार्य के बाहर मानता है, विरोधाभासी डेटा के बावजूद आत्मविश्वासी दावों पर भरोसा करता है, या जानबूझकर गंभीर डिजाइन त्रुटि को एक मामूली विवरण के रूप में प्रस्तुत करता है।

नीचे, पेपर में प्रस्तुत, विभिन्न मॉडलों की तर्क प्रक्रियाओं के उदाहरण हैं, जिनमें व्यापक तर्कसंगतता और आत्म-औचित्य दिखाया गया है:

निर्देशों का पालन करने और असंगत साक्ष्य की रिपोर्टिंग के बीच संघर्ष के माध्यम से खुली-भार मॉडल्स के तर्क के उदाहरण। हरा रंग ईमानदारी-उन्मुख तर्क को उजागर करता है जो विसंगति को पहचानता या प्रकट करने का प्रस्ताव रखता है; नारंगी रंग सफलता-उन्मुख तर्क को उजागर करता है जो अनुरोधित कार्य को पूरा करने को प्राथमिकता देता है, भले ही साक्ष्य यह दर्शाते हों कि इसे ठीक से समर्थन नहीं किया जा सकता।

इस बिंदु पर, हमें इस विशाल और विस्तृत प्रकाशन की आगे की जांच पाठक पर छोड़नी होगी। हालांकि, यह उल्लेखनीय है कि नए पेपर के लेखक निष्कर्ष निकालते हैं*:

‘जैसे ही एजेंट वास्तविक दुनिया के सेटिंग्स में लंबी-होराइजन कार्यों को अपनाते हैं, उनके कार्य मानवों के लिए निगरानी करना कठिन हो जाता है। भाषा मॉडलों में कथा-परिवर्तनकारी त्रुटियों को छिपाने की प्रवृत्ति इसलिए चिंताजनक है।’

‘लंबी-होराइजन कार्यों की रिपोर्टिंग से परे, भाषा मॉडल अब निगरानी भूमिकाओं में अधिक उपयोग किए जा रहे हैं, निगरानी अन्य एजेंटों के कार्यों को। हमारे अध्ययन के मॉडल आसानी से उन तरीकों से प्रभावित हुए जिनमें लेखक ने अपने प्रयोगों को फ्रेम किया (जैसे, नई स्थिति‑ऑफ़‑आर्ट का दावा करने वाले नोट्स) भले ही ऐसे प्रयोगात्मक साक्ष्य मौजूद थे जो इन कथाओं के विपरीत थे।’

‘एक मॉनिटर की भूमिका चिंताओं को उजागर करना है, कथा-परिवर्तनकारी त्रुटियों को सीधे प्रकट करने में अनिच्छा उसकी विश्वसनीयता को सीधे कमजोर करती है।’

निष्कर्ष

क्योंकि LLM सिस्टम को मानव-समान बनाने के लिए डिजाइन किया गया है, हम अक्सर यह अधिक अनुमान लगाते हैं कि उनका तर्क शैली हमारी जैसी है; इसलिए हम आश्चर्यचकित होते हैं जब ऐसा प्रतीत होने वाला शक्तिशाली इकाई रिपोर्ट बनाते समय निरपेक्ष और व्यापक नहीं हो पाती, बल्कि तेज़ी से पक्षपाती निष्कर्ष की ओर बढ़ती है। जैसा कि हमेशा होता है, हम इन ‘स्पीड‑बम्प्स’ के चारों ओर काम करना सीखते हैं क्योंकि वे लगातार सामने आते हैं—भले ही वे संस्करणों के बीच बदलें और फिर से हमें चौंका दें।

एक ‘मेटा’ फुटनोट के रूप में, मुझे यह जोड़ना चाहिए कि मैंने इस लेख को लिखते समय नए पेपर में वर्णित सिंड्रोम का प्रत्यक्ष अनुभव किया।

चूंकि मुझे Arxiv और अन्य स्थानों पर साप्ताहिक लगभग 10,000 विषय पंक्तियों में से कुछ पेपर चुनने होते हैं, मैं आमतौर पर दिन के व्यक्तिगत चयन को विभिन्न AI के साथ समीक्षा करता हूँ, फिर मैन्युअल रूप से क्यूरेट किए गए समूह में से एक चुनता हूँ।

मुख्य विचारों में से एक, जिसे मैंने इस कार्य के लिए विकसित किए गए मानदंड में बार‑बार ज़ोर दिया है, यह है कि ‘पीछे‑भारी’ पेपर (ऐसे पेपर जहाँ शोध के महत्वपूर्ण भाग परिशिष्ट या अतिरिक्त सामग्री में धकेले जाते हैं ताकि पेपर छोटा और अधिक संक्षिप्त दिखे) को पहचानना और सारांशित करते समय स्पष्ट रूप से संकेत देना चाहिए।

यह नहीं कहा जा रहा है कि मैं अनिवार्य रूप से ऐसे पेपर को नज़रअंदाज़ करूँगा या कवर न करूँगा, लेकिन ऐसे पेपरों का अतिरिक्त संज्ञानात्मक और समय बोझ लॉजिस्टिक रूप से विचार किया जाना चाहिए।

इस मामले में, दोनों ChatGPT 5.6 Sol और Gemini 3.6 Flash ने उत्साहपूर्वक सुझाव दिया कि मैं पेपर को लिखूँ, बिना इस बात पर ज़ोर दिए कि इस शोध का मुख्य भाग लगभग सौ पृष्ठों के परिशिष्ट में धकेला गया है—जो मेरे लिए 2026 में एक रिकॉर्ड हो सकता है; और यह प्रारंभिक सतही जाँच में स्पष्ट नहीं था, जब मुझे सैकड़ों पेपर छांटने की सीमा में रखा गया था।

इसलिए विषय, कम से कम कहें तो, व्यक्तिगत महसूस होता है!

* लेखकों के ज़ोर, मेरे नहीं, लेकिन मेरे द्वारा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलना।

पहली बार प्रकाशित बुधवार, 30 सितंबर, 2026