एआई अक्सर उन वेब पृष्ठों का हवाला देता है जिन्हें उसने कभी पढ़ा तक नहीं

कभी-कभी दिन भर के शोध-साहित्य के प्रवाह से ऐसा कोई शोधपत्र सामने आता है जो सचमुच मेरा खून खौला देता है—इसलिए नहीं कि वह गलत या आपत्तिजनक है, बल्कि इसलिए कि वह ऐसी किसी बात पर ध्यान देता है और उसका अध्ययन करता है जो लंबे समय से मेरी चेतना के किसी कोने में धुंधले और अनिश्चित ढंग से मुझे परेशान करती रही है (शायद इसलिए कि मैं इतना व्यस्त था कि उसे अनदेखा करने के अलावा कुछ कर ही नहीं सकता था)।

ऐसा ही एक शोधपत्र आज प्रकाशित हुआ है, जिसे लंदन स्थित इम्पीरियल कॉलेज के कंप्यूटिंग विभाग के तीन लेखकों ने लिखा है। प्राप्त किया, पर पढ़ा नहीं: खोज-संवर्धित बड़े भाषा मॉडल उपलब्ध साक्ष्य का उपयोग क्यों नहीं कर पाते, इसे समझना शीर्षक वाला यह नया शोध इस बात की पड़ताल करता है कि बड़े भाषा मॉडल (बड़े भाषा मॉडल) अक्सर आपको सहायक यूआरएल (अप्रासंगिक शोधपत्रों के उद्धरण, संदिग्ध वेब लेखों के लिंक आदि) क्यों थमा देते हैं, बिना उन्हें पढ़े तक।

लेखक कहते हैं:

‘हमने पाया कि मॉडल अक्सर स्रोत पृष्ठ खोले बिना ही खोज-स्निपेट के आधार पर जवाब देते हैं; इसका संबंध पुराने हो चुके जवाबों और अविश्वसनीय उद्धरणों की अधिक दर से है। हमारे नियंत्रित प्रयोग और परत-दर-परत विश्लेषण से साक्ष्य की उपलब्धता और उसके प्रभावी उपयोग के बीच का अंतर सामने आता है।

‘प्राप्त साक्ष्य से आंतरिक अनुमान प्रभावित होने पर भी, मॉडल अपने अंतिम जवाबों में पुरानी जानकारी को तरजीह दे सकते हैं।’

लेखकों ने एक स्वामित्वाधीन बड़े भाषा मॉडल (OpenAI का GPT-5.6 Luna) और छह खुले-वज़न वाले मॉडल कॉन्फ़िगरेशन का परीक्षण उन सैकड़ों तथ्यों के आधार पर किया जो मॉडल के प्रशिक्षण की अंतिम तिथियों के बाद बदल गए थे।

इसके बाद उन्होंने जाँचा कि सिस्टम स्रोत पृष्ठ खोलने के बजाय कितनी बार खोज-स्निपेट पर निर्भर करते हैं; इसका उनके जवाबों और उद्धरणों की सटीकता पर क्या असर पड़ता है; और नई जानकारी सीधे दिए जाने पर भी कभी-कभी पुरानी जानकारी क्यों हावी हो जाती है।

परीक्षणों में पाया गया कि मॉडल अक्सर सवालों के जवाब वेब खोज से मिले किसी भी पृष्ठ को खोले बिना देते हैं, और इस व्यवहार का संबंध पुराने हो चुके जवाबों और भ्रामक उद्धरणों की काफ़ी अधिक दर से था:

परीक्षण के नतीजे बताते हैं कि एआई मॉडल वेब स्रोतों को वास्तव में पढ़े बिना कितनी बार उनका हवाला देते हैं। आठ कॉन्फ़िगरेशन में शोधकर्ताओं ने जवाबों की सटीकता, स्रोत पृष्ठ खोले बिना खोज-स्निपेट पर निर्भरता और मॉडल के दावों का खंडन करने वाले उद्धरणों को मापा। कुछ मामलों में आधी से अधिक खोजों के बाद एक भी पृष्ठ नहीं खोला गया। सभी आँकड़े प्रतिशत में हैं; पहली पंक्ति में लाइव वेब खोज का इस्तेमाल किया गया है, जबकि बाकी पंक्तियों में मानकीकृत खोज परिणामों का। स्रोत

शोधकर्ताओं ने यह भी पाया कि सही साक्ष्य सीधे उपलब्ध कराने से इन विफलताओं में काफ़ी कमी आ सकती है, हालाँकि कुछ मॉडल तब भी पुरानी जानकारी को तरजीह देते रहे, जब नए तथ्य सीधे उनके सामने रखे गए।

छिपे हुए मकसद?

एलएलएम अक्सर ऐसे सहायक दस्तावेज़ क्यों थमा देते हैं जो सुनने में तो ‘सही’ लगते हैं, लेकिन प्रासंगिक नहीं होते—इसके दो सबसे स्पष्ट कारण हैं: a) इससे पैसे बचते हैं, क्योंकि मूल सामग्री से सारांश तक डाउनलोड करने और पढ़ने में बैंडविड्थ और समय लगता है, और हो सकता है कि वह सामग्री उपलब्ध भी न हो; और b) इससे विलंबता घटती है, मानो आपको गलत या कुछ-कुछ गलत जवाब जल्दी देना, बेहतर जवाब के लिए थोड़ा इंतज़ार कराने से बेहतर हो।

हालाँकि, नए शोध के लेखक इस कमी की बुनियादी कार्यप्रणाली को समझने में अधिक रुचि रखते हैं, न कि इस बात में कि इसे शुरू में किस तरह डिज़ाइन किया गया होगा या इसकी पहले से क्या परिकल्पना की गई होगी।

अब तक अग्रणी मॉडलों के साथ एलएलएम की व्यापक स्तर की अर्थव्यवस्थाओं पर चर्चा करने के मेरे अनुभव से, अप्रत्याशित रूप से, मुझे एक ऐसी प्रतिक्रिया मिली है जिसे मैं केवल पहले से तय रक्षात्मक प्रतिक्रिया ही मान सकता हूँ।

कम-से-कम मुझे तो इस तरह एलएलएम के उद्धरण-व्यवहार में हेरफेर करने के पीछे का आर्थिक तर्क समझ में आता है; लेकिन ये तकनीकें अब भी इतनी कम समझी गई हैं, इतनी तेज़ी से बदल रही हैं और इतने असामान्य नतीजों की ओर झुकती हैं कि फिलहाल ऐसे उद्देश्यों को साबित करना कठिन है।

पद्धति

यह जाँचने के लिए कि मॉडल वास्तव में वेब से मिले साक्ष्य का कितनी अच्छी तरह उपयोग करते हैं, शोधकर्ताओं ने ऐसे 225 तथ्य जुटाए जो 16 फ़रवरी 2026 के बाद बदल गए थे—परीक्षण किए गए मॉडलों में से किसी के प्रशिक्षण की सबसे हाल की बताई गई अंतिम तिथि।

ये तथ्य FDA की दवा-संबंधी जानकारी (62 तथ्य), वित्त (52), खेल (47), व्यक्ति (43), SEC की फाइलिंग (13) और रासायनिक वर्गीकरण (8) से लिए गए थे। वे बदलाव शामिल नहीं किए गए जो अंतिम तिथि तक पहले ही लागू हो चुके थे या जिनकी घोषणा 1 फ़रवरी से पहले की गई थी; इसी तरह, वे चिकित्सकीय दावे भी शामिल नहीं किए गए जिनका जवाब सामान्य ज्ञान से दिया जा सकता था। अपरिवर्तित तथ्यों को भी नियंत्रण के रूप में इस्तेमाल किया गया, ताकि शोधकर्ता नई जानकारी से जुड़ी विफलताओं और अधिक सामान्य त्रुटियों के बीच अंतर कर सकें।

आधार-रेखा तय करने के लिए, GPT-5.6 Luna का परीक्षण वेब खोज की सुविधा के बिना किया गया। बदले हुए तथ्यों से जुड़े 103 सवालों में उसने केवल 23.3% के सही जवाब दिए।

एक अनिर्दिष्ट AI मॉडल का इस्तेमाल पहले बताए गए डेटासेट में FDA के लेबलिंग संबंधी खंडों को अलग-अलग जाँचे जा सकने वाले तथ्यात्मक कथनों में फिर से लिखने के लिए किया गया। इसके बाद हर कथन की मानवीय समीक्षा की गई*।

परीक्षण किए गए खुले वज़न वाले मॉडल कॉन्फ़िगरेशन में Z.ai का GLM-5.3-Flash; OpenAI के gpt-oss-120b और gpt-oss-20b; Google DeepMind का gemma-4-31b, जिसका परीक्षण तर्क क्षमता के साथ और उसके बिना, दोनों तरह से किया गया; और Qwen का qwen3-8b शामिल थे।

खुले वज़न वाले मॉडलों और GPT-5.6 Luna को वेब खोज के एक जैसे नतीजे दिए गए, ताकि उनके जवाबों की निष्पक्ष तुलना की जा सके। Luna का अलग से परीक्षण उसकी अपनी अंतर्निहित वेब खोज सुविधा का इस्तेमाल करके भी किया गया।

225 में से 223 तथ्यों के लिए, Brave Search का इस्तेमाल करके खोज के दस नतीजे पहले से जुटाए गए। हर मॉडल को वही नतीजे दिए गए और वह एक जैसे टूल का इस्तेमाल करके पेज खोल सकता था या उनके भीतर खोज कर सकता था।

‘सही’ जवाब वाला पेज हमेशा उपलब्ध कराया गया—अगर वह स्वाभाविक रूप से शुरुआती दस नतीजों में आता था, तो उसकी जगह नहीं बदली गई; अन्यथा, उसे पहले से तय स्थान पर नतीजों में शामिल किया गया। इससे शोधकर्ता तुलनीय परिस्थितियों में यह जाँच सके कि मॉडल उपलब्ध साक्ष्यों का इस्तेमाल कैसे कर रहे थे।

परीक्षणों को अधिक सुसंगत बनाने के लिए, जिन मॉडलों में यह सेटिंग उपलब्ध थी उनमें तापमान शून्य पर रखा गया और पूरे प्रयोग के दौरान हर मॉडल को एक ही प्रदाता के ज़रिए चलाया गया।

प्रॉम्प्ट का स्वरूप

तथ्यों को परखने के लिए इस्तेमाल किए गए दो प्रॉम्प्ट में से पहला एक खुला सवाल पूछता था, जैसे ‘बर्नार्डो सिल्वा किस क्लब के लिए खेलते हैं?’—स्रोत माँगने के अनुरोध के साथ या उसके बिना। दूसरे में मॉडल से ऐसे कथन की पुष्टि करने को कहा जाता था जिसमें मौजूदा या पुरानी जानकारी होती थी, ताकि शोधकर्ता तुलना कर सकें कि दोनों रूपों के साथ कैसा बर्ताव हुआ।

संयुक्त नतीजों में चार अतिरिक्त प्रकार के प्रॉम्प्ट इस्तेमाल किए गए: संकेतों के साथ खुले सवाल; उद्धरण माँगने के अनुरोध; दिए गए दावे की पुष्टि के लिए संदर्भ माँगने के अनुरोध; और तथ्य-पत्रक की जाँच, जिसमें मॉडल को कई सही कथनों के बीच एक पुराना कथन पहचानने का काम दिया गया।

फ़ुटबॉलर बर्नार्डो सिल्वा से जुड़े सवालों और दावों के आधार पर, मॉडलों को परखने के लिए इस्तेमाल किए गए वास्तविक प्रॉम्प्ट के उदाहरण। तालिका दिखाती है कि एक ही तथ्यात्मक मुद्दे को जवाब, पुष्टि, उद्धरण और संदर्भ माँगने के अलग-अलग अनुरोधों के ज़रिए कैसे प्रस्तुत किया गया। सभी प्रॉम्प्ट की शुरुआत 8 अगस्त, 2026 की तारीख से हुई थी और अधिकांश में मानकीकृत अंतिम जवाब देना ज़रूरी था, जिसका स्वरूप तालिका के नीचे दिए गए अक्षरांकित निर्देशों में बताया गया है।

हर प्रॉम्प्ट में एक तारीख दी गई थी और अधिकांश में तय प्रारूप में जवाब देना ज़रूरी था, जिसमें ‘सत्यापित नहीं किया जा सकता‘ जवाब देने की अनुमति थी। इससे मानवीय या LLM-आधारित निर्णय की ज़रूरत के बिना नतीजों का मूल्यांकन किया जा सका।

इस्तेमाल किए गए मापदंड थे: पठन की गहराई (क्या स्रोत पेज खोले गए और उनका संदर्भ दिया गया); जवाब की सटीकता (जवाब देने से परहेज़ किए गए मामलों को छोड़कर सही जवाबों का प्रतिशत); और संदर्भों की विश्वसनीयता (क्या संदर्भित पेज मॉडल के दावों का खंडन करते थे)।

जहाँ संभव हुआ, मूल्यांकन स्वचालित तरीके से किया गया। एक (अनिर्दिष्ट) LLM को संदर्भ तभी स्वीकार करने की अनुमति थी, जब उन्हें संग्रहीत पेज के किसी हूबहू अंश से समर्थन मिलता हो। जिन नकारात्मक निर्णयों के लिए व्याख्या की ज़रूरत थी, वे मानवीय समीक्षकों को सौंपे गए; और अपरिवर्तित नियंत्रण तथ्यों का इस्तेमाल हर मॉडल की संदर्भ संबंधी त्रुटियों की आधार-दर तय करने के लिए किया गया।

नतीजे

शुरुआती परीक्षणों में (जैसा कि इस लेख की शुरुआत में दिखाया गया है), वेब खोज की सुविधा से मॉडलों की सवालों के सही जवाब देने की क्षमता बेहतर हुई। तथ्यात्मक कथनों की सटीकता जाँचते समय उनके स्कोर 27–42 प्रतिशत अंक बढ़े। सीधे सवालों के जवाब देते हुए उन्होंने 85.8–95.4% मामलों में सही उत्तर दिए।

हालाँकि, कई जवाब मॉडलों द्वारा खोज में मिले वेबसाइटों पर वास्तव में जाए बिना दिए गए। इसके बजाय, उन्होंने खोज नतीजों के साथ दिखाए गए छोटे पाठ-अंशों पर भरोसा किया। समान खोज नतीजे दिए जाने पर भी, जिन खोजों में कोई पेज नहीं खोला गया उनका अनुपात मॉडल के अनुसार 2.6% से 76% तक था।

इस संदर्भ में, GPT-5.6 Luna ने विशेष रूप से कम मेहनत वाला प्रदर्शन किया:

‘एक जैसे खोज नतीजे मिलने पर, मॉडल 2.6–76.0% मामलों में कोई भी पेज खोले बिना जवाब देते हैं। अपनी अंतर्निहित खोज सुविधा का इस्तेमाल करते हुए, Luna 53.6% मामलों में केवल खोज-अंशों के आधार पर जवाब देता है।’

खोज परिणामों की मॉडल द्वारा की गई जाँच की गहनता के अनुसार पुराने उत्तरों और भ्रामक उद्धरणों की तुलना करने वाले परीक्षण के नतीजे। स्निपेट का अर्थ है कि कोई वेब पेज नहीं खोला गया; खोला गया का अर्थ है कि पेज खोला गया, लेकिन उसका हवाला नहीं दिया गया; उद्धृतका अर्थ है कि खोले गए पेज का हवाला दिया गया। सभी आँकड़े सात मॉडल कॉन्फ़िगरेशन और सभी प्रॉम्प्ट प्रकारों में एकत्रित प्रतिशत हैं। जब मॉडल केवल खोज स्निपेट पर निर्भर थे, तब आम तौर पर त्रुटियाँ अधिक थीं।

सात मॉडल कॉन्फ़िगरेशन में, केवल स्निपेट पर आधारित 6.4% उत्तर पुराने थे, जबकि खोले गए पेजों का हवाला देने पर यह आँकड़ा 1.3% था। ऊपर दिखाए गए अनुसार, भ्रामक उद्धरण भी अधिक बार दिए गए: 6.4% बनाम 2.3%। खेलों से जुड़े सवालों में, खुले वज़न वाले मॉडलों के पुराने उत्तर 20.2% तक पहुँचे, जबकि अन्य में यह 2.1% था। जब उत्तर पुराने थे, तो उन दावों के समर्थन में दिए गए 81.8% उद्धरण उनसे असहमत थे; इसके विपरीत, अद्यतन उत्तरों के मामले में यह आँकड़ा केवल 0.9% था। तथ्य-पत्रों पर किए गए परीक्षणों में भी ऐसे ही रुझान दिखे।

व्यावहारिक रूप से इसका अर्थ यह है कि अध्ययन किए गए एआई मॉडल वास्तविक वेब पेज पढ़ने के बजाय खोज परिणामों में दिखने वाले संक्षिप्त विवरणों पर निर्भर रहने पर गलत उत्तर देने की अधिक आशंका रखते हैं। इससे भी बुरी बात यह है कि वे कभी-कभी ऐसे पेजों के लिंक देते हैं जो साबित करते हैं कि उनके उत्तर गलत हैं।

साझा विफलता

यदि इन परीक्षणों के लिए चुने गए मॉडल ‘सामूहिक अपवाद’ नहीं हैं, तो यह मानना उचित लगता है कि अन्य मॉडल भी—चाहे वे बंद-स्रोत हों या खुले-स्रोत—इस समस्या से प्रभावित हैं। दरअसल, GPT-5.6 Luna की लाइव वेब खोजों में देखी गई विफलता के नौ प्रकारों में से सात का उन विफलताओं से महत्वपूर्ण संबंध था, जो अन्य मॉडलों को उन्हीं निश्चित खोज परिणामों के साथ परखने पर सामने आईं। इससे संकेत मिलता है कि समस्याएँ केवल Luna तक सीमित नहीं थीं।

सही Wikipedia पेज सीधे देने से पुराने उत्तर कम हुए: gemma-4-31b के लिए विफलताएँ 14 से घटकर शून्य, gpt-oss-20b के लिए 11 से घटकर एक, और qwen3-8b के लिए 16 से घटकर आठ रह गईं। हर पेज खोलने के बाद मूल प्रश्न दोहराने से पहले असफल रहे तथ्य-पत्र परीक्षणों में से 26.1% भी सही हो गए।

नतीजे बताते हैं कि अलग-अलग परिस्थितियों में gemma-4-31b, gpt-oss-20b और qwen3-8b ने कितनी बार पुराने दावों को स्वीकार किया। एक ही साक्ष्य को या तो उपलब्ध नहीं कराया गया, सीधे प्रॉम्प्ट में दिया गया, या खोज परिणामों के ज़रिए उपलब्ध कराया गया; अलग-अलग परीक्षणों में समर्थन के लिए स्रोत माँगे गए। सही पेज सीधे देना, मॉडलों से उसे खुद ढूँढ़ने को कहने की तुलना में, कहीं अधिक प्रभावी रहा। आँकड़े कुल परीक्षणों में विफलताओं का अनुपात दिखाते हैं।

क्लब बदलने के नियम

अंत में, यह बेहतर ढंग से समझने के लिए कि एआई कभी-कभी सही जानकारी को क्यों नज़रअंदाज़ करता है, शोधकर्ताओं ने तीन खुले-वज़न वाले मॉडलों को उन फुटबॉल खिलाड़ियों के बारे में परखा जिन्होंने क्लब बदले थे: gpt-oss-20b; gemma-4-31b; और qwen3-8b।

हर मॉडल को किसी खिलाड़ी के क्लब के बारे में पुरानी जानकारी दी गई—कभी-कभी सही Wikipedia पेज के साथ—और फिर यह देखने के लिए जाँचा गया कि प्रक्रिया के दौरान वह किस उत्तर को प्राथमिकता देता है।

नतीजों से पता चला कि मॉडल सही क्लब को पहचान सकते थे—लेकिन फिर भी गलत उत्तर देते थे:

परीक्षण के नतीजे दिखाते हैं कि उत्तर तैयार करते समय qwen3-8b ने सही और पुराने फुटबॉल क्लबों को कितना महत्व दिया। बायाँ चार्ट सफल उत्तर दिखाता है, जहाँ सही क्लब की बढ़त बनी रही; दायाँ चार्ट विफलताएँ दिखाता है, जहाँ प्रक्रिया के अंतिम चरणों में पुराने क्लब ने सही क्लब को पीछे छोड़ दिया। छायांकित हिस्से परीक्षणों के बीच के अंतर को दर्शाते हैं।

qwen3-8b में, कभी-कभी सही क्लब ने आंतरिक रूप से बढ़त बना ली, लेकिन उत्तर दिए जाने से ठीक पहले पुराना क्लब उससे आगे निकल गया (ऊपर देखें)। gpt-oss-20b में भी ऐसा ही रुझान दिखा, जबकि gemma-4-31b ने आम तौर पर पूरी प्रक्रिया के दौरान ‘पुराने’ क्लब को प्राथमिकता दी।

इसलिए ऐसा लगता है कि सही साक्ष्य उपलब्ध होने और उसकी पहचान किए जाने पर भी, अंतिम उत्तर में पुरानी जानकारी को प्राथमिकता मिल सकती है।

निष्कर्षतः, लेखकों का सुझाव है कि मॉडल खोज के अंशों पर निर्भर रहने के बजाय, अपने द्वारा प्राप्त वेब पेजों का बेहतर उपयोग करें। वे यह भी जानना चाहते हैं कि सही उत्तर मौजूद होने के बावजूद मॉडल कभी-कभी पुरानी जानकारी पर क्यों अड़े रहते हैं; और क्या मॉडल जानकारी को कैसे संसाधित करते हैं, इसमें बदलाव से मदद मिल सकती है। लेकिन कोई निश्चित समाधान सुझाया नहीं गया है।

निष्कर्ष

कुछ मूल्यवान अंतर्दृष्टियाँ देने के बावजूद, यह नया शोधपत्र उद्धरणों और संदर्भों के प्रति एलएलएम के लापरवाह रवैये की कोई व्याख्या नहीं करता। एक उपभोक्ता और अपने स्तर पर रुझानों का उचित विश्लेषक होने के नाते, मुझे लगता है कि मेरे द्वारा इस्तेमाल किए जाने वाले एलएलएम शोधपत्रों या URL की सिफारिश इसलिए करते हैं, क्योंकि दूसरे…सिफारिश किए गए साइटें…? तो प्रामाणिकता का एहसास वास्तव में कहाँ से आता है?

सच तो यह है कि एआई-पूर्व दुनिया में भी यह ऐसी समस्या नहीं थी जिसे हम सुलझा पाए हों, इसलिए शायद यह हैरानी की बात नहीं होगी अगर पता चले कि एलएलएम न तो पैसे बचा रहे हैं, न ही विलंबता घटा रहे हैं, बल्कि उन्हीं चीनी अफवाहों को आगे फैला रहे हैं जिन्हें हम खुद को ‘सच’ मानकर संतुष्ट कर लेते हैं।

* शोधपत्र में यह नहीं बताया गया है कि ये समीक्षाएँ किसने कीं।

पहली बार प्रकाशित: शुक्रवार, 16 अक्टूबर 2026