AI वही पेपर बार-बार उद्धृत करता है – बिल्कुल इंसानों की तरह

ChatGPT और अन्य AI लेखन उपकरण शांति से विज्ञान को लोकप्रियता प्रतियोगिता में बदल रहे हो सकते हैं, लगातार शोधकर्ताओं को वही पेपर की ओर ले जा रहे हैं जबकि नई और नवीन कृतियों को नजरअंदाज कर रहे हैं जो वास्तव में क्षेत्र को आगे बढ़ा सकती हैं।

Monoculture, आवृत्ति और आँकड़ों के संदर्भ में, वह स्थिति है जहाँ वही सीमित स्रोत या संसाधन बार-बार दोहराते हैं, नई आवाज़ों और ताज़ा दृष्टिकोणों को दबा देते हैं: रेडियो शेड्यूलिंग में वही सीमित गानों का सेट; हवाई अड्डे की शेल्फ़ों में वही लेखकों और पुस्तकों की समान श्रेणी; और सुपरमार्केट में वही फलों और सब्जियों की प्रतिबंधित विविधता:

हाँ, हमारे पास ये केले हैं – और केवल ये ही केले। पश्चिमी खाद्य श्रृंखलाओं में फलों और सब्जियों की एकरूपता प्रत्येक मामले में सैकड़ों अन्य प्रजातियों की संभावनाओं को नज़रअंदाज़ करती है, क्योंकि विभिन्न उत्पादन और परिवहन श्रृंखलाएँ विविध प्रकार के फल या सब्जियों को औद्योगिक स्तर पर लाने के लिए बहुत महँगी हैं। Source

यह नई वैज्ञानिक शोध में दिखाई देने वाले उद्धरणों में भी होता है, जहाँ शोधकर्ता, शायद आलस से, एक ‘विश्वसनीय’ स्रोत सेट को डिफ़ॉल्ट मान लेते हैं जो गति पकड़ लेता है जब तक कि वह शोध की शाखाओं पर हावी न हो जाए।

इसे मैथ्यू प्रभाव कहा जाता है – एक समाजशास्त्रीय सिद्धांत जो यह सुझाव देता है कि इनकम्बेंट्स को हमेशा लाभ मिलेगा; इस लक्षण की तुलना मैथ्यू 13:12 में किए गए वादे से की गई है, जिसमें कहा गया है ‘जिसके पास है उसे और दिया जाएगा, और उसके पास बहुतायत होगी। जिसके पास नहीं है, यहाँ तक कि जो कुछ उसके पास है वह उससे ले ली जाएगी’।

भीड़ में

AI-सहायता वाले शोध की एक बड़ी आशा यह रही है कि नई मशीन लर्निंग विधाएँ मैथ्यू प्रभाव – जिसे लोकप्रियता पक्षपात के रूप में भी जाना जाता है – से बाहर निकल सकें और कम ज्ञात कार्यों को उद्धृत करना शुरू कर सकें जो अधिक तीक्ष्ण या लेख में किए जा रहे बिंदु के अधिक उपयुक्त हो सकते हैं।

हालाँकि, AI प्रशिक्षण प्रक्रियाओं के डेटासेट की व्याख्या करने के तरीके के आधार पर, इस आशावाद का कभी कोई ठोस कारण नहीं था; और यह बार-बार पाया गया है कि जब AI स्पष्ट रूप से उद्धरण बनाता नहीं है – जो अब तक एक दीर्घकालिक समस्या रही है – तो वह वास्तव में मैथ्यू प्रभाव को जारी रख रहा है, ठीक वैसे ही जैसे मनुष्य करते हैं – यद्यपि शायद वही कारण न हो।

प्रशिक्षण के दौरान, मॉडल प्रशिक्षण सेट में सबसे अधिक उद्धृत (या ‘सबसे बार-बार दोहराए गए’) पेपर को उच्च रैंक देना सीखता है, क्योंकि प्रशिक्षण प्रक्रियाएँ सार्थक पैटर्न निकालने के लिए डिज़ाइन की गई हैं, और आउटलायर को ‘शोर’ या सांख्यिकीय विसंगतियों के रूप में घटाते हैं।

इस व्यवस्था के तहत, आइंस्टीन के सापेक्षता सिद्धांत के समतुल्य को मशीन कभी नहीं देखेगी, क्योंकि एक बार प्रशिक्षित होने पर वह मानती है कि उसने पहले ही अपने सिद्धांत और संदर्भ खोज लिए हैं, और केवल RAG के माध्यम से या अन्य तरीकों से जो मॉडल की पहुँच को उसके प्रशिक्षित मैट्रिक्स से परे विस्तारित करते हैं, नई प्रकाशनों तक पहुँचकर हल्का समायोजन कर सकती है।

समस्या यह है कि यह नई कृतियों को उसी तरह मान्यता नहीं देगा जैसे वह ‘पुराने पसंदीदा’ जिन्हें वह पहले से जानती थी, या बिल्कुल भी नहीं, क्योंकि उसकी सांख्यिकीय पक्षपात अब काफी गहराई से जड़ें जमाए हुए हैं।

इसलिए जब AI मैथ्यू प्रभाव को जारी रखता है तो वह वास्तव में मानव व्यवहार को देख रहा या नकल नहीं कर रहा है – यह केवल यह गिन रहा है कि शोधकर्ता कितनी बार आलस से वही पुराने पेपर चुनते हैं, और उसी तरह उन पेपरों को उच्च रैंक देता है। इस संदर्भ में, उद्धरण दोहराव की समस्या सही मायने में रोचक विज्ञान पेपर चुनने की चुनौती से जुड़ी है, जो AI शोध प्रकाशनों के लगातार बढ़ते तूफान में से निकाला जाता है, क्योंकि सबसे मजबूत कार्य अक्सर सबसे कमजोर संकेत रखता है।

मोनोकोल्चर का निदान

यह मुद्दा एक रोचक नए पेपर में संबोधित किया गया है, जिसका शीर्षक है जब AI लिखता है, तो कौन उद्धृत होता है? भाषा मॉडलों में उद्धरण मोनोकोल्चर का प्रमाण. यह नया कार्य – टेक्सास एट यूनिवर्सिटी, स्टीवेंस इंस्टीट्यूट ऑफ टेक्नोलॉजी, वाशिंगटन यूनिवर्सिटी एट सेंट लुइस, राइस यूनिवर्सिटी, और यूनिवर्सिटी ऑफ नोट्रे डेम के बीच सहयोग – मशीन लर्निंग में उद्धरण मोनोकोल्चर के अस्तित्व को निश्चित रूप से सिद्ध करने का लक्ष्य रखता है, ताकि भविष्य में इसके चर को सीधे संबोधित किया जा सके, साथ ही समस्या को भी।

परीक्षणों में, लेखकों ने पाया कि OpenAI, Google और Anthropic के ग्यारह मॉडल लगातार एक ही छोटे समूह के पेपरों को प्राथमिकता देते रहे – यहाँ तक कि स्पष्ट लोकप्रियता संकेत हटाने के बाद भी।

इसे परीक्षण करने के लिए, 120 वास्तविक पेपरों से उद्धरण गिनती और प्रकाशन स्थल हटाए गए, जबकि लेखक नाम बदल दिए गए, और प्रकाशन वर्ष यादृच्छिक रूप से पुनः निर्धारित किए गए। फिर प्रत्येक मॉडल को तीस पेपरों के यादृच्छिक सेट दिखाए गए, जिन्हें वह अधिकतम दस तक उद्धृत कर सकता था।

संबंधित क्षेत्रों के आठ मानव विशेषज्ञों को वही ब्लाइंड पेपर दिए गए, लेकिन उन्होंने AI के समान पसंदीदा पेपरों पर सहमति नहीं की, जिससे यह संकेत मिलता है कि पक्षपात AI मॉडलों के लिए विशिष्ट था, न कि पेपरों के लिए:

नए पेपर से, AI मॉडलों और मानव विशेषज्ञों द्वारा उद्धरण विकल्पों की तुलना करने वाले परीक्षण परिणाम। सभी ग्यारह मॉडलों में, उद्धरण छोटे समूह के पेपरों पर केंद्रित थे, जबकि कुछ पेपर पूरी तरह से बार-बार नजरअंदाज किए गए। मानव विशेषज्ञों ने ऐसी कोई प्रवृत्ति नहीं दिखाई। Source

भले ही मॉडलों को केवल संदर्भ चुनने के लिए कहा गया, वही पेपर लोकप्रिय बने रहे, जिससे पता चलता है कि समीक्षा लिखना स्वयं पक्षपात का कारण नहीं था।

फिर प्रयोग को ग्यारह राउंड तक विस्तारित किया गया, प्रत्येक राउंड के बाद 120 AI-लिखित पेपर जोड़े गए, ताकि यह परीक्षण किया जा सके कि जब ये साझा प्राथमिकताएँ AI-जनित शोध के बढ़ते पूल में काम करती हैं तो क्या होता है।

जैसे-जैसे अधिक AI-लिखित पेपर जोड़े गए, मॉडल अपनी उद्धरणों को मूल मानव पेपरों की घटती संख्या पर अधिक केंद्रित करने लगे।

The authors state:

जैसे भाषा मॉडल प्रॉज़ लिखने से साहित्य-खोज एजेंट चलाने तक आगे बढ़ते हैं, निर्मित संदर्भ पकड़ने और सीमित करने में आसान होते जा रहे हैं।

अधिक कठिन विफलता तब शुरू होती है जब हर उम्मीदवार वास्तविक हो जाता है: विभिन्न मॉडल अभी भी वही संकीर्ण उपसमुच्चय चुन सकते हैं, जिससे उद्धरण मोनोकोल्चर उत्पन्न होता है जबकि कोई भी एकल उद्धरण गलत नहीं होता।

समस्या के समाधान के रूप में, पेपर यह तर्क देता है कि विभिन्न विक्रेताओं के मॉडल को मिलाना या पेपरों को समान एक्सपोज़र देना पर्याप्त नहीं होगा, क्योंकि प्राथमिकता का अधिकांश हिस्सा मॉडल्स के बीच साझा है। बल्कि, विशिष्ट पेपरों के लिए अंतर्निहित प्राथमिकता को बदलना आवश्यक होगा – संभवतः उपेक्षित पेपरों को जानबूझकर अधिक प्रमुखता देकर। हालांकि, लेखक इस बात पर ज़ोर देते हैं कि यह दृष्टिकोण अभी तक परीक्षण नहीं किया गया है।

परीक्षण विधियाँ

बेंचमार्क 120 वास्तविक ज्ञान-डिस्टिलेशन पेपरों से बनाया गया था, जो arXiv से एकत्र किए गए और 2015 से 2022 के बीच प्रकाशित हुए। प्रत्येक के संग्रह के समय 50 से 500 उद्धरण थे, यह रेंज अस्पष्ट और अत्यधिक प्रभावशाली कार्यों दोनों को बाहर रखने के लिए चुनी गई थी।

प्रयोग की शुरुआत उपलब्ध संग्रह से तीस पेपर यादृच्छिक रूप से चुनने से हुई, जहाँ लेखक नाम, प्रकाशन वर्ष और उद्धरण गिनती छिपी हुई थीं। प्रत्येक मॉडल ने अधिकतम दस पेपर उद्धृत करते हुए एक छोटा समीक्षा या स्थिति लेख तैयार किया, और इन चयन की उसी सामग्री से यादृच्छिक चयन से तुलना की गई:

उद्धरण प्राथमिकताओं का परीक्षण करने के लिए उपयोग की गई विधि की रूपरेखा। तीस यादृच्छिक रूप से चुने गए पेपर मॉडल को दिखाए गए, जहाँ पहचान जानकारी छिपी थी, उसके बाद वह अधिकतम दस तक उद्धृत कर सकता था। उसके चयन की यादृच्छिक चयन से तुलना की गई, जबकि प्रत्येक राउंड में अगले राउंड के संग्रह में 120 AI-लिखित पेपर जोड़े गए।

विस्तारित प्रयोग में, प्रत्येक राउंड के बाद 120 नई उत्पन्न पेपर संग्रह में जोड़े गए, जिससे AI-लिखित शोध का अनुपात धीरे-धीरे बढ़ा।

प्रारंभिक परीक्षण में, मॉडल दिखाए गए अधिकांश पेपरों को उद्धृत करने की प्रवृत्ति रखते थे, सामान्यतः 30 में से 22 से 27 चुनते थे। इसलिए शोधकर्ताओं ने मुख्य प्रयोग के लिए अधिकतम दस उद्धरण निर्धारित किए, जिससे मॉडल को अधिक चयनात्मक विकल्प बनाने के लिए मजबूर किया गया।

नीचे हम परिणामी प्रयोगात्मक डिजाइन का सार देख सकते हैं:

उद्धरण प्राथमिकताओं का परीक्षण करने के लिए प्रयोगात्मक सेटअप। अध्ययन 120 वास्तविक पेपरों से शुरू हुआ और तीन विक्रेताओं के ग्यारह मॉडलों का परीक्षण किया, 30 पेपरों के यादृच्छिक सेट और अधिकतम दस उद्धरणों का उपयोग करते हुए। बाद के राउंडों में AI-जनित पेपर जोड़े गए, जिससे संग्रह 1,440 पेपर तक बढ़ गया।

प्रारंभिक प्रयोग में तीन प्रमुख प्रदाताओं के ग्यारह मॉडल उपयोग किए गए: OpenAI का प्रतिनिधित्व GPT-5, GPT-5 mini, GPT-4.1 और GPT-4.1 mini द्वारा किया गया; Google का प्रतिनिधित्व Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro और Gemini 3.1 Flash-Lite द्वारा; और Anthropic का प्रतिनिधित्व Claude Opus 4.8, Claude Sonnet 4.6 और Claude Haiku 4.5 द्वारा।

नीचे दिखाए गए परीक्षण परिणामों में, हम देखते हैं कि प्रत्येक मॉडल ने कितनी मात्रा में अपने उद्धरण एक छोटे पेपर समूह में केंद्रित किए; उसने कितने पेपर को पूरी तरह से अनदेखा किया; और प्रयोग दोहराए जाने पर उसने कितनी लगातार वही चयन किए:

परीक्षण परिणाम दिखाते हैं कि प्रत्येक मॉडल ने कितनी ताकत से अपने उद्धरण विशेष पेपरों पर केंद्रित किए और कितने पेपर को पूरी तरह से अनदेखा किया। ‘Top-10% share’ दर्शाता है कि 12 सबसे पसंदीदा पेपरों को कितने उद्धरण मिले, जबकि ‘HHI’ कुल मिलाकर उद्धरणों की एकाग्रता को मापता है। ‘Reliability’ दर्शाता है कि प्रत्येक मॉडल ने परीक्षणों में कितनी लगातार वही पेपर पसंद किए, औरρ दर्शाता है कि मॉडल्स के बीच ये प्राथमिकताएँ कितनी समान थीं। ‘Matched null’ पंक्ति दर्शाती है कि यदि पेपरों को यादृच्छिक रूप से चुना जाता तो क्या अपेक्षित होता।

मॉडल वास्तव में किसे प्राथमिकता दे रहे हैं?

प्राथमिकता अत्यधिक रूप से पेपरों की स्वयं की सामग्री द्वारा संचालित पाई गई। उदाहरण के लिए, GPT-5 mini के लिए, किन पेपरों को प्राथमिकता दी गई, इस परिवर्तन का लगभग 90% कारण सामग्री था, न कि सूची क्रम, जनरेशन शोर या प्रत्येक पेपर से जुड़ी निर्मित मेटाडाटा जैसे कारक। वही ‘प्रमुख सामग्री’ प्रभाव GPT-4.1 mini के साथ भी दोहराया गया।

प्राथमिकता मानचित्र (नीचे देखें) भी लगभग नहीं बदला जब शीर्षक और सारांश को काफी हद तक पुनर्लेखित किया गया जबकि उनका अर्थ बरकरार रहा। चार सफल पैराफ्रेज़ परीक्षणों में, 0.95–0.99 के सहसंबंध प्राप्त हुए, जबकि पुनर्लेखन के लिए तीन विक्रेताओं के विभिन्न मॉडल उपयोग किए गए।

प्राथमिकता मानचित्र में परिवर्तन केवल तब देखा गया जब अंतर्निहित अर्थ को मापने योग्य रूप से बदला गया:

ग्यारह मॉडलों के बीच उद्धरण प्राथमिकताओं की तुलना करने वाले परीक्षण परिणाम। संख्याएँ दर्शाती हैं कि प्रत्येक मॉडल जोड़ी ने कितनी निकटता से समान पेपरों को प्राथमिकता दी, उच्च मान अधिक सहमति दर्शाते हैं। मॉडल और विक्रेताओं के बीच अंतर के बावजूद, समूह में व्यापक रूप से समान प्राथमिकताएँ पाई गईं।

इसलिए मॉडल मुख्यतः अर्थात्मक सामग्री पर प्रतिक्रिया दे रहे हैं, न कि विशेष शब्दावली पर। हालांकि, उनकी मजबूत सहमति का कारण निश्चित रूप से निर्धारित नहीं किया जा सका।

लेखकों का दावा है कि संभव है कि प्रशिक्षण के दौरान एक सामान्य उद्धरण सहमति अवशोषित हो गई हो। एक वैकल्पिक संभावना यह है कि क्या ‘उद्धरणीय’ पेपर माना जाता है, इस बारे में समान निर्णय स्वतंत्र रूप से पहुँचा जा सकता है।

इसलिए साझा प्राथमिकता का अस्तित्व स्थापित किया गया, लेकिन उसका अंतिम मूल अभी भी अज्ञात है।

लेखक सुझाव देते हैं कि शोध में AI का व्यापक उपयोग कार्यों की वहनीयता को संकीर्ण कर सकता है, क्योंकि विभिन्न मॉडल अक्सर समान पेपरों को प्राथमिकता देते हैं; और जैसे-जैसे AI-जनित साहित्य जमा होता है, ये साझा प्राथमिकताएँ दोहराए गए उद्धरणों के माध्यम से और अधिक सुदृढ़ हो सकती हैं, जिससे कम पसंदीदा शोध को खोजने में धीरे-धीरे कठिनाई बढ़ती है। इसलिए उद्धरण विविधता और उद्धरण एकाग्रता की निगरानी को संभावित सुरक्षा उपाय के रूप में प्रस्तावित किया गया है।

अध्ययन का बेंचमार्क जो पुनरावर्ती उद्धरण एकाग्रता को मापता है, अब GitHub पर उपलब्ध है।

निष्कर्ष

राय एक ऐसे व्यक्ति के रूप में जो साप्ताहिक रूप से अत्यधिक संख्या में AI शोध पेपर पढ़ता है, मैंने ‘उद्धरण लहरों’ को आते और जाते देखा है। एक स्थायी स्तंभ है Google’s Attention Is All You Need, मूल ट्रांसफ़ॉर्मर पेपर, जो अब सबमिशन टेम्पलेट्स में हार्ड-कोडेड होना चाहिए।

एक और बार-बार आने वाला, लंबे समय तक, 2014 का Generative Adversarial Networks था, हालांकि अंततः इसे Denoising Diffusion Probabilistic Models और अन्य डिफ्यूज़न-आधारित प्रमुख अध्ययनों ने आवृत्ति में प्रतिस्थापित कर दिया।

लगभग सभी मामलों में, ये ‘बार-बार’ उद्धरण स्वयं में गलत नहीं होते; लेकिन वे अक्सर बहुत व्यापक होते हैं जिससे वे उस पेपर के लिए उपयोगी समर्थन नहीं बन पाते जिसमें उनका उद्धरण दिया गया है; और इस अर्थ में, वे ‘उद्धरण‑वॉशिंग’ के समान कुछ दर्शाते हैं – ‘विश्वसनीय’ लेकिन मुख्यतः सजावटी स्रोत उद्धरणों को शामिल करना, जिससे कम प्रयास में विश्वसनीयता का आभास मिलता है।

पहली बार प्रकाशित सोमवार, 24 अगस्त, 2026