ChatGPT-5 और Gemini 2.5 में 40% परीक्षण समाचार कक्ष प्रश्नों में हॉलुसिनेशन होता है

एक नए अध्ययन में पाया गया है कि ChatGPT-5 और Google Gemini में 40% समाचार कक्ष शैली के प्रश्नों में हॉलुसिनेशन होता है, जिसमें अक्सर विश्वसनीय तथ्यों द्वारा समर्थित नहीं होने वाले आत्मविश्वास से भरे दावे गढ़े जाते हैं। Google के NotebookLM में यह दर केवल 13% है – एक दर जो दुनिया में किसी भी पत्रकार को नौकरी से निकाल देगी। अध्ययन में पाया गया कि मॉडल अक्सर स्रोतों को विकृत करते हैं और उन्हें तथ्यों में बदल देते हैं और उन्हें पत्रकारिता के लिए जोखिम भरे उपकरण बना देते हैं। लेखक बेहतर, समर्पित उपकरणों की मांग करते हैं।

हाल के वर्षों में, बड़े भाषा मॉडल पत्रकारिता में तेजी से अपनाया गया है, जो काम के माहौल में हुआ है जो डिजिटल पत्रकारिता दो सदियों की परंपरा को अथक प्रक्रिया में 2000 के दशक की शुरुआत में शुरू हुआ था।

वास्तव में, यह जमीन पहले से ही उपजाऊ थी, क्योंकि मीडिया ने पहले से ही ‘नवाचार’ के माध्यम से नौकरी में कटौती करने की आदत डाल ली थी, जो 1980 के दशक में डिजिटल टाइपसेटिंग के उत्पादन के साथ-साथ रेडियो और टेलीविजन से पहले की चुनौतियों के साथ।

समाचार कक्षों और मीडिया आउटलेट्स में एआई का अथक मार्ग, हालांकि, बिना सेटबैक के नहीं रहा है; एक संदर्भ में जहां 55% कंपनियां अब एआई के साथ मनुष्यों को बदलने का पछतावा करती हैं, और जहां गार्टनर अनुमान करता है कि संगठन दो वर्षों के भीतर अपने एआई अपनाने की समय सीमा को काफी कम कर देंगे, कई समाचार संगठनों ने एआई-प्रतिस्थापित पत्रकारों को वापस नियुक्त किया है, क्योंकि मशीन लर्निंग विकल्पों की गंभीर और अक्सर अपमानजनक कमियां स्पष्ट हो गई हैं।

मानव नहीं होना गलत है

हालांकि हॉलुसिनेशन उन क्षेत्रों में एक बड़ी समस्या साबित हुई है जहां सटीक उद्धरण आवश्यक है (कानून, अनुसंधान और पत्रकारिता क्षेत्रों में उल्लेखनीय सार्वजनिक ध्यान के साथ), एक नए अमेरिकी अध्ययन में पाया गया है कि पत्रकारिता में मशीन लर्निंग का सामना व्यापक चुनौतियों से होता है।

लेखकों के शोध ने ChatGPT, Google Gemini, और अधिक उद्धरण-केंद्रित NotebookLM का मूल्यांकन किया, एक रिपोर्टिंग-शैली कार्य पर: संयुक्त राज्य अमेरिका में टिक्टोक लिटिगेशन और नीति पर केंद्रित 300-दस्तावेज़ निगम का उपयोग करके।

शोधकर्ताओं ने प्रॉम्प्ट विशिष्टता और प्रदान किए गए दस्तावेजों की संख्या को भिन्न किया, फिर परिणामों का विश्लेषण एक टैक्सोनॉमी का उपयोग करके किया जो हॉलुसिनेशन के प्रकार और गंभीरता को पकड़ने के लिए डिज़ाइन किया गया था।

सभी आउटपुट में, 30% में कम से कम एक हॉलुसिनेशन था, जबकि ChatGPT और Gemini प्रत्येक ने 40% हॉलुसिनेशन दर दिखाई – NotebookLM की 13% त्रुटि दर से थोड़ा अधिक।

शोधकर्ताओं ने नोट किया कि हॉलुसिनेशन में अक्सर व्याख्यात्मक अति-आत्मविश्वास प्रदर्शित किया गया था, जिसमें असमर्थित चरित्र चित्रण जोड़े गए थे और संदर्भित राय को सामान्य बयानों में बदल दिया गया था:

‘गुणात्मक रूप से, अधिकांश त्रुटियों में आविष्कृत संस्थाओं या संख्याओं का सामना नहीं करना पड़ा; इसके बजाय, हमने व्याख्यात्मक अति-आत्मविश्वास का अवलोकन किया – मॉडल ने स्रोतों के चरित्र चित्रण और संदर्भित राय को सामान्य बयानों में बदल दिया। ‘

‘इन पैटर्नों से एक मूलभूत ज्ञानात्मक असंगति का पता चलता है: जबकि पत्रकारिता में प्रत्येक दावे के लिए स्पष्ट स्रोत की आवश्यकता होती है, एलएलएम अधिकृत-सounding पाठ उत्पन्न करते हैं, साक्ष्य के समर्थन की परवाह किए बिना। ‘

‘हम पत्रकारिता-विशिष्ट विस्तार का प्रस्ताव करते हैं मौजूदा हॉलुसिनेशन टैक्सोनॉमी और तर्क देते हैं कि प्रभावी समाचार कक्ष उपकरणों को सटीक स्रोत की आवश्यकता होती है, न कि प्रवाह के लिए अनुकूलन की आवश्यकता होती है।’

अध्ययन, गलत नहीं, लेकिन असत्य: एलएलएम ओवरकॉन्फिडेंस इन डॉक्यूमेंट-आधारित प्रश्नों शीर्षक से, पांच पृष्ठों में एक रोचक लेकिन संक्षिप्त पढ़ाई है, जो नॉर्थवेस्टर्न विश्वविद्यालय और मिनेसोटा विश्वविद्यालय के तीन शोधकर्ताओं से है।

सिद्धांत और विधि

हॉलुसिनेशन का सटीक कारण विवादित है; हालांकि लगभग सभी सिद्धांतों से सहमत हैं कि डेटा गुणवत्ता और/या वितरण प्रशिक्षण समय में एक योगदान कारक है, यहां तक कि यह भी प्रस्तावित किया गया है कि 100% एलएलएम आउटपुट मूल रूप से हॉलुसिनेशन है (हालांकि कुछ हॉलुसिनेशन वास्तविकता के साथ मेल खाते हैं)।

लेखकों का अवलोकन है:^†

‘तकनीकी दृष्टिकोण से, हॉलुसिनेशन एलएलएम की क्षमता से उत्पन्न होते हैं जो सामान्य पैटर्न का पालन करते हुए पाठ उत्पन्न कर सकते हैं, जो कि सच क्या है इसकी समझ के बिना। यह विशेषता वास्तविकता को प्रतिबिंबित नहीं करने वाले प्लॉसिबल-साउंडिंग प्रतिक्रियाओं का परिणाम है – उदाहरण के लिए, एलएलएम-फैब्रिकेटेड केस लॉ जो मुकदमों में अपना रास्ता बनाता है। ‘

‘और जबकि एलएलएम क्षमताओं में पिछले पांच वर्षों में नाटकीय रूप से वृद्धि हुई है, हॉलुसिनेशन अभी भी एक मुद्दा है, कुछ मामलों में यहां तक कि मॉडल अधिक क्षमता विकसित होने के साथ बढ़ जाता है।’

शोध क्षेत्र, पत्र में देखा गया है, हॉलुसिनेशन को कम करने या बेहतर ढंग से समझने के लिए कई तरीकों का अन्वेषण किया है, जो मुख्य रूप से तीन क्षेत्रों में आते हैं: पहले, संदर्भ में, मॉडल को बाहरी स्रोतों जैसे डेटाबेस, दस्तावेज़ संग्रह, या वेब सामग्री में जमीन दी जा सकती है ताकि उनके दावों का समर्थन किया जा सके।

यह तब काम करता है जब सामग्री विश्वसनीय और पूरी होती है, लेकिन गैप, पुरानी जानकारी, या खराब गुणवत्ता वाले डेटा अभी भी त्रुटियों का कारण बनते हैं; और मॉडल की आदत होती है कि वे स्रोतों से परे आत्मविश्वासी बयान देते हैं।

दूसरा, प्रॉम्प्टिंग और डिकोडिंग मॉडल को सावधानी से निर्देश देने के लिए उपयोग किया जाता है। यह मॉडल को अपने साक्ष्य की जांच करने, कार्यों को छोटे चरणों में तोड़ने, या सख्त प्रारूपों का पालन करने के लिए कहा जा सकता है। कभी-कभी मॉडल को अपना काम समीक्षा करने या कई प्रतिक्रियाओं की तुलना करने के लिए निर्देशित किया जाता है।

इन तकनीकों से त्रुटियों को पकड़ा जा सकता है, लेकिन वे लागत बढ़ाते हैं, और वे अक्सर सूक्ष्म त्रुटियों का पता नहीं लगा पाते हैं; इसलिए, विश्वसनीय साक्ष्य-जांच के बिना, सत्यापन का अधिकांश भार अभी भी उपयोगकर्ता पर पड़ता है।

तीसरे, मॉडल और उपकरण मॉडल को संसाधनों तक पहुंच प्रदान करने के लिए उपयोग किया जाता है जो सत्यापन का समर्थन कर सकते हैं, जैसे कि खोज इंजन या कैलकुलेटर – हालांकि सटीकता तब भी बढ़ सकती है जब मॉडल को अच्छी तरह से स्रोत वाले डेटा पर प्रशिक्षित किया जाता है या जब उद्धरण सुविधाएं निर्मित होती हैं।

हालांकि, ये उपाय पूरी तरह से प्रभावी नहीं हैं, और अभी भी स्रोतों की गुणवत्ता, दिशानिर्देशों की स्पष्टता, और मानव पर्यवेक्षण पर निर्भर करते हैं ताकि गलत जानकारी को फैलने से रोका जा सके।

टिक टॉक

पता लगाने के लिए कि कौन से दृष्टिकोण वास्तव में पत्रकारों के लिए उपयोगी हो सकते हैं, अध्ययन ने मूल्यांकन किए जो वास्तविक समाचार कक्ष कार्य प्रवाह और मानकों को दर्शाते हैं, हॉलुसिनेशन को एक प्रकार के रिपोर्टिंग कार्य के संदर्भ में परीक्षण किया जाता है।

फ्रंटियर मॉडल का परीक्षण सामान्य प्रॉम्प्टिंग रणनीतियों और दस्तावेज़-आधारित सेटअप का उपयोग करके किया गया था, ताकि हॉलुसिनेशन त्रुटियों की आवृत्ति और प्रकार दोनों को मापा जा सके।

विश्लेषण ने शोध-आधारित और जांच पत्रकारिता में पाए जाने वाले दस्तावेज़-आधारित प्रश्नों के प्रकार पर केंद्रित किया। लेखकों ने संयुक्त राज्य अमेरिका में टिक्टोक पर प्रतिबंध लगाने के लिए जारी कानूनी प्रयासों का चयन किया।

दस्तावेज़ वाशिंगटन पोस्ट, न्यूयॉर्क टाइम्स, प्रोक्वेस्ट, और वेस्टलॉ से एकत्र किए गए, जिसके परिणामस्वरूप 300-दस्तावेज़ संग्रह हुआ, जिसमें पांच शोध पत्र, 150 समाचार लेख, और 145 कानूनी फाइलें शामिल थीं (पूरी संकलन परियोजना के भंडार के माध्यम से शोधकर्ताओं के लिए अनुरोध पर उपलब्ध है)।

चूंकि एलएलएम प्रतिक्रियाएं प्रॉम्प्ट के शब्दों और प्रदान किए गए संदर्भ पर बहुत अधिक निर्भर करती हैं, लेखकों ने टिक्टोक प्रतिबंधों के बारे में सामान्य प्रश्नों से लेकर विशिष्ट प्रॉम्प्ट तक पांच प्रश्नों का डिज़ाइन किया, जो विशिष्ट न्यायालय के मामलों से गवाही मांगते हैं।

प्रत्येक मॉडल को दिए गए दस्तावेजों की संख्या को 10, 100 – या पूरे 300, पूरे निगम से भिन्न किया गया था, दो महत्वपूर्ण दस्तावेजों को प्रत्येक नमूने में शामिल किया गया था, ताकि स्थिरता सुनिश्चित की जा सके। प्रत्येक मॉडल के लिए 15 प्रतिक्रियाएं उत्पन्न की गईं, ChatGPT को छोड़कर, जिसे 10 प्रतिक्रियाओं तक सीमित किया गया था।

प्रतिद्वंद्वी

तीन उपकरणों का परीक्षण किया गया, प्रत्येक एक अलग दृष्टिकोण को दर्शाता है दस्तावेज़-आधारित प्रश्नों के लिए: ChatGPT-5 का मूल्यांकन प्रोजेक्ट्स फीचर का उपयोग करके किया गया था, जिसने 100 दस्तावेजों तक अपलोड को सीमित कर दिया; Google Gemini 2.5 Pro पूरे 300-दस्तावेज़ निगम को संदर्भ में संसाधित करने में सक्षम था (इसके एक मिलियन टोकन संदर्भ विंडो का उपयोग करके 923,000 टोकन को सीधे निगलने के लिए); Google NotebookLM, जो निर्मित-इन उद्धरण पुनर्प्राप्ति प्रदान करता है, का परीक्षण विशिष्ट नोटबुक का उपयोग करके किया गया था।

इन दस्तावेज़-हैंडलिंग विधियों के बावजूद, तीनों वास्तविक उपकरण हैं जो वर्तमान में पत्रकारों के लिए उपलब्ध हैं; और किसी भी मामले में, राज्य की कला वर्तमान में अधिक प्रयोगात्मक है और समान सुविधाओं और दायरे की कमी के साथ।

हॉलुसिनेशन व्यवहार की श्रेणी को पकड़ने के लिए, एक पिछले 2023 के काम से एक टैक्सोनॉमी का उपयोग किया गया था, जिसमें हॉलुसिनेशन को दिशा (विकृति बनाम विस्तार); श्रेणी (त्रुटि का प्रकार); और डिग्री (गंभीरता को माइल्ड, मॉडरेट, या अलार्मिंग के रूप में दर्जा दिया गया) द्वारा संकेतित किया गया था।

सभी मॉडल आउटपुट को एक मानव लेखक द्वारा एनोटेट किया गया था, जिन्होंने प्रत्येक वाक्य की समीक्षा की और इन कोड लागू किए। टैक्सोनॉमी द्वारा कवर नहीं की गई त्रुटियों को विविध के रूप में चिह्नित किया गया था, और बाद में पत्रकारिता के लिए विशिष्ट श्रेणियों को विकसित करने के लिए विश्लेषण किया गया था।

डेटा और परीक्षण

हॉलुसिनेशन की प्रारंभिक परीक्षण में, 40 मॉडल प्रतिक्रियाओं में से 12 में कम से कम एक हॉलुसिनेशन पाया गया, जिसमें उपकरण के बीच उल्लेखनीय भिन्नता थी। ChatGPT और Gemini प्रत्येक ने अपने आउटपुट के 40% में हॉलुसिनेशन उत्पन्न किया, जबकि NotebookLM ने केवल 13% मामलों में हॉलुसिनेशन उत्पन्न किया:

इन परिणामों पर, लेखकों का टिप्पणी है:

‘यह दर्शाता है कि जबकि अधिकांश प्रतिक्रियाएं सभी उपकरणों में हॉलुसिनेशन से मुक्त हैं, उपकरण का चयन एक ही दस्तावेज़ निगम और प्रश्न सेट के लिए एक अंतर बनाता है।’

हॉलुसिनेशन अक्सर अकेले नहीं होते हैं, पत्र में देखा गया है; Gemini ने प्रति दोषपूर्ण प्रतिक्रिया में चार हॉलुसिनेशन का औसत किया, NotebookLM तीन, और ChatGPT 1.5। अधिकांश मध्यम गंभीरता के थे, लेकिन 14% को अलार्मिंग के रूप में वर्गीकृत किया गया था। एक मामले में, ChatGPT ने एक टिक्टोक प्रतिबंध के पीछे एक प्रतिशोधी प्रेरणा का आविष्कार किया जो स्रोत दस्तावेज़ में नहीं था:

‘[एक] प्रश्न में, ChatGPT ने एक संभावित टिक्टोक प्रतिबंध को एक प्रतिशोधी उपाय के रूप में फ्रेम किया, जो चीनी नीति के जवाब में अमेरिकी विधायकों द्वारा किया गया था, एक दावा जो संदर्भित स्रोत दस्तावेज़ से पूरी तरह से अनुपस्थित था।’

कुल मिलाकर, 64% हॉलुसिनेटिंग प्रतिक्रियाओं ने तथ्यात्मक अशुद्धियों या विचलन को पेश किया, जो इस बात के बारे में प्रश्न उठाते हैं कि क्या एलएलएम का उपयोग वास्तव में इस प्रकार के जानकारी-आधारित कार्य प्रवाह में समय बचाता है, कम से कम वर्तमान राज्य में।

इस प्रारंभिक परीक्षण में, अधिकांश हॉलुसिनेशन मौजूदा टैक्सोनॉमी श्रेणियों में फिट नहीं हुए, अक्सर बनावटी उद्धरण या गलत एक्रोनिम विस्तार शामिल करते हुए, जो यह सुझाव देते हैं कि वर्तमान ढांचे पत्रकारिता उपयोग के मामलों के लिए बहुत संकीर्ण हो सकते हैं।

NotebookLM की कम हॉलुसिनेशन दर, लेखकों का अवलोकन करते हैं, यह सुझाव देते हैं कि इसकी उद्धरण-आधारित RAG प्रणाली ChatGPT की परियोजनाओं सुविधा या Gemini की संदर्भ में प्रसंस्करण की तुलना में विशिष्ट दस्तावेजों को संदर्भित करने के लिए अधिक विश्वसनीय आधार प्रदान करती है, विशेष रूप से जब विशिष्ट दस्तावेजों को संदर्भित किया जाना चाहिए।

परीक्षण परिणामों में देखे गए हॉलुसिनेशन की गुणात्मक विशेषताओं के अध्ययन में, शोधकर्ताओं का अवलोकन है कि हॉलुसिनेशन मुख्य रूप से आविष्कृत तथ्यों से नहीं बल्कि व्याख्यात्मक अति-आत्मविश्वास से उत्पन्न हुए:

‘मॉडल ने दस्तावेज़ के उद्देश्यों, दर्शकों और वक्ता के इरादों के बारे में आत्मविश्वासी चरित्र चित्रण जोड़े, जो अधिकृत लग रहे थे लेकिन वास्तविक पाठ में कोई आधार नहीं था। उन्होंने संदेहास्पद या संदर्भित बयानों को निश्चित दावों में बदल दिया।’

आत्मविश्वास ने दो रूप लिए: पहले, मॉडल ने दस्तावेज़ के दर्शक या उद्देश्य के बारे में असमर्थित दावे जोड़े, जैसे कि एक लेख को ‘सार्वजनिक के लिए लिखा गया’ या एक फाइलिंग को ‘वकीलों के लिए उद्देश्य’ के रूप में लेबल किया गया।

दूसरा, उन्होंने संदर्भित राय को तथ्य जैसे बयानों में बदल दिया, मूल स्रोत को धुंधला कर दिया और स्रोत मूल्यांकन को कमजोर कर दिया।

इन व्यवहारों को सभी उपकरणों में देखा गया और एक वास्तुकला तक सीमित नहीं थे – और अधिकांश त्रुटियां आविष्कृत नहीं थीं, बल्कि अति-व्याख्या थीं।

अधिकांश हॉलुसिनेशन को विविध के रूप में लेबल किया गया था, क्योंकि वे मौजूदा श्रेणियों में फिट नहीं हुए, जो त्रुटि प्रकार के बीच महत्वपूर्ण अंतरों को धुंधला करते हैं। बार-बार होने वाली समस्याएं जैसे गुम हुए स्रोत और अस्पष्ट स्रोत विवरण सुझाव देते हैं कि वर्तमान टैक्सोनॉमी उन त्रुटियों को याद करती है जो पत्रकारिता में सबसे ज्यादा मायने रखती हैं, जहां स्पष्ट स्रोत आवश्यक है।

लेखकों का अवलोकन है कि ‘मॉडल स्रोत का समर्थन नहीं करने वाला विश्लेषण जोड़ते हैं और स्रोत को हटा देते हैं। ‘

निष्कर्ष

जो कोई भी तीन मॉडलों के साथ प्रयोग किया है जिन्हें नए पत्र में अध्ययन किया गया है, उन्हें पता होगा कि प्रत्येक की अपनी कमजोरियां और ताकत हैं। हालांकि NotebookLM ChatGPT या Gemini की तुलना में बहुत बेहतर उद्धरण प्रदान करता है, यह एक त्रुटि दर प्रदान करता है जो अधिकांश पत्रकारों, शोधकर्ताओं या वकीलों को नौकरी से निकाल देगा, बार-बार घटनाओं के साथ।

इसके अलावा, NotebookLM, एक शोध ढांचे के रूप में स्थित, अन्य दो प्लेटफार्मों की तुलना में कई यूजर एक्सपीरियंस सुधारों की कमी है।

हालांकि, कम से कम NotebookLM वास्तव में अपलोड किए गए दस्तावेजों को पढ़ता है, ChatGPT की विनाशकारी आदत के विपरीत, जो अपलोड किए गए दस्तावेज़ के सामान्य वितरण के बारे में क्या जानता है, उसके आधार पर अपलोड किए गए दस्तावेज़ के बारे में क्या अनुमान लगा सकता है, बजाय इसके कि यह पूर्ण-पाठ पढ़ाई करे।

प्रामाणिकता और उद्धरण मानकों के लिए महत्वपूर्ण क्षेत्रों में, जैसे कानून, पत्रकारिता और वैज्ञानिक अनुसंधान, वर्तमान में बाजार में अग्रणी एलएलएम में कोई स्वाभाविक रूप से प्रशिक्षित सुविधाएं नहीं हैं जो उनकी सीमित क्षमता में सुधार कर सकती हैं जो उपयोगकर्ता द्वारा निर्देशित जानकारी को सटीक रूप से निकालने और संभालने के लिए है।

जैसा कि यह खड़ा है, और एलएलएम के लिए एक बेहतर इंटरफेस प्रदान करने वाली सहायक प्रणालियों के आगमन की प्रतीक्षा में, एक साधारण प्रणाली प्रॉम्प्ट या MCP सेटिंग के, इन प्रणालियों द्वारा उत्पादित सभी चीजों की जांच अभी भी उन महंगे, असहज और सामान्य रूप से परेशान करने वाले मानवों द्वारा की जानी चाहिए।

* गूगल क्लाउड विषय पर एक उचित और विस्तृत रन-डाउन यहां प्रदान करता है।

^† लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में परिवर्तित करने का मेरा रूपांतरण।

बुधवार, 1 अक्टूबर, 2025 को पहली बार प्रकाशित। गुरुवार, 2 अक्टूबर को संशोधित टीएल; डीआर में त्रुटि को सही करने और पहले अनुच्छेद में शैलीगत त्रुटि को संशोधित करने के लिए।