मूल बातों से शुरू करने वाला एआई अब मानव द्वारा लिखित समाचार की नकल कर सकता है

नई अनुसंधान से पता चलता है कि छोटे स्थानीय एआई मॉडल अब ऐसे समाचार लिख सकते हैं जिन्हें लोग वास्तविक पत्रकारिता से अलग नहीं कर सकते हैं, शीर्ष प्रणालियों का मिलान करते हैं, और पाठकों को यह बताने में असमर्थ छोड़ देते हैं कि किसने क्या लिखा है।

जर्मनी और फ्रांस के बीच एक नए अनुसंधान सहयोग के अनुसार, मनुष्य यह नहीं बता सकते कि समाचार लेख एआई द्वारा लिखा गया है या मानव द्वारा – यहां तक कि जब यह खुले स्रोत मॉडल द्वारा लिखा जाता है जो डाउनलोड किया जा सकता है और अपेक्षाकृत औसत उपभोक्ता-स्तर के डेस्कटॉप कंप्यूटरों पर चलाया जा सकता है।

एक और संकेत है कि छोटा एआई बढ़ रहा है, 1,054 प्रतिभागियों के एक समर्पित अकादमिक अध्ययन पोर्टल में 2,318 निर्णयों का सर्वेक्षण पाया गया कि मानव पाठक किसी लेख की उत्पत्ति की पहचान उच्च स्तर से नहीं कर सकते थे, यहां तक कि जब यह अपेक्षाकृत साधारण मॉडल द्वारा आउटपुट किया गया था जिसमें केवल सात अरब पैरामीटर थे, जिनमें मिस्ट्रल और लामा वेरिएंट शामिल हैं।

परीक्षण किए गए एलएलएम के लिए मीन सोर्स और प्रामाणिकता स्कोर। जीपीटी-4ओ के 200 अरब पैरामीटर छोटे मॉडलों के 7बी पैरामीटर से काफी अधिक नहीं हैं। परीक्षण के लिए जिन मॉडलों का परीक्षण किया गया था उनमें जेमा 7बी, फाई-3 मिनी, एलएलएमए-2 13बी, मिस्ट्रल 7बी, जीपीटी-4ओ और जीपीटी-3.5 शामिल थे। स्रोत

लेखक एक ऐसे विषय पर वापस आ रहे हैं जिस पर उन्होंने पहली बार 2024 में रिलीज में ब्लेसिंग या शाप? जनरेटिव एआई पर फेक न्यूज के प्रभाव पर एक सर्वेक्षण के रूप में देखा था। खुद निष्कर्ष एक बड़े परियोजना से नए जारी परिणाम हैं जो पहली बार जनवरी में घोषित किए गए थे, और लेखकों के自己的 जजजीपीटी ऑनलाइन भागीदारी फ्रेमवर्क का उपयोग करते हैं।

फेदरवेट पावर

शीर्षक क्या मनुष्य बता सकते हैं? एलएलएम-जेनरेटेड न्यूज की मानव धारणा का एक द्वि-अक्ष अध्ययन के साथ, और फ्रैंकफर्ट यूनिवर्सिटी ऑफ एप्लाइड साइंसेज और नांतेस में आईआरआईएसए रिसर्च यूनिट के तीन शोधकर्ताओं के बीच, इस नई अध्ययन की विधि ‘फेक न्यूज’ और ‘एआई-लिखित न्यूज’ के बीच एक महत्वपूर्ण अंतर करती है (क्योंकि फेक न्यूज लोगों द्वारा या एआई द्वारा लिखी जा सकती है, और दो पहलू आवश्यक रूप से समानार्थी नहीं हैं)।

हालांकि, शायद सबसे दिलचस्प पहलू यह है कि पत्र का निष्कर्ष है कि छोटे मॉडल जिनमें मिस्ट्रल 7बी और जेमा 7बी शामिल हैं, केवल सात अरब पैरामीटर के साथ, 200 अरब पैरामीटर वाले चैटजीपीटी मॉडल (4ओ) के साथ गर्व से खड़े हो सकते हैं:

‘ओपन-वेट मॉडल जिनमें केवल 7बी पैरामीटर होते हैं, जीपीटी-4ओ के आउटपुट से अलग नहीं हैं, यह दर्शाता है कि मानव-अभेद्य पाठ उत्पन्न करने की क्षमता अब केवल फ्रंटियर मॉडल तक सीमित नहीं है।’

हालांकि, ‘एआई-जेनरेटेड न्यूज’ कई प्रकार के मानव/एआई सहयोग का प्रतिनिधित्व कर सकता है, स्पेल-चेकिंग से लेकर पूर्ण, करियर-समाप्ति प्रयास तक, और अध्ययन यह स्पष्ट नहीं करता है कि परीक्षणों के लिए किस प्रकार का एआई सामग्री उत्पन्न की गई थी (हालांकि यह उत्पन्न करने की विधि को रेखांकित करता है – नीचे देखें)।

विधि

जजजीपीटी प्लेटफॉर्म के साथ जुड़े प्रतिभागियों के लिए, प्रत्येक समाचार खंड का मूल्यांकन एक द्वि-अक्ष फ्रेमवर्क में किया गया था जिसमें उन्होंने तीन स्वतंत्र रेटिंग दीं थीं जो 0-100 स्लाइडर्स पर थीं:

जजजीपीटी पोर्टल जीयूआई, जहां रेटर सामग्री का मूल्यांकन स्रोत विशेषता, प्रामाणिकता और विषय परिचितता पर करते हैं। स्रोत पत्र के लिए बेहतर रिज़ॉल्यूशन के लिए कृपया संदर्भ लें।

स्रोत निर्णय ने यह पकड़ा कि क्या एक पारग्रह मशीन-लिखित या मानव-लिखित लगता था; प्रामाणिकता निर्णय, यह कि क्या यह वास्तविक या नकली के रूप में माना जाता था; और विषय परिचितता, यह कि पाठक विषय से कितनी अच्छी तरह परिचित था।

निरंतर स्केल का उपयोग एक लिकर्ट स्केल के बजाय किया गया था, ताकि निश्चितता की डिग्री को अधिक सटीक रूप से पकड़ा जा सके, और सांख्यिकीय विश्लेषण, जिसमें पियरसन संबंध और क्लस्टरिंग शामिल हैं।

मशीन-जेनरेटेड टेक्स्ट फ्रैगमेंट लेखकों के अपने रोगजीपीटी फ्रेमवर्क द्वारा उत्पन्न किए गए थे, जो जजजीपीटी के लिए फीडर आर्किटेक्चर है। रोगजीपीटी छह बड़े भाषा मॉडल (एलएलएम) के योगदान को समन्वयित करता है: चैटजीपीटी-4; चैटजीपीटी-3.5; चैटजीपीटी-4ओ; एलएलएमए-2 13बी; जेमा 7बी; और मिस्ट्रल 7बी।

व्यक्ति-आधारित प्रॉम्प्टिंग का उपयोग टेक्स्ट उत्पन्न करने के लिए किया गया था, और एआई पीढ़ियों को वास्तविक समाचार विषयों में आधारित किया गया था, और मानव द्वारा तथ्य-जांच की गई थी।

इसके विपरीत, मानव-लिखित खंड ‘स्थापित समाचार आउटलेट’ और अस्पष्ट ‘जानकारी डेटाबेस’ से नमूने लिए गए थे।

लेखकों का निरीक्षण है:

‘प्रेरणा सेट जानबूझकर मशीन-मूल खंडों (∼98%) की ओर झुका हुआ है, मानव-मूल आइटम कैलिब्रेशन एंकर के रूप में कार्य करता है। ‘

‘यह डिज़ाइन विकल्प अध्ययन के फोकस को एआई के भीतर भिन्नता (मॉडल के माध्यम से) की तुलना में मानव-एआई तुलना पर प्रतिबिंबित करता है; प्रतिभागियों को आधार दर के बारे में सूचित नहीं किया जाता है, और लगभग-मौका पता लगाने [परिणाम] मानव-मूल उपसेट पर अकेले विश्लेषण किए जाने पर भी बने रहते हैं। ‘

प्रतिभागियों ने पहले सूचित सहमति दी और एक जनसांख्यिकीय प्रश्नावली पूरी की जिसमें आयु, शिक्षा, राजनीतिक अभिविन्यास और एआई के साथ परिचितता शामिल थी, जिसके बाद उन्होंने समाचार खंडों का मूल्यांकन किया।

प्रत्येक व्यक्ति ने 5-87 आइटम की समीक्षा की, जिसमें 12 का मध्य मान था, जबकि प्रस्तुति क्रम यादृच्छिक था, और मॉडल असाइनमेंट प्रतिभागियों के माध्यम से संतुलित था, ताकि पूर्वाग्रह को कम किया जा सके। प्लेटफ़ॉर्म ने प्रतिक्रिया समय और एक गुमनाम पहचानकर्ता के साथ तीन स्लाइडर रेटिंग रिकॉर्ड की, जिससे व्यक्तिगत निर्णयों को पृष्ठभूमि कारकों से जोड़ा जा सके।

लेखक इस बात पर जोर देते हैं कि नमूना शिक्षित यूरोपीय प्रतिभागियों की ओर झुका हुआ है, जिनमें 68% विश्वविद्यालय से स्नातक हैं, और 74% यूरोप में स्थित हैं – एक पूर्वाग्रह जिसे पत्र एक व्यापक सामान्यीकरण के लिए एक सीमा के रूप में उद्धृत करता है।

परीक्षण

परीक्षण पांच प्रकार के निष्कर्षों में विभाजित हैं: मशीन-जेनरेटेड टेक्स्ट को मानव-लिखित टेक्स्ट से अलग करना; विभिन्न एलएलएम के माध्यम से पता लगाने की तुलना करना; डोमेन विशेषज्ञता के प्रभाव के बजाय राजनीतिक अभिविन्यास पर सटीकता का प्रभाव जांचना; प्रतिभागियों में विशिष्ट प्रतिक्रिया रणनीतियों की पहचान करना; और बार-बार मूल्यांकन पर सटीकता में बदलाव को ट्रैक करना, थकान के कारण:

1,054 प्रतिभागियों के माध्यम से 2,318 निर्णयों के पांच मूल निष्कर्षों का सारांश, जो दिखाता है कि मानव पता लगाने एआई-लिखित पाठ को सभी मॉडलों में मौका स्तर पर बना रहा, सटीकता डोमेन विशेषज्ञता से जुड़ी थी, प्रतिभागियों ने विशिष्ट विश्वास प्रोफाइल में क्लस्टर किया, और प्रदर्शन में गिरावट आई थकान के कारण।

परीक्षण में यह दिखाया गया कि स्रोत स्कोर के बीच कोई महत्वपूर्ण अंतर नहीं था, जो यह दर्शाता है कि प्रतिभागी एआई-उत्पन्न पाठ को मानव आउटपुट से अलग नहीं कर सकते हैं:

मशीन- और मानव-मूल खंडों के लिए स्रोत और प्रामाणिकता स्कोर वितरण में काफी ओवरलैप है, दोनों स्थितियों के बीच कोई अर्थपूर्ण अलगाव नहीं है, और सांख्यिकीय परीक्षण – जो दर्शाता है कि प्रतिभागी एआई-उत्पन्न पाठ को मानव-लिखित सामग्री से विश्वसनीय रूप से अलग नहीं कर सकते हैं।

दूसरे पहलू के लिए, जैसा कि लेख की शुरुआत में ग्राफ में दिखाया गया है, पता लगाने की विफलता मॉडल के साथ भिन्न नहीं थी, क्योंकि सभी एलएलएम के आउटपुट मौका स्तर के निर्णयों के आसपास क्लस्टर किए गए थे, जिसमें कोई महत्वपूर्ण अंतर नहीं था। यहां तक कि छोटे ओपन-वेट सिस्टम जैसे मिस्ट्रल 7बी और जेमा 7बी को जीपीटी-4ओ की तुलना में दर्जा दिया गया था, यह दर्शाता है कि मानव-अभेद्य पाठ अब सबसे बड़े मॉडल तक सीमित नहीं हो सकता है।

तीसरे पहलू के लिए, सटीकता डोमेन विशेषज्ञता से अधिक जुड़ी हुई थी niż राजनीतिक अभिविन्यास, क्योंकि नकली समाचार से परिचितता बेहतर निर्णयों से जुड़ी थी, जबकि राजनीतिक दृष्टिकोण ने कोई अर्थपूर्ण प्रभाव नहीं दिखाया, यह सुझाव देते हुए कि सीखी गई विश्लेषणात्मक कौशल विचारधारा से अधिक महत्वपूर्ण हो सकते हैं:

तीसरी जांच रेखा से संबंधित परिणाम दिखाते हैं कि राजनीतिक अभिविन्यास ने स्रोत विशेषता या प्रामाणिकता स्कोरिंग पर कोई अर्थपूर्ण प्रभाव नहीं दिखाया, जबकि नकली समाचार के साथ स्व-सूचित परिचितता दोनों अक्षों पर सटीकता में वृद्धि के साथ जुड़ी हुई थी। यह दर्शाता है कि अनुभव-आधारित विश्लेषणात्मक कौशल विचारधारा की स्थिति से अधिक मजबूत भविष्यवाणी था। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पत्र देखें।

चौथा निष्कर्ष दिखाया गया कि प्रतिभागियों ने दो विशिष्ट प्रतिक्रिया शैलियों में क्लस्टर किया, जिन्हें ‘सkeptics’ – जो सामग्री की उत्पत्ति की परवाह किए बिना निम्न विश्वास देते हैं – और ‘विश्वासी’ – जो एक उच्च आधारभूत विश्वास बनाए रखते हैं।

अंत में, पांचवें उद्देश्य के संबंध में, एक रोलिंग विश्लेषण ने दिखाया कि प्रतिभागी शुरू में कार्य में बेहतर हो गए, जैसा कि पहले 15-20 मूल्यांकन के दौरान सटीकता में सुधार हुआ क्योंकि वे प्रारूप के अनुकूल हो गए:

स्रोत विशेषता और प्रामाणिकता स्कोर के रोलिंग औसत प्रतिभागी मूल्यांकन के क्रम में दिखाते हैं कि एक छोटा प्रारंभिक सुधार चरण है, जैसा कि उपयोगकर्ता पहले 15–20 आइटम के दौरान कार्य के अनुकूल होते हैं, उसके बाद दोनों उपायों में लगभग 30 मूल्यांकन के बाद एक स्थिर गिरावट – एक पैटर्न जिसे अध्ययन में संज्ञानात्मक थकान के रूप में व्याख्या की जाती है।

हालांकि, यह प्रभाव अल्पकालिक था, क्योंकि लगभग 30 आइटम के बाद प्रदर्शन में गिरावट शुरू हो गई, जैसा कि प्रतिभागियों ने नकली के रूप में सामग्री को लेबल करने के लिए डिफ़ॉल्ट करना शुरू किया – एक बदलाव जिसे संज्ञानात्मक थकान के रूप में व्याख्या की जाती है, और यह सुझाव देते हुए कि पता लगाने पर आधारित दृष्टिकोण कितनी देर तक प्रभावी रह सकते हैं, व्यवहार में।

यह कुछ अनुभवजन्य प्रमाण हो सकता है कि हम नकली समाचार और वास्तविक समाचार, एआई समाचार और मानव-लिखित समाचार के बीच अंतर करने की संभावना से थके हुए हैं, तो हम ‘सुरक्षित’ रहने के लिए नकली और/या एआई के रूप में समाचार मान लेते हैं। जो लोग इसे ‘आलसी’ मानते हैं और सोचते हैं कि लोगों को अपनी खुद की जांच करनी चाहिए और एक संभावित नकली समाचार कहानी की पुष्टि करनी चाहिए, यह जानने में रुचि रख सकते हैं कि एक 2024 के अध्ययन से पाता है कि यह समस्या को और भी बदतर बना देता है।

लेखक सुझाव देते हैं कि परिणामों में मानव निर्णय की विफलता यह दर्शाती है कि हमें ऐसे मामलों को क्रिप्टोग्राफिक प्रोवेनेंस प्रौद्योगिकियों जैसे एडोबी के नेतृत्व वाले सी2पीए पहल को सौंप सकते हैं। अन्य संभावित समाधानों में लेखकों के अपने ओरिजिनलेंस फ्रेमवर्क और एक अन्य लेखक-सहभागिता परियोजना शामिल है जिसे सीआरईडी-1 कहा जाता है।

लेखक निष्कर्ष निकालते हैं:

‘क्या मनुष्य बता सकते हैं? हमारे द्वि-अक्ष अध्ययन 2,318 निर्णयों के माध्यम से 6 एलएलएम परिवारों को एक स्पष्ट अनुभवजन्य उत्तर प्रदान करता है: वे नहीं कर सकते। ‘

‘मशीन-जेनरेटेड टेक्स्ट मानव लेखन से अलग नहीं है, मॉडल के आकार या परिवार की परवाह किए बिना, डोमेन विशेषज्ञता पता लगाने की सटीकता की तुलना में अधिक मजबूत भविष्यवाणी करती है, प्रतिभागी विशिष्ट विश्वास रणनीतियों को अपनाते हैं, और संज्ञानात्मक थकान स्थायी पता लगाने को सीमित करती है। ‘

‘इन निष्कर्षों का समर्थन उपयोगकर्ता-स्तर के पता लगाने से प्रणाली-स्तर के प्रति-उपायों की ओर स्थानांतरण के लिए किया जाता है, जिसमें सामग्री प्रोवेनेंस, अनुकूली विश्वास संकेतक और सीमित टीकाकरण हस्तक्षेप शामिल हैं। ‘

निष्कर्ष

इस पत्र का चिंताजनक पहलू यह है कि लेखकों द्वारा उत्पन्न या अन्य कार्यों में हाथ द्वारा परियोजनाओं और पत्रों का समर्थन नेटवर्क है; और यह निश्चित रूप से रोशनी देने वाला होगा यदि हम उन नमूनों का अध्ययन कर सकते थे जिन्होंने एआई और मानव-उत्पन्न पाठ का उत्पादन किया जो इन परिणामों को उत्पन्न करते हैं, ताकि हम उस प्रकार के आउटपुट को बेहतर ढंग से समझ सकें जो वर्णित पीढ़ी विधि का उत्पादन करता है।

फिर भी, यह दिलचस्प है कि खुले-वजन, खुले स्रोत मॉडल चैटजीपीटी श्रृंखला जैसे एपीआई-चालित दिग्गजों की तुलना कर सकते हैं – क्या यह कार्य वास्तव में इतना कठिन नहीं है, और 200-बिलियन पैरामीटर मॉडल इस तरह के कार्यों के लिए अधिक है? हमें इस प्रश्न का उत्तर देने के लिए हमें एआई और मानव-लिखित स्रोत नमूनों के बारे में थोड़ा और जानने की आवश्यकता होगी।

इस बीच, कैनिरन.एआई वेबसाइट के अनुसार, मिस्ट्रल 7बी (जो परीक्षणों में चैटजीपीटी -4ओ के साथ लगभग बराबर था) ‘चलता है’ एक एनवीडिया आरटीएक्स 3080 के साथ 16GB के वीआरएएम के साथ, और ‘डीसेंट’ 6GB के वीआरएएम के साथ एक 3060 पर चलता है – खेल में नवीनतम या सबसे बड़े ग्राफिक्स कार्ड नहीं हैं*. इसलिए, जो कोई भी अपने स्वयं के नमूना जमा करने के तरीके को तैयार करना चाहता है, वे इन प्रयोगों में भी भाग ले सकते हैं।

* जेमा 7बी साइट पर सूचीबद्ध नहीं है।

पहली बार गुरुवार, 9 अप्रैल, 2026 को प्रकाशित