क्या एआई न्यूज़ में छिपे हुए एजेंडे के बारे में हमें कुछ बता सकता है

चैटजीपीटी-शैली के मॉडल्स को यह पता लगाने के लिए प्रशिक्षित किया जा रहा है कि एक समाचार लेख वास्तव में किसी मुद्दे के बारे में क्या सोचता है – यहां तक कि जब यह रुख छिपा होता है या (कभी-कभी दुर्भावनापूर्ण) ‘तटस्थता’ के नीचे। लेखों को हेडलाइंस, लीड, उद्धरणों और अन्य खंडों जैसे खंडों में तोड़कर, एक नया सिस्टम पूर्वाग्रह को भी पहचानना सीखता है, यहां तक कि लंबे-चौड़े पेशेवर पत्रकारिता में भी।

लेखक या वक्ता के वास्तविक दृष्टिकोण को समझने की क्षमता – जिसे साहित्य में रुख का पता लगाना के रूप में जाना जाता है – भाषा में व्याख्या करने की सबसे कठिन समस्याओं में से एक को संबोधित करता है: सामग्री से इरादा निकालना जो इसे छिपाने या अस्पष्ट करने के लिए डिज़ाइन की गई हो।

जोनाथन स्विफ्ट के एक मामूली प्रस्ताव से लेकर हाल के राजनीतिक अभिनेताओं के प्रदर्शन तक विरोधी विचारधारा के ध्रुवीकरण का उपयोग करते हुए, एक बयान की सतह अब इसके इरादे का एक विश्वसनीय संकेतक नहीं है; व्यंग्य, ट्रोलिंग, भ्रामक जानकारी और रणनीतिक अस्पष्टता के उदय ने यह जानना मुश्किल बना दिया है कि वास्तव में एक पाठ किस पक्ष पर खड़ा है या क्या यह खड़ा होता है।

अक्सर, जो कुछ नहीं कहा जाता है वह उतना ही महत्व रखता है जितना कि जो कहा जाता है, और किसी विषय को कवर करने का निर्णय लेना ही लेखक की स्थिति का संकेत दे सकता है।

यह स्वचालित रुख का पता लगाने के काम को असामान्य रूप से चुनौतीपूर्ण बनाता है, क्योंकि एक प्रभावी पता लगाने वाली प्रणाली को केवल अलग-अलग वाक्यों को ‘समर्थन’ या ‘विरोध’ के रूप में टैग करने से अधिक करने की आवश्यकता है: इसके बजाय यह पूरे लेख के आकार और प्रवाह के खिलाफ छोटे संकेतों को तौलने के लिए अर्थ की परतों के माध्यम से पुनरावृत्ति करने की आवश्यकता है; और यह लंबी-चौड़ी पत्रकारिता में, जहां स्वर बदल सकता है और जहां राय शायद ही कभी स्पष्ट रूप से व्यक्त की जाती है, यह और भी कठिन है।

परिवर्तन के एजेंट

इनमें से कुछ मुद्दों को संबोधित करने के लिए, दक्षिण कोरिया के शोधकर्ताओं ने लंबे-चौड़े समाचार लेखों के रुख का पता लगाने के लिए एक नया सिस्टम विकसित किया है जिसे जोए-आईसीएल (पत्रकारिता-निर्देशित एजेंटिक इन-कॉन्टेक्स्ट लर्निंग) कहा जाता है।

जोए-आईसीएल के पीछे का मूल विचार यह है कि लेख-स्तरीय रुख को खंड-स्तरीय भविष्यवाणियों को एकत्रित करके अनुमानित किया जाता है जो एक अलग भाषा मॉडल एजेंट द्वारा उत्पादित किया जाता है। स्रोत: https://arxiv.org/pdf/2507.11049

इसके बजाय एक लेख को एक पूरे के रूप में आंकने के, जोए-आईसीएल इसे संरचनात्मक भागों (शीर्षक, लीड, उद्धरण और निष्कर्ष) में तोड़ता है और प्रत्येक को एक छोटे मॉडल को सौंपता है जो खंड को समर्थन, विरोध, या तटस्थ के रूप में लेबल करता है। ये स्थानीय भविष्यवाणियों को एक बड़े मॉडल में पारित किया जाता है जो लेख के समग्र रुख का निर्धारण करने के लिए उनका उपयोग करता है।

इस विधि का परीक्षण एक नए संकलित कोरियाई डेटासेट पर किया गया था जिसमें 2,000 समाचार लेख शामिल थे जो लेख-स्तरीय और खंड-स्तरीय रुख दोनों के लिए एनोटेट किए गए थे। प्रत्येक लेख को एक पत्रकारिता विशेषज्ञ के इनपुट के साथ लेबल किया गया था, जो पेशेवर समाचार लेखन की संरचना में रुख के वितरण को दर्शाता था।

लेख के अनुसार, जोए-आईसीएल ने प्रॉम्प्टिंग-आधारित और फाइन-ट्यून्ड बेसलाइन दोनों को बेहतर प्रदर्शन किया, विशेष रूप से समर्थनकारी रुखों का पता लगाने में ताकत का प्रदर्शन किया, जो समान दायरे वाले मॉडलों में एक सामान्य कमजोरी है। यह विधि तब भी प्रभावी साबित हुई जब इसे एक जर्मन डेटासेट पर लागू किया गया, जो यह दर्शाता है कि इसके सिद्धांत संभावित रूप से भाषा रूपों के लिए लचीले हैं।

लेखकों का कहना है:

‘प्रयोगों से पता चलता है कि जोए-आईसीएल मौजूदा रुख का पता लगाने वाली विधियों से बेहतर प्रदर्शन करता है, खंड-स्तरीय एजेंसी के लाभों को रेखांकित करता है जो लंबे-चौड़े समाचार लेखों की समग्र स्थिति को पकड़ने में मदद करता है।’

नया लेख पत्रकारिता-निर्देशित एजेंटिक इन-कॉन्टेक्स्ट लर्निंग फॉर न्यूज़ स्टैंस डिटेक्शन शीर्षक से है, और सियोल के सूंगसिल विश्वविद्यालय के विभिन्न संकायों से है, साथ ही केएआईएसटी के ग्रेजुएट स्कूल ऑफ फ्यूचर स्ट्रैटजी से भी।

विधि

एआई-संवर्धित रुख का पता लगाने की चुनौती का एक हिस्सा लॉजिस्टिक है, और यह मशीन लर्निंग सिस्टम द्वारा एक समय में कितना संकेत बरकरार रखा जा सकता है और एकत्र किया जा सकता है, इसके साथ जुड़ा हुआ है

समाचार लेख अक्सर सीधे राय के बयान से बचते हैं, और इसके बजाय एक अनुमानित या माना जाता रुख पर निर्भर करते हैं, जो स्रोतों का चयन, शब्दार्थी फ्रेमिंग, और उद्धरण के पैटर्न जैसे विभिन्न विचारों के माध्यम से संकेत दिया जाता है।

यहां तक कि जब एक लेख स्पष्ट रूप से खड़ा होता है, तो संकेत अक्सर पूरे पाठ में बिखरा होता है, जिसमें विभिन्न खंड विभिन्न दिशाओं में इशारा करते हैं। चूंकि भाषा मॉडल (एलएम) अभी भी सीमित संदर्भ खिड़कियों से जूझते हैं, यह मॉडल के लिए रुख का आकलन करना मुश्किल बना देता है जैसा कि वे छोटे सामग्री (जैसे ट्वीट और अन्य छोटे सामाजिक मीडिया) के साथ करते हैं, जहां पाठ और लक्ष्य के बीच संबंध अधिक स्पष्ट होता है।

इसलिए, मानक दृष्टिकोण अक्सर लंबे-चौड़े पत्रकारिता में कम पड़ जाते हैं; एक मामले में जहां अस्पष्टता एक विशेषता है, न कि दोष।

लेख में कहा गया है:

‘इन चुनौतियों का सामना करने के लिए, हम एक पदानुक्रमित मॉडलिंग दृष्टिकोण का प्रस्ताव करते हैं जो पहले छोटे वार्ता इकाइयों (जैसे अनुच्छेद या अनुभाग) के स्तर पर रुख का अनुमान लगाता है, और फिर इन स्थानीय भविष्यवाणियों को एकत्रित करता है ताकि लेख के समग्र रुख का निर्धारण किया जा सके। ‘

‘यह फ्रेमवर्क स्थानीय संदर्भ को बनाए रखने और विभिन्न पाठ खंडों द्वारा वितरित रुख संकेतों को पकड़ने के लिए डिज़ाइन किया गया है, जो लेख की समग्र स्थिति में योगदान का मूल्यांकन करता है।’

इस उद्देश्य के लिए, लेखकों ने के-न्यूज़-स्टैंस नामक एक नई डेटासेट तैयार की, जो जून 2022 और जून 2024 के बीच कोरियाई समाचार कवरेज से डेटा लेती है। लेखों की पहली पहचान बिगकिंड्स के माध्यम से की गई थी, जो कोरिया प्रेस फाउंडेशन द्वारा संचालित एक सरकार समर्थित मेटाडेटा सेवा है, और पूर्ण पाठ नेवर न्यूज़ एग्रीगेटर एपीआई का उपयोग करके पुनर्प्राप्त किए गए थे। अंतिम डेटासेट में 31 आउटलेट्स से 2,000 लेख शामिल थे, जो 47 राष्ट्रीय रूप से प्रासंगिक मुद्दों को कवर करते थे।

प्रत्येक लेख को दो बार एनोटेट किया गया था: एक बार दिए गए मुद्दे के प्रति इसके समग्र रुख के लिए, और फिर व्यक्तिगत खंडों के लिए; विशेष रूप से, शीर्षक, लीड, निष्कर्ष, और प्रत्यक्ष उद्धरण।

एनोटेशन का नेतृत्व पत्रकारिता विशेषज्ञ जियोंग यंग हान ने किया था, जो लेख के तीसरे लेखक भी हैं, जिन्होंने मीडिया अध्ययन से स्थापित संकेतों का उपयोग करके प्रक्रिया का मार्गदर्शन किया, जैसे कि स्रोत चयन, शब्दार्थी फ्रेमिंग, और उद्धरण के पैटर्न। इन साधनों से कुल 19,650 खंड-स्तरीय रुख लेबल प्राप्त किए गए।

यह सुनिश्चित करने के लिए कि लेखों में अर्थपूर्ण दृष्टिकोण संकेत थे, प्रत्येक को पहले शैली द्वारा वर्गीकृत किया गया था, और केवल विश्लेषण या राय (जहां विषयगत फ्रेमिंग अधिक संभावना है) के रूप में लेबल किए गए लोगों का उपयोग रुख एनोटेशन के लिए किया गया था।

दो प्रशिक्षित एनोटेटर्स ने सभी लेखों को लेबल किया, और उन्हें निर्देश दिया गया कि यदि रुख अस्पष्ट था तो संबंधित लेखों की सलाह लें, असहमति के माध्यम से चर्चा और अतिरिक्त समीक्षा के माध्यम से हल किया गया।

के-न्यूज़-स्टैंस डेटासेट से नमूना प्रविष्टियां, अंग्रेजी में अनुवादित। केवल शीर्षक, लीड और उद्धरण दिखाए गए हैं; पूरा मुख्य पाठ छोड़ दिया गया है। हाइलाइटिंग उद्धरणों के लिए रुख लेबल को इंगित करता है, जिसमें समर्थनकारी के लिए नीला और विरोधी के लिए लाल है। संदर्भित स्रोत पीडीएफ के लिए स्पष्ट प्रतिनिधित्व के लिए कृपया संदर्भ लें।[/em>

जोए-आईसीएल

एक लेख को एक पूरे के रूप में मानने के बजाय, लेखकों की प्रस्तावित प्रणाली इसे मुख्य संरचनात्मक भागों में विभाजित करती है: शीर्षक, लीड, उद्धरण, और निष्कर्ष, और प्रत्येक को एक भाषा मॉडल एजेंट को सौंपती है जो खंड को समर्थन, विरोध, या तटस्थ के रूप में लेबल करता है।

इन स्थानीय भविष्यवाणियों को एक दूसरे एजेंट को पारित किया जाता है जो लेख के समग्र रुख का निर्धारण करता है, जिसमें दो एजेंटों को एक नियंत्रक द्वारा समन्वित किया जाता है जो प्रॉम्प्ट तैयार करता है और परिणामों को इकट्ठा करता है।

इस प्रकार जोए-आईसीएल संदर्भ-भीतर सीखने (जहां मॉडल प्रॉम्प्ट में उदाहरणों से सीखता है) को पत्रकारिता के तरीके से अनुकूल बनाता है, खंड-जागरूक प्रॉम्प्ट का उपयोग करके एकल जेनेरिक इनपुट के बजाय।

(कृपया ध्यान दें कि लेख में अधिकांश उदाहरण और चित्र लंबे और ऑनलाइन लेख में स्पष्ट रूप से पुनरुत्पादित करने में कठिन हैं। इसलिए, हम पाठक से अनुरोध करते हैं कि वह मूल स्रोत पीडीएफ की जांच करें)

डेटा और परीक्षण

परीक्षणों में, शोधकर्ताओं ने मैक्रो एफ1 और सटीकता का उपयोग प्रदर्शन का मूल्यांकन करने के लिए किया, 42 से 51 तक के यादृच्छिक बीज के साथ दस रन के परिणामों को औसत करते हुए और मानक त्रुटि की रिपोर्ट करते हुए। प्रशिक्षण डेटा का उपयोग बेसलाइन मॉडल और खंड-स्तरीय एजेंटों को फाइन-ट्यून करने के लिए किया गया था, कुछ शॉट नमूनों का चयन समानता खोज के माध्यम से केएलयू-रॉबर्टा-लार्ज का उपयोग करके किया गया था।

परीक्षण तीन आरटीएक्स ए6000 जीपीयू (प्रत्येक में 48GB का वीआरएएम) पर चलाए गए, पाइथन 3.9.19, पीटोर्च 2.5.1, ट्रांसफॉर्मर 4.52.0, और वीएलएलएम 0.8.5 का उपयोग करते हुए।

जीपीटी-4ओ-मिनी, क्लॉड 3 हाइकु, और जेमिनी 2 फ्लैश का उपयोग एपीआई के माध्यम से किया गया था, 1.0 के तापमान पर और श्रृंखला के विचार प्रॉम्प्ट के लिए 1000 टोकन तक सीमित था, और अन्य के लिए 100।

पूर्ण फाइन-ट्यूनिंग के लिए एक्सोन-3.5-2.4बी, एडमडब्ल्यू ऑप्टिमाइज़र का उपयोग 5ई-5 लर्निंग रेट पर किया गया था, 0.01 वजन क्षय के साथ, 100 वार्मअप चरण, और 10 प्रशिक्षण युग के लिए डेटा को 6 के बैच आकार पर प्रशिक्षित किया गया था।

बेसलाइन के लिए, लेखकों ने रॉबर्टा का उपयोग किया, जो लेख-स्तरीय रुख का पता लगाने के लिए फाइन-ट्यून किया गया था; चेन ऑफ थॉट (सीओटी) एम्बेडिंग, रॉबर्टा का एक वैकल्पिक ट्यूनिंग जो कार्य के लिए निर्दिष्ट था; एलकेआई-बार्ट, एक एनकोडर-डिकोडर मॉडल जो एक बड़े भाषा मॉडल से संदर्भ ज्ञान जोड़ता है जिसे इनपुट पाठ और इरादा रुख लेबल दोनों के साथ प्रॉम्प्ट किया जाता है; और पीटी-एचसीएल, एक विधि जो लक्ष्य मुद्दे के लिए विशिष्ट विशेषताओं से सामान्य विशेषताओं को अलग करने के लिए विरोधी सीखने का उपयोग करती है:

प्रत्येक मॉडल का के-न्यूज़-स्टैंस टेस्ट सेट पर समग्र रुख के लिए प्रदर्शन। परिणाम मैक्रो एफ1 और सटीकता के रूप में दिखाए गए हैं, प्रत्येक समूह में शीर्ष स्कोर को बोल्ड में दिखाया गया है।[/em>

जोए-आईसीएल ने दोनों सटीकता और मैक्रो एफ1 में समग्र सर्वश्रेष्ठ प्रदर्शन हासिल किया, जो तीन मॉडल बैकबोन पर परीक्षण किए गए थे: जीपीटी-4ओ-मिनी, क्लॉड 3 हाइकु, और जेमिनी 2 फ्लैश।

खंड-आधारित विधि ने सभी अन्य दृष्टिकोणों से बेहतर प्रदर्शन किया, लेखकों का निरीक्षण करते हुए, एक उल्लेखनीय बढ़त के साथ समर्थनकारी रुखों का पता लगाने में एक सामान्य कमजोरी है।

बेसलाइन मॉडल ने समग्र रूप से खराब प्रदर्शन किया। रॉबर्टा और चेन ऑफ थॉट वेरिएंट ने सूक्ष्म मामलों से जूझते हुए संघर्ष किया, जबकि पीटी-एचसीएल और एलकेआई-बार्ट ने बेहतर प्रदर्शन किया, फिर भी जोए-आईसीएल से पीछे रह गए। जोए-आईसीएल (क्लॉड) से सबसे सटीक एकल परिणाम आया, जिसमें 64.8% मैक्रो एफ1 और 66.1% सटीकता थी।

नीचे दी गई छवि दिखाती है कि मॉडल कितनी बार प्रत्येक लेबल को सही या गलत तरीके से पहचानते हैं:

बेसलाइन और जोए-आईसीएल की तुलना करने वाले भ्रम मैट्रिक्स, जो दिखाते हैं कि दोनों विधियां समर्थनकारी रुखों का पता लगाने में सबसे ज्यादा संघर्ष करती हैं।[/em>

जोए-आईसीएल ने समग्र रूप से बेहतर प्रदर्शन किया, प्रत्येक श्रेणी में अधिक लेबल सही तरीके से पहचाने। हालांकि, दोनों मॉडल समर्थनकारी लेखों के साथ सबसे ज्यादा संघर्ष करते हैं, और बेसलाइन ने लगभग आधे को गलत तरीके से तटस्थ के रूप में पहचाना।

जोए-आईसीएल ने कम गलतियां कीं, लेकिन उसी पैटर्न को दिखाया, जो यह पुष्टि करता है कि ‘सकारात्मक’ रुख मॉडल के लिए सबसे कठिन हैं।

यह जांचने के लिए कि जोए-आईसीएल कोरियाई भाषा की सीमाओं से परे काम करता है या नहीं, लेखकों ने इसे चीज़एस पर चलाया, जो लेख-स्तरीय रुख का पता लगाने के लिए एक जर्मन डेटासेट है। चूंकि चीज़एस में खंड-स्तरीय लेबल नहीं हैं, इसलिए शोधकर्ताओं ने दूरस्थ पर्यवेक्षण का उपयोग किया, जहां प्रत्येक खंड को पूरे लेख के समान रुख लेबल सौंपा गया था।

जेमिनी 2.0-फ्लैश के साथ जोए-आईसीएल के जर्मन-भाषा चीज़एस डेटासेट पर रुख का पता लगाने के परिणाम। जोए-आईसीएल ने शून्य-शॉट प्रॉम्प्टिंग और फाइन-ट्यून्ड बेसलाइन दोनों से बेहतर प्रदर्शन किया।[/em>

अस्पष्ट परिस्थितियों में, जोए-आईसीएल ने फाइन-ट्यून्ड मॉडल और शून्य-शॉट प्रॉम्प्टिंग दोनों से बेहतर प्रदर्शन किया। तीन मॉडल बैकबोन में से जेमिनी 2.0-फ्लैश ने सबसे मजबूत समग्र प्रदर्शन दिया।

निष्कर्ष

मशीन लर्निंग में कुछ कार्य रुख का पता लगाने जितना राजनीतिक रूप से चार्ज किया जाता है; फिर भी, यह अक्सर ठंडे, यांत्रिक शब्दों में संभाला जाता है, जबकि वीडियो और छवि निर्माण जैसे कम जटिल मुद्दों पर अधिक ध्यान दिया जाता है, जो उत्पन्न होने वाले व्यापक शोर का कारण बनते हैं।

नए कोरियाई कार्य में सबसे प्रोत्साहित करने वाला विकास यह है कि यह पूर्ण-लंबाई सामग्री के विश्लेषण में एक महत्वपूर्ण योगदान प्रदान करता है, न कि केवल ट्वीट और छोटे सामाजिक मीडिया के, जिनके प्रभाव जल्दी भूले जाते हैं जितना कि एक शोध पत्र, निबंध या कोई अन्य महत्वपूर्ण कार्य।

नए कार्य और (जितना मैं बता सकता हूं) रुख का पता लगाने वाले संग्रह में एक उल्लेखनीय छूट है हाइपरलिंक के लिए विचार की कमी, जो अक्सर पाठकों के लिए विषय के बारे में अधिक जानने के लिए वैकल्पिक संसाधन के रूप में उद्धरणों के लिए खड़े होते हैं; हालांकि, यह स्पष्ट होना चाहिए कि ऐसे यूआरएल के चयन में विषयगत और यहां तक कि राजनीतिक होने की क्षमता है।

यह कहा जा सकता है कि प्रकाशन जितना अधिक प्रतिष्ठित है, उतना ही कम संभावना है कि यह किसी भी लिंक को शामिल करेगा जो दर्शक को होस्ट डोमेन से दूर ले जाए; यह, साथ ही हाइपरलिंक के विभिन्न एसईओ उपयोग और दुरुपयोग, उन्हें स्पष्ट उद्धरण, शीर्षक, या लेख के अन्य भागों की तुलना में मात्रा में मापना अधिक कठिन बनाता है जो जानबूझकर या अनजाने में पाठक की राय को प्रभावित करने का प्रयास कर सकते हैं।

सबसे पहले बुधवार, 16 जुलाई, 2025 को प्रकाशित