मशीन लर्निंग के साथ प्रोपगैंडा का निर्माण और पहचान

संयुक्त राज्य अमेरिका और कतर से नए शोध में एक नए तरीके का पता लगाया गया है जो नकली समाचार की पहचान करने में मदद कर सकता है जो मानव द्वारा लिखे गए हैं – जिसमें असटीक बयानों को एक बड़े सच्चे संदर्भ में डाला जाता है और लोकप्रिय प्रोपगैंडा तकनीकों का उपयोग किया जाता है जैसे कि अधिकार के अपील और लोडेड भाषा।

इस परियोजना के परिणामस्वरूप एक नए नकली समाचार का पता लगाने के लिए एक प्रशिक्षण डेटासेट बनाया गया है जिसे प्रोपान्यूज कहा जाता है, जिसमें इन तकनीकों को शामिल किया गया है। अध्ययन के लेखकों ने पाया है कि नए डेटासेट पर प्रशिक्षित डिटेक्टर मानव-लिखित दुष्प्रचार का पता लगाने में 7.3-12% अधिक सटीक हैं niż पिछले राज्य-ऑफ-द-आर्ट दृष्टिकोण।

नए पेपर से, ‘अधिकार के अपील’ और ‘लोडेड भाषा’ के उदाहरण। स्रोत: https://arxiv.org/pdf/2203.05386.pdf

लेखकों का दावा है कि उनके ज्ञान के अनुसार, यह परियोजना पहली है जो प्रोपगैंडा तकनीकों (सीधे तथ्यात्मक अशुद्धि के बजाय) को मशीन-जनित पाठ उदाहरणों में शामिल करती है जो नकली समाचार डिटेक्टर को ईंधन देने के लिए हैं।

इस क्षेत्र में हाल के अधिकांश कार्य, वे तर्क देते हैं, पूर्वाग्रह का अध्ययन किया गया है, या ‘प्रोपगैंडा’ डेटा को पूर्वाग्रह के संदर्भ में पुनः फ्रेम किया गया है (संभवतः इसलिए कि पूर्वाग्रह एक अत्यधिक वित्तपोषित मशीन लर्निंग क्षेत्र बन गया है)।

लेखकों का कहना है:

‘इसके विपरीत, हमारा काम नकली समाचार का निर्माण प्रोपगैंडा तकनीकों को शामिल करके और अधिकांश सही जानकारी को संरक्षित करके करता है। इसलिए, हमारा दृष्टिकोण मानव-लिखित नकली समाचार के खिलाफ रक्षा का अध्ययन करने के लिए अधिक उपयुक्त है।’

वे आगे कहते हैं:

‘[मानव-लिखित] दुष्प्रचार, जो अक्सर कertain जनसंख्या को मैनिप्युलेट करने के लिए उपयोग किया जाता है, के कई घटनाओं पर विनाशकारी प्रभाव पड़ा, जैसे कि 2016 यूएस राष्ट्रपति चुनाव, ब्रेक्सिट, कोविड-19 महामारी, और हाल ही में रूस का यूक्रेन पर हमला। इसलिए, हमें मानव-लिखित दुष्प्रचार के खिलाफ एक रक्षा तंत्र की आवश्यकता है।’

यह पेपर फेकिंग फेक न्यूज फॉर रियल फेक न्यूज डिटेक्शन: प्रोपगैंडा-लोडेड ट्रेनिंग डेटा जेनरेशन नामक है, और यह पांच शोधकर्ताओं द्वारा तैयार किया गया है जो इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन, कोलम्बिया विश्वविद्यालय, हामद बिन खलीफा विश्वविद्यालय कतर, वाशिंगटन विश्वविद्यालय, और एलन इंस्टीट्यूट फॉर एआई में हैं।

असत्य की परिभाषा

प्रोपगैंडा को मापने की चुनौती मुख्य रूप से एक लॉजिस्टिक समस्या है: यह बहुत महंगा है कि मानवों को किराए पर लिया जाए जो वास्तविक दुनिया की सामग्री को प्रोपगैंडा-जैसी विशेषताओं के साथ पहचानें और एक प्रशिक्षण डेटासेट में शामिल करें, और संभावित रूप से यह अधिक सस्ता हो सकता है कि उच्च-स्तरीय विशेषताओं को निकाला जाए और उपयोग किया जाए जो ‘अदृश्य’, भविष्य के डेटा पर काम कर सकते हैं।

एक अधिक स्केलेबल समाधान की सेवा में, शोधकर्ताओं ने पहले मीडिया बायस फैक्ट चेक साइट के माध्यम से तथ्यात्मक रूप से कम सटीक समाचार स्रोतों से मानव-निर्मित दुष्प्रचार लेख एकत्र किए।

उन्होंने पाया कि 33% लेखों में दुर्भावनापूर्ण प्रोपगैंडा तकनीकों का उपयोग किया गया था, जिनमें भावना-ट्रिगरिंग शब्द, तार्किक भूल, और अधिकार के अपील शामिल थे। अतिरिक्त 55% लेखों में असटीक जानकारी शामिल थी जो सटीक जानकारी के साथ मिली हुई थी।

अधिकार के अपील का निर्माण

अधिकार के अपील दृष्टिकोण के दो उपयोग हैं: असटीक बयानों का उद्धरण, और पूरी तरह से काल्पनिक बयानों का उद्धरण। शोध दूसरे उपयोग पर केंद्रित है।

नए परियोजना से, प्राकृतिक भाषा अनुमान फ्रेमवर्क RoBERTa दो और उदाहरणों की पहचान करता है जो अधिकार के अपील और लोडेड भाषा का उपयोग करते हैं।

मशीन-जनित प्रोपगैंडा के लिए नए डेटासेट का निर्माण करने के उद्देश्य से, शोधकर्ताओं ने प्री-ट्रेन्ड सीक्वेंस-टू-सीक्वेंस आर्किटेक्चर बार्ट का उपयोग किया जो उन वाक्यों की पहचान कर सकता है जिन्हें बाद में प्रोपगैंडा में बदला जा सकता है। चूंकि इस कार्य से संबंधित कोई सार्वजनिक डेटासेट उपलब्ध नहीं था, लेखकों ने 2019 में प्रस्तावित एक एक्सट्रैक्टिव सारांश मॉडल का उपयोग किया ताकि वाक्य सaliency का अनुमान लगाया जा सके।

लोडेड भाषा का निर्माण

लोडेड भाषा में शब्द शामिल होते हैं, अक्सर संवेदनशील विशेषण और क्रिया विशेषण (जैसे ऊपर दिए गए उदाहरण में), जो एक तथ्य को प्रस्तुत करने के संदर्भ में अंतर्निहित मूल्य निर्णयों को शामिल करते हैं।

लोडेड भाषा के बारे में डेटा प्राप्त करने के लिए, लेखकों ने 2019 के एक अध्ययन से 2,547 लोडेड भाषा उदाहरणों का एक डेटासेट उपयोग किया। चूंकि 2019 के डेटा में सभी उदाहरणों में भावना-ट्रिगरिंग विशेषण या विशेषण शामिल नहीं थे, शोधकर्ताओं ने स्पेसी का उपयोग किया ताकि निर्भरता पार्सिंग और पार्ट ऑफ स्पीच (पीओएस) टैगिंग की जा सके, केवल उपयुक्त उदाहरणों को फ्रेमवर्क में शामिल करने के लिए।

प्रोपान्यूज डेटासेट

मध्यवर्ती मॉडल प्रशिक्षण के बाद, जो 2015 के सीएनएन/डीएम डेटासेट पर किया गया था, शोधकर्ताओं ने प्रोपान्यूज डेटासेट का निर्माण किया, जिसमें गैर-मामूली लेखों को ‘विश्वसनीय’ स्रोतों से ‘संशोधित’ संस्करणों में परिवर्तित किया गया था जिसमें क्राफ्टेड अल्गोरिदमिक प्रोपगैंडा शामिल था।

प्रयोग को 2013 के एक अध्ययन पर मॉडल किया गया था, जिसमें 17 समाचार घटनाओं और 4,535 कहानियों के लिए स्वचालित रूप से टाइमलाइन सारांश उत्पन्न किए गए थे।

उत्पन्न दुष्प्रचार को 400 अद्वितीय कार्यकर्ताओं को अमेज़न मैकेनिकल टर्क (एएमटी) पर प्रस्तुत किया गया था, जिसमें 2000 मानव बुद्धिमत्ता कार्य (हिट्स) शामिल थे। केवल उन प्रोपगैंडा-लोडेड लेखों को अंतिम संस्करण में शामिल किया गया था जिन्हें कार्यकर्ताओं द्वारा सटीक माना जाता था। असहमति पर निर्णय वर्कर एग्रीमेंट विद एग्रीगेट (वावा) विधि द्वारा किया गया था।

प्रोपान्यूज का अंतिम संस्करण 2,256 लेखों को शामिल करता है, जो नकली और वास्तविक आउटपुट के बीच संतुलित है, जिनमें से 30% अधिकार के अपील का उपयोग करते हैं, और 30% लोडेड भाषा का उपयोग करते हैं। शेष में असटीक जानकारी शामिल है जो इस शोध क्षेत्र में पिछले डेटासेट को आबाद करती है।

ह्यूमनन्यूज डेटासेट

प्रशिक्षित प्रोपगैंडा का पता लगाने वाले दृष्टिकोणों की प्रभावशीलता का मूल्यांकन करने के लिए, शोधकर्ताओं ने 200 मानव-लिखित समाचार लेखों का संकलन किया, जिनमें पॉलिटिफैक्ट द्वारा खंडित लेख शामिल थे और 2015-2020 के बीच प्रकाशित किए गए थे।

इस डेटा को अतिरिक्त खंडित लेखों के साथ बढ़ाया गया था जो अविश्वसनीय समाचार मीडिया आउटलेट्स से थे, और कंप्यूटर विज्ञान के एक स्नातक छात्र द्वारा तथ्य-जांच की गई थी।

अंतिम डेटासेट, जिसे ह्यूमनन्यूज कहा जाता है, में लॉस एंजिल्स टाइम्स से 100 लेख भी शामिल हैं।

परीक्षण

पता लगाने की प्रक्रिया को दो रूपों में पिछले फ्रेमवर्क के खिलाफ पिट किया गया था: पीएन-सिल्वर, जो एएमटी अन्नोटेटर सत्यापन को नजरअंदाज करता है, और पीएन-गोल्ड, जो सत्यापन को एक मानदंड के रूप में शामिल करता है।

प्रतिस्पर्धी फ्रेमवर्क में 2019 की पेशकश ग्रोवर-जेन शामिल थे, 2020 का फैक्ट-जेन, और फेकイベント, जिसमें पुराने तरीकों द्वारा उत्पन्न प्रलेखों के साथ पीएन-सिल्वर से लेख प्रतिस्थापित किए जाते हैं।

ग्रोवर और रॉबर्टा के संस्करण नए प्रोपान्यूज डेटासेट पर प्रशिक्षित होने पर सबसे प्रभावी साबित हुए, जिसमें शोधकर्ताओं ने निष्कर्ष निकाला कि ‘प्रोपान्यूज पर प्रशिक्षित डिटेक्टर मानव-लिखित दुष्प्रचार की पहचान करने में अन्य डेटासेट पर प्रशिक्षित डिटेक्टरों की तुलना में बेहतर प्रदर्शन करते हैं’।

शोधकर्ताओं का यह भी观察 है कि यहां तक कि अर्ध-विकृत अभिलाषा डेटासेट पीएन-सिल्वर पुराने तरीकों पर अन्य डेटासेट पर बेहतर प्रदर्शन करता है।

पुराना?

लेखक फिर से दोहराते हैं कि प्रोपगैंडा-केंद्रित नकली समाचार के स्वचालित निर्माण और पहचान के बारे में शोध की कमी, और चेतावनी देते हैं कि महत्वपूर्ण घटनाओं (जैसे कोविड, या पूर्वी यूरोप में वर्तमान स्थिति) से पहले डेटा पर प्रशिक्षित मॉडल की अपेक्षा नहीं की जा सकती है कि वे अनुकूल रूप से प्रदर्शन करेंगे:

‘लगभग 48% मानव-लिखित दुष्प्रचार के गलत वर्गीकरण नए समाचार स्रोतों से गतिशील ज्ञान प्राप्त करने में असमर्थता के कारण होते हैं। उदाहरण के लिए, कोविड से संबंधित लेख आमतौर पर 2020 के बाद प्रकाशित किए जाते हैं, जबकि रॉबर्टा को 2019 से पहले के समाचार लेखों पर पूर्व-प्रशिक्षित किया गया था। रॉबर्टा के लिए यह जानना बहुत मुश्किल है कि दुष्प्रचार का पता लगाएं जब तक कि डिटेक्टर को समाचार लेखों से गतिशील ज्ञान प्राप्त करने की क्षमता न हो।’

लेखक आगे कहते हैं कि रॉबर्टा 69.0% सटीकता के साथ 2019 से पहले प्रकाशित नकली समाचार लेखों का पता लगाने में सक्षम है, लेकिन 51.9% सटीकता तक गिर जाता है जब इसे 2019 के बाद प्रकाशित समाचार लेखों के खिलाफ लागू किया जाता है।

पाल्टरिंग और संदर्भ

हालांकि यह अध्ययन सीधे तौर पर इसका पता नहीं लगाता है, यह संभव है कि इस तरह का गहरा गोता सेमेंटिक प्रभाव में अंततः अधिक सूक्ष्म भाषा के हथियारीकरण जैसे पाल्टरिंग को संबोधित कर सकता है – जो सच्चे बयानों का स्वार्थी और चयनात्मक उपयोग है जो एक वांछित परिणाम प्राप्त करने के लिए किया जाता है जो समर्थन साक्ष्य की भावना और इरादे के विरुद्ध हो सकता है।

एक संबंधित और थोड़ा अधिक विकसित शोध रेखा एनएलपी, कंप्यूटर विजन और मल्टीमॉडल शोध में संदर्भ का अध्ययन है संदर्भ के रूप में अर्थ के पूरक के रूप में, जहां सच्चे तथ्यों का चयनात्मक और स्वार्थी पुनर्व्यवस्था या पुनः संदर्भीकरण एक अलग प्रतिक्रिया को उत्पन्न करने के प्रयास के समान हो जाता है जो तथ्यों को एक स्पष्ट और अधिक रैखिक तरीके से प्रस्तुत किए जाने पर हो सकता है।

* मेरा लेखकों के इनलाइन संदर्भों को सीधे हाइपरलिंक में परिवर्तित करना।

पहली बार 11 मार्च 2022 को प्रकाशित।