वैज्ञानिक पत्रकारिता में अतिशयोक्ति का पता लगाने के लिए एक एनएलपी दृष्टिकोण

डेनमार्क के शोधकर्ताओं ने एक ‘अतिशयोक्ति का पता लगाने’ प्रणाली विकसित की है जो वैज्ञानिक अनुसंधान पत्रों के निहितार्थ को बढ़ा-चढ़ाकर प्रस्तुत करने के प्रभावों को कम करने के लिए डिज़ाइन की गई है। यह काम कोविड-19 पर नए प्रकाशित अनुसंधान को रिपोर्टिंग चैनलों में विकृत किए जाने के स्तर से प्रेरित है, हालांकि लेखकों का मानना है कि यह सामान्य विज्ञान रिपोर्टिंग क्षेत्र के एक व्यापक हिस्से में लागू है।

कोपेनहेगन विश्वविद्यालय से पेपर, जिसका शीर्षक सेमी-सुपरवाइज्ड एक्जaggerेशन डिटेक्शन ऑफ हेल्थ साइंस प्रेस रिलीज है, यह बताता है कि समस्या को मीडिया द्वारा मूल अनुसंधान के स्रोत लिंक शामिल नहीं करने की प्रवृत्ति से बढ़ाया जाता है – एक बढ़ती रूप से सामान्य पत्रकारिता अभ्यास जो मूल पेपर को बदलने और पुनः रिपोर्ट की गई सारांश को ‘स्रोत ज्ञान’ के रूप में प्रतिस्थापित करने का प्रयास करता है – यहां तक कि जब पेपर सार्वजनिक रूप से उपलब्ध हो।

पेपर से, वैज्ञानिक पत्रों की अतिशयोक्ति का एक典型 प्रदर्शन। स्रोत: https://arxiv.org/pdf/2108.13493.pdf

समस्या बाहरी पत्रकारिता प्रतिक्रिया तक सीमित नहीं है, बल्कि अन्य प्रकार के सारांश में भी फैल सकती है, जिनमें विश्वविद्यालयों और अनुसंधान संस्थानों के आंतरिक पीआर प्रयास शामिल हैं; समाचार आउटलेट्स का ध्यान आकर्षित करने के लिए प्रचार सामग्री; और संभावित गोला-बारूद (और धन उगाहने के दौर के लिए) जब पत्रकार ‘काट’ लेते हैं।

काम प्राकृतिक भाषा प्रसंस्करण (एनएलपी) का लाभ एक नए डेटासेट के खिलाफ लेता है जिसमें जोड़े गए प्रेस विज्ञप्ति और सारांश होते हैं, शोधकर्ताओं का दावा है कि उन्होंने वैज्ञानिक अतिशयोक्ति का पता लगाने के लिए ‘[एक] नया, अधिक वास्तविक कार्य सूत्र’ विकसित किया है। लेखकों ने जल्द ही कोड और डेटा को गिटहब पर प्रकाशित करने का वादा किया है।

संवेदनशीलता का सामना करना

पिछले तीस वर्षों में, कई अध्ययनों ने वैज्ञानिक संवेदनशीलता की समस्या को संबोधित किया है और इस वजह से होने वाली गलत सूचना पर ध्यान दिलाया है। अमेरिकी वैज्ञानिक समाजशास्त्री डोरोथी नेल्किन ने 1987 में पुस्तक साइंस बेचना: प्रेस कैसे विज्ञान और प्रौद्योगिकी को कवर करता है में इस मुद्दे को उल्लेखनीय रूप से संबोधित किया; 2006 एम्बो रिपोर्ट बैड साइंस इन द हेडलाइंस ने अधिक वैज्ञानिक रूप से प्रशिक्षित पत्रकारों की आवश्यकता पर जोर दिया, जैसा कि इंटरनेट पारंपरिक मीडिया पर महत्वपूर्ण बजटीय दबाव ला रहा था।

इसके अलावा, 2014 में ब्रिटिश मेडिकल जर्नल ने रिपोर्ट में इस समस्या को ध्यान में लाया; और 2019 के एक अध्ययन से पता चला कि वैज्ञानिक पत्रों की अतिशयोक्ति कोई लाभ नहीं देती (पहुंच या ट्रैफिक के संदर्भ में) समाचार आउटलेट्स और अन्य रिपोर्टिंग प्रणालियों के लिए जो इस प्रथा को अंजाम देते हैं।

हालांकि, महामारी के आगमन ने इस अतिशयोक्ति के नकारात्मक प्रभावों को महत्वपूर्ण रूप से ध्यान में लाया है, जिसमें जानकारी के विभिन्न प्लेटफार्म, जिनमें गूगल सर्च इंजन परिणाम पृष्ठ और कॉर्नेल विश्वविद्यालय का आर्काइव वैज्ञानिक पत्रों का सूचक अब स्वचालित रूप से कोविड से संबंधित किसी भी सामग्री में अस्वीकरण जोड़ते हैं।

कोविड से संबंधित खोजों और सामग्री के लिए संशोधित इंटरफेस, गूगल सर्च परिणाम पृष्ठ से, और कॉर्नेल विश्वविद्यालय के प्रभावशाली आर्काइव वैज्ञानिक पत्र भंडार से।

पिछले परियोजनाओं ने वैज्ञानिक पत्रों के लिए अतिशयोक्ति का पता लगाने वाली प्रणाली बनाने का प्रयास किया है, जिसमें 2019 में हांगकांग और चीन के शोधकर्ताओं के बीच एक सहयोग और 2017 में डेनमार्क का एक अलग पेपर शामिल है।

नई पेपर के शोधकर्ता बताते हैं कि इन पहले के प्रयासों ने पबमेड और यूरेकालर्ट से सारांश और दावों के डेटासेट विकसित किए, जिन्हें ‘ताकत’ के लिए लेबल किया गया था, और उन्हें अनदेखे डेटा में दावा ताकत की भविष्यवाणी करने के लिए मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए उपयोग किया।

एमटी-पीईटी

नई अनुसंधान एक प्रेस विज्ञप्ति और सारांश को एक संयुक्त डेटा इकाई के रूप में जोड़ती है, और परिणामी डेटासेट का फायदा एमटी-पीईटी में उठाया जाता है, जो 2020 में प्रस्तुत किए गए पैटर्न एक्सप्लोइटिंग ट्रेनिंग शोध का एक बहु-कार्य-सक्षम संस्करण है, जो दो जर्मन अनुसंधान संस्थानों के बीच एक संयुक्त शोध प्रयास है।

कोई भी मौजूदा डेटासेट इस कार्य के लिए उपयुक्त नहीं पाया गया, और इसलिए टीम ने विशेषज्ञों द्वारा उनकी अतिशयोक्ति की प्रवृत्ति के संदर्भ में मूल्यांकित एक नए डेटासेट को संकलित किया, जिसमें सारांश और संबंधित प्रेस विज्ञप्तियों से जोड़े गए वाक्य शामिल हैं।

शोधकर्ताओं ने पैटर्न-वर्बलाइज़र जोड़े स्वचालित रूप से उत्पन्न करने के लिए फ्यू-शॉट टेक्स्ट क्लासिफिकेशन फ्रेमवर्क पेटल का उपयोग किया, जिसके बाद डेटा के माध्यम से पुनरावृत्ति की गई, जब तक कि दो गुणों के लिए लगभग समान तुपलेट नहीं मिल गए: थोड़ी अतिशयोक्ति का पता लगाना और दावा ताकत।

‘गोल्ड’ डेटा परीक्षण के लिए पिछले शोध परियोजनाओं से पुनर्प्राप्त किया गया, जिसमें 823 जोड़े सारांश और प्रेस विज्ञप्ति शामिल थे। शोधकर्ताओं ने 2014 बीएमजे डेटा का उपयोग करने से इनकार कर दिया, क्योंकि यह परिफ्रासित है।

इस प्रक्रिया ने 663 सारांश/रिलीज़ जोड़े का एक डेटासेट प्राप्त किया, जो अतिशयोक्ति और दावा ताकत के लिए लेबल किए गए थे। शोधकर्ताओं ने 100 को यादृच्छिक रूप से नमूनाकरण किया फ्यू-शॉट लर्निंग प्रशिक्षण डेटा के रूप में, 553 उदाहरणों को परीक्षण के लिए अलग रखा गया। इसके अलावा, एक छोटा प्रशिक्षण सेट बनाया गया, जिसमें 1,138 वाक्य शामिल थे, जो यह निर्धारित करने के लिए वर्गीकृत किए गए थे कि क्या वे सारांश या प्रेस विज्ञप्ति के मुख्य निष्कर्ष का प्रतिनिधित्व करते हैं या नहीं। इन्हें अनलेबल्ड जोड़े में ‘निष्कर्ष वाक्य’ की पहचान करने के लिए उपयोग किया गया।

परीक्षण

शोधकर्ताओं ने तीन कॉन्फ़िगरेशन में दृष्टिकोण का परीक्षण किया: एक पूरी तरह से पर्यवेक्षित सेटिंग में केवल लेबल वाले डेटा के साथ; एक एकल-टास्क पीईटी परिदृश्य; और नए एमटी-पीईटी पर, जो एक सहायक कार्य के रूप में एक द्वितीयक सूत्रीकरण धागा जोड़ता है (चूंकि परियोजना का उद्देश्य जोड़े गए डेटा निर्माणों वाले डेटासेट से दो अलग-अलग गुणों की जांच करना है)।

शोधकर्ताओं ने पाया कि एमटी-पीईटी ने परीक्षण वातावरण में बेस पीईटी परिणामों में सुधार किया, और पाया कि दावा ताकत की पहचान अतिशयोक्ति का पता लगाने के लिए सॉफ्ट-लेबल प्रशिक्षण डेटा का उत्पादन करने में मदद करती है। हालांकि, पेपर यह भी बताता है कि कुछ कॉन्फ़िगरेशन में, विशेष रूप से दावा ताकत से संबंधित, पेशेवर रूप से लेबल किए गए डेटा की उपस्थिति बेहतर परिणामों (पिछले शोध परियोजनाओं की तुलना में) में एक कारक हो सकती है। यह डेटा जोर देने के कार्य पर निर्भर करते हुए पाइपलाइन को स्वचालित करने की सीमा के लिए निहितार्थ हो सकता है।

फिर भी, शोधकर्ता निष्कर्ष निकालते हैं कि एमटी-पीईटी ‘प्रत्यक्ष कारण दावों को कमजोर दावों से पहचानने और अलग करने में अधिक कठिन मामलों में मदद करता है, और सबसे प्रभावी दृष्टिकोण स्रोत और लक्ष्य दस्तावेजों के व्यक्तिगत दावा ताकत को वर्गीकृत करना और तुलना करना है’。

निष्कर्ष में, काम यह अनुमान लगाता है कि एमटी-पीईटी न केवल स्वास्थ्य क्षेत्र से बाहर व्यापक श्रृंखला के वैज्ञानिक पत्रों पर लागू किया जा सकता है, बल्कि वैज्ञानिक पत्रों के बेहतर अवलोकन बनाने में पत्रकारों की मदद करने के लिए नए उपकरणों का आधार भी बन सकता है (हालांकि यह शायद निर्दोषता से यह मान लेता है कि पत्रकार अज्ञान से दावा ताकत को बढ़ा-चढ़ाकर प्रस्तुत करते हैं), साथ ही साथ शोध समुदाय को जटिल विचारों को समझाने के लिए भाषा का स्पष्ट उपयोग करने में मदद करता है। इसके अलावा, पेपर यह बताता है:

‘[यह] ध्यान दिया जाना चाहिए कि इस पेपर में रिपोर्ट किए गए भविष्यसूचक प्रदर्शन परिणाम विज्ञान पत्रकारों द्वारा लिखे गए प्रेस विज्ञप्ति के लिए हैं – कोई व्यक्ति वैज्ञानिक लेखों को अधिक मजबूती से सरल बनाने वाली प्रेस विज्ञप्ति के लिए खराब परिणामों की उम्मीद कर सकता है।’