मशीन लर्निंग के साथ ‘रीडर मोड’ से परे

दक्षिण कोरिया के शोधकर्ताओं ने मशीन लर्निंग का उपयोग करके वेब पेजों से वास्तविक सामग्री निकालने के लिए एक सुधारित विधि विकसित की है, ताकि वेब पेज का ‘फर्नीचर’ – जैसे साइडबार, फुटर और नेविगेशन हेडर, साथ ही विज्ञापन ब्लॉक – पाठक के लिए गायब हो जाए।

ऐसी कार्यक्षमता अधिकांश लोकप्रिय वेब ब्राउज़रों में निर्मित होती है, या विस्तार और प्लगइन्स के माध्यम से आसानी से उपलब्ध है, लेकिन ये प्रौद्योगिकियां सेमेंटिक प्रारूप पर निर्भर करती हैं जो वेब पेज में मौजूद नहीं हो सकती हैं, या जिसे साइट मालिक द्वारा जानबूझकर समझौता किया जा सकता है ताकि पाठक पेज के ‘पूर्ण वसा’ अनुभव को छिपा न सके।

हमारे अपने वेब पेज ‘स्लिम डाउन’ के साथ फायरफॉक्स की एकीकृत रीडर व्यू कार्यक्षमता。

इसके बजाय, नई विधि एक ग्रिड-आधारित प्रणाली का उपयोग करती है जो वेब पेज के माध्यम से पुनरावृत्ति करती है, यह मूल्यांकन करती है कि सामग्री पेज के मुख्य उद्देश्य के लिए कितनी प्रासंगिक है।

सामग्री निष्कर्षण पाइपलाइन पहले पेज को एक ग्रिड (ऊपरी पंक्ति) में विभाजित करती है trước प्रासंगिक कोशिकाओं को अन्य कोशिकाओं (मध्य) के साथ उनके संबंध का मूल्यांकन करने से पहले और अंत में अनुमोदित कोशिकाओं (नीचे) को मिलाती है। स्रोत: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

एक प्रासंगिक कोशिका की पहचान होने के बाद, इसके आसपास की कोशिकाओं के साथ इसके संबंध का भी मूल्यांकन किया जाता है trước कि इसे व्याख्या की गई ‘मुख्य सामग्री’ में मिलाया जाए।

इस दृष्टिकोण का केंद्रीय विचार यह है कि प्रासंगिकता के सूचक के रूप में कोड-आधारित मार्कअप को छोड़ देना और केवल इसकी दृश्य उपस्थिति के आधार पर सामग्री का अनुमान लगाना।

इस दृष्टिकोण, जिसे ग्रिड-सेंटर-एक्सपांड (जीसीई) कहा जाता है, को शोधकर्ताओं ने गूगल के टैबनेट का उपयोग करके डीप न्यूरल नेटवर्क (डीएनएन) मॉडल में विस्तारित किया है, जो एक व्याख्यात्मक तालिका सीखने की वास्तुकला है।

मुद्दे पर पहुंचें

पेपर का शीर्षक पढ़ें, बस देखें: वेब पेजों से मुख्य सामग्री निष्कर्षण दृश्य रूप से स्पष्ट विशेषताओं का उपयोग करके है, और यह हनयांग विश्वविद्यालय के तीन शोधकर्ताओं और सियोल में स्थित कनवर्जेंस टेक्नोलॉजी संस्थान के एक शोधकर्ता से आया है।

वेब पेज की मुख्य सामग्री का बेहतर निष्कर्षण न केवल आकस्मिक अंत-उपयोगकर्ता के लिए मूल्यवान है, बल्कि उन मशीन प्रणालियों के लिए भी मूल्यवान है जिन्हें प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के उद्देश्यों के लिए डोमेन सामग्री को निगलने या अनुक्रमित करने का काम सौंपा जाता है, और एआई में अन्य क्षेत्रों के लिए।

जैसा कि यह खड़ा है, यदि गैर-प्रासंगिक सामग्री ऐसे निष्कर्षण प्रक्रियाओं में शामिल की जाती है, तो इसे मैन्युअल रूप से फिल्टर (या लेबल) किया जा सकता है, जो बहुत महंगा हो सकता है; और भी बदतर, यदि अवांछित सामग्री मुख्य सामग्री के साथ शामिल की जाती है, तो यह प्रभावित कर सकती है कि मुख्य सामग्री कैसे व्याख्या की जाती है, और परिवर्तनक और एनकोडर/डीकोडर प्रणालियों के परिणाम जो स्वच्छ सामग्री पर निर्भर करते हैं।

एक सुधारित विधि विशेष रूप से आवश्यक है, शोधकर्ता तर्क देते हैं, क्योंकि मौजूदा दृष्टिकोण अक्सर गैर-english वेब पेजों के साथ विफल हो जाते हैं।

फ्रेंच, जापानी और रूसी वेब पेजों को चार सबसे सामान्य ‘रीडर व्यू’ दृष्टिकोणों के लिए सफलता दर में सबसे खराब स्कोर करने वाले के रूप में उल्लेख किया गया है: मोज़िला का रीडेबिलिटी.जेएस; गूगल का डीओएम डिस्टिलर; वेब2टेक्स्ट; और बॉयलरनेट।

डेटासेट और प्रशिक्षण

शोधकर्ताओं ने गूगलट्रेंड्स-2017 और गूगलट्रेंड्स-2020 डेटासेट से अंग्रेजी कीवर्ड से डेटासेट सामग्री संकलित की, हालांकि उन्होंने देखा कि परिणामों के संदर्भ में, दोनों डेटासेट के बीच कोई व्यावहारिक अंतर नहीं था।

इसके अलावा, लेखकों ने दक्षिण कोरिया, फ्रांस, जापान, रूस, इंडोनेशिया और सऊदी अरब से गैर-अंग्रेजी कीवर्ड एकत्र किए। चीनी कीवर्ड बaidu डेटासेट से जोड़े गए थे, क्योंकि गूगल ट्रेंड चीनी डेटा प्रदान नहीं कर सकता था।

परीक्षण और परिणाम

सिस्टम का परीक्षण करते समय, लेखकों ने पाया कि यह हाल के डीएनएन मॉडल के समान प्रदर्शन का स्तर प्रदान करता है, जबकि विभिन्न भाषाओं के लिए बेहतर आवास प्रदान करता है।

उदाहरण के लिए, बॉयलरनेट आर्किटेक्चर, जबकि प्रासंगिक सामग्री निकालने में अच्छा प्रदर्शन बनाए रखने, चीनी और जापानी डेटासेट के लिए खराब रूप से अनुकूल है, जबकि वेब2टेक्स्ट का लेखकों ने ‘सापेक्ष रूप से खराब प्रदर्शन’ पाया, जिसमें भाषाई विशेषताएं नहीं थीं जो बहुभाषी थीं और वेब पेजों से केंद्रीय सामग्री निकालने के लिए उपयुक्त नहीं थीं।

मोज़िला का रीडबिलिटी.जेएस कई भाषाओं में स्वीकार्य प्रदर्शन हासिल करने के लिए पाया गया, जिनमें अंग्रेजी भी शामिल है, भले ही यह एक नियम-आधारित विधि है। हालांकि, शोधकर्ताओं ने पाया कि इसका प्रदर्शन जापानी और फ्रेंच डेटासेट पर उल्लेखनीय रूप से गिर गया, जो क्षेत्र-विशिष्ट विशेषताओं को पार्स करने के प्रयासों की सीमाओं को रेखांकित करता है।

इस बीच, गूगल का डीओएम डिस्टिलर, जो ह्यूरिस्टिक्स और मशीन लर्निंग दृष्टिकोणों को मिलाता है, को बोर्ड पर अच्छा प्रदर्शन करने वाला पाया गया।

परीक्षण किए गए तरीकों के लिए परिणामों की तालिका, जिसमें शोधकर्ताओं का अपना जीसीई मॉड्यूल शामिल है। उच्च संख्या बेहतर है।

शोधकर्ता निष्कर्ष निकालते हैं कि ‘जीसीई को तेजी से बदलते वेब वातावरण के साथ तालमेल नहीं रखना है क्योंकि यह मानव प्रकृति पर निर्भर करता है – वास्तव में वैश्विक और बहुभाषी विशेषताएं’।