मशीन लर्निंग के साथ प्रतिबंधित सोशल मीडिया टिप्पणीकारों की पुनः पहचान

जॉन हॉपकिन्स विश्वविद्यालय के शोधकर्ताओं ने ऑनलाइन टिप्पणीकारों की पहचान करने के लिए एक गहरा मीट्रिक दृष्टिकोण विकसित किया है जिनके पिछले खाते निलंबित हो सकते हैं या जो ऑनलाइन समुदायों जैसे रेडिट और ट्विटर की अच्छी विश्वास को हेरफेर करने या अस्त्र-शस्त्र करने के लिए कई खातों का उपयोग कर सकते हैं।

इस दृष्टिकोण को एक नए पेपर में प्रस्तुत किया गया है, जिसका नेतृत्व एनएलपी शोधकर्ता अलीम खान ने किया है, जिसमें यह आवश्यक नहीं है कि इनपुट डेटा स्वचालित रूप से या मैन्युअल रूप से एनोटेट किया जाए, और यह पिछले प्रयासों के परिणामों में सुधार करता है, यहां तक कि तब भी जब केवल छोटे नमूने उपलब्ध हों और जब पाठ प्रशिक्षण समय में डेटासेट में मौजूद नहीं था।

सिस्टम एक सरल डेटा ऑगमेंटेशन स्कीमा प्रदान करता है, जिसमें विभिन्न आकारों के एम्बेडिंग को एक उच्च-वॉल्यूम डेटासेट पर प्रशिक्षित किया जाता है जिसमें 300 मिलियन से अधिक टिप्पणियां होती हैं जो एक मिलियन से अधिक विभिन्न उपयोगकर्ता खातों को कवर करती हैं।

जॉन हॉपकिन्स पुनः पहचान प्रणाली का मॉडल आर्किटेक्चर, जहां मुख्य घटक हैं 1) पाठ सामग्री, 2) एक सब-रेडिट सुविधा और 3) प्रकाशन समय/तिथि। स्रोत: https://arxiv.org/pdf/2105.07263.pdf

फ्रेमवर्क, जो रेडिट उपयोग डेटा पर आधारित है, पाठ सामग्री, सब-रेडिट प्लेसमेंट और प्रकाशन समय को ध्यान में रखता है। तीन कारकों को विविध एम्बेडिंग विधियों के साथ जोड़ा जाता है, जिनमें एक-आयामी कनवोल्यूशंस और रैखिक प्रोजेक्शन शामिल हैं, और एक ध्यान तंत्र और एक मैक्स पूलिंग परत द्वारा सहायता प्राप्त होती है।

हालांकि सिस्टम पाठ डोमेन पर केंद्रित है, शोधकर्ता तर्क देते हैं कि इसका दृष्टिकोण वीडियो या छवियों के विश्लेषण में अनुवादित किया जा सकता है, क्योंकि व्युत्पन्न अल्गोरिदम उच्च स्तर पर आवृत्ति घटनाओं पर काम करता है,尽管 इनपुट डेटा बिंदुओं के लिए विभिन्न लंबाई होती है।

‘विषय-ड्रिफ्ट’ से बचना

एक जाल जिसमें इस प्रकार के शोध में पड़ने की संभावना है, और जिसे लेखकों ने विशेष रूप से सिस्टम के डिजाइन में संबोधित किया है, वह यह है कि विभिन्न खातों से पोस्ट में विशिष्ट विषयों या थीमों के पुनरावृत्ति पर अत्यधिक जोर देना।

हालांकि एक उपयोगकर्ता वास्तव में एक विशिष्ट विचार के तार में पुनरावृत्ति या पुनरावृत्ति कर सकता है, विषय समय के साथ विकसित होने और ‘ड्रिफ्ट’ करने की संभावना है, जो इसकी पहचान की कुंजी के रूप में इसकी उपयोगिता को कम कर देता है। लेखक इस संभावित जाल को ‘गलत कारणों से सही’ होने के रूप में वर्णित करते हैं – एक जाल जिसे पहले जॉन हॉपकिन्स में अध्ययन किया गया था।

प्रशिक्षण पद्धति

सिस्टम मिश्रित सटीकता प्रशिक्षण का उपयोग करता है, जो 2018 में बaidu और NVIDIA (NVDA ) द्वारा प्रस्तुत एक नवाचार है, जो आधे सटीकता के फ्लोट्स का उपयोग करके मेमोरी आवश्यकताओं को आधा कर देता है: 16-बिट फ्लोटिंग पॉइंट मान 32-बिट मान के बजाय। डेटा को दो V100 जीपीयू पर प्रशिक्षित किया गया था, जिसमें औसत प्रशिक्षण समय 72 घंटे था।

स्कीमा में सरलीकृत पाठ एन्कोडिंग शामिल है, जिसमें कनवोल्यूशनल एन्कोडर 2-4 सबवर्ड्स तक सीमित हैं। हालांकि इस प्रकार के फ्रेमवर्क के लिए औसत लंबाई अधिकतम पांच सबवर्ड्स है, शोधकर्ताओं ने पाया कि यह अर्थव्यवस्था न केवल रैंकिंग प्रदर्शन पर कोई प्रभाव नहीं डालती है, बल्कि सबवर्ड्स को अधिकतम पांच तक बढ़ाने से वास्तव में रैंकिंग सटीकता में गिरावट आई।

डेटासेट

शोधकर्ताओं ने 2020 पुशशिफ्ट रेडिट कॉर्पस डेटासेट से 300 मिलियन रेडिट पोस्ट का एक डेटासेट व्युत्पन्न किया है, जिसे मिलियन यूजर डेटासेट (एमयूडी) कहा जाता है।

डेटासेट में जुलाई 2015 और जून 2016 के बीच 100-1000 पोस्ट प्रकाशित करने वाले रेडिट लेखकों के सभी पोस्ट शामिल हैं। समय के साथ नमूना लेने से अध्ययन के लिए पर्याप्त इतिहास लंबाई प्रदान की जाती है, और अनुसंधान के उद्देश्यों के दायरे से बाहर सporadic स्पैम पोस्ट के प्रभाव को कम किया जाता है।

जॉन हॉपकिन्स पुनः पहचान परियोजना के लिए व्युत्पन्न डेटासेट के आंकड़े।

परिणाम

नीचे दी गई छवि प्रशिक्षण में एक-घंटे के अंतराल पर रैंकिंग सटीकता के परीक्षण के दौरान परिणामों के संचयी सुधार को दिखाती है। छह घंटे के बाद, सिस्टम संबंधित पिछले प्रयासों के आधार परिणामों को पार कर जाता है।

एक ablation अध्ययन में, शोधकर्ताओं ने पाया कि वर्कफ्लो से सब-रेडिट सुविधा को हटाने से रैंकिंग सटीकता पर आश्चर्यजनक रूप से कम प्रभाव पड़ा, जो यह सुझाव देता है कि सिस्टम बहुत प्रभावी ढंग से सामान्यीकृत होता है, जिसमें मजबूत सुविधा टूलिंग होती है।

पोस्टिंग आवृत्ति एक पुनः पहचान हस्ताक्षर के रूप में

यह भी संकेत देता है कि फ्रेमवर्क अन्य टिप्पणी या प्रकाशन प्रणालियों में स्थानांतरित किया जा सकता है जहां केवल पाठ सामग्री और प्रकाशन की तिथि/समय उपलब्ध है – और मूल रूप से, पोस्टिंग की आवृत्ति स्वयं पाठ सामग्री के लिए एक मूल्यवान सहायक संकेतक है।

शोधकर्ताओं का उल्लेख है कि एक ही सब-रेडिट के भीतर इसी तरह के अनुमान को करने का प्रयास एक बड़ी चुनौती प्रस्तुत करता है, क्योंकि सब-रेडिट स्वयं एक विषय प्रॉक्सी के रूप में कार्य करता है, और एक अतिरिक्त स्कीमा को इस भूमिका को भरने के लिए तर्कसंगत रूप से आवश्यक होगा।

अध्ययन फिर भी इन प्रतिबंधों के भीतर आशाजनक परिणाम प्राप्त करने में सक्षम था, जिसमें केवल यह अस्थि है कि सिस्टम उच्च वॉल्यूम पर बेहतर काम करता है, और कम पोस्ट वॉल्यूम वाले उपयोगकर्ताओं को पुनः पहचान करने में बढ़ी हुई कठिनाई हो सकती है।

कार्य का विकास

एक बड़े पैमाने पर पर्यवेक्षित लर्निंग पहल के विपरीत, हॉपकिन्स पुनः पहचान स्कीमा में सुविधाएं विवेकपूर्ण और मजबूत हैं कि सिस्टम का प्रदर्शन मात्रा में डेटा के साथ काफी सुधार करता है।

शोधकर्ता प्रकाशन के समय के विश्लेषण में एक अधिक विस्तृत दृष्टिकोण को अपनाने में रुचि व्यक्त करते हैं, क्योंकि रote स्पैमर्स (स्वचालित या अन्यथा) के अक्सर पredictable अनुसूचियां इस दृष्टिकोण द्वारा पहचाने जाने के लिए अतिसंवेदनशील होती हैं, और यह या तो रोबोट सामग्री को अधिक प्रभावी ढंग से एक अध्ययन से हटाने में संभव बना देगा जो मुख्य रूप से परेशान करने वाले उपयोगकर्ताओं पर केंद्रित है, या स्वचालित सामग्री की पहचान में सहायता करेगा।