टेक्स्ट वर्गीकरण कैसे काम करता है?

टेक्स्ट वर्गीकरण पाठ अनुक्रमों का विश्लेषण करने और उन्हें एक लेबल असाइन करने, उन्हें उनकी सामग्री के आधार पर एक समूह में रखने की प्रक्रिया है। टेक्स्ट वर्गीकरण लगभग किसी भी एआई या मशीन लर्निंग कार्य के लिए आवश्यक है जिसमें प्राकृतिक भाषा प्रसंस्करण (एनएलपी) शामिल है। टेक्स्ट वर्गीकरण के साथ, एक कंप्यूटर प्रोग्राम विभिन्न कार्यों जैसे कि स्पैम पहचान, भावना विश्लेषण और चैटबॉट कार्यों को कर सकता है। टेक्स्ट वर्गीकरण कैसे काम करता है? टेक्स्ट वर्गीकरण के विभिन्न तरीके क्या हैं? हम इन प्रश्नों के उत्तरों का अन्वेषण करेंगे।

टेक्स्ट वर्गीकरण की परिभाषा

यह महत्वपूर्ण है कि हम पहले टेक्स्ट वर्गीकरण को समझने के लिए कुछ समय लें और यह सुनिश्चित करें कि हम इसकी मूल अवधारणा को समझते हैं trước कि हम विभिन्न तरीकों से इसका अन्वेषण करें। टेक्स्ट वर्गीकरण एक ऐसा शब्द है जो विभिन्न कार्यों और एल्गोरिदम पर लागू होता है, इसलिए यह सुनिश्चित करना उपयोगी है कि हम इसकी मूल अवधारणा को समझते हैं trước कि हम इसके विभिन्न तरीकों का अन्वेषण करें।

टेक्स्ट वर्गीकरण कैसे काम करता है?

फोटो: क्विन डोम्ब्रोव्स्की द्वारा फ्लिकर, सीसी बाय एसए 2.0 , (https://www.flickr.com/photos/quinnanya/4714794045)

टेक्स्ट वर्गीकरण के अधिकांश तरीकों को तीन श्रेणियों में रखा जा सकता है: नियम-आधारित तरीके या मशीन लर्निंग तरीके।

नियम-आधारित वर्गीकरण तरीके

नियम-आधारित टेक्स्ट वर्गीकरण तरीके विशेष रूप से इंजीनियर द्वारा निर्मित भाषाई नियमों का उपयोग करके काम करते हैं। प्रणाली नियमों का उपयोग करके निर्धारित करती है कि एक दिए गए पाठ को किस वर्ग में रखा जाना चाहिए, अर्थपूर्ण पाठ तत्वों के रूप में सुराग की तलाश में। प्रत्येक नियम में एक पैटर्न होता है जिसे पाठ को संगत वर्ग में रखने के लिए मेल खाना चाहिए।

अधिक विशिष्ट होने के लिए, मान लें कि आप एक टेक्स्ट वर्गीकरणकर्ता डिज़ाइन करना चाहते हैं जो सामान्य वार्तालाप विषयों जैसे मौसम, फिल्में या भोजन को पहचान सके। आप वर्गीकरणकर्ता को मौसम से संबंधित शब्दों की तलाश करने के लिए निर्देश दे सकते हैं जैसे कि “हवा”, “वर्षा”, “सूरज”, “बर्फ” या “बादल”। आप वर्गीकरणकर्ता को इनपुट पाठ में इन शब्दों की संख्या की गणना करने और यदि वे फिल्मों से संबंधित शब्दों की तुलना में अधिक बार दिखाई देते हैं तो पाठ को मौसम वर्ग में वर्गीकृत करने के लिए कह सकते हैं।

नियम-आधारित प्रणालियों का लाभ यह है कि उनके इनपुट और आउटपुट मानव द्वारा व्याख्या किए जा सकते हैं और उन्हें मैनुअल हस्तक्षेप द्वारा सुधारा जा सकता है। हालांकि, नियम-आधारित वर्गीकरण तरीके भी कुछ हद तक भंगुर होते हैं और उन्हें सामान्यीकरण करने में कठिनाई होती है क्योंकि वे केवल पूर्व-निर्धारित पैटर्न का पालन कर सकते हैं। उदाहरण के लिए, “बादल” शब्द आकाश में नमी को संदर्भित कर सकता है या यह डेटा संग्रहण के लिए एक डिजिटल बादल को संदर्भित कर सकता है। नियम-आधारित प्रणालियों के लिए इन नाजुकताओं को संभालने के लिए बिना इंजीनियरों को बहुत समय बिताने के लिए मैनुअल रूप से पूर्वानुमान लगाने और समायोजन करने के लिए कठिन है।

मशीन लर्निंग प्रणाली

जैसा कि ऊपर उल्लेख किया गया है, नियम-आधारित प्रणालियों की सीमाएं हैं क्योंकि उनके कार्य और नियम पूर्व-निर्धारित होने चाहिए। इसके विपरीत, मशीन लर्निंग-आधारित वर्गीकरण प्रणालियां एल्गोरिदम का उपयोग करके काम करती हैं जो डेटासेट में पैटर्न का विश्लेषण करते हैं जो एक विशेष वर्ग से जुड़े होते हैं।

मशीन लर्निंग एल्गोरिदम पूर्व-लेबल/वर्गीकृत उदाहरणों को खिलाते हैं जिन्हें विश्लेषण किया जाता है और संबंधित विशेषताओं की पहचान की जाती है। ये पूर्व-लेबल उदाहरण प्रशिक्षण डेटा हैं।

मशीन लर्निंग वर्गीकरणकर्ता प्रशिक्षण डेटा का विश्लेषण करता है और विभिन्न वर्गों से जुड़े पैटर्न सीखता है। इसके बाद, अनदेखे उदाहरणों को उनके लेबल से वंचित किया जाता है और वर्गीकरण एल्गोरिदम में खिलाया जाता है जो उन्हें एक लेबल असाइन करता है। असाइन किए गए लेबल की तुलना मूल लेबल से की जाती है ताकि यह देखा जा सके कि मॉडल ने कितनी अच्छी तरह से सीखा है।

मशीन लर्निंग एल्गोरिदम संख्यात्मक डेटा का विश्लेषण करके काम करते हैं। इसका मतलब है कि टेक्स्ट डेटा को संख्यात्मक प्रारूप में परिवर्तित करने के लिए मशीन लर्निंग एल्गोरिदम पर इसका उपयोग करने से पहले इसे परिवर्तित करने की आवश्यकता है। टेक्स्ट डेटा को संख्यात्मक डेटा के रूप में एन्कोड करने और इसके चारों ओर मशीन लर्निंग तरीकों को बनाने के विभिन्न तरीके हैं। हम नीचे कुछ अलग-अलग तरीकों पर चर्चा करेंगे।

बैग-ऑफ-वर्ड्स

बैग-ऑफ-वर्ड्स टेक्स्ट डेटा को एन्कोड और प्रस्तुत करने के लिए उपयोग किए जाने वाले सबसे सामान्य दृष्टिकोणों में से एक है। बैग-ऑफ-वर्ड्स शब्द से यह तथ्य आता है कि आप सभी दस्तावेजों में शब्दों को लेते हैं और उन्हें एक “बैग” में डालते हैं, शब्द क्रम या व्याकरण पर ध्यान दिए बिना, केवल शब्दों की आवृत्ति पर ध्यान केंद्रित करते हैं। यह एक लंबी सरणी या वेक्टर के परिणामस्वरूप होता है जिसमें इनपुट दस्तावेजों में सभी शब्दों का एक ही प्रतिनिधित्व होता है। इसलिए, यदि इनपुट दस्तावेजों में कुल 10,000 अद्वितीय शब्द हैं, तो विशेषता वेक्टर 10,000 शब्द लंबे होंगे। यह विशेषता वेक्टर/विशेषता सरणी का आकार कैसे गणना किया जाता है।
बैग-ऑफ-वर्ड्स एक पाठ को एक वेक्टर में परिवर्तित करने के लिए एक सरल तरीका है, लेकिन यह एक सीमित दृष्टिकोण है क्योंकि यह शब्दों के बीच संबंधों पर विचार नहीं करता है।

फोटो: जीके द्वारा मशीनलर्निंग.को, (https://machinelearnings.co/text-classification-using-neural-networks-f5cd7b8765c6)

एक बार जब विशेषता वेक्टर का आकार निर्धारित हो जाता है, तो दस्तावेजों की सूची में प्रत्येक दस्तावेज़ को अपना वेक्टर सौंपा जाता है जिसमें संख्याएं होती हैं जो बताती हैं कि प्रश्न में शब्द कितनी बार वर्तमान दस्तावेज़ में दिखाई देता है। इसका मतलब है कि यदि शब्द “भोजन” एक पाठ दस्तावेज़ में आठ बार दिखाई देता है, तो संबंधित विशेषता वेक्टर/विशेषता सरणी में आठ होगा।

दूसरे शब्दों में, सभी अद्वितीय शब्दों को इनपुट दस्तावेजों में एक “बैग” में डाला जाता है और फिर प्रत्येक दस्तावेज़ को एक शब्द वेक्टर मिलता है जो एक ही आकार का होता है, जिसे भर दिया जाता है कि विभिन्न शब्दों को दस्तावेज़ में कितनी बार दिखाई देते हैं।

टेक्स्ट डेटासेट में अक्सर एक बड़ी संख्या में अद्वितीय शब्द होते हैं, लेकिन अधिकांश का उपयोग बहुत बार नहीं किया जाता है। इस कारण से, विशेषता वेक्टर का आकार अक्सर एक चुने हुए मान (एन) पर कैप किया जाता है और फिर विशेषता वेक्टर का आयाम एनएक्स1 होगा।

टर्म फ्रीक्वेंसी-इनवर्स डॉक्यूमेंट फ्रीक्वेंसी (टीएफ-आईडीएफ)

एक दस्तावेज़ को इसके शब्दों के आधार पर प्रस्तुत करने का एक और तरीका टर्म फ्रीक्वेंसी-इनवर्स डॉक्यूमेंट फ्रीक्वेंसी (टीएफ-आईडीएफ) है। टीएफ-आईडीएफ दृष्टिकोण भी एक वेक्टर बनाता है जो दस्तावेज़ का प्रतिनिधित्व करता है, लेकिन बैग-ऑफ-वर्ड्स के विपरीत, शब्दों को उनकी आवृत्ति से अधिक उनके महत्व के आधार पर भारित किया जाता है। टीएफ-आईडीएफ दस्तावेज़ के विषय के लिए शब्दों के महत्व को मापने का प्रयास करता है।

टीएफ-आईडीएफ दृष्टिकोण पहले प्रत्येक दस्तावेज़ में अद्वितीय शब्दों की संख्या की गणना करके काम करता है। हालांकि, टीएफ-आईडीएफ अत्यधिक सामान्य शब्दों जैसे “द”, “या”, और “और” के प्रभाव को सीमित करने का भी ध्यान रखता है, क्योंकि वे बहुत आम हैं लेकिन दस्तावेज़ की सामग्री के बारे में बहुत कम जानकारी प्रदान करते हैं। यह “विपरीत-दस्तावेज़ आवृत्ति” के हिस्से के रूप में किया जाता है।

टीएफ-आईडीएफ द्वारा बनाए गए विशेषता वेक्टर में सामान्यीकृत मान होते हैं जो एक तक जोड़ते हैं। टीएफ-आईडीएफ स्कोर की गणना पूरे डेटासेट के संबंध में की जाती है और यह उन शब्दों को संरक्षित करने के लिए डिज़ाइन किया गया है जो सबसे अधिक बार दिखाई देते हैं और सबसे अधिक सेमांटिक रूप से समृद्ध हैं।

वर्ड एम्बेडिंग

वर्ड एम्बेडिंग टेक्स्ट को प्रस्तुत करने के तरीके हैं जो यह सुनिश्चित करते हैं कि समान अर्थ वाले शब्दों के समान संख्यात्मक प्रतिनिधित्व हों।

वर्ड एम्बेडिंग वास्तविक-मान वाले वेक्टरों के रूप में शब्दों को प्रस्तुत करने द्वारा काम करती है, जो एक वेक्टर स्पेस में रहते हैं। वेक्टर एक ग्रिड या मैट्रिक्स में मौजूद होते हैं और उनमें दिशा और लंबाई (या परिमाण) होती है। जब शब्दों को वेक्टर के रूप में प्रस्तुत किया जाता है, तो उन्हें वास्तविक मानों से बने वेक्टर में परिवर्तित किया जाता है। प्रत्येक शब्द को एक वेक्टर मैप किया जाता है, और समान अर्थ वाले शब्द समान दिशा और परिमाण वाले वेक्टर होते हैं। यह प्रकार का एन्कोडिंग यह संभव बनाता है कि एक मशीन लर्निंग एल्गोरिदम शब्दों के बीच जटिल संबंधों को सीखे।

शब्दों के विभिन्न अर्थों को स्वचालित रूप से अनुवादित किया जाता है क्योंकि वे कैसे उपयोग किए जाते हैं। क्योंकि समान रूप से उपयोग किए जाने वाले शब्द समान वेक्टर होंगे, वर्ड एम्बेडिंग शब्दों के अर्थ को कैप्चर करने में बेहतर होती है। एक बैग-ऑफ-वर्ड्स दृष्टिकोण, इसके विपरीत, शब्दों को भंगुर प्रतिनिधित्व बनाता है जहां अलग-अलग शब्दों के अलग-अलग प्रतिनिधित्व होंगे, भले ही वे समान संदर्भों में उपयोग किए जाते हैं।

परिणामस्वरूप, वर्ड एम्बेडिंग वाक्य में शब्दों के संदर्भ को कैप्चर करने में बेहतर है।

वर्ड एम्बेडिंग बनाने के लिए विभिन्न एल्गोरिदम और दृष्टिकोण हैं। वर्ड एम्बेडिंग के सबसे सामान्य और विश्वसनीय तरीकों में से कुछ एम्बेडिंग लेयर, वर्ड2वेक और ग्लोवे हैं।

एम्बेडिंग लेयर

मशीन लर्निंग/गहरे शिक्षण प्रणाली के साथ वर्ड एम्बेडिंग का उपयोग करने का एक संभावित तरीका एम्बेडिंग लेयर का उपयोग करना है। एम्बेडिंग लेयर गहरे शिक्षण परतें हैं जो शब्दों को एम्बेडिंग में परिवर्तित करती हैं जो फिर गहरे शिक्षण प्रणाली में खिलाई जाती है। एम्बेडिंग नेटवर्क के प्रशिक्षण के दौरान सीखी जाती है।

एक शब्द एम्बेडिंग दृष्टिकोण में, समान शब्द समान प्रतिनिधित्व और एक दूसरे के करीब होंगे, असमान शब्दों की तुलना में।

एम्बेडिंग लेयर का उपयोग करने के लिए, पाठ को पहले पूर्व-प्रसंस्करण किया जाना चाहिए। दस्तावेज़ में पाठ को एक-हॉट एन्कोडेड किया जाना चाहिए और वेक्टर का आकार पहले से ही निर्दिष्ट किया जाना चाहिए। एक-हॉट पाठ को तब शब्द वेक्टर में परिवर्तित किया जाता है और वेक्टर को मशीन लर्निंग मॉडल में पास किया जाता है।

वर्ड2वेक

वर्ड2वेक एक और सामान्य तरीका है जिसका उपयोग शब्दों को एम्बेडिंग में परिवर्तित करने के लिए किया जाता है। वर्ड2वेक सांख्यिकीय तरीकों का उपयोग करके शब्दों को एम्बेडिंग में परिवर्तित करता है और यह तंत्रिका नेटवर्क-आधारित मॉडल के साथ उपयोग के लिए अनुकूलित है। वर्ड2वेक को गूगल शोधकर्ताओं द्वारा विकसित किया गया था और यह सबसे अधिक इस्तेमाल की जाने वाली एम्बेडिंग विधि है, क्योंकि यह विश्वसनीय रूप से उपयोगी और समृद्ध एम्बेडिंग प्रदान करती है। वर्ड2वेक प्रतिनिधित्व भाषा में सेमांटिक और व्याकरणिक सामान्यताएं कैप्चर करते हैं। इसका मतलब है कि वर्ड2वेक प्रतिनिधित्व संबंधित अवधारणाओं के बीच संबंधों को कैप्चर करते हैं, जैसे कि “राजा” और “रानी” के बीच रॉयल्टी की सामान्यता, और “राजा” का अर्थ पुरुषत्व और “रानी” का अर्थ स्त्रीत्व है।

ग्लोवे

ग्लोवे, या ग्लोबल वेक्टर फॉर वर्ड रिप्रेजेंटेशन, वर्ड2वेक द्वारा उपयोग किए जाने वाले एम्बेडिंग एल्गोरिदम पर निर्मित है। ग्लोवे एम्बेडिंग विधि वर्ड2वेक और मैट्रिक्स फैक्टरीकरण जैसी लेटेंट सेमांटिक विश्लेषण जैसी तकनीकों की विशेषताओं को जोड़ती है। वर्ड2वेक का लाभ यह है कि यह संदर्भ को कैप्चर कर सकता है, लेकिन एक समझौते के रूप में, यह खराब ग्लोबल पाठ सांख्यिकी को कैप्चर करता है। इसके विपरीत, पारंपरिक वेक्टर प्रतिनिधित्व ग्लोबल पाठ सांख्यिकी को निर्धारित करने में अच्छे हैं, लेकिन वे शब्दों और वाक्यांशों के संदर्भ को निर्धारित करने में उपयोगी नहीं हैं। ग्लोवे दोनों दृष्टिकोणों के सर्वोत्तम भागों से लाभ उठाता है, ग्लोबल पाठ सांख्यिकी पर आधारित शब्द-संदर्भ बनाता है।