NLP (प्राकृतिक भाषा प्रसंस्करण) क्या है?

प्राकृतिक भाषा प्रसंस्करण (NLP) तकनीकों और उपकरणों का अध्ययन और अनुप्रयोग है जो कंप्यूटरों को मानव भाषा को संसाधित, विश्लेषण, व्याख्या और तर्क करने में सक्षम बनाता है। NLP एक अंतरविषयक क्षेत्र है और यह भाषाविज्ञान और कंप्यूटर विज्ञान जैसे क्षेत्रों में स्थापित तकनीकों को मिलाता है। इन तकनीकों का उपयोग एआई के साथ मिलकर चैटबॉट्स और डिजिटल सहायकों जैसे गूगल असिस्टेंट और अमेज़ॅन के एलेक्सा को बनाने के लिए किया जाता है।

आइए प्राकृतिक भाषा प्रसंस्करण के पीछे के तर्क, NLP में उपयोग की जाने वाली कुछ तकनीकों और NLP के लिए कुछ सामान्य उपयोग के मामलों का अन्वेषण करने के लिए कुछ समय लेते हैं।

प्राकृतिक भाषा प्रसंस्करण (NLP) क्यों महत्वपूर्ण है

कंप्यूटरों को मानव भाषा को व्याख्या करने के लिए, उन्हें एक ऐसे रूप में परिवर्तित किया जाना चाहिए जिसे कंप्यूटर मैनिपुलेट कर सके। हालांकि, यह केवल टेक्स्ट डेटा को संख्याओं में परिवर्तित करने जितना सरल नहीं है। मानव भाषा से अर्थ निकालने के लिए, पैटर्न को टेक्स्ट दस्तावेज़ में शामिल hundreds या thousands शब्दों से निकाला जाना चाहिए। यह कोई आसान काम नहीं है। मानव भाषा की व्याख्या के लिए कुछ कठोर और तेज नियम लागू किए जा सकते हैं। उदाहरण के लिए, एक ही शब्दों का सेट अलग-अलग चीजों का अर्थ दे सकता है, यह इस बात पर निर्भर करता है कि वे किस संदर्भ में उपयोग किए जाते हैं। मानव भाषा एक जटिल और अक्सर अस्पष्ट चीज है, और एक बयान को ईमानदारी से या व्यंग्य से कहा जा सकता है।

इसके बावजूद, कुछ सामान्य दिशानिर्देश हैं जो शब्दों और अक्षरों की व्याख्या करते समय उपयोग किए जा सकते हैं, जैसे कि अक्षर “स” का उपयोग यह दर्शाने के लिए किया जाता है कि एक वस्तु बहुवचन है। इन सामान्य दिशानिर्देशों को एक दूसरे के साथ मिलकर उपयोग किया जाना चाहिए ताकि टेक्स्ट से अर्थ निकाला जा सके, ताकि मशीन लर्निंग अल्गोरिदम को व्याख्या करने के लिए सुविधाएं प्रदान की जा सकें।

प्राकृतिक भाषा प्रसंस्करण में विभिन्न अल्गोरिदम का अनुप्रयोग शामिल है जो असंरचित डेटा को संरचित डेटा में परिवर्तित कर सकते हैं। यदि इन अल्गोरिदम का उपयोग गलत तरीके से किया जाता है, तो कंप्यूटर अक्सर टेक्स्ट से सही अर्थ निकालने में विफल रहता है। यह अक्सर भाषाओं के बीच टेक्स्ट अनुवाद में देखा जा सकता है, जहां वाक्य का सटीक अर्थ अक्सर खो जाता है। जबकि मशीन अनुवाद पिछले कुछ वर्षों में काफी सुधरा है, मशीन अनुवाद त्रुटियां अभी भी बार-बार होती हैं।

प्राकृतिक भाषा प्रसंस्करण (NLP) तकनीकें

फोटो: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

प्राकृतिक भाषा प्रसंस्करण में उपयोग की जाने वाली कई तकनीकों को दो श्रेणियों में रखा जा सकता है: व्याकरण या अर्थ। व्याकरण तकनीकें वे हैं जो शब्दों के क्रम से संबंधित हैं, जबकि अर्थ तकनीकें वे हैं जो शब्दों के अर्थ से संबंधित हैं।

व्याकरण NLP तकनीकें

व्याकरण के उदाहरणों में शामिल हैं:

• मूल रूप में कमी
• आकृति विभाजन
• भाग-ऑफ-भाषा टैगिंग
• व्याख्या
• वाक्य तोड़ना
• मूल रूप में कमी
• शब्द विभाजन

मूल रूप में कमी शब्दों के विभिन्न रूपों को एक ही रूप में कम करने की प्रक्रिया है। मूल रूप में कमी तenses और बहुवचन जैसी चीजों को सरल बनाती है, उदाहरण के लिए, “पैर” “पैर” में और “धारियां” “धारी” में बदल जाती हैं। यह सरलीकृत शब्द रूप अल्गोरिदम के लिए शब्दों की व्याख्या करना आसान बनाता है।

आकृति विभाजन शब्दों को मोर्फेम्स या शब्द की आधार इकाइयों में विभाजित करने की प्रक्रिया है। ये इकाइयाँ स्वतंत्र रूप से खड़े हो सकते हैं और पूर्वसर्ग या प्रत्यय जैसी चीजें हो सकती हैं।

भाग-ऑफ-भाषा टैगिंग केवल यह पहचानने की प्रक्रिया है कि प्रत्येक शब्द किस प्रकार का है।

व्याख्या शब्दों का विश्लेषण करने और उन्हें उनके औपचारिक व्याकरण लेबल से संबंधित करने की प्रक्रिया है।

वाक्य तोड़ना, या वाक्य सीमा विभाजन, यह तय करने की प्रक्रिया है कि एक वाक्य कहां शुरू होता है और कहां समाप्त होता है।

मूल रूप में कमी शब्दों को उनके मूल रूप में कम करने की प्रक्रिया है। उदाहरण के लिए, जुड़े, जुड़ाव, और जुड़ाव सभी “जुड़ाव” में कम हो जाते हैं।

शब्द विभाजन बड़े टेक्स्ट को छोटी इकाइयों में विभाजित करने की प्रक्रिया है, जो शब्द या मूल रूप में कम किए गए/मूल रूप में कम किए गए हो सकते हैं।

अर्थ NLP तकनीकें

अर्थ NLP तकनीकों में शामिल हैं:

• नामित इकाई पहचान
• प्राकृतिक भाषा उत्पादन
• शब्द-अर्थ विभेदीकरण

नामित इकाई पहचान कुछ पाठ भागों को टैग करने की प्रक्रिया है जिन्हें पहले से परिभाषित श्रेणियों में रखा जा सकता है। पूर्व-निर्धारित श्रेणियों में तारीखें, शहर, स्थान, कंपनियां और व्यक्तियों जैसी चीजें शामिल हैं।

प्राकृतिक भाषा उत्पादन डेटाबेस का उपयोग करके संरचित डेटा को प्राकृतिक भाषा में बदलने की प्रक्रिया है। उदाहरण के लिए, मौसम के बारे में आंकड़े, जैसे तापमान और हवा की गति, प्राकृतिक भाषा में सारांशित किए जा सकते हैं।

शब्द-अर्थ विभेदीकरण शब्दों को उनके अर्थ के आधार पर टेक्स्ट में व्याख्या करने की प्रक्रिया है।

प्राकृतिक भाषा प्रसंस्करण के लिए गहरे शिक्षण मॉडल

नियमित बहुस्तरीय प्रत्यावर्ती नेटवर्क क्रमिक डेटा की व्याख्या करने में असमर्थ हैं जहां जानकारी का क्रम महत्वपूर्ण है। क्रमिक डेटा में क्रम के महत्व से निपटने के लिए, एक प्रकार का न्यूरल नेटवर्क उपयोग किया जाता है जो प्रशिक्षण के पिछले समय में जानकारी को बनाए रखता है।

पुनरावृत्ति न्यूरल नेटवर्क न्यूरल नेटवर्क का एक प्रकार है जो पिछले समय के डेटा पर लूप करता है, जब वे वर्तमान समय के वजन की गणना करते हैं। मूल रूप से, आरएनएन में तीन पैरामीटर होते हैं जो आगे के प्रशिक्षण पास में उपयोग किए जाते हैं: पिछले छिपे हुए राज्य पर आधारित एक मैट्रिक्स, वर्तमान इनपुट पर आधारित एक मैट्रिक्स, और एक मैट्रिक्स जो छिपे हुए राज्य और आउटपुट के बीच होता है। चूंकि आरएनएन पिछले समय के डेटा को ध्यान में रख सकते हैं, वे पाठ डेटा से प्रासंगिक पैटर्न निकाल सकते हैं और पूर्व के शब्दों को वर्तमान शब्द की व्याख्या करने के लिए ध्यान में रख सकते हैं।

पाठ डेटा को संसाधित करने के लिए उपयोग की जाने वाली एक अन्य गहरी शिक्षण वास्तुकला लंबी शॉर्ट-टर्म मेमोरी (एलएसटीएम) नेटवर्क है। एलएसटीएम नेटवर्क आरएनएन के समान होते हैं, लेकिन उनकी वास्तुकला में कुछ अंतर के कारण वे आरएनएन की तुलना में बेहतर प्रदर्शन करते हैं। वे एक विशिष्ट समस्या से बचते हैं जो अक्सर आरएनएन का उपयोग करते समय होती है जिसे विस्फोटक ग्रेडिएंट समस्या कहा जाता है।

इन गहरे न्यूरल नेटवर्क एकदिशीय या द्विदिशीय हो सकते हैं। द्विदिशीय नेटवर्क न केवल उन शब्दों को ध्यान में रख सकते हैं जो वर्तमान शब्द से पहले आते हैं, बल्कि उन शब्दों को भी ध्यान में रख सकते हैं जो उसके बाद आते हैं। जबकि यह सटीकता में वृद्धि की ओर ले जाता है, यह अधिक गणनात्मक रूप से महंगा है।

प्राकृतिक भाषा प्रसंस्करण (NLP) के लिए उपयोग के मामले

फोटो: mohammed_hassan via Pixabay, Pixabay लाइसेंस (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

चूंकि प्राकृतिक भाषा प्रसंस्करण मानव भाषाओं के विश्लेषण और मैनिपुलेशन से संबंधित है, इसके अनुप्रयोगों का एक अविश्वसनीय रूप से व्यापक श्रृंखला है। NLP के संभावित अनुप्रयोगों में चैटबॉट, डिजिटल सहायक, भावना विश्लेषण, दस्तावेज़ संगठन, प्रतिभा भर्ती, और स्वास्थ्य सेवा शामिल हैं।

चैटबॉट और डिजिटल सहायक जैसे अमेज़ॅन के एलेक्सा और गूगल असिस्टेंट आवाज़ पहचान और संश्लेषण प्लेटफ़ॉर्म के उदाहरण हैं जो NLP का उपयोग करके मौखिक आदेशों की व्याख्या और प्रतिक्रिया करते हैं। ये डिजिटल सहायक लोगों को विभिन्न कार्यों में मदद करते हैं, जिससे वे अपने कुछ संज्ञानात्मक कार्यों को दूसरे उपकरण में स्थानांतरित कर सकते हैं और अपने मस्तिष्क को अन्य, अधिक महत्वपूर्ण चीजों के लिए मुक्त कर सकते हैं। इसके बजाय कि वे सुबह के व्यस्त समय में बैंक तक जाने के लिए सबसे अच्छा मार्ग देखें, वे बस अपने डिजिटल सहायक से ऐसा करने के लिए कह सकते हैं।

भावना विश्लेषण NLP तकनीकों का उपयोग करके लोगों की प्रतिक्रियाओं और किसी घटना के प्रति उनकी भावनाओं का अध्ययन करने की प्रक्रिया है, जैसा कि उनके द्वारा उपयोग की जाने वाली भाषा द्वारा संचारित किया गया है। किसी बयान की भावना को पकड़ना, जैसे कि किसी उत्पाद की समीक्षा अच्छी या बुरी है, कंपनियों को यह जानने के लिए महत्वपूर्ण जानकारी प्रदान कर सकता है कि उनके उत्पाद कैसे प्राप्त किए जा रहे हैं।

पाठ दस्तावेज़ों को स्वचालित रूप से व्यवस्थित करना NLP का एक और अनुप्रयोग है। गूगल और याहू जैसी कंपनियां ईमेल दस्तावेज़ों को वर्गीकृत करने के लिए NLP अल्गोरिदम का उपयोग करती हैं, उन्हें “सामाजिक” या “प्रचार” जैसे उपयुक्त बिन में रखा जाता है। वे इन तकनीकों का उपयोग अपने इनबॉक्स में पहुंचने से पहले स्पैम की पहचान करने और उसे रोकने के लिए भी करते हैं।

समूहों ने NLP तकनीकों को विकसित किया है जो संबंधित कौशल के आधार पर संभावित नौकरी के उम्मीदवारों की पहचान करने के लिए उपयोग की जाती हैं। भर्ती प्रबंधक भी NLP तकनीकों का उपयोग आवेदकों की सूची को छांटने में मदद के लिए कर रहे हैं।

NLP तकनीकों का उपयोग स्वास्थ्य सेवा में भी किया जा रहा है। NLP का उपयोग बीमारियों का पता लगाने में सुधार के लिए किया जा सकता है। स्वास्थ्य रिकॉर्ड का विश्लेषण किया जा सकता है और NLP अल्गोरिदम द्वारा लक्षण निकाले जा सकते हैं, जो तब संभावित निदान सुझा सकते हैं। इसका एक उदाहरण अमेज़ॅन का कॉम्प्रिहेंड मेडिकल प्लेटफ़ॉर्म है, जो स्वास्थ्य रिकॉर्ड का विश्लेषण करता है और बीमारियों और उपचारों को निकालता है। NLP के स्वास्थ्य सेवा अनुप्रयोग मानसिक स्वास्थ्य तक भी बढ़ते हैं। ऐसे ऐप हैं जैसे वोबोट, जो उपयोगकर्ताओं को संज्ञानात्मक व्यवहार चिकित्सा में आधारित विभिन्न चिंता प्रबंधन तकनीकों के माध्यम से बात करता है।