भाषा प्रसंस्करण को गूगल के ओपन सोर्स बेर्ट मॉडल के माध्यम से कैसे बढ़ाया जा रहा है

ट्रांसफॉर्मर्स से बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन, जिसे बेर्ट के नाम से जाना जाता है, एक प्रशिक्षण मॉडल है जिसने एनएलपी मॉडल्स की दक्षता और प्रभाव को काफी हद तक बढ़ा दिया है। अब जब गूगल ने बेर्ट मॉडल्स को ओपन सोर्स बना दिया है, तो यह सभी उद्योगों में एनएलपी मॉडल्स में सुधार की अनुमति देता है। इस लेख में, हम देखते हैं कि बेर्ट एनएलपी को आज की दुनिया में सबसे शक्तिशाली और उपयोगी एआई समाधानों में से एक में कैसे बदल रहा है।

बेर्ट मॉडल्स को सर्च में लागू करना

गूगल का सर्च इंजन अपनी प्रासंगिक सामग्री प्रस्तुत करने की क्षमता के लिए विश्व प्रसिद्ध है, और उन्होंने इस प्राकृतिक भाषा प्रसंस्करण कार्यक्रम को दुनिया के लिए ओपन सोर्स बना दिया है। (GOOGL )

किसी प्रणाली की प्राकृतिक भाषा पढ़ने और व्याख्या करने की क्षमता अधिक से अधिक महत्वपूर्ण होती जा रही है क्योंकि दुनिया नए डेटा का उत्पादन करती है। गूगल की शब्द अर्थों, वाक्यांशों और प्रासंगिक सामग्री प्रस्तुत करने की क्षमता की पुस्तकालय ओपन सोर्स है। प्राकृतिक भाषा प्रसंस्करण से परे, उनके बेर्ट मॉडल में बड़ी मात्रा में असंरचित डेटा से जानकारी निकालने और किसी भी पुस्तकालय के लिए खोज इंटरफेस बनाने की क्षमता है। इस लेख में, हम देखेंगे कि यह तकनीक ऊर्जा क्षेत्र में कैसे लागू की जा सकती है।

बेर्ट (बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन फ्रॉम ट्रांसफॉर्मर्स) एक पूर्व-प्रशिक्षण दृष्टिकोण है जो गूगल एआई भाषा समूह द्वारा प्रस्तावित किया गया है, जो प्रारंभिक एनएलपी मॉडल्स की एक सामान्य समस्या को दूर करने के लिए विकसित किया गया है: प्रशिक्षण डेटा की कमी।

आइए विस्तार से बताएं, बिना बहुत विवरण में जाए:

मॉडल्स को प्रशिक्षित करना

निम्न-स्तरीय (जैसे नामित इकाई पहचान, विषय विभाजन) और उच्च-स्तरीय (जैसे भावना विश्लेषण, भाषण मान्यता) एनएलपी कार्यों के लिए कार्य-विशिष्ट अनुक्रमित डेटासेट की आवश्यकता होती है। जबकि वे मिलना मुश्किल है और इकट्ठा करना महंगा है, लेबल वाले डेटासेट शैली और गहरे तंत्रिका नेटवर्क मॉडल दोनों के प्रदर्शन में एक महत्वपूर्ण भूमिका निभाते हैं। उच्च-गुणवत्ता वाले अनुमान परिणाम केवल तभी प्राप्त किए जा सकते हैं जब लाखों या अरबों अनुक्रमित प्रशिक्षण उदाहरण उपलब्ध हों। और यह एक समस्या थी जिसने कई एनएलपी कार्यों को दूर कर दिया। यह तब तक था जब तक बेर्ट विकसित नहीं किया गया था।

बेर्ट एक सामान्य-उद्देश्य भाषा प्रतिनिधित्व मॉडल है, जो बड़े असंकेतित पाठ निगमों पर प्रशिक्षित है। जब मॉडल को बड़ी मात्रा में पाठ सामग्री के संपर्क में लाया जाता है, तो यह वाक्य में शब्दों के बीच संदर्भ और संबंधों को समझने के लिए सीखता है। पिछले शिक्षण मॉडल के विपरीत जो केवल शब्द स्तर (बैंक शब्द का अर्थ “बैंक खाता” और “घास का बैंक” दोनों में समान होगा) पर अर्थ का प्रतिनिधित्व करते थे, बेर्ट वास्तव में संदर्भ की परवाह करता है। यह वाक्य में शब्द से पहले और बाद में क्या आता है। संदर्भ बेर्ट जैसे संदर्भ-जागरूक मॉडल की एक प्रमुख कमी साबित हुई, जिसका मॉडल प्रदर्शन पर सीधा प्रभाव पड़ा।

बेर्ट को बड़ी मात्रा में पाठ सामग्री पर प्रशिक्षित करना एक तकनीक है जिसे पूर्व-प्रशिक्षण के रूप में जाना जाता है। इसका मतलब है कि मॉडल के वजन सामान्य पाठ समझने के कार्यों के लिए समायोजित किए जाते हैं और अधिक बारीक मॉडल बेर्ट के शीर्ष पर बनाए जा सकते हैं। लेखकों ने इस तकनीक की श्रेष्ठता को साबित किया जब उन्होंने 11 एनएलपी कार्यों पर बेर्ट-आधारित मॉडल नियोजित किए और राज्य-оф-द-आर्ट परिणाम प्राप्त किए।

पूर्व-प्रशिक्षित मॉडल

सबसे अच्छी बात यह है: पूर्व-प्रशिक्षित बेर्ट मॉडल ओपन सोर्स और सार्वजनिक रूप से उपलब्ध हैं। इसका मतलब है कि कोई भी एनएलपी कार्यों को संभाल सकता है और बेर्ट के शीर्ष पर अपने मॉडल बना सकता है। क्या इससे बेहतर कुछ हो सकता है? ओह, प्रतीक्षा करें: यह भी意味ा है कि एनएलपी मॉडल अब छोटे डेटासेट पर प्रशिक्षित (फाइन-ट्यून) किए जा सकते हैं, बिना स्क्रैच से प्रशिक्षण की आवश्यकता के। एक नए युग की शुरुआत, वास्तव में।

इन पूर्व-प्रशिक्षित मॉडलों से कंपनियों को एनएलपी मॉडल्स को आंतरिक या बाहरी उपयोग के लिए तैनात करने के लिए लागत और समय को कम करने में मदद मिलती है। एनएलपी मॉडल्स की प्रभावशीलता पर माइकल एलेक्सिस, वर्चुअल टीम-संस्कृति निर्माण कंपनी, टीमबिल्डिंग.कॉम के सीईओ द्वारा जोर दिया जाता है।

“एनएलपी का सबसे बड़ा लाभ सूचना की स्केलेबल और सुसंगत अनुमान और प्रसंस्करण है।” – माइकल एलेक्सिस, टीमबिल्डिंग.कॉम के सीईओ

माइकल बताते हैं कि एनएलपी को संस्कृति पोषण कार्यक्रमों जैसे आइसब्रेकर या सर्वेक्षणों में कैसे लागू किया जा सकता है। एक कंपनी कर्मचारियों की प्रतिक्रिया का विश्लेषण करके कंपनी संस्कृति कैसे चल रही है, इस बारे में मूल्यवान अंतर्दृष्टि प्राप्त कर सकती है। यह न केवल पाठ का विश्लेषण करके हासिल किया जाता है, बल्कि पाठ के अनुक्रम का भी विश्लेषण किया जाता है। मूल रूप से, मॉडल “रेखाओं के बीच” पढ़ता है ताकि भावना, महसूस और समग्र दृष्टिकोण पर अंतर्दृष्टि प्राप्त की जा सके। बेर्ट ऐसे स्थितियों में मदद कर सकता है जहां संकेतकों के साथ पूर्व-प्रशिक्षित मॉडल को प्रशिक्षित किया जा सकता है जो भाषा की बारीकियों को उजागर करने के लिए जा सकते हैं और अधिक सटीक अंतर्दृष्टि प्रदान कर सकते हैं।

प्रश्नों में सुधार

संदर्भ को मॉडल करने की क्षमता ने बेर्ट को एक एनएलपी नायक बना दिया है और गूगल सर्च को ही क्रांतिकारी बना दिया है। नीचे गूगल सर्च उत्पाद टीम का एक उद्धरण है और उनके परीक्षण अनुभव हैं जब वे बेर्ट को प्रश्न के पीछे के इरादे को समझने के लिए ट्यून कर रहे थे।

“यहाँ कुछ उदाहरण हैं जो बेर्ट की क्षमता को प्रदर्शित करते हैं कि यह आपके खोज के पीछे के इरादे को समझता है। यहाँ एक खोज है ‘2019 ब्राजील यात्री संयुक्त राज्य अमेरिका को वीजा की आवश्यकता है।’ शब्द ‘टू’ और इसका अन्य शब्दों के साथ संबंध वाक्य के अर्थ को समझने के लिए विशेष रूप से महत्वपूर्ण है। यह एक ब्राजीलियाई के बारे में है जो संयुक्त राज्य अमेरिका की यात्रा कर रहा है, न कि इसके विपरीत। पहले, हमारे अल्गोरिदम इस संबंध के महत्व को नहीं समझते थे और हम ब्राजील की यात्रा करने वाले संयुक्त राज्य अमेरिकी नागरिकों के बारे में परिणाम लौटाते थे। बेर्ट के साथ, खोज वाक्य में ‘टू’ शब्द की न्यूनिकता को समझती है और अधिक प्रासंगिक परिणाम प्रदान करती है।” – पांडु नायक, गूगल फेलो और सर्च के उपाध्यक्ष।

BERT search example, before and after. Source blog

हमारे पिछले लेख में एनएलपी और ओसीआर, हमने वास्तविक-विश्व में एनएलपी के कुछ उपयोगों को चित्रित किया है। हमने यह भी उल्लेख किया है कि “एनएलपी टूल्स आदर्श जानकारी निकालने वाले टूल्स हैं।” आइए ऊर्जा क्षेत्र पर एक नज़र डालें और देखें कि कैसे विघटनकारी एनएलपी प्रौद्योगिकियां जैसे बेर्ट नए अनुप्रयोग उपयोग के मामलों को सक्षम करती हैं।

एनएलपी मॉडल बड़ी मात्रा में असंरचित डेटा से जानकारी निकाल सकते हैं

एक तरीका जिससे एनएलपी मॉडल का उपयोग किया जा सकता है वह है असंरचित पाठ डेटा से महत्वपूर्ण जानकारी निकालने के लिए। ईमेल, पत्रिकाएं, नोट्स, लॉग और रिपोर्ट व्यवसायों के दैनिक संचालन के हिस्से के रूप में पाठ डेटा स्रोतों के उदाहरण हैं। इनमें से कुछ दस्तावेज़ संचालन को अधिक कुशल और लागत को कम करने के प्रयासों में महत्वपूर्ण साबित हो सकते हैं।

जब विंड टरबाइन प्रेडिक्टिव मेंटेनेंस विफलता रिपोर्ट लागू करने का लक्ष्य है, तो विफलता रिपोर्ट में विभिन्न घटकों के व्यवहार के बारे में महत्वपूर्ण जानकारी हो सकती है। लेकिन चूंकि विभिन्न विंड टरबाइन निर्माताओं के अलग-अलग डेटा संग्रह मानक हैं (यानी, रखरखाव रिपोर्ट विभिन्न प्रारूपों और यहां तक कि भाषाओं में आती हैं), प्रासंगिक डेटा आइटम को मैन्युअल रूप से पहचानना संयंत्र के मालिक के लिए जल्दी से महंगा हो सकता है। एनएलपी टूल्स असंरचित सामग्री से प्रासंगिक अवधारणाओं, विशेषताओं और घटनाओं को निकाल सकते हैं। टेक्स्ट विश्लेषण का उपयोग विभिन्न डेटा स्रोतों में संबंधों और पैटर्न को खोजने के लिए किया जा सकता है। इससे संयंत्र के मालिकों को अपनी विफलता रिपोर्ट में पहचाने गए मात्रात्मक उपायों के आधार पर पूर्वानुमानिक रखरखाव लागू करने का अवसर मिलता है।

एनएलपी मॉडल प्राकृतिक भाषा खोज इंटरफेस प्रदान कर सकते हैं

इसी तरह, तेल और गैस कंपनियों के लिए काम करने वाले भू-वैज्ञानिकों को अक्सर कई दस्तावेजों की समीक्षा करने की आवश्यकता होती है जो पिछले ड्रिलिंग संचालन, कुएं के लॉग और भूकंपीय डेटा से संबंधित होते हैं। चूंकि ऐसे दस्तावेज भी विभिन्न प्रारूपों में आते हैं और आमतौर पर कई स्थानों (दोनों भौतिक और डिजिटल) पर फैले हुए होते हैं, वे गलत स्थानों पर जानकारी खोजने में बहुत समय बर्बाद करते हैं। एक व्यवहार्य समाधान इस मामले में एक एनएलपी-संचालित खोज इंटरफेस होगा, जो उपयोगकर्ताओं को प्राकृतिक भाषा में डेटा खोजने की अनुमति देगा। फिर, एक एनएलपी मॉडल सैकड़ों दस्तावेजों में डेटा को संबंधित कर सकता है और प्रश्न का एक सेट उत्तर लौटा सकता है। कर्मचारी तब अपने स्वयं के विशेषज्ञ ज्ञान के आधार पर आउटपुट को सत्यापित कर सकते हैं और प्रतिक्रिया मॉडल को और भी बेहतर बना सकती है।

हालांकि, ऐसे मॉडलों को तैनात करने के लिए तकनीकी विचार हैं। एक पहलू यह होगा कि उद्योग-विशिष्ट जार्गन पारंपरिक शिक्षण मॉडल को भ्रमित कर सकता है जो उचित सेमांटिक समझ नहीं रखते हैं। दूसरा, मॉडल के प्रदर्शन को प्रशिक्षण डेटासेट के आकार से प्रभावित किया जा सकता है। यह तब है जब पूर्व-प्रशिक्षित मॉडल जैसे बेर्ट लाभदायक साबित हो सकते हैं। संदर्भ प्रतिनिधित्व शब्द के अर्थ को मॉडल कर सकते हैं और उद्योग-विशिष्ट शब्दों के कारण होने वाले任何 भ्रम को दूर कर सकते हैं। पूर्व-प्रशिक्षित मॉडल का उपयोग करके, यह संभव है कि नेटवर्क को छोटे डेटासेट पर प्रशिक्षित किया जाए। इससे समय, ऊर्जा और संसाधनों की बचत होती है जो स्क्रैच से प्रशिक्षण के लिए आवश्यक होते।

आपके व्यवसाय के बारे में क्या?

क्या आप किसी भी एनएलपी कार्यों के बारे में सोच सकते हैं जो आपको लागत को कम करने और संचालन की दक्षता बढ़ाने में मदद कर सकते हैं?

ब्लू ओरेंज डिजिटल डेटा साइंस टीम आपके लिए भी बेर्ट को अनुकूलित करने में खुशी होगी!