ट्रांसफॉर्मर का प्रभाव: क्या मशीन अनुवाद की चुनौती का समाधान हो गया है?

गूगल ने हाल ही में घोषणा की है कि वे गूगल ट्रांस्लेट पर 110 नए भाषाओं को जोड़ रहे हैं, जो उनकी 2022 में शुरू की गई 1000 भाषाओं की पहल का हिस्सा है। 2022 में, उन्होंने शुरुआत में 24 भाषाओं को जोड़ा था। इस नए 110 भाषाओं के साथ, यह अब 243 भाषाओं तक पहुंच गया है। यह तेजी से विस्तार ज़ीरो-शॉट मशीन अनुवाद तकनीक के कारण संभव हुआ है, जिसमें मशीन लर्निंग मॉडल पूर्व उदाहरणों के बिना ही किसी अन्य भाषा में अनुवाद करना सीखते हैं। लेकिन भविष्य में हम देखेंगे कि क्या यह प्रगति मशीन अनुवाद की चुनौती का अंतिम समाधान हो सकती है, और इस बीच हम इसके तरीकों का अन्वेषण कर सकते हैं। लेकिन पहले, इसकी कहानी सुनें।

यह पहले कैसे था?

सांख्यिकीय मशीन अनुवाद (एसएमटी)

यह मूल विधि थी जिसका उपयोग गूगल ट्रांस्लेट ने किया था। यह सांख्यिकीय मॉडलों पर निर्भर था। उन्होंने बड़े समानांतर निगमों का विश्लेषण किया, जो अनुवादित वाक्यों के संग्रह थे, ताकि सबसे संभावित अनुवाद निर्धारित किया जा सके। पहले सिस्टम ने पाठ को मध्यवर्ती चरण के रूप में अंग्रेजी में अनुवादित किया, और फिर लक्ष्य भाषा में परिवर्तित किया, और इसके लिए उन्हें संयुक्त राष्ट्र और यूरोपीय संसद के प्रतिलेखों से व्यापक डेटासेट के साथ वाक्यांशों को पार करना पड़ा। यह पारंपरिक दृष्टिकोण से अलग था, जिसमें व्याकरणिक नियमों का संकलन करना आवश्यक था, और इसके सांख्यिकीय दृष्टिकोण ने इसे डेटा से सीखने और अनुकूलन करने में सक्षम बनाया, बिना स्थिर भाषाई ढांचे पर निर्भर किए जो जल्द ही पूरी तरह से अनावश्यक हो सकते थे।
लेकिन इस दृष्टिकोण के कुछ नुकसान भी हैं। पहले, गूगल ट्रांस्लेट ने वाक्य-आधारित अनुवाद का उपयोग किया, जहां सिस्टम ने वाक्यों को वाक्यांशों में तोड़ दिया और उन्हें व्यक्तिगत रूप से अनुवादित किया। यह शब्द-दर-शब्द अनुवाद से बेहतर था, लेकिन अभी भी सीमाएं थीं, जैसे कि अजीब वाक्य रचना और संदर्भ त्रुटियां। यह पूरी तरह से हमारी तरह सूक्ष्मताओं को नहीं समझता था। इसके अलावा, एसएमटी समानांतर निगमों पर बहुत अधिक निर्भर करता है, और किसी भी अपेक्षाकृत दुर्लभ भाषा का अनुवाद करना मुश्किल होगा क्योंकि इसके पास पर्याप्त समानांतर डेटा नहीं है।

न्यूरल मशीन अनुवाद (एनएमटी)

2016 में, गूगल ने न्यूरल मशीन अनुवाद में स्विच किया। यह गहरे शिक्षण मॉडल का उपयोग करता है ताकि पूरे वाक्यों को एक साथ और एक ही समय में अनुवादित किया जा सके, जिससे अधिक प्रवाही और सटीक अनुवाद होते हैं। एनएमटी एक जटिल बहुभाषी सहायक की तरह काम करता है जो आपके कंप्यूटर में है। एक क्रम-टू-क्रम (सीक्यू) वास्तुकला का उपयोग करके, एनएमटी एक वाक्य को एक भाषा में संसाधित करता है ताकि इसका अर्थ समझा जा सके। फिर – एक अन्य भाषा में एक संबंधित वाक्य उत्पन्न करता है। यह विधि बड़े डेटासेट का उपयोग करती है जो सीखने के लिए, सांख्यिकीय मशीन अनुवाद के विपरीत, जो बड़े समानांतर निगमों का विश्लेषण करता है ताकि सबसे संभावित अनुवाद निर्धारित किया जा सके। एनएमटी की ताकत पूरे शब्दों के क्रमों को संसाधित करने में सक्षम बनाती है जो भाषा के संदर्भ को अधिक प्रभावी ढंग से पकड़ने में मदद करती है, जो एसएमटी के विपरीत है जो वाक्य-आधारित अनुवाद पर केंद्रित था और मैनुअल प्रयास की आवश्यकता थी ताकि लिंग्विस्टिक नियमों और शब्दकोशों को विकसित और बनाए रखा जा सके। इसलिए, यह विभिन्न भाषा जोड़ियों में अनुवाद की गुणवत्ता में सुधार करता है, अक्सर मानव अनुवादकों के समान प्रवाह और सटीकता के स्तर तक पहुंच जाता है।
वास्तव में, पारंपरिक एनएमटी मॉडल रिकरेंट न्यूरल नेटवर्क – आरएनएन – का उपयोग करते थे क्योंकि वे अनुक्रमिक डेटा को संसाधित करने के लिए डिज़ाइन किए गए थे, जो एक छिपी हुई स्थिति को बनाए रखते थे जो हर नए इनपुट (शब्द या टोकन) के साथ विकसित होते थे। यह छिपी हुई स्थिति एक प्रकार की स्मृति की तरह काम करती है जो पिछले इनपुट के संदर्भ को पकड़ती है, जिससे मॉडल समय के साथ निर्भरता सीखता है। लेकिन, आरएनएन गणनात्मक रूप से महंगे थे और प्रभावी ढंग से समानांतर करना मुश्किल था, जो उनकी विस्तारितता को सीमित कर रहा था।

ट्रांसफॉर्मर का परिचय

2017 में, गूगल रिसर्च ने “आइटेंशन इज ऑल यू नीड” नामक एक पेपर प्रकाशित किया, जिसमें ट्रांसफॉर्मर को पेश किया गया और आरएनएन से दूर जाने के लिए एक महत्वपूर्ण बदलाव का संकेत दिया गया।

ट्रांसफॉर्मर केवल ध्यान तंत्र पर निर्भर करते हैं, – स्व-ध्यान, जो न्यूरल मशीन अनुवाद मॉडल को इनपुट अनुक्रम के सबसे महत्वपूर्ण हिस्सों पर चुनिंदा रूप से ध्यान केंद्रित करने की अनुमति देता है। आरएनएन के विपरीत, जो वाक्यों में शब्दों को अनुक्रम में संसाधित करते हैं, स्व-ध्यान प्रत्येक टोकन का पूरे पाठ में मूल्यांकन करता है, यह निर्धारित करता है कि अन्य कौन से महत्वपूर्ण हैं इसके संदर्भ को समझने के लिए। यह एक ही समय में सभी शब्दों की गणना ट्रांसफॉर्मर को प्रभावी ढंग से दोनों छोटी और लंबी दूरी की निर्भरता को पकड़ने में सक्षम बनाती है, बिना पुनरावृत्ति संबंधों या संयोजन फिल्टर पर निर्भर किए।

तो पुनरावृत्ति को समाप्त करके, ट्रांसफॉर्मर कई प्रमुख लाभ प्रदान करते हैं:

• समानांतरीकरण: ध्यान तंत्र अनुक्रम के विभिन्न खंडों में समानांतर में गणना कर सकते हैं, जो आधुनिक हार्डवेयर जैसे जीपीयू पर प्रशिक्षण को तेज करता है।
• प्रशिक्षण दक्षता: वे पारंपरिक आरएनएन-आधारित या सीएनएन-आधारित मॉडल की तुलना में काफी कम प्रशिक्षण समय की आवश्यकता होती है, जो मशीन अनुवाद जैसे कार्यों में बेहतर प्रदर्शन प्रदान करते हैं।

ज़ीरो-शॉट मशीन अनुवाद और पाल्म 2

2022 में, गूगल ने ज़ीरो-शॉट मशीन अनुवाद का उपयोग करके 24 नए भाषाओं के लिए समर्थन जारी किया, जो मशीन अनुवाद प्रौद्योगिकी में एक महत्वपूर्ण मील का पत्थर था। उन्होंने 1,000 भाषाओं की पहल की भी घोषणा की, जिसका उद्देश्य दुनिया की 1,000 सबसे अधिक बोली जाने वाली भाषाओं का समर्थन करना है। उन्होंने अब 110 और भाषाएं जारी की हैं। ज़ीरो-शॉट मशीन अनुवाद स्रोत और लक्ष्य भाषाओं के बीच समानांतर डेटा की आवश्यकता को समाप्त करता है, प्रत्येक भाषा जोड़ी के लिए प्रशिक्षण डेटा बनाने की प्रक्रिया को समाप्त करता है – एक प्रक्रिया जो पहले महंगी और समय लेने वाली थी, और कुछ भाषा जोड़ियों के लिए असंभव भी।

यह प्रगति ट्रांसफॉर्मर की वास्तुकला और स्व-ध्यान तंत्र के कारण संभव हुई। ट्रांसफॉर्मर मॉडल की क्षमता भाषाओं के बीच संदर्भ संबंध सीखने की, एक साथ कई भाषाओं को संभालने की इसकी विस्तारितता के साथ मिलकर, अधिक कुशल और प्रभावी बहुभाषी अनुवाद प्रणालियों के विकास को सक्षम बनाया। हालांकि, ज़ीरो-शॉट मॉडल आमतौर पर समानांतर डेटा पर प्रशिक्षित मॉडल की तुलना में कम गुणवत्ता दिखाते हैं।

फिर, ट्रांसफॉर्मर की प्रगति पर निर्माण करते हुए, गूगल ने 2023 में पाल्म 2 पेश किया, जिसने 2024 में 110 नए भाषाओं की रिलीज का मार्ग प्रशस्त किया। पाल्म 2 ने ट्रांस्लेट की क्षमता में काफी सुधार किया है जो निकट से संबंधित भाषाओं जैसे अवधी और मारवाड़ी (हिंदी से संबंधित) और फ्रेंच क्रियोल जैसे सेशेल्स और मॉरीशस क्रियोल को सीखने में सक्षम है। पाल्म 2 में सुधार, जैसे कि कम्प्यूट-ऑप्टिमल स्केलिंग, बेहतर डेटासेट, और परिष्कृत डिजाइन – अधिक कुशल भाषा सीखने को सक्षम बनाते हैं और गूगल के निरंतर प्रयासों का समर्थन करते हैं ताकि भाषा समर्थन बेहतर और विविध भाषाई सूक्ष्मताओं को समायोजित किया जा सके।

क्या हम दावा कर सकते हैं कि मशीन अनुवाद की चुनौती को ट्रांसफॉर्मर के साथ पूरी तरह से हल किया गया है?

यह विकास जो हम चर्चा कर रहे हैं वह गूगल के एसएमटी को अपनाने से लेकर हाल ही में ज़ीरो-शॉट मशीन अनुवाद का उपयोग करके 110 अतिरिक्त भाषाओं तक 18 वर्षों का समय लेता है। यह एक बड़ा कदम है जो समानांतर निगम संग्रह की आवश्यकता को कम कर सकता है – एक ऐतिहासिक रूप से और बहुत श्रमसाध्य कार्य जिसे उद्योग ने दो दशकों से अधिक समय से आगे बढ़ाया है। लेकिन, यह दावा करना कि मशीन अनुवाद पूरी तरह से हल हो गया है, तकनीकी और नैतिक विचारों को देखते हुए समय से पहले होगा।

वर्तमान मॉडल अभी भी संदर्भ और सुसंगतता के साथ संघर्ष करते हैं और सूक्ष्म त्रुटियां करते हैं जो पाठ के अर्थ को बदल सकती हैं। ये मुद्दे लंबे, अधिक जटिल वाक्यों में बहुत मौजूद हैं जहां तार्किक प्रवाह और सूक्ष्मताओं को समझने के लिए परिणामों की आवश्यकता होती है। सांस्कृतिक सूक्ष्मताएं और मुहावरेदार अभिव्यक्तियां अक्सर खो जाती हैं या अपना अर्थ खो देती हैं, जिससे अनुवाद होते हैं जो व्याकरणिक रूप से सही हो सकते हैं लेकिन इरादा प्रभाव नहीं डालते हैं या अस्वाभाविक लगते हैं।

प्री-ट्रेनिंग के लिए डेटा: पाल्म 2 और इसी तरह के मॉडल को विविध बहुभाषी पाठ निगम पर पूर्व-प्रशिक्षित किया जाता है, जो अपने पूर्ववर्ती पाल्म से आगे निकल जाता है। यह सुधार पाल्म 2 को बहुभाषी कार्यों में उत्कृष्टता प्राप्त करने में सक्षम बनाता है, जो अनुवाद गुणवत्ता में सुधार के लिए पारंपरिक डेटासेट के महत्व पर जोर देता है।

डोमेन-विशिष्ट या दुर्लभ भाषाएं: विशेषज्ञ डोमेन जैसे कानूनी, चिकित्सा, या तकनीकी क्षेत्रों में, समानांतर निगम सुनिश्चित करते हैं कि मॉडल विशिष्ट शब्दावली और भाषा की सूक्ष्मताओं का सामना करते हैं। उन्नत मॉडल डोमेन-विशिष्ट जारगन या विकसित भाषा रुझानों के साथ संघर्ष कर सकते हैं, जो ज़ीरो-शॉट मशीन अनुवाद के लिए चुनौतियां प्रस्तुत करते हैं। इसके अलावा, कम-संसाधन वाली भाषाएं अभी भी खराब अनुवादित हैं क्योंकि उन्हें सटीक मॉडल प्रशिक्षित करने के लिए आवश्यक डेटा नहीं है।

बेंचमार्किंग: समानांतर निगम अनुवाद मॉडल प्रदर्शन का मूल्यांकन और बेंचमार्किंग के लिए आवश्यक हैं, विशेष रूप से उन भाषाओं के लिए जिनके पास पर्याप्त समानांतर निगम डेटा नहीं है। स्वचालित मेट्रिक्स जैसे ब्लू, ब्लर्ट, और मेटोर अनुवाद गुणवत्ता में सूक्ष्मता का मूल्यांकन करने में सीमित हैं, इसके अलावा व्याकरण। लेकिन, हम मनुष्य अपने पूर्वाग्रहों से बाधित हैं। इसके अलावा, प्रत्येक भाषा जोड़ी के लिए सूक्ष्म त्रुटियों को पकड़ने के लिए पर्याप्त योग्य द्विभाषी मूल्यांकनकर्ता नहीं हैं।

संसाधन गहनता: एलएलएम को प्रशिक्षित करने और तैनात करने की संसाधन-गहन प्रकृति अभी भी एक बाधा है, जो कुछ अनुप्रयोगों या संगठनों के लिए सुलभता को सीमित करती है।

सांस्कृतिक संरक्षण। नैतिक आयाम गहरा है। जैसा कि आइज़क कैसवेल, गूगल ट्रांस्लेट रिसर्च वैज्ञानिक, ज़ीरो-शॉट मशीन अनुवाद का वर्णन करते हैं: “आप इसे एक बहुभाषी के रूप में सोच सकते हैं जो बहुत सारी भाषाएं जानता है। लेकिन फिर, इसके अलावा, यह 1,000 और भाषाओं में पाठ देखता है जो अनुवादित नहीं हैं। आप कल्पना कर सकते हैं कि अगर आप कुछ बड़े बहुभाषी हैं और फिर आप किसी अन्य भाषा में उपन्यास पढ़ना शुरू करते हैं, तो आप इसका क्या अर्थ हो सकता है यह जानने के लिए अपनी भाषा के सामान्य ज्ञान के आधार पर इसके टुकड़े जोड़ना शुरू कर सकते हैं।” लेकिन, यह महत्वपूर्ण है कि हम समानांतर निगमों की कमी वाली छोटी भाषाओं पर दीर्घकालिक प्रभाव पर विचार करें, जो सांस्कृतिक संरक्षण को प्रभावित कर सकता है जब भाषाओं से दूर हटने की ओर ध्यान केंद्रित किया जाता है।