विचार नेता
जनरेटिव एआई संकटग्रस्त भाषाओं के लिए मृत्युदंड नहीं है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
यूनेस्को के अनुसार, 2100 तक आधी से ज्यादा भाषाएं विलुप्त हो सकती हैं। कई लोग कहते हैं कि जनरेटिव एआई इस प्रक्रिया में योगदान दे रहा है।
भाषा विविधता की गिरावट एआई या इंटरनेट के साथ शुरू नहीं हुई। लेकिन एआई है एक ऐसी स्थिति में जो स्वदेशी और कम संसाधन वाली भाषाओं के पतन को तेज कर सकती है।
दुनिया की 7,000 से अधिक भाषाओं में से अधिकांश के पास एआई मॉडल को प्रशिक्षित करने के लिए पर्याप्त संसाधन नहीं हैं – और कई के पास लिखित रूप नहीं है। इसका मतलब है कि कुछ प्रमुख भाषाएं मानवता के एआई प्रशिक्षण डेटा के स्टॉक को नियंत्रित करती हैं, जबकि अधिकांश पीछे छूट जाती हैं – और पूरी तरह से गायब हो सकती हैं।
साधारण कारण यह है कि अधिकांश उपलब्ध एआई प्रशिक्षण डेटा अंग्रेजी में है। अंग्रेजी बड़े भाषा मॉडल (एलएलएम) का मुख्य चालक है, और जो लोग कम सामान्य भाषाएं बोलते हैं वे एआई प्रौद्योगिकी में कम प्रतिनिधित्व पा रहे हैं।
विश्व आर्थिक मंच से इन आंकड़ों पर विचार करें:
- दो-तिहाई वेबसाइटें अंग्रेजी में हैं।
- जेनएआई जो डेटा से सीखता है वह अधिकांश भाग के लिए वेब से स्क्रैप किया जाता है।
- दुनिया की आबादी का 20% से कम अंग्रेजी बोलता है।
जैसे ही एआई हमारे दैनिक जीवन में अधिक प्रवेश करता है, हमें सभी को भाषा समानता के बारे में सोचना चाहिए। एआई के पास असाधारण क्षमता है कि वह बड़े पैमाने पर समस्याओं का समाधान करे, और इसका वादा केवल अंग्रेजी बोलने वाली दुनिया तक सीमित नहीं होना चाहिए। एआई सुविधाएं और उपकरण बना रहा है जो लोगों के व्यक्तिगत और पेशेवर जीवन को समृद्ध बनाते हैं जो समृद्ध, विकसित देशों में हैं।
कम संसाधन वाली भाषाओं के वक्ता प्रौद्योगिकी में प्रतिनिधित्व की कमी के लिए अभ्यस्त हो गए हैं – अपनी भाषा में वेबसाइट नहीं मिलने से लेकर अपने बोली को सिरी द्वारा मान्यता प्राप्त नहीं होने तक। जो पाठ है कम संसाधन वाली भाषाओं में एआई को प्रशिक्षित करने के लिए उपलब्ध है, वह अक्सर खराब गुणवत्ता वाला (स्वयं संदेहास्पद सटीकता के साथ अनुवादित) और सीमित दायरे में होता है।
समाज कैसे सुनिश्चित कर सकता है कि कम संसाधन वाली भाषाएं एआई समीकरण से बाहर नहीं हो जाती? हम कैसे सुनिश्चित कर सकते हैं कि भाषा एआई के वादे के लिए एक बाधा नहीं है?
भाषा समावेशिता की दिशा में प्रयास करते हुए, कुछ प्रमुख प्रौद्योगिकी खिलाड़ियों ने विशाल बहुभाषी भाषा मॉडल (एमएलएम) को प्रशिक्षित करने की पहल की है। माइक्रोसॉफ्ट ट्रांस्लेट, उदाहरण के लिए, “हर भाषा, हर जगह” का समर्थन करने का वादा किया है। और मेटा के पास “कोई भाषा पीछे नहीं छोड़ो” वादा है। ये प्रशंसनीय हैं, लेकिन क्या वे वास्तविक हैं?
एक मॉडल की ओर बढ़ना जो दुनिया की हर भाषा को संभालता है विशेषाधिकार प्राप्त लोगों को पसंद करता है क्योंकि दुनिया की प्रमुख भाषाओं से अधिक डेटा है। जब हम कम संसाधन वाली भाषाओं और गैर-लैटिन लिपि वाली भाषाओं के साथ सौदा करते हैं, तो एआई मॉडल को प्रशिक्षित करना अधिक कठिन, समय लेने वाला – और अधिक महंगा हो जाता है। इसे एक अनजाने में कम प्रतिनिधित्व वाली भाषाओं पर कर के रूप में सोचें।
भाषण प्रौद्योगिकी में प्रगति
एआई मॉडल मुख्य रूप से पाठ पर प्रशिक्षित होते हैं, जो स्वाभाविक रूप से उन भाषाओं को पसंद करते हैं जिनमें गहरे पाठ सामग्री के भंडार हैं। भाषा विविधता को बेहतर ढंग से समर्थन देने के लिए प्रणाली को पाठ पर निर्भर नहीं होना चाहिए। मानव इंटरैक्शन एक समय में पूरी तरह से भाषण-आधारित था, और कई संस्कृतियां अभी भी उस मौखिक फोकस को बनाए रखती हैं। एक वैश्विक दर्शकों को बेहतर ढंग से phục vụ करने के लिए, एआई उद्योग को पाठ डेटा से भाषण डेटा तक आगे बढ़ना चाहिए।
भाषण प्रौद्योगिकी में शोध बड़े पैमाने पर प्रगति कर रहा है, लेकिन यह अभी भी पाठ-आधारित प्रौद्योगिकियों से पीछे है। भाषण प्रसंस्करण में शोध आगे बढ़ रहा है, लेकिन सीधे भाषण-से-भाषण प्रौद्योगिकी अभी भी परिपक्व नहीं है। वास्तविकता यह है कि उद्योग सावधानी से आगे बढ़ता है, और केवल तभी जब एक प्रौद्योगिकी एक निश्चित स्तर तक पहुंच जाती है।
ट्रांसपरफेक्ट का हाल ही में जारी ग्लोबलिंक लाइव व्याख्या मंच अधिक परिपक्व रूपों का उपयोग करता है – स्वचालित भाषण मान्यता (एएसआर) और पाठ-से-भाषण (टीटीएस) – फिर से, क्योंकि सीधे भाषण-से-भाषण प्रणाली इस बिंदु पर पर्याप्त परिपक्व नहीं हैं। हालांकि, हमारी अनुसंधान टीमें पूरी तरह से भाषण-से-भाषण पाइपलाइनों के लिए तैयारी कर रही हैं जब वे प्राइम टाइम के लिए तैयार होंगी।
भाषण-से-भाषण अनुवाद मॉडल मौखिक भाषाओं के संरक्षण में बड़ा वादा रखते हैं। 2022 में, मेटा ने होक्किएन के लिए पहली एआई-संचालित भाषण-से-भाषण अनुवाद प्रणाली की घोषणा की, जो चीनी प्रवासी समुदाय में लगभग 46 मिलियन लोगों द्वारा बोली जाने वाली मुख्य रूप से मौखिक भाषा है। यह मेटा के सार्वभौमिक भाषण अनुवादक परियोजना का हिस्सा है, जो वास्तविक समय में भाषण-से-भाषण अनुवाद को सक्षम करने के लिए नए एआई मॉडल विकसित कर रहा है। मेटा ने होक्किएन अनुवाद मॉडल, मूल्यांकन डेटासेट और शोध पत्रों को ओपन-सोर्स करने का विकल्प चुना ताकि अन्य लोग उनके काम को पुनः उत्पन्न कर सकें और उस पर निर्माण कर सकें।
कम से सीखना
यह तथ्य कि हम एक वैश्विक समुदाय के रूप में कुछ भाषाओं के आसपास संसाधनों की कमी है, उन भाषाओं के लिए मृत्युदंड नहीं है। यह वह जगह है जहां बहुभाषी मॉडल को एक फायदा है, क्योंकि भाषाएं एक दूसरे से सीखती हैं। सभी भाषाएं पैटर्न का पालन करती हैं। भाषाओं के बीच ज्ञान हस्तांतरण के कारण, प्रशिक्षण डेटा की आवश्यकता कम हो जाती है।
मान लें कि आपके पास एक मॉडल है जो 90 भाषाओं को सीख रहा है और आप इनुइट (उत्तरी अमेरिका की स्वदेशी भाषाओं का एक समूह) जोड़ना चाहते हैं। ज्ञान हस्तांतरण के कारण, आपको कम इनुइट डेटा की आवश्यकता होगी। हम कम से सीखने के तरीके खोज रहे हैं। इंजन को फाइन-ट्यून करने के लिए आवश्यक डेटा की मात्रा कम है।
मैं एक अधिक समावेशी एआई के भविष्य के बारे में आशावादी हूं। मुझे नहीं लगता कि हम उन भाषाओं के बड़े पैमाने पर गायब होने के लिए बर्बाद हैं – न ही मुझे लगता है कि एआई अंग्रेजी बोलने वाली दुनिया का डोमेन बना रहेगा। पहले से ही, हम भाषा समानता के मुद्दे के आसपास अधिक जागरूकता देख रहे हैं। अधिक विविध डेटा संग्रह से लेकर अधिक भाषा-विशिष्ट मॉडल बनाने तक, हम प्रगति कर रहे हैं।
(MSFT )फॉन पर विचार करें, जो बेनिन और पड़ोसी अफ्रीकी देशों में लगभग 4 मिलियन लोगों द्वारा बोली जाने वाली एक भाषा है। नहीं तो बहुत लंबे समय से, एक लोकप्रिय एआई मॉडल ने फॉन को एक कल्पित भाषा के रूप में वर्णित किया। एक कंप्यूटर वैज्ञानिक बोनावेंचर डोस्सू, जिसकी माँ फॉन बोलती है, इस तरह के बहिष्कार के लिए अभ्यस्त था। डोस्सू, जो फ्रेंच बोलता है, को अपनी माँ के साथ संवाद करने में मदद करने के लिए कोई अनुवाद कार्यक्रम नहीं मिला। आज, वह अपनी माँ के साथ संवाद कर सकता है क्योंकि उसने फॉन-फ्रेंच अनुवादक का दर्दनाक निर्माण किया। आज, फॉन विकिपीडिया भी है।
भाषाओं को प्रौद्योगिकी का उपयोग करके संरक्षित करने के प्रयास में, तुर्की कलाकार रेफिक अनादोल ने स्वदेशी लोगों के लिए एक ओपन-सोर्स एआई टूल बनाने की शुरुआत की है। विश्व आर्थिक शिखर सम्मेलन में, उन्होंने पूछा: “पृथ्वी पर कैसे हम एक एआई बना सकते हैं जो पूरी मानवता को नहीं जानता?”
हम नहीं कर सकते, और हम नहीं करेंगे।
