ओल्गा बेरेगोवाया, Smartling में एआई की उपाध्यक्ष – साक्षात्कार श्रृंखला

ओल्गा बेरेगोवाया Smartling में एआई की उपाध्यक्ष हैं, जहाँ वे अनुवाद, डेटा, गुणवत्ता और सुरक्षा से जुड़ी एआई रणनीति का नेतृत्व करती हैं। वे 1997 से प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में काम कर रही हैं और इस दौरान नियम-आधारित प्रणालियों, सांख्यिकीय मॉडलों, न्यूरल नेटवर्कों और बड़े भाषा मॉडलों पर काम कर चुकी हैं। Smartling से जुड़ने से पहले, वे Welocalize में एआई नवाचार की उपाध्यक्ष और PROMT Americas की सीईओ थीं।

Smartling उद्यमों के लिए अनुवाद और स्थानीयकरण सॉफ़्टवेयर व सेवाएँ उपलब्ध कराता है। यह एआई और मशीन अनुवाद को मानवीय विशेषज्ञता के साथ जोड़ता है। इसका प्लेटफ़ॉर्म वेबसाइटों, ऐप्लिकेशनों, मार्केटिंग सामग्री, दस्तावेज़ों और मल्टीमीडिया के लिए बहुभाषी कार्यप्रवाहों को समर्थन देता है। इसके माध्यम से 20 से अधिक बड़े भाषा मॉडलों और मशीन अनुवाद इंजनों तक पहुँच मिलती है। इस साक्षात्कार में, बेरेगोवाया बहुभाषी एआई के बीच असमानता, अनुवाद की गुणवत्ता, मॉडल के चयन और स्वचालित स्थानीयकरण में मानवीय निगरानी की भूमिका पर चर्चा करती हैं।

इस सफ़र ने भाषा में एआई की भूमिका के बारे में आपकी सोच को किस तरह आकार दिया, और Smartling में एआई रणनीति का नेतृत्व करने के लिए आपको किस बात ने आकर्षित किया?

मैंने भाषाओं की संरचना और भाषा-परिवारों के काम करने के तरीकों का अध्ययन किया। इससे मैंने सीखा कि अनुवाद का संबंध संरचना और अर्थ से है, न कि शब्द-दर-शब्द बदलाव से। मैं एआई के बारे में भी इसी नज़रिए से सोचती हूँ।

मैंने 1997 में प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में काम करना शुरू किया था, जब प्रणालियाँ हाथ से लिखे गए नियमों पर आधारित होती थीं। तब से मैंने सांख्यिकीय मॉडलों, न्यूरल नेटवर्कों और आज के बड़े भाषा मॉडलों के साथ काम किया है। इनमें से हर एक ने कुछ समस्याएँ सुलझाईं और कुछ नई समस्याएँ पैदा कीं। मुझे नहीं लगता कि कोई एक मॉडल ही इसका जवाब है।

मैं Smartling से इसलिए जुड़ी क्योंकि इसे हर तरह की उद्यम सामग्री का अनुवाद करने के लिए बनाया गया था—वेबसाइटों और ऐप्स से लेकर कानूनी दस्तावेज़ों, मार्केटिंग सामग्री और वीडियो तक। मैंने मशीन अनुवाद की उपाध्यक्ष के रूप में काम शुरू किया, लेकिन जल्द ही यह भूमिका अनुवाद से आगे बढ़कर प्रॉम्प्टिंग, डेटा, गुणवत्ता और सुरक्षा तक फैल गई। इसलिए पद का नाम एआई की उपाध्यक्ष हो गया।

व्यवहार में यह असमानता कैसी दिखती है, और जनरेटिव एआई के प्रमुख माध्यम बनने के साथ इसके अधिक गंभीर परिणाम क्यों हो सकते हैं?

पहले यह असमानता सीधी-सादी थी: कोई एआई प्रणाली आपकी भाषा को समर्थन देती थी या नहीं देती थी। अब इस सवाल का जवाब लगभग तय हो चुका है, लेकिन असमानता का स्वरूप बदल गया है। अब यह मायने रखता है कि मॉडल का प्रशिक्षण डेटा उस भाषा, उसके बोलने वालों और उनकी संस्कृति का कितना सही प्रतिनिधित्व करता है। मॉडलों के अधिकांश प्रशिक्षण डेटा अंग्रेज़ी में होते हैं, इसलिए उनमें अंग्रेज़ी-भाषी दुनिया की धारणाएँ भी शामिल रहती हैं। कोई अनुवाद तकनीकी रूप से सटीक हो सकता है, फिर भी दूसरी भाषा पर अंग्रेज़ी-भाषी दृष्टिकोण थोप सकता है।

एआई अब वह माध्यम बनता जा रहा है जिसके ज़रिए लोग बैंकों, डॉक्टरों, स्कूलों और अन्य आवश्यक सेवाओं से संपर्क करते हैं। जिस भाषा को एआई अच्छी तरह संभालता है, उसमें आपको फ़ायदा मिलता है; और जिस भाषा को वह ठीक से नहीं संभालता, उसमें आपको नुकसान होता है।

आपको सबसे ज़्यादा किस बात ने चौंकाया, और स्वीडिश—जिसे बोलने वाले बहुत कम हैं—हिंदी से बेहतर क्यों साबित हुई?

किसी भाषा को बोलने वालों की संख्या, अनुवाद की गुणवत्ता का आश्चर्यजनक रूप से कमज़ोर संकेतक है। लगभग 1 करोड़ वक्ताओं वाली स्वीडिश में कुछ बेहतरीन नतीजे मिले। लगभग 60 करोड़ वक्ताओं वाली हिंदी सबसे कमज़ोर भाषाओं में रही, और उसके साथ एस्टोनियाई तथा थाई भी थीं।

भाषा की संरचना और डेटा की गुणवत्ता कहीं ज़्यादा मायने रखती हैं। स्वीडिश का व्याकरण अपेक्षाकृत सरल है और इसके लिए पर्याप्त स्वच्छ प्रशिक्षण डेटा उपलब्ध है। एस्टोनियाई में अर्थ व्यक्त करने के लिए शब्दों के अंत लगातार बदलते रहते हैं, जिससे एआई के लिए भाषा को संभालना अधिक जटिल हो जाता है। हिंदी बोलने वाले करोड़ों लोग हैं, लेकिन उनकी संख्या को देखते हुए उच्च गुणवत्ता वाला और विविध प्रशिक्षण डेटा अपेक्षा से कहीं कम है।

एक और हैरानी की बात यह थी कि अलग-अलग प्रयोगशालाओं में प्रगति एक जैसी नहीं थी। जिन भाषाओं का प्रदर्शन शुरुआत में कमज़ोर था, उनमें आम तौर पर एक मॉडल पीढ़ी से अगली पीढ़ी तक सबसे ज़्यादा सुधार हुआ, लेकिन यह सिलसिला हमेशा नहीं बना रहता।

प्रशिक्षण डेटा की मात्रा के अलावा, किन कारकों का मॉडल के प्रदर्शन पर सबसे ज़्यादा असर पड़ता है?

टोकनाइज़ेशन सबसे अहम कारकों में से एक है। यह वह प्रक्रिया है जिसमें मॉडल पाठ को संसाधित करने से पहले छोटे हिस्सों में बाँटता है। यह उन भाषाओं के लिए विशेष रूप से महत्वपूर्ण है जो लैटिन वर्णमाला का उपयोग नहीं करतीं। टोकनाइज़ेशन की गुणवत्ता खराब हो, तो उसके बाद होने वाली हर प्रक्रिया सीमित हो जाती है।

भाषा की संरचना भी मायने रखती है। जिन भाषाओं में शब्दों के अंत जटिल होते हैं, उन्हें मॉडलों के लिए संभालना मुश्किल हो सकता है। उदाहरण के लिए, जर्मन में शब्द जुड़ते-जुड़ते एक ही शब्द 40 अक्षरों तक लंबा हो सकता है। इससे मॉडल पर स्पेनिश या फ़्रेंच जैसी भाषाओं की तुलना में अधिक दबाव पड़ता है।

इसके बाद डेटा की गुणवत्ता आती है। खराब डेटा से खराब नतीजे मिलते हैं। एआई अनुवाद के प्रदर्शन के लिए डेटा की सटीकता, विविधता और प्रतिनिधित्व बेहद महत्वपूर्ण हैं।

और अंत में, मूल्यांकन। हम TER, BLEU, CHRF3 और MetricX का उपयोग करते हैं और नतीजों की तुलना भरोसेमंद मानव अनुवादों से करते हैं। कोई मॉडल स्वाभाविक लग सकता है, फिर भी अर्थ का गलत अनुवाद कर सकता है।

अग्रणी एआई प्रयोगशालाओं की क्या ज़िम्मेदारी है, और सार्थक प्रगति कैसी दिखेगी?

अग्रणी एआई प्रयोगशालाओं की सबसे बड़ी ज़िम्मेदारी है, क्योंकि सबसे उन्नत भाषा मॉडल उन्हीं के नियंत्रण में हैं। उनके फैसले इस असमानता को बढ़ा भी सकते हैं और कम करने में मदद भी कर सकते हैं। हालाँकि, अनुवाद के लिए अक्सर तर्कशक्ति, कोडिंग और सुरक्षा के साथ ध्यान की होड़ रहती है, इसलिए बहुत कम प्रयोगशालाओं में इस पर केंद्रित समर्पित टीमें हैं।

तीन चीज़ें सार्थक बदलाव ला सकती हैं:

1. अधिक भाषाओं और विषयों के लिए उच्च गुणवत्ता वाला डेटा तैयार करें।
2. जहाँ मौजूदा तरीके कारगर नहीं हैं, वहाँ भाषाओं के लिए टोकनीकरण बेहतर बनाएँ।
3. और हर नए मॉडल को उन भाषाओं के आधार पर भी परखें जिनके लिए प्रशिक्षण डेटा कम है—सिर्फ़ सबसे बड़ी भाषाओं के आधार पर नहीं।

एक बड़ा अवसर उन भाषाओं के लिए प्रशिक्षण डेटा तैयार करना है, जिन्हें ऑनलाइन बहुत कम जगह मिली है। इस दिशा में बहुत-सा काम बड़ी प्रयोगशालाओं के बाहर होता है। हम अफ्रीकी भाषा प्रयोगशाला जैसे समूहों के साथ मिलकर अफ्रीकी भाषाओं के लिए डेटा तैयार करते हैं।

Smartling कैसे तय करता है कि उसके 20 से अधिक अनुवाद इंजनों में से कौन-सा किसी भाषा, सामग्री के प्रकार या उपयोग के मामले के लिए उपयुक्त है?

हम यह मानकर नहीं चलते कि कोई एक मॉडल सबसे अच्छा है, बल्कि सभी का परीक्षण करते हैं। हर मॉडल का मूल्यांकन TER, BLEU, CHRF3 और MetricX का उपयोग करके विश्वसनीय मानव अनुवादों के मुकाबले किया जाता है। कोई ग्राहक हमें अपनी मार्केटिंग सामग्री दे सकता है और लगभग एक सप्ताह के भीतर हम दिखा सकते हैं कि हर मॉडल भाषा और विषय के आधार पर कैसा प्रदर्शन करता है। लैटिन अमेरिकी स्पैनिश की मार्केटिंग सामग्री के लिए सबसे अच्छा मॉडल किसी दूसरी भाषा या संवेदनशील सामग्री के लिए सबसे अच्छा हो, यह ज़रूरी नहीं है।

हम जोखिम को भी ध्यान में रखते हैं। कम जोखिम वाली उपयोगकर्ता सामग्री की कम सख़्त समीक्षा की जा सकती है। विनियमित या ब्रांड के लिए बेहद अहम सामग्री की अधिक बार समीक्षा होती है और आम तौर पर उसकी जाँच कोई व्यक्ति करता है। प्रदर्शन में बदलाव के अनुसार मॉडल जोड़े या हटाए जा सकते हैं, इसलिए हम किसी एक सेवा प्रदाता पर निर्भर नहीं हैं।

विशिष्ट अनुवाद प्रणालियाँ किन मामलों में अब भी सामान्य प्रयोजन वाले एलएलएम से बेहतर प्रदर्शन करती हैं, और दोनों के बीच की दूरी कैसे कम होगी?

जब पूर्वानुमेयता सबसे ज़्यादा मायने रखती है, तब विशिष्ट मशीन अनुवाद अब भी बेहतर साबित होता है। यह संवेदनशील सामग्री और कुछ भाषाओं के लिए विशेष रूप से उपयोगी है। एलएलएम अधिक स्वाभाविक लेखन तैयार करते हैं, लेकिन वे पूरे भरोसे के साथ मनगढ़ंत बातें भी कह सकते हैं।

Smartling में हम दोनों को मिलाकर इस्तेमाल करते हैं। एक विशिष्ट अनुवाद मॉडल ग्राहक की शब्दावली और क्षेत्र-विशेष के डेटा का उपयोग करके पहला मसौदा तैयार करता है। फिर एक एलएलएम उसमें संपादन करता है, स्वीकृत शब्दावली बहाल करता है, पिछले अनुवादों से मेल खाते अंश लागू करता है और लेखन को बेहतर बनाता है।

मॉडल अब व्यवस्था का केवल एक हिस्सा बनता जा रहा है। आज प्रॉम्प्ट, डेटा, अनुकूलन और सुरक्षा नियंत्रण भी उतने ही अहम हैं।

बहुभाषी सामग्री के लिए जनरेटिव एआई का उपयोग करते समय उद्यमों को किन बड़े जोखिमों पर विचार करना चाहिए?

सबसे बड़ा जोखिम है—मनगढ़ंत जानकारी। मुझे इसका एक उदाहरण बहुत पसंद है: कोई व्यक्ति एआई से पूछता है कि एक मशरूम ज़हरीला है या नहीं। एआई पूरे भरोसे से जवाब देता है, “नहीं,” लेकिन उस व्यक्ति की कब्र का पत्थर साबित करता है कि जवाब ग़लत था। अनुवाद में यह ऐसी लिखाई के रूप में सामने आता है जो सुनने में बिल्कुल सही लगती है, लेकिन तथ्य ग़लत बताती है। जिन भाषाओं के लिए प्रशिक्षण डेटा कम है, उनमें यह जोखिम और अधिक हो सकता है।

इसके बाद सांस्कृतिक और नियामक संदर्भ का सवाल आता है। कोई अनुवाद तकनीकी रूप से सही हो सकता है, फिर भी उस बाज़ार के लिए ग़लत हो सकता है। उदाहरण के लिए, जर्मन और जापानी में औपचारिकता के ऐसे स्तर ज़रूरी हैं जो अंग्रेज़ी में नहीं होते। चीनी विज्ञापन नियम “सर्वश्रेष्ठ” जैसे दावों पर भी रोक लगाते हैं।

एकरूपता भी एक चुनौती है। बड़े पैमाने पर सामान्य एआई टूल शब्दावली और ब्रांड की आवाज़ में असंगति पैदा कर सकते हैं। एक अधिकारी ने मुझे बताया कि उनकी कंपनी में 300,000 कर्मचारी हैं और सामान्य एआई की बदौलत उनकी आवाज़ें भी 300,000 अलग-अलग हैं।

और इसके नतीजे शारीरिक नुकसान तक पहुँचा सकते हैं। अगर लीवर खींचने से जुड़े सुरक्षा निर्देश का ग़लत अनुवाद हो जाए, तो निर्माण स्थल पर क्रेन गिर सकती है।

स्थानीयकरण की प्रक्रिया में एआई एजेंट कैसा दिखता है, और मानवीय निगरानी के साथ कितना काम स्वचालित किया जा सकता है?

एआई एजेंट स्थानीयकरण की प्रक्रिया का एक चरण है। एक मॉडल अनुवाद करता है, जबकि दूसरा उसकी समीक्षा करता है, मनगढ़ंत जानकारी की जाँच करता है, स्वीकृत शब्दावली बहाल करता है और सामग्री को संबंधित बाज़ार के अनुसार ढालता है। इसके बाद गुणवत्ता जाँच यह तय करती है कि सामग्री प्रकाशित की जा सकती है, उसे किसी व्यक्ति की त्वरित समीक्षा चाहिए या पूरी समीक्षा।

कितना काम स्वचालित किया जा सकता है, यह जोखिम पर निर्भर करता है। हमारा कम जोखिम वाला बहुत-सा काम पहले से ही पूरी तरह स्वचालित है, लेकिन संवेदनशील और विनियमित सामग्री के लिए अब भी लोगों की ज़रूरत होती है।

पूरी तरह स्वचालन हमेशा लक्ष्य नहीं होता, क्योंकि मॉडल को बेहतर बनाने के लिए मानवीय प्रतिक्रिया चाहिए। लक्ष्य मानवीय निर्णय को हटाए बिना लोगों का काम कम करना है।

पाँच वर्षों में यह अंतर कम होगा या बढ़ेगा, और वैश्विक स्तर पर एआई को सचमुच बहुभाषी बनाने के लिए क्या ज़रूरी होगा?

दोनों में से कुछ भी हो सकता है। जिन भाषाओं की शुरुआत सबसे कमज़ोर स्थिति से हुई थी, उनमें सबसे तेज़ी से सुधार हो रहा है। ज़्यादा संगठन उन भाषाओं के लिए डेटा जुटा रहे हैं जिनकी ऑनलाइन सामग्री बहुत कम है—इसमें बोली जाने वाली भाषा का डेटा भी शामिल है।

लेकिन यह विभाजन अब अलग रूप ले रहा है। एआई किसी भाषा को अच्छी तरह संभाल सकता है, फिर भी अपने प्रशिक्षण डेटा से अंग्रेज़ी-भाषी लोगों की धारणाएँ उसमें ला सकता है।

सचमुच बहुभाषी एआई के लिए अलग दृष्टिकोण अपनाना होगा। इसका अर्थ एक ऐसे सामान्य मॉडल के बजाय, जो हर काम करने की अपेक्षा रखता हो, विशिष्ट भाषाओं और विषयों के अनुरूप छोटे मॉडल हो सकता है। इसके लिए भाषाओं और क्षेत्रों में अधिक विविध डेटा चाहिए। उन भाषाओं के लिए बेहतर टोकनीकरण भी ज़रूरी है जहाँ मौजूदा तरीके कारगर नहीं हैं। साथ ही, कृत्रिम डेटा और एक भाषा से मॉडल ने जो सीखा है उसे उससे मिलती-जुलती भाषाओं में स्थानांतरित करना भी आवश्यक है, ताकि सुधार केवल उन भाषाओं तक सीमित न रहें जिनके लिए सबसे अधिक डेटा उपलब्ध है।

तकनीक मौजूद है, लेकिन सवाल यह है कि क्या इन मॉडलों को बनाने वाली कंपनियाँ बहुभाषी प्रदर्शन को प्राथमिकता देंगी।

इस बेहतरीन साक्षात्कार के लिए धन्यवाद। जो पाठक मानव निगरानी के साथ एआई अनुवाद, बहुभाषी गुणवत्ता मूल्यांकन और स्थानीयकरण कार्यप्रवाहों के बारे में जानना चाहते हैं, वे Smartling पर जाएँ।