अनास्तासिया लुकिना, वरिष्ठ अनुसंधान वैज्ञानिक (एनएलपी/स्पीच) ईटीएस – साक्षात्कार श्रृंखला

अनास्तासिया लुकिना शैक्षिक परीक्षण सेवाओं (ईटीएस) में एक अनुसंधान वैज्ञानिक हैं, जहां वह भाषण के स्वचालित स्कोरिंग पर काम करती हैं।

उनकी शोध रुचियां विभिन्न विषयों को कवर करती हैं। उन्होंने आधुनिक ग्रीक बोलियों, भाषण लय और स्वचालित प्रोसोडी विश्लेषण पर भी काम किया है।

उनका वर्तमान काम भाषण प्रौद्योगिकी और मशीन लर्निंग से उपकरणों और तरीकों को मिलाने पर केंद्रित है, साथ ही साथ भाषण धारणा/उत्पादन पर अध्ययन से अंतर्दृष्टि को जोड़कर गैर-मूल भाषण का मूल्यांकन करने के लिए स्वचालित स्कोरिंग मॉडल बनाने के लिए।

आपको भाषाओं से प्यार है, आपको यह जुनून कैसे मिला?

मैं सेंट पीटर्सबर्ग, रूस में रूसी भाषा बोलते हुए बड़ी हुई और मुझे याद है कि जब मैं पहली बार अंग्रेजी भाषा से परिचित हुई, तो मुझे यह दिलचस्प लगा कि कुछ शब्दों के लिए एक पैटर्न था जिससे रूसी शब्द को अंग्रेजी शब्द में “परिवर्तित” किया जा सकता था। और फिर मैं एक शब्द पर आती थी जहां “मेरा” पैटर्न विफल हो जाता था और मैं एक बेहतर, अधिक सामान्य नियम बनाने की कोशिश करती थी। उस समय, मुझे ज्ञान नहीं था कि भाषा विज्ञान या संज्ञा और उधार ली गई शब्दों के बीच का अंतर क्या है, लेकिन यह मेरी जिज्ञासा और अधिक भाषाएं सीखने की इच्छा को बढ़ावा देने में मदद करता था। यह पैटर्न की पहचान करने और उन्हें डेटा पर परीक्षण करने के लिए मेरे जुनून ने मुझे फोनेटिक्स, मशीन लर्निंग और वर्तमान में मैं जो काम कर रही हूं, उसमें ले जाने में मदद की।

आपके वर्तमान कार्य से पहले प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में आपका कार्य अंग्रेजी-रूसी और आधुनिक ग्रीक-रूसी के बीच अनुवादक के रूप में था। क्या आप मानती हैं कि आपका अनुवादक के रूप में कार्य आपको एनएलपी से जुड़े कुछ नुकसानों और जटिलताओं के बारे में अतिरिक्त अंतर्दृष्टि प्रदान करता है?

मेरी प्राथमिक पहचान हमेशा एक शोधकर्ता की रही है। यह सच है कि मैंने अपना अकादमिक करियर आधुनिक ग्रीक के विद्वान के रूप में शुरू किया, या अधिक विशेष रूप से, आधुनिक ग्रीक फोनेटिक्स। अपने डॉक्टरेट शोध के लिए, मैंने कई आधुनिक ग्रीक बोलियों के बीच फोनेटिक अंतरों का अन्वेषण किया और यह तर्क दिया कि इन बोलियों के बीच कुछ अंतर क्षेत्र में बोली जाने वाली अन्य भाषाओं के साथ भाषा संपर्क के परिणामस्वरूप उत्पन्न हो सकते हैं। हालांकि मैं अब आधुनिक ग्रीक पर काम नहीं करती, दो भाषाओं के संपर्क में आने पर होने वाले परिवर्तन अभी भी मेरे कार्य के केंद्र में हैं: केवल इस बार मैं इस पर ध्यान केंद्रित करती हूं कि जब कोई व्यक्ति एक नई भाषा सीखती है तो क्या होता है और प्रौद्योगिकी इसे सबसे कुशलता से कैसे मदद कर सकती है।

अंग्रेजी भाषा के संदर्भ में, कई बोलियां हैं। आप एक एनएलपी को कैसे डिज़ाइन करते हैं जो विभिन्न बोलियों को समझने में सक्षम हो? क्या यह बड़े डेटा को प्रत्येक प्रकार की बोली से फीड करने का एक सरल मामला है?

इस समस्या को हल करने के लिए अतीत में कई दृष्टिकोण अपनाए गए हैं। एक बड़े मॉडल को बनाने के अलावा जो सभी बोलियों को कवर करता है, आप पहले बोली की पहचान कर सकते हैं और फिर उस बोली के लिए एक कस्टम मॉडल का उपयोग कर सकते हैं, या आप एक साथ कई मॉडल का प्रयास कर सकते हैं और सबसे अच्छा काम करने वाला चुन सकते हैं। अंततः, विभिन्न बोलियों की एक विस्तृत श्रृंखला पर अच्छा प्रदर्शन प्राप्त करने के लिए, आपको प्रशिक्षण और मूल्यांकन डेटा की आवश्यकता होगी जो उन बोलियों का प्रतिनिधित्व करता है जिनका सामना प्रणाली कर सकती है।

ईटीएस में, हम व्यापक मूल्यांकन करते हैं ताकि यह सुनिश्चित किया जा सके कि हमारी स्वचालित प्रणालियों द्वारा उत्पादित स्कोर वास्तव में उन कौशलों में अंतर को दर्शाते हैं जिन्हें हम मापना चाहते हैं और वे छात्र की लिंग, जाति, या मूल देश जैसी जनसांख्यिकीय विशेषताओं से प्रभावित नहीं होते हैं।

बच्चे और/या भाषा सीखने वाले अक्सर उच्चारण में कठिनाई का सामना करते हैं। आप उच्चारण समस्या को कैसे दूर करते हैं?

निरपेक्ष उच्चारण जैसी कोई चीज नहीं है: हम जिस तरह से बोलते हैं वह हमारी पहचान से जुड़ा हुआ है और विकासकर्ताओं और शोधकर्ताओं के रूप में, हमारा लक्ष्य यह सुनिश्चित करना है कि हमारी प्रणालियां सभी उपयोगकर्ताओं के लिए न्यायसंगत हैं।

भाषा सीखने वाले और बच्चे दोनों ही भाषण-आधारित प्रणालियों के लिए विशिष्ट चुनौतियां पेश करते हैं। उदाहरण के लिए, बच्चों की आवाजें न केवल बहुत अलग ध्वनिक गुणवत्ता की होती हैं, बल्कि वे वयस्कों की तुलना में अलग तरह से बोलते हैं और बच्चों के बीच बहुत अधिक परिवर्तनशीलता होती है। परिणामस्वरूप, बच्चों के लिए स्वचालित भाषण पहचान विकसित करना आमतौर पर एक अलग कार्य है जिसके लिए बड़ी मात्रा में बाल भाषण डेटा की आवश्यकता होती है।

इसी तरह, हालांकि एक ही पृष्ठभूमि के भाषा सीखने वालों के बीच कई समानताएं हो सकती हैं, सीखने वाले व्यापक रूप से फोनेटिक, व्याकरणिक और शब्दार्थ संरचनाओं के उपयोग में भिन्न हो सकते हैं, जिससे भाषण पहचान एक विशेष रूप से चुनौतीपूर्ण कार्य बन जाता है। जब हम अपनी अंग्रेजी भाषा प्रवीणता मूल्यांकन के लिए अपनी प्रणालियों का निर्माण करते हैं, तो हम विभिन्न कौशल स्तरों और मूल भाषाओं के साथ भाषा सीखने वालों के डेटा का उपयोग करते हैं।

जनवरी 2018 में, आपने ‘स्वचालित भाषण स्कोरिंग प्रणालियों के प्रशिक्षण और मूल्यांकन के लिए उदाहरण प्रतिक्रियाओं का उपयोग’ प्रकाशित किया। इस पत्र से कुछ मुख्य मौलिक बातें क्या हैं जो समझनी चाहिए?

इस पत्र में, हमने देखा कि प्रशिक्षण और परीक्षण डेटा की गुणवत्ता स्वचालित स्कोरिंग प्रणालियों के प्रदर्शन को कैसे प्रभावित करती है।

स्वचालित स्कोरिंग प्रणालियां, जैसे कई अन्य स्वचालित प्रणालियां, मानव द्वारा लेबल किए गए डेटा पर प्रशिक्षित होती हैं। इस मामले में, ये मानव रेटर्स द्वारा सौंपे गए स्कोर हैं। मानव रेटर हमेशा स्कोर में सहमत नहीं होते हैं जो वे सौंपते हैं। मूल्यांकन में स्थिरता सुनिश्चित करने के लिए मानव समझौते के स्तर पर विभिन्न रणनीतियों का उपयोग किया जाता है। हालांकि, चूंकि स्वचालित स्कोरिंग इंजन आमतौर पर प्रतिक्रिया-स्तर के स्कोर का उपयोग करके प्रशिक्षित होते हैं, इसलिए मानव समझौते में विविधता के कारण इन स्कोर में असंगतताएं प्रणाली को नकारात्मक रूप से प्रभावित कर सकती हैं।

हमारे पास विभिन्न मानव रेटर समझौते वाले बड़ी मात्रा में डेटा तक पहुंच थी और हमने विभिन्न स्थितियों में प्रणाली के प्रदर्शन की तुलना की। हमने पाया कि प्रणाली को पूर्ण डेटा पर प्रशिक्षित करने से वास्तव में इसके प्रदर्शन में सुधार नहीं होता है – एक प्रणाली जिसे शोर वाले लेबल वाले डेटा पर प्रशिक्षित किया गया है। पूर्ण लेबल केवल तभी एक लाभ प्रदान करते हैं जब आपके प्रशिक्षण सेट का कुल आकार बहुत कम हो। दूसरी ओर, मानव लेबल की गुणवत्ता ने प्रणाली के मूल्यांकन पर एक बड़ा प्रभाव डाला: आपके प्रदर्शन अनुमान 30% तक अधिक हो सकते हैं यदि आप स्वच्छ लेबल पर मूल्यांकन करते हैं।

मुख्य संदेश यह है कि यदि आपके पास बहुत सारा डेटा और संसाधन हैं तो अपने मूल्यांकन सेट में लेबल को साफ करना बेहतर हो सकता है, न कि प्रशिक्षण सेट में। और यह निष्कर्ष स्वचालित स्कोरिंग तक ही सीमित नहीं है, बल्कि कई अन्य क्षेत्रों में भी लागू होता है।

क्या आप अपने कुछ कार्य के बारे में बता सकती हैं जो आप ईटीएस में करती हैं?

मैं एक भाषण स्कोरिंग इंजन प्रणाली पर काम करती हूं जो शैक्षिक संदर्भ में बोली गई भाषा को संसाधित करती है। ऐसी एक प्रणाली स्पीचरेटर® है, जो उन्नत भाषण पहचान और विश्लेषण प्रौद्योगिकी का उपयोग करके अंग्रेजी भाषा बोलने की क्षमता का मूल्यांकन करने और विस्तृत प्रतिक्रिया प्रदान करने के लिए उपयोग की जाती है। स्पीचरेटर एक बहुत ही परिपक्व अनुप्रयोग है जो 10 से अधिक वर्षों से आसपास है। मैं विभिन्न अनुप्रयोगों के लिए स्कोरिंग मॉडल बनाती हूं और ईटीएस में अपने सहयोगियों के साथ मिलकर यह सुनिश्चित करती हूं कि हमारे स्कोर सभी परीक्षार्थियों के लिए विश्वसनीय, न्यायसंगत और वैध हैं। हम ईटीएस के अन्य समूहों के साथ भी मिलकर प्रणाली के प्रदर्शन की निरंतर निगरानी करते हैं।

संचालित प्रणालियों को बनाए रखने और सुधारने के अलावा, हम नए प्रणालियों के प्रोटोटाइप बनाते हैं। मुझे जिस परियोजना में सबसे ज्यादा उत्साह है वह रिलेयर्डर™ है: एक ऐसा अनुप्रयोग जो विकासशील पाठकों को चपलता और आत्मविश्वास हासिल करने में मदद करने के लिए डिज़ाइन किया गया है। रिलेयर्डर के साथ पढ़ते समय, उपयोगकर्ता एक पुस्तक को सुनने और बड़बोले के रूप में पढ़ने के लिए बारी-बारी से जाता है। उनका पढ़ना तब हमारे सर्वर पर भेजा जाता है ताकि प्रतिक्रिया प्रदान की जा सके। भाषण प्रसंस्करण के संदर्भ में, इस अनुप्रयोग की मुख्य चुनौती यह है कि सीखने को कैसे मापा जाए और बिना पाठक के पुस्तक के साथ जुड़ाव को बाधित किए प्रतिक्रिया प्रदान की जाए।

ईटीएस के साथ काम करने का आपका पसंदीदा हिस्सा क्या है?

मुझे जो बात ईटीएस में आकर्षित करती है वह यह है कि यह एक गैर-लाभकारी संगठन है जिसका मिशन दुनिया भर में सभी लोगों के लिए शिक्षा की गुणवत्ता में सुधार करना है। जबकि यह महान है जब शोध एक उत्पाद की ओर ले जाता है, मैं इस बात की सराहना करती हूं कि मुझे अधिक मूलभूत परियोजनाओं पर काम करने का अवसर मिलता है जो भविष्य में उत्पाद विकास में मदद करेंगी। मैं यह भी महत्व देती हूं कि ईटीएस डेटा गोपनीयता और न्यायसंगतता जैसे मुद्दों को बहुत गंभीरता से लेता है और हमारी सभी प्रणालियों का संचालन से पहले बहुत सख्त मूल्यांकन किया जाता है।

लेकिन जो वास्तव में ईटीएस को एक महान स्थान बनाता है वह है इसके लोग। हमारे पास विभिन्न पृष्ठभूमियों के वैज्ञानिकों, इंजीनियरों और विकासकर्ताओं का एक अद्भुत समुदाय है, जो कई दिलचस्प सहयोग की अनुमति देता है।

क्या आप मानती हैं कि क्या एक एआई कभी भी ट्यूरिंग परीक्षण पास करेगा?

1950 के दशक से ट्यूरिंग परीक्षण को व्यावहारिक रूप से करने के कई व्याख्याएं हैं। शायद यह एक सामान्य समझ है कि ट्यूरिंग परीक्षण दार्शनिक अर्थों में पारित नहीं किया गया है – कि कोई एआई प्रणाली नहीं है जो मानव की तरह सोचती है। हालांकि, यह एक बहुत ही विशिष्ट विषय बन गया है। अधिकांश लोग अपनी प्रणालियों को ट्यूरिंग परीक्षण पास करने के लिए नहीं बनाते हैं – हम उन्हें विशिष्ट लक्ष्यों को प्राप्त करना चाहते हैं।

कुछ कार्यों के लिए, जैसे कि भाषण पहचान या प्राकृतिक भाषा समझ, मानव प्रदर्शन को सोने का मानक माना जा सकता है। लेकिन कई अन्य कार्य हैं जहां हम उम्मीद करते हैं कि एक स्वचालित प्रणाली मानवों से बेहतर प्रदर्शन करेगी या जहां एक स्वचालित प्रणाली और मानव विशेषज्ञ को एक साथ मिलकर सबसे अच्छा परिणाम प्राप्त करने की आवश्यकता है। उदाहरण के लिए, एक शैक्षिक संदर्भ में, हम एक एआई प्रणाली को शिक्षक की जगह नहीं चाहते हैं: हम चाहते हैं कि यह शिक्षकों की मदद करे, चाहे वह छात्रों की सीखने की प्रवृत्तियों की पहचान करने में मदद करे, ग्रेडिंग में मदद करे या सर्वोत्तम शिक्षण सामग्री खोजने में।

क्या ईटीएस या एनएलपी के बारे में कुछ और है जो आप साझा करना चाहेंगी?

लोग ईटीएस को मूल्यांकन और स्वचालित स्कोरिंग प्रणालियों के लिए जानते हैं। लेकिन हम इसके अलावा बहुत कुछ करते हैं। हमारे पास वॉइस बायोमेट्रिक्स से लेकर स्पोकन डायलॉग एप्लिकेशन तक कई क्षमताएं हैं और हम लगातार प्रौद्योगिकी को सीखने में एकीकृत करने के नए तरीकों की तलाश में हैं। अब जब कई छात्र घर से सीख रहे हैं, तो हमने अपनी कई अनुसंधान क्षमताओं को सार्वजनिक के लिए खोल दिया है।

साक्षात्कार के लिए धन्यवाद और एनएलपी और भाषण पहचान में नवीनतम प्रगति पर यह अंतर्दृष्टि प्रदान करने के लिए। जो कोई भी अधिक जानना चाहता है वह शैक्षिक परीक्षण सेवाओं पर जा सकता है।