भाषण स्कोरिंग का भविष्य – विचार नेता

दुनिया भर में, अंग्रेजी भाषा सीखने वालों की संख्या बढ़ती जा रही है। शैक्षिक संस्थानों और नियोक्ताओं को अंग्रेजी भाषा सीखने वालों की अंग्रेजी प्रवीणता का मूल्यांकन करने में सक्षम होने की आवश्यकता है – विशेष रूप से, उनकी बोलने की क्षमता, क्योंकि बोली जाने वाली भाषा सबसे महत्वपूर्ण भाषा कौशल में से एक है। मूल्यांकन विकासकर्ताओं और अंतिम उपयोगकर्ताओं दोनों के लिए चुनौती, यह करने का एक तरीका खोजने में है जो सटीक, तेज और वित्तीय रूप से व्यवहार्य हो। इस चुनौती के हिस्से के रूप में, इन मूल्यांकनों को स्कोर करना अपने साथ कई कारकों के साथ आता है, विशेष रूप से जब हम उन विभिन्न क्षेत्रों (भाषण, लेखन, आदि) पर विचार करते हैं जिन पर कोई परीक्षण किया जा रहा है। दुनिया भर में अंग्रेजी-भाषा कौशल की मांग के केवल बढ़ने की उम्मीद है, तो भाषण स्कोरिंग का भविष्य इन आवश्यकताओं को पूरा करने के लिए कैसा दिखना चाहिए?

इस प्रश्न का उत्तर, अंश में, भाषण स्कोरिंग के विकास में पाया जा सकता है। निर्मित बोले गए प्रतिक्रियाओं को रेट करना ऐतिहासिक रूप से मानव रेटर्स का उपयोग करके किया गया है। यह प्रक्रिया, हालांकि, महंगी और धीमी होने के लिए लगती है, और इसमें स्केलेबिलिटी और मानव रेटर्स (जैसे रेटर विषयivity या पूर्वाग्रह) की विभिन्न कमियों सहित कई चुनौतियां शामिल हैं। जैसा कि हमारी पुस्तक Automated Speaking Assessment: Using Language Technologies to Score Spontaneous Speech में चर्चा की गई है, इन चुनौतियों का समाधान करने के लिए, एक बढ़ती संख्या में मूल्यांकन अब स्वचालित भाषण स्कोरिंग प्रौद्योगिकी का उपयोग करते हैं स्कोरिंग के एकमात्र स्रोत के रूप में या मानव रेटर्स के संयोजन में। हालांकि, स्वचालित स्कोरिंग इंजनों को तैनात करने से पहले, उनके प्रदर्शन का सावधानीपूर्वक मूल्यांकन किया जाना चाहिए, विशेष रूप से स्कोर विश्वसनीयता, वैधता (क्या प्रणाली वह मापती है जो यह होना चाहिए?) और न्यायसंगतता (अर्थात, प्रणाली को जनसंख्या उप-समूहों जैसे लिंग या मूल भाषा से संबंधित पूर्वाग्रह को पेश नहीं करना चाहिए) के संबंध में।

2006 से, ईटीएस का अपना भाषण स्कोरिंग इंजन, स्पीचरेटर®, टीओईएफएल® प्रैक्टिस ऑनलाइन (टीपीओ) मूल्यांकन (संभावित परीक्षार्थियों द्वारा टीओईएफएल आईबीटी® मूल्यांकन की तैयारी के लिए उपयोग किया जाता है) में संचालित किया गया है, और 2019 से, स्पीचरेटर का उपयोग टीओईएफएल आईबीटी® मूल्यांकन के बोलने वाले खंड के लिए मानव रेटर्स के साथ स्कोरिंग के लिए भी किया जाता है। इंजन एक विस्तृत श्रृंखला का मूल्यांकन करता है बोलने की क्षमता के लिए असहज गैर-मूल भाषण, जिसमें उच्चारण और प्रवाह, शब्दावली श्रृंखला और व्याकरण, और विचारों की सुसंगतता और प्रगति से संबंधित उच्च स्तर की बोलने की क्षमताएं शामिल हैं। ये विशेषताएं प्राकृतिक भाषा प्रसंस्करण (एनएलपी) और भाषण प्रसंस्करण एल्गोरिदम का उपयोग करके गणना की जाती हैं। फिर एक सांख्यिकीय मॉडल को इन विशेषताओं पर लागू किया जाता है ताकि एक परीक्षार्थी की प्रतिक्रिया को एक अंतिम स्कोर सौंपा जा सके।

जबकि यह मॉडल पहले से देखे गए डेटा पर प्रशिक्षित किया जाता है जो मानव रेटर्स द्वारा स्कोर किया जाता है, यह सामग्री विशेषज्ञों द्वारा इसकी वैधता को अधिकतम करने के लिए भी समीक्षा की जाती है। यदि एक प्रतिक्रिया को ऑडियो गुणवत्ता या अन्य मुद्दों के कारण अस्कोरेबल पाया जाता है, तो इंजन इसे आगे की समीक्षा के लिए झंडा दिखा सकता है ताकि एक संभावित अनिश्चित या अमान्य स्कोर को जन्म देने से बचा जा सके। मानव रेटर्स हमेशा उच्च-हित मूल्यांकन में बोले गए प्रतिक्रियाओं के स्कोरिंग में शामिल होते हैं टीओईएफएल आईबीटी बोलने वाला मूल्यांकन।

जैसा कि मानव रेटर्स और स्पीचरेटर वर्तमान में उच्च-हित मूल्यांकन में परीक्षार्थियों की प्रतिक्रियाओं को स्कोर करने के लिए एक साथ उपयोग किए जाते हैं, वे दोनों अंग्रेजी भाषा प्रवीणता के स्कोरिंग के भविष्य में एक भूमिका निभाते हैं। मानव रेटर्स एक गहरे तरीके से बोले गए प्रतिक्रिया की सामग्री और वाक्य रचना को समझने में सक्षम हैं। इसके विपरीत, स्वचालित भाषण स्कोरिंग इंजन बोलने के कुछ विस्तृत पहलुओं, जैसे कि प्रवाह या उच्चारण, को अधिक सटीक रूप से माप सकते हैं, समय के साथ पूर्ण स्थिरता प्रदर्शित कर सकते हैं, समग्र स्कोरिंग समय और लागत को कम कर सकते हैं, और बड़े परीक्षण आयोजनों का समर्थन करने के लिए अधिक आसानी से स्केल किया जा सकता है। जब मानव रेटर्स और स्वचालित भाषण स्कोरिंग प्रणालियों को मिलाया जाता है, तो परिणामी प्रणाली प्रत्येक स्कोरिंग दृष्टिकोण की ताकत से लाभान्वित हो सकती है।

स्वचालित भाषण स्कोरिंग इंजनों को निरंतर विकसित करने के लिए, अनुसंधान और विकास को निम्नलिखित पहलुओं पर ध्यान केंद्रित करने की आवश्यकता है, अन्य बातों के अलावा:

• उच्च सटीकता के साथ स्वचालित भाषण मान्यता प्रणालियों का निर्माण: चूंकि एक भाषण स्कोरिंग प्रणाली की अधिकांश विशेषताएं इस प्रणाली के इस घटक पर सीधे या परोक्ष रूप से निर्भर करती हैं जो परीक्षार्थी की बोली को पाठ प्रतिलिपि में परिवर्तित करती है, इसलिए वैध विशेषताओं को प्राप्त करने के लिए उच्च सटीकता वाली स्वचालित भाषण मान्यता आवश्यक है;
• मानव और स्वचालित स्कोर को जोड़ने के नए तरीकों की खोज: मानव रेटर स्कोर और स्वचालित इंजन स्कोर की संबंधित ताकत का पूरा लाभ उठाने के लिए, इस साक्ष्य को जोड़ने के अधिक तरीकों की खोज की जानी चाहिए;
• प्रतिक्रियाओं में असामान्यताओं के लिए खाता, दोनों तकनीकी और व्यवहार संबंधी: अमान्य स्कोर की वैधता और विश्वसनीयता सुनिश्चित करने में मदद करने के लिए स्वचालित स्कोरिंग से बाहर निकालने के लिए ऐसी प्रतिक्रियाओं को झंडा दिखाने में सक्षम उच्च प्रदर्शन वाले फिल्टर आवश्यक हैं;
• दैनिक जीवन में होने वाली स्वतःस्फूर्त या संवादात्मक भाषण का मूल्यांकन: जबकि इस तरह की इंटरैक्टिव भाषण का स्वचालित स्कोरिंग एक महत्वपूर्ण लक्ष्य है, ये आइटम स्कोरिंग के साथ-साथ समग्र मूल्यांकन और स्कोरिंग सहित कई स्कोरिंग चुनौतियां प्रस्तुत करते हैं;
• स्वचालित भाषण स्कोरिंग के लिए गहरे शिक्षण प्रौद्योगिकियों की खोज: यह कृत्रिम बुद्धिमत्ता (एआई) कार्यों पर हाल के वर्षों में महत्वपूर्ण प्रदर्शन वृद्धि (जैसे स्वचालित भाषण मान्यता, छवि मान्यता) का उत्पादन करने वाला मशीन लर्निंग के भीतर एक अपेक्षाकृत हालिया परिदृश्य है, और इसलिए यह संभव है कि स्वचालित स्कोरिंग भी इस प्रौद्योगिकी का उपयोग करने से लाभान्वित हो सकता है। हालांकि, चूंकि इनमें से अधिकांश प्रणालियों को “ब्लैक-बॉक्स” दृष्टिकोण माना जा सकता है, परिणामी स्कोर की व्याख्या करने योग्यता को बनाए रखने के लिए महत्वपूर्ण होगी।

एक बढ़ती और बदलती अंग्रेजी-भाषा सीखने वाली आबादी को समायोजित करने के लिए, अगली पीढ़ी के भाषण स्कोरिंग प्रणालियों को स्वचालन और उनके द्वारा मापे जाने वाले श्रृंखला का विस्तार करना चाहिए, जिससे स्थिरता और स्केलेबिलिटी सुनिश्चित हो सके। इसका मतलब यह नहीं है कि मानव तत्व को हटा दिया जाएगा, विशेष रूप से उच्च-हित मूल्यांकन के लिए। मानव रेटर्स संभवतः तब तक आवश्यक रहेंगे जब तक कि स्वचालित स्कोरिंग प्रणालियों द्वारा सटीक रूप से मूल्यांकन किए जाने वाले बोलने की कुछ पहलुओं को पकड़ने के लिए, जिसमें बोले गए सामग्री और वाक्य रचना के विस्तृत पहलू शामिल हैं। उच्च-हित मूल्यांकन के लिए स्वचालित भाषण स्कोरिंग प्रणालियों का उपयोग करने से परीक्षार्थियों द्वारा समस्याग्रस्त प्रतिक्रियाओं की पहचान नहीं होने का जोखिम भी हो सकता है – उदाहरण के लिए, विषय से भटकी हुई या चोरी की गई प्रतिक्रियाएं, और परिणामस्वरूप, वैधता और विश्वसनीयता में कमी आ सकती है। उच्च-हित मूल्यांकन में भाषण के स्कोरिंग के लिए मानव रेटर्स और स्वचालित स्कोरिंग प्रणालियों का संयोजन करना सबसे अच्छा तरीका हो सकता है, विशेष रूप से यदि स्वतःस्फूर्त या संवादात्मक भाषण का मूल्यांकन किया जाता है।

लिखित द्वारा: कीलन इवानिनी, निदेशक, भाषण अनुसंधान, ईटीएस और क्लाउस ज़ेचनर, वरिष्ठ अनुसंधान वैज्ञानिक, भाषण, ईटीएस

ईटीएस शिक्षा संस्थानों, व्यवसायों और सरकारों के साथ काम करता है ताकि अनुसंधान किया जा सके और मूल्यांकन कार्यक्रम विकसित किए जा सकें जो लोगों और कार्यक्रमों का मूल्यांकन करने के लिए अर्थपूर्ण जानकारी प्रदान करें। ईटीएस 50 मिलियन से अधिक परीक्षण विकसित, प्रशासित और स्कोर करता है प्रति वर्ष 180 से अधिक देशों में 9,000 से अधिक स्थानों पर। हम अपने मूल्यांकन को उद्योग के अग्रणी अंतर्दृष्टि, कठोर अनुसंधान और गुणवत्ता के प्रति एक अपमानजनक प्रतिबद्धता के साथ डिज़ाइन करते हैं ताकि हम शिक्षा और कार्यस्थल समुदायों को सूचित निर्णय लेने में मदद कर सकें। अधिक जानने के लिए ईटीएस पर जाएं।