नितिन मदनानी, ईटीएस में वरिष्ठ अनुसंधान वैज्ञानिक – साक्षात्कार श्रृंखला

नितिन मदनानी शैक्षिक परीक्षण सेवा (ईटीएस) में प्राकृतिक भाषा प्रसंस्करण (एनएलपी) अनुसंधान समूह में एक वरिष्ठ अनुसंधान वैज्ञानिक हैं। ईटीएस की स्थापना 1947 में हुई थी और यह दुनिया का सबसे बड़ा निजी गैर-लाभकारी शैक्षिक परीक्षण और मूल्यांकन संगठन है।

क्या आप हमें ईटीएस के मिशन के बारे में बता सकते हैं?

ईटीएस का मिशन दुनिया भर के सभी शिक्षार्थियों के लिए शिक्षा में गुणवत्ता और समानता को बढ़ावा देना है। यह मिशन हमारे उत्पादों, सेवाओं, अनुसंधान और विकास प्रयासों को निर्देशित करता है, जिसका उद्देश्य सीखने को बढ़ावा देना, शिक्षा का समर्थन करना, पेशेवर विकास का समर्थन करना और ज्ञान और कौशल को मापना है।

हम मानते हैं कि कोई भी व्यक्ति अपने जीवन में सीखने के माध्यम से अंतर ला सकता है और ईटीएस के अनुसंधान, मूल्यांकन, माप और नीति पर काम सीखने को संभव बनाने में महत्वपूर्ण भूमिका निभा सकता है।

एनएलपी के बारे में आपको इतना उत्साहित क्या करता है?

सभी मानव भाषाएं इतनी सुंदर और जटिल होती हैं कि वे हमें अपनी बातचीत और लेखन में भावनाओं को व्यक्त करने की अनुमति देती हैं और वे समय के साथ विकसित होती हैं। दूसरी ओर, एक कंप्यूटर अपने इनपुट को संसाधित करने में इतना निर्धारित और नैदानिक ​​होता है। प्राकृतिक भाषा प्रसंस्करण (एनएलपी) एक क्षेत्र है जो कंप्यूटर विज्ञान, भाषाविज्ञान और सांख्यिकी से तकनीकों को मिलाकर मानव भाषा की सुंदर जटिलताओं को समझने का प्रयास करता है। यह आकर्षक नहीं होगा?

ईटीएस के एनएलपी और भाषण वैज्ञानिकों ने हाल ही में आरएसएमटूल विकसित किया है। क्या आप हमें इसके बारे में बता सकते हैं?

जैसा कि हमने पिछले कुछ वर्षों में देखा है, सभी मशीन लर्निंग मॉडल संभावित रूप से पक्षपातपूर्ण व्यवहार प्रदर्शित कर सकते हैं, चाहे वे जिस क्षेत्र में लागू हों। शिक्षा में भी ऐसा ही है, जहां स्वचालित ग्रेडिंग प्रणाली अक्सर मशीन लर्निंग मॉडल का उपयोग करती हैं। इसलिए, यह संभव है कि ऐसी प्रणालियों में पक्षपाती व्यवहार हो। ऐसा पक्षपात गंभीर परिणाम हो सकता है, खासकर यदि इन प्रणालियों से प्राप्त स्कोर का उपयोग उच्च-जोखिम वाले निर्णय लेने के लिए किया जाता है।

आरएसएमटूल एक मुक्त स्रोत उपकरण है जिसे मेरे सहयोगी अनास्तासिया लौकिना (पहले यूनाइट.एआई पर) और मैंने ईटीएस में विकसित किया है ताकि यह सुनिश्चित किया जा सके कि स्वचालित ग्रेडिंग प्रणालियों में कोई भी व्यवस्थित, हानिकारक पक्षपात जल्द से जल्द पहचाना जाए, उम्मीद है कि वे वास्तविक दुनिया में तैनात होने से पहले। आरएसएमटूल को स्वचालित स्कोरिंग इंजनों का एक व्यापक मूल्यांकन प्रदान करने के लिए डिज़ाइन किया गया है, जिसमें नहीं केवल पूर्वानुमान सटीकता के मानक मेट्रिक्स शामिल हैं, बल्कि मॉडल न्याय और परीक्षण सिद्धांत पर आधारित मेट्रिक्स भी शामिल हैं, जो डेवलपर्स को अपने सिस्टम में संभावित पक्षपात या अन्य समस्याओं की पहचान करने में मदद करते हैं।

आरएसएमटूल का नाम कहां से आया?

शैक्षिक मूल्यांकन क्षेत्र में, जो कोई एक निबंध को स्कोर (या “रेट”) करता है उसे अक्सर एक “रेटर” कहा जाता है। आरएसएमटूल – रेटर स्कोरिंग मॉडलिंग टूल के लिए छोटा – स्वचालित रेटर्स द्वारा उपयोग किए जाने वाले स्कोरिंग मॉडल को बनाने (और मूल्यांकन) में मदद करने के लिए डिज़ाइन किया गया है।

यह उपकरण डेवलपर्स को अपने एआई स्कोरिंग इंजन में संभावित पक्षपात या अन्य समस्याओं की पहचान करने में कैसे मदद कर सकता है?

पिछले पांच दशकों में, शैक्षिक माप वैज्ञानिकों – जिनमें हमारे कई सहयोगी ईटीएस में शामिल हैं – ने स्वचालित स्कोरिंग इंजनों के लिए न्याय के बारे में मूल्यवान अनुसंधान किया है। इस अनुसंधान के हिस्से के रूप में, उन्होंने पक्षपात के संकेतक की गणना के लिए कई सांख्यिकीय और मनोवैज्ञानिक विश्लेषण विकसित किए हैं। हालांकि, चूंकि मनोवैज्ञानिक और एनएलपी समुदाय शायद ही कभी बातचीत करते हैं, इसलिए विचारों के पारस्परिक आदान-प्रदान के लिए कम अवसर हैं। नतीजतन, एनएलपी शोधकर्ता और डेवलपर जो वास्तविक स्वचालित स्कोरिंग प्रणाली बना रहे हैं – विशेष रूप से व्यक्तिगत शोधकर्ता और छोटी कंपनियों में – उनके पास उन मनोवैज्ञानिक विश्लेषणों तक आसानी से पहुंच नहीं है जिनका उपयोग वे अपने सिस्टम में पक्षपात की जांच के लिए करना चाहिए। आरएसएमटूल इस समस्या का समाधान करने का प्रयास करता है bằng एक बड़े, विविध सेट के मनोवैज्ञानिक विश्लेषण प्रदान करके एक ही में, आसानी से उपयोग होने वाले पायथन पैकेज में जिसे कोई भी एनएलपी शोधकर्ता अपने शोध या परिचालन पाइपलाइन में शामिल कर सकता है।

एक典型 उपयोग के मामले में, एक शोधकर्ता एक फ़ाइल या एक डेटा फ्रेम के साथ इनपुट प्रदान करेगा जिसमें संख्यात्मक सिस्टम स्कोर, सोने के मानक (मानव) स्कोर और मेटाडेटा शामिल हैं, यदि लागू हो। आरएसएमटूल इस डेटा को संसाधित करता है और एक व्यापक मूल्यांकन सहित एक एचटीएमएल रिपोर्ट generates, जिसमें विवरणात्मक सांख्यिकी और कई प्रणाली प्रदर्शन और न्याय के उपाय शामिल हैं। आरएसएमटूल रिपोर्ट का एक नमूना https://bit.ly/fair-tool पर पाया जा सकता है। आरएसएमटूल पारंपरिक फीचर-ड्रिवन मशीन लर्निंग मॉडल (जैसे स्किट-लर्न लाइब्रेरी से) और गहरे शिक्षण मॉडल के साथ काम कर सकता है। हालांकि आरएसएमटूल का प्राथमिक आउटपुट आसान साझा करने के लिए एक एचटीएमएल रिपोर्ट है, यह मध्यवर्ती आउटपुट के रूप में सीएसवी, टीएसवी या एक्सएलएसएक्स प्रारूपों में टेबुलर डेटा फ़ाइलें भी उत्पन्न करता है। अंत में, चीजों को बहुत अनुकूलन योग्य रखने के लिए, आरएसएमटूल अपनी रिपोर्ट के प्रत्येक अनुभाग को एक जुपिटर नोटबुक के रूप में लागू करता है ताकि उपयोगकर्ता न केवल यह चुन सकें कि उनके विशिष्ट स्कोरिंग मॉडल के लिए कौन से अनुभाग प्रासंगिक हैं, बल्कि वे आसानी से कस्टम विश्लेषण लागू कर सकते हैं और उन्हें रिपोर्ट में शामिल कर सकते हैं बिना बहुत अधिक काम के।

आरएसएमटूल का उपयोग करके स्वचालित स्कोरिंग के कई हाल के अध्ययन हुए हैं जिन्होंने अपने प्रस्तावित स्कोरिंग मॉडल का मूल्यांकन करने के लिए आरएसएमटूल का उपयोग किया है।

स्वचालित स्कोरिंग प्रणालियों को प्रभावित करने वाले पक्षपात के सामान्य प्रकार क्या हैं?

स्वचालित स्कोरिंग प्रणाली को प्रभावित करने वाला सबसे सामान्य प्रकार का पक्षपात उप-समूहों के लिए अलग-अलग प्रदर्शन है, अर्थात जब स्वचालित प्रणाली विभिन्न आबादी के उप-समूहों के लिए अलग-अलग प्रदर्शन करती है। उदाहरण के लिए, एक पक्षपातपूर्ण स्कोरिंग प्रणाली काली महिलाओं द्वारा लिखे गए निबंधों के लिए सिस्टमेटिक रूप से कम स्कोर उत्पन्न कर सकती है, जबकि श्वेत पुरुषों के लिए स्कोर अधिक हो सकते हैं, भले ही मानव के दृष्टिकोण से दोनों उप-समूहों में लेखन कौशल में कोई सिस्टमेटिक अंतर नहीं है।

ईटीएस ने स्वचालित स्कोरिंग इंजनों के लिए न्याय पर अनुसंधान का एक समृद्ध इतिहास है। उदाहरण के लिए, हमने देखा है कि क्या हमारा एआई स्वचालित स्कोरिंग इंजन, ई-रेटर®, जातीयता, लिंग और देश द्वारा परिभाषित उप-समूहों के लिए कोई भिन्न प्रदर्शन प्रदर्शित करता है (उन्होंने कुछ मामूली अंतर पाए जिन्हें बाद की नीति परिवर्तनों द्वारा संबोधित किया गया था)। अध्ययनों ने यह भी देखा है कि क्या ई-रेटर® जीआरई® परीक्षा लेने वालों के साथ सीखने की अक्षमता और/या एडीएचडी वाले लोगों द्वारा लिखे गए प्रतिक्रियाओं को औसतन सिस्टमेटिक रूप से अलग तरह से व्यवहार करता है (यह नहीं करता है)। हाल ही में, एक समय पर अध्ययन यह देखता है कि क्या एक स्वचालित प्रणाली जो बोलने की क्षमता का मूल्यांकन करती है, उन परीक्षार्थियों के प्रति सिस्टमेटिक रूप से पक्षपातपूर्ण है जिन्हें चेहरे के मास्क पहनने की आवश्यकता होती है या नहीं (यह नहीं है)। आरएसएमटूल में कई मनोवैज्ञानिक विश्लेषण हैं जो उपयोगकर्ता द्वारा परिभाषित किए जा सकने वाले उप-समूहों पर उप-समूहों के प्रदर्शन में अंतर को मापने का प्रयास करते हैं।

ईटीएस ने आरएसएमटूल को मुक्त स्रोत बनाने का निर्णय क्यों लिया?

हाँ, आरएसएमटूल गिटहब पर एक अपाचे 2.0 लाइसेंस के साथ उपलब्ध है। हम मानते हैं कि ऐसे उपकरण के लिए मुक्त स्रोत और गैर-व्यावसायिक होना महत्वपूर्ण है ताकि समुदाय (ए) स्रोत कोड की जांच कर सके जो पहले से उपलब्ध विश्लेषणों को न्याय मानकों के अनुरूप होने के लिए सुनिश्चित करे और (बी) नए विश्लेषणों का योगदान दे सके क्योंकि मानक विकसित होते हैं और बदलते हैं। हम यह भी चाहते हैं कि एनएलपी शोधकर्ताओं और डेवलपर्स के लिए आरएसएमटूल का उपयोग करना और हमें इसे बेहतर बनाने में मदद करना आसान हो। आरएसएमटूल को मुक्त स्रोत बनाना शिक्षा में कृत्रिम बुद्धिमत्ता के जिम्मेदार उपयोग के लिए ईटीएस की चल रही प्रतिबद्धता का एक स्पष्ट उदाहरण है।

आरएसएमटूल को विकसित और बनाए रखने से आपको क्या सबक मिले?

अनास्तासिया और मैंने पिछले पांच वर्षों में आरएसएमटूल को विकसित और बनाए रखने के दौरान – कई ईटीएस सहयोगियों और गैर-ईटीएस गिटहब योगदानकर्ताओं की मदद से – हमने दो व्यापक सबक सीखे हैं। पहला यह है कि विभिन्न उपयोगकर्ताओं की विभिन्न आवश्यकताएं होती हैं और एक-आकार-फिट-सभी दृष्टिकोण काम नहीं करेगा, विशेष रूप से आरएसएमटूल जैसे अंतर-विषयक सॉफ्टवेयर के लिए। दूसरा सबक जो हमने सीखा है कि खुले स्रोत सॉफ्टवेयर को अपनाने की संभावना को बढ़ाने के लिए, आपको वास्तव में इसे यथासंभव मजबूत बनाने के लिए अतिरिक्त प्रयास करने की आवश्यकता है।

आरएसएमटूल के रूप में हमने कई प्रकार के उपयोगकर्ताओं की पहचान की है। उनमें से कुछ “पावर उपयोगकर्ता” (जैसे एनएलपी शोधकर्ता और डेवलपर) हैं जो आरएसएमटूल की विशिष्ट कार्यक्षमता को चुनना चाहते हैं और इसे अपने स्वयं के मशीन लर्निंग पाइपलाइन में प्लग करना चाहते हैं, साथ ही अन्य पायथन पैकेजों का भी उपयोग करना चाहते हैं। ऐसे उपयोगकर्ताओं को संतुष्ट करने के लिए, हमने विभिन्न पूर्व- और पोस्ट-प्रोसेसिंग फंक्शन और आरएसएमटूल में निहित कस्टम मेट्रिक्स को उजागर करने के लिए एक व्यापक एपीआई बनाया है। एक अन्य उपयोगकर्ता समूह “न्यूनतम” है: डेटा विश्लेषक और इंजीनियर जो सांख्यिकीय या प्रोग्रामिंग पृष्ठभूमि की कमी के कारण एपीआई के साथ बातचीत करने में असमर्थ हैं और इसके बजाय एक आउट-ऑफ-द-बॉक्स पाइपलाइन पसंद करते हैं। ऐसे उपयोगकर्ताओं को संतुष्ट करने के लिए, हमने व्रैपर शेल स्क्रिप्ट में आसानी से कॉल किए जा सकने वाले कमांड-लाइन टूल बनाए हैं। हमने यह भी पाया है कि न्यूनतम उपयोगकर्ता अक्सर आरएसएमटूल की विन्यास विकल्पों की (स्वीकारोक्ति से बड़ी) सूची के माध्यम से पढ़ने में अनिच्छुक होते हैं। इसलिए, हमने एक इंटरैक्टिव कॉन्फ़िगरेशन जनरेटर बनाया है जो स्व-पूर्णता के साथ उनकी विशिष्ट आवश्यकताओं के आधार पर कॉन्फ़िगरेशन फ़ाइलें बनाने में मदद कर सकता है।

सभी उपयोगकर्ता समूहों की आवश्यकताओं को पूरा करने के लिए, हमें यह सुनिश्चित करने के लिए प्रथाओं को अपनाने की आवश्यकता थी कि आरएसएमटूल मजबूत हो। हमारे लिए मजबूत सॉफ्टवेयर का क्या अर्थ है? किसी भी सॉफ्टवेयर को मजबूत होने के लिए निम्नलिखित मानदंडों को पूरा करना होगा: कोड परिवर्तन के प्रभाव को इसकी सटीकता और प्रदर्शन पर मापा जा सकता है (सुव्यवस्थित परीक्षण), इसका दस्तावेज़ीकरण हमेशा अद्यतित रहता है (सुव्यवस्थित दस्तावेज़ीकरण), और सॉफ्टवेयर (साथ ही इसकी निर्भरताएं) उपयोगकर्ताओं द्वारा आसानी से स्थापित किया जा सकता है। आरएसएमटूल के लिए, हमने अपने परिभाषा को पूरा करने के लिए कई मुक्त स्रोत उपकरणों और सेवाओं का लाभ उठाया है। हमारे पास एक व्यापक परीक्षण सूट है (>'90% कोड कवरेज) जिसे हम किसी भी और सभी परिवर्तनों के लिए स्वचालित रूप से निरंतर एकीकरण के माध्यम से चलते हैं। हम व्यापक दस्तावेज़ीकरण (वास्तविक दुनिया के ट्यूटोरियल सहित) बनाए रखते हैं और आरएसएमटूल में कोई भी नई कार्यक्षमता प्रस्तावित करने से पहले दस्तावेज़ीकरण घटक की समीक्षा की जाती है। अंत में, हम आरएसएमटूल को पैकेज के रूप में जारी करते हैं जो पिप या कोंडा के माध्यम से आसानी से स्थापित किया जा सकता है और सभी आवश्यक निर्भरताएं स्वचालित रूप से स्थापित की जाती हैं।

ईटीएस आरएसएमटूल जारी करके क्या हासिल करना चाहता है?

शिक्षा क्षेत्र में पिछले कुछ वर्षों में एआई का एक महत्वपूर्ण विस्तार देखा गया है, जिसमें पाठ और भाषण की स्वचालित ग्रेडिंग एनएलपी का एक बढ़ता हुआ अनुप्रयोग बन गया है। ईटीएस लंबे समय से स्वचालित ग्रेडिंग के क्षेत्र में एक नेता रहा है और इसकी स्थापना के बाद से ही न्यायसंगत उत्पादों और मूल्यांकन बनाने के लिए प्रतिबद्ध रहा है जो विश्व स्तर पर शिक्षार्थियों की सेवा करने के लिए डिज़ाइन किए गए हैं। आरएसएमटूल जारी करके, जिसे एनएलपी वैज्ञानिकों और मनोवैज्ञानिकों के बीच घनिष्ठ सहयोग से विकसित किया गया है, ईटीएस शिक्षा में कृत्रिम बुद्धिमत्ता के जिम्मेदार उपयोग के लिए अपने समर्थन को जारी रखना चाहता है; विशेष रूप से, हम यह सुनिश्चित करना चाहते हैं कि जब एआई शोधकर्ता स्वचालित स्कोरिंग प्रणाली के “प्रदर्शन” के बारे में सोचते हैं, तो वे न केवल मानक पूर्वानुमान सटीकता मेट्रिक्स (जैसे पियर्सन का संबंध) पर विचार करें, बल्कि मॉडल न्याय के मेट्रिक्स पर भी विचार करें। अधिक व्यापक रूप से, हम यह भी चाहते हैं कि आरएसएमटूल एनएलपी शोधकर्ताओं और मनोवैज्ञानिकों के बीच सहयोग के तरीकों का एक उदाहरण बने।

क्या आपके पास आरएसएमटूल के बारे में साझा करने के लिए कुछ और है?

हम पाठकों को आरएसएमटूल में सुधार करने में मदद करने के लिए प्रोत्साहित करते हैं! उन्हें मनोवैज्ञानिक या एनएलपी विशेषज्ञ होने की आवश्यकता नहीं है। हमारे पास दस्तावेज़ीकरण और पायथन प्रोग्रामिंग से संबंधित कई खुले मुद्दे हैं जो किसी भी शुरुआती से मध्यवर्ती पायथन प्रोग्रामर के लिए उपयुक्त होंगे। हम एसकेएलएल (स्किट-लर्न लेबोरेटरी) में योगदान देने के लिए भी आमंत्रित करते हैं, जो आरएसएमटूल द्वारा अंतर्निहित रूप से उपयोग किया जाने वाला एक अन्य ईटीएस मुक्त स्रोत पैकेज है जो उपयोगकर्ता-कॉन्फ़िगरेबल, बैच्ड मशीन लर्निंग प्रयोगों को कुशलता से चलाने के लिए है।