प्रो. जूलिया स्टोयानोविच, रेस्पॉन्सिबल एआई के लिए सेंटर के निदेशक – साक्षात्कार श्रृंखला

जूलिया स्टोयानोविच, एनवाईयू के टैंडन स्कूल ऑफ इंजीनियरिंग में एक प्रोफेसर हैं और रेस्पॉन्सिबल एआई के लिए सेंटर के संस्थापक निदेशक हैं। उन्होंने हाल ही में एनवाईसी काउंसिल की टेक्नोलॉजी कमिटी को एआई और रोजगार निर्णयों के लिए एआई के उपयोग को विनियमित करने वाले एक प्रस्तावित बिल के बारे में गवाही दी।

आप रेस्पॉन्सिबल एआई के लिए सेंटर के संस्थापक निदेशक हैं। क्या आप हमें इस संगठन द्वारा की गई कुछ पहलों के बारे में बता सकते हैं?

मैं स्टीवन कuyan के साथ रेस्पॉन्सिबल एआई (आर/एआई) के लिए सेंटर का सह-nिदेशन करता हूं। स्टीवन और मेरे पास पूरक रुचियां और विशेषज्ञता है। मैं एक अकादमिक हूं, कंप्यूटर विज्ञान की पृष्ठभूमि के साथ और डेटा इंजीनियरिंग, जिम्मेदार डेटा विज्ञान और नीति के बीच उपयोग-प्रेरित कार्य में मजबूत रुचि के साथ। स्टीवन एनवाईयू टैंडन फ्यूचर लैब्स के प्रबंध निदेशक हैं, जो एक स्टार्टअप इनक्यूबेटर्स और एक्सेलरेटर्स का नेटवर्क है जिसका पहले से ही न्यूयॉर्क शहर में महत्वपूर्ण आर्थिक प्रभाव पड़ा है। हमारी आर/एआई के लिए दृष्टि है कि हम “जिम्मेदार एआई” को “एआई” के साथ समानार्थी बनाने में मदद करें, अनुप्रयुक्त अनुसंधान, सार्वजनिक शिक्षा और जुड़ाव, और कंपनियों को बड़े और छोटे – विशेष रूप से छोटे – जिम्मेदार एआई विकसित करने में मदद करके।

पिछले कुछ महीनों में, आर/एआई ने एडीएस (स्वचालित निर्णय प्रणाली) पर्यवेक्षण के आसपास की बातचीत में सक्रिय रूप से भाग लिया है। हमारा दृष्टिकोण शैक्षिक गतिविधियों और नीति जुड़ाव के संयोजन पर आधारित है।

न्यूयॉर्क शहर एक प्रस्तावित कानून पर विचार कर रहा है, एक प्रस्तावित बिल जो ऑडिटिंग और सार्वजनिक प्रकटीकरण के माध्यम से नियुक्ति में एआई के उपयोग को विनियमित करेगा। आर/एआई ने हमारे शोध और हमारे द्वारा कई सार्वजनिक जुड़ाव गतिविधियों के माध्यम से नौकरी चाहने वालों से प्राप्त अंतर्दृष्टि के आधार पर बिल पर सार्वजनिक टिप्पणियां प्रस्तुत कीं।

हमने द गोवलैब और म्यूनिख टेक्निकल यूनिवर्सिटी में एआई में नैतिकता संस्थान के साथ मिलकर एक मुफ्त ऑनलाइन पाठ्यक्रम पर सहयोग किया जिसे “एआई नैतिकता: वैश्विक परिप्रेक्ष्य” कहा जाता है, जिसे इस महीने की शुरुआत में लॉन्च किया गया था।

आर/एआई की एक और हालिया परियोजना जो काफी ध्यान आकर्षित कर रही है वह है हमारी “डेटा, जिम्मेदारी से” कॉमिक बुक श्रृंखला। श्रृंखला का पहला खंड “मिरर, मिरर” कहा जाता है, यह अंग्रेजी, स्पेनिश और फ्रेंच में उपलब्ध है, और तीनों भाषाओं में एक स्क्रीन रीडर के साथ सुलभ है। कॉमिक ने मेट्रो लैब नेटवर्क और गोवटेक से महीने की नवाचार पुरस्कार प्राप्त किया, और टोरंटो स्टार द्वारा इसका उल्लेख किया गया था, अन्य लोगों के बीच।

नियुक्ति और रोजगार निर्णयों के लिए एआई पूर्वाग्रह के साथ कुछ वर्तमान या संभावित मुद्दे क्या हैं?

यह एक जटिल प्रश्न है जिसके लिए हमें पहले यह स्पष्ट करने की आवश्यकता है कि हम “पूर्वाग्रह” से क्या मतलब है। मुख्य बात यह है कि स्वचालित नियुक्ति प्रणाली “पूर्वानुमान विश्लेषण” हैं – वे भविष्य का अनुमान लगाते हैं जो अतीत से है। अतीत को कंपनी द्वारा नियुक्त व्यक्तियों और उनके प्रदर्शन के बारे में ऐतिहासिक डेटा द्वारा दर्शाया जाता है। प्रणाली तब इस डेटा पर “प्रशिक्षित” होती है, जिसका अर्थ है कि यह सांख्यिकीय पैटर्न की पहचान करती है और भविष्यवाणी करने के लिए इनका उपयोग करती है। ये सांख्यिकीय पैटर्न एआई का “जादू” है, जिस पर पूर्वानुमान मॉडल आधारित होते हैं। स्पष्ट रूप से, लेकिन महत्वपूर्ण रूप से, जिस ऐतिहासिक डेटा से इन पैटर्न को निकाला जाता है, वह उन व्यक्तियों के बारे में मौन है जिन्हें नियुक्त नहीं किया गया था क्योंकि हम simplemente नहीं जानते कि वे नौकरी पर कैसा प्रदर्शन करेंगे जिसे उन्हें नहीं मिला। और यहीं पूर्वाग्रह आता है। यदि हम विशिष्ट जनसांख्यिकीय और सामाजिक-आर्थिक समूहों के व्यक्तियों को अधिक बार नियुक्त करते हैं, तो इन समूहों की सदस्यता और समूह की सदस्यता के साथ जुड़ी विशेषताएं पूर्वानुमान मॉडल का हिस्सा बन जाएंगी। उदाहरण के लिए, यदि हम केवल कार्यकारी भूमिकाओं के लिए शीर्ष विश्वविद्यालयों के स्नातकों को नियुक्त करते हैं, तो प्रणाली यह नहीं सीख सकती कि अन्य स्कूलों में गए लोग भी अच्छा प्रदर्शन कर सकते हैं। लिंग, जाति और विकलांगता की स्थिति के लिए एक समान समस्या देखना आसान है।

एआई में पूर्वाग्रह केवल डेटा में पूर्वाग्रह से अधिक है। यह तब उत्पन्न होता है जब हम प्रौद्योगिकी का उपयोग करने का प्रयास करते हैं जहां एक तकनीकी समाधान बस अनुपयुक्त है, या जब हम एआई के लिए गलत लक्ष्य निर्धारित करते हैं – अक्सर इसलिए क्योंकि हमारे पास डिजाइन तालिका पर विविध आवाजें नहीं हैं, या जब हम मानव-एआई इंटरैक्शन में अपनी एजेंसी छोड़ देते हैं जब एआई तैनात किया जाता है। प्रत्येक पूर्वाग्रह के कारणों को अपनी खुद की चर्चा की आवश्यकता है जो इस लेख में दी गई जगह से अधिक लंबी हो सकती है। और इसलिए, ध्यान केंद्रित रखने के लिए, मैं डेटा में पूर्वाग्रह पर लौटता हूं।

जब मैं डेटा में पूर्वाग्रह के बारे में बताता हूं, तो मुझे दर्पण प्रतिबिंब रूपक पसंद है। डेटा दुनिया का एक प्रतिबिंब है, इसका दर्पण प्रतिबिंब। जब हम डेटा में पूर्वाग्रह के बारे में सोचते हैं, तो हम इस प्रतिबिंब की जांच करते हैं। “डेटा में पूर्वाग्रह” की एक व्याख्या यह है कि प्रतिबिंब विकृत है – हमारा दर्पण दुनिया के कुछ हिस्सों को कम या अधिक प्रतिनिधित्व करता है, या अन्यथा पढ़ाई को विकृत करता है। “डेटा में पूर्वाग्रह” की एक और व्याख्या यह है कि यहां तक कि अगर प्रतिबिंब 100% वफादार था, तो यह अभी की दुनिया का प्रतिबिंब होगा, न कि इसके होने का तरीका या इसके होने का तरीका। महत्वपूर्ण रूप से, यह डेटा या अल्गोरिदम पर नहीं है कि यह तय करे कि यह एक तोड़फोड़ वाले विश्व का एक पूर्ण प्रतिबिंब है, या एक पूर्ण विश्व का एक तोड़फोड़ वाला प्रतिबिंब है, या यदि इन विकृतियों को जोड़ा जाता है। यह व्यक्तियों, समूहों, समाज के लिए है कि हम तय करें कि क्या हम इस दुनिया के साथ ठीक हैं जैसा कि यह है, या यदि नहीं, तो हमें इसे कैसे सुधारना चाहिए।

पूर्वानुमान विश्लेषण पर वापस: डेटा में असमानताएं जितनी मजबूत होंगी, उतनी ही अधिक संभावना है कि वे पूर्वानुमान मॉडल द्वारा उठाई जाएंगी और भविष्य में दोहराई जाएंगी – और यहां तक कि बढ़ाई जाएंगी।

यदि हमारा लक्ष्य समानता और विविधता पर ध्यान देकर हमारी नियुक्ति प्रथाओं में सुधार करना है, तो हम इस काम को मशीनों को आउटसोर्स नहीं कर सकते हैं। हमें नियुक्ति और रोजगार में पूर्वाग्रह के वास्तविक कारणों को सीधे तौर पर पहचानने और सभी हितधारकों की प्रतिक्रिया के साथ एक सामाजिक-legal-तकनीकी समाधान पर बातचीत करने का कठिन काम करना होगा। प्रौद्योगिकी निश्चित रूप से हमें स्थिति को बेहतर बनाने में मदद करने की भूमिका निभा सकती है: यह हमें हमारे लक्ष्यों और परिणामों के बारे में ईमानदार रहने में मदद कर सकती है। लेकिन डेटा या पूर्वानुमान विश्लेषण को डी-बायस करने से नियुक्ति में भेदभाव की गहरी जड़ वाली समस्याओं का समाधान होगा, यह सरल होने के लिए सबसे अच्छा है।

आप हाल ही में एनवाईसी काउंसिल की टेक्नोलॉजी कमिटी के सामने गवाही दी है, एक उल्लेखनीय टिप्पणी थी: “हम पाते हैं कि विज्ञापनदाता के बजट और विज्ञापन की सामग्री दोनों ही फेसबुक के विज्ञापन वितरण में महत्वपूर्ण योगदान करते हैं। गंभीर रूप से, हम नौकरी और आवास के अवसरों के लिए ‘वास्तविक’ विज्ञापनों के लिए लिंग और जातीय रेखाओं के साथ वितरण में महत्वपूर्ण विकृति देखते हैं,尽管 तटस्थ लक्ष्य पैरामीटर हैं।” इस प्रकार के पूर्वाग्रह से बचने के लिए कुछ समाधान क्या हैं?

मैंने जो टिप्पणी की है वह अली एट अल द्वारा एक शानदार पेपर पर आधारित है जिसे “भेदभाव के माध्यम से अनुकूलन: कैसे फेसबुक के विज्ञापन वितरण में पूर्वाग्रहित परिणाम हो सकते हैं” कहा जाता है। लेखकों ने पाया कि विज्ञापन वितरण तंत्र स्वयं पूर्वाग्रहित प्रभावों को पेश करने और बढ़ाने के लिए जिम्मेदार है। निश्चित रूप से, यह खोज विशेष रूप से समस्याग्रस्त है, खासकर जब यह फेसबुक और अन्य प्लेटफार्मों – गूगल और ट्विटर पर पारदर्शिता की कमी के खिलाफ खेलता है। पूर्वाग्रहित प्रभावों जैसे अली एट अल द्वारा पाए जाने वाले बोझ फेसबुक और अन्य प्लेटफार्मों पर है कि वे तुरंत और स्पष्ट रूप से प्रदर्शित करें कि वे पूर्वाग्रहित प्रभावों को रोकने में सक्षम हैं। इसके अलावा, मैं नौकरी, आवास और अन्य क्षेत्रों में जहां लोगों के जीवन और आजीविका दांव पर हैं, व्यक्तिगत विज्ञापन लक्ष्यीकरण का उपयोग जारी रखने के लिए कोई औचित्य नहीं पा सकता हूं।

डेटा वैज्ञानिक और एआई डेवलपर्स अन्य अनजाने पूर्वाग्रह से अपने सिस्टम में कैसे बच सकते हैं?

यह पूरी तरह से डेटा वैज्ञानिकों या किसी एक हितधारक समूह पर निर्भर नहीं है कि तकनीकी प्रणाली सामाजिक मूल्यों के साथ संरेखित हैं। लेकिन डेटा वैज्ञानिक वास्तव में इस लड़ाई के सामने हैं। एक कंप्यूटर वैज्ञानिक के रूप में, मैं इस बात की पुष्टि कर सकता हूं कि हमारे द्वारा डिज़ाइन की गई प्रणालियों को “वस्तुनिष्ठ”, “अनुकूल” या “सही” मानने की आकर्षण है। कंप्यूटर विज्ञान और डेटा विज्ञान कितने सफल हैं – कितने प्रभावशाली और व्यापक रूप से उपयोग किए जाते हैं – यह एक आशीर्वाद और एक अभिशाप दोनों है। हम तकनीशियनों को अब वस्तुनिष्ठता और सहीपन के अप्राप्य लक्ष्यों के पीछे छिपने का विलासिता नहीं है। हमारे लिए अपनी दुनिया में अपनी जगह के बारे में सावधानी से सोचने और सामाजिक और राजनीतिक प्रक्रियाओं पर हमारे प्रभाव के बारे में खुद को शिक्षित करने का बोझ है। समाज को हमें तेजी से आगे बढ़ने और चीजों को तोड़ने की अनुमति नहीं दे सकता है, हमें धीमा करना होगा और प्रतिबिंबित करना होगा।

यह प्रतीकात्मक है कि दर्शन एक बार सभी वैज्ञानिक और सामाजिक वार्ता का केंद्र बिंदु था, फिर गणित आया, फिर कंप्यूटर विज्ञान। अब, डेटा विज्ञान केंद्र स्तर पर होने के साथ, हम अपने दार्शनिक मूलों से जुड़ने के लिए वापस आ गए हैं।

आपकी एक और सिफारिश यह है कि एक सूचित जनता बनाई जाए। हम एक ऐसे जनता को कैसे सूचित कर सकते हैं जो एआई से परिचित नहीं हो सकती है या एआई पूर्वाग्रह से जुड़ी समस्याओं को नहीं समझती है?

गैर-तकनीकी लोगों को प्रौद्योगिकी के बारे में और तकनीकी लोगों को इसके सामाजिक प्रभावों के बारे में शिक्षित करने की तत्काल आवश्यकता है। दोनों लक्ष्यों को प्राप्त करने के लिए हमारी सरकार की ओर से मजबूत प्रतिबद्धता और महत्वपूर्ण निवेश की आवश्यकता होगी। हमें इन सभी समूहों के लिए सामग्री और शैक्षिक विधियों का विकास करने और भागीदारी को प्रोत्साहित करने के तरीके खोजने की आवश्यकता है। और हम इस काम को व्यावसायिक संस्थाओं पर नहीं छोड़ सकते हैं। यूरोपीय संघ अग्रणी है, कई सरकारों ने अपने नागरिकों के लिए बुनियादी एआई शिक्षा के लिए समर्थन प्रदान किया है, और एआई पाठ्यक्रमों को हाईस्कूल कार्यक्रमों में शामिल किया है। हम आर/एआई में एक सार्वजनिक रूप से उपलब्ध और व्यापक रूप से सुलभ पाठ्यक्रम पर काम कर रहे हैं, जिसका उद्देश्य एक जुड़ाव वाले सार्वजनिक को बनाना है जो एआई को हमारे लिए क्या होना चाहिए, इसमें मदद करेगा। हम इस काम से बहुत उत्साहित हैं, कृपया आगामी महीनों में अधिक जानकारी के लिए बने रहें।

धन्यवाद आपके महान विस्तृत प्रतिक्रियाओं के लिए, पाठक जो अधिक जानना चाहते हैं उन्हें रेस्पॉन्सिबल एआई के लिए सेंटर पर जाना चाहिए।