प्रो. जूलिया स्टोयानोविच, सेंटर फॉर रिस्पॉन्सिबल एआई के निदेशक – साक्षात्कार श्रृंखला

जूलिया स्टोयानोविच, न्यूयॉर्क यूनिवर्सिटी के टैंडन स्कूल ऑफ इंजीनियरिंग में प्रोफेसर और सेंटर फॉर रिस्पॉन्सिबल एआई के संस्थापक निदेशक हैं। उन्होंने हाल ही में न्यूयॉर्क सिटी काउंसिल की टेक्नोलॉजी समिति के सामने एक प्रस्तावित बिल पर गवाही दी, जो नौकरी और रोजगार के निर्णयों के लिए एआई के उपयोग को विनियमित करेगा।

आप सेंटर फॉर रिस्पॉन्सिबल एआई के संस्थापक निदेशक हैं। क्या आप हमें इस संगठन द्वारा किए गए कुछ पहलों के बारे में बता सकते हैं?

मैं सेंटर फॉर रिस्पॉन्सिबल एआई (आर/एआई) के सह-निदेशक हूं, जिसका सह-निदेशन स्टीवन कुयान के साथ मिलकर किया जाता है। स्टीवन और मेरे पास पूरक रुचियां और विशेषज्ञता हैं। मैं एक अकादमिक हूं, जिसकी पृष्ठभूमि कंप्यूटर विज्ञान में है और जो डेटा इंजीनियरिंग, जिम्मेदार डेटा विज्ञान और नीति के बीच उपयोग-प्रेरित कार्य में रुचि रखता है। स्टीवन न्यूयॉर्क यूनिवर्सिटी के टैंडन स्कूल ऑफ इंजीनियरिंग में न्यूयॉर्क यूनिवर्सिटी टैंडन फ्यूचर लैब्स के प्रबंध निदेशक हैं, जो एक स्टार्टअप इंक्यूबेटर और एक्सेलेरेटर का नेटवर्क है जिसका न्यूयॉर्क सिटी में पहले से ही महत्वपूर्ण आर्थिक प्रभाव पड़ा है। आर/एआई के लिए हमारी दृष्टि यह है कि हम “जिम्मेदार एआई” को “एआई” के साथ समानार्थी बनाने में मदद करें, जो अनुप्रयुक्त अनुसंधान, सार्वजनिक शिक्षा और जुड़ाव, और बड़े और छोटे दोनों कंपनियों को जिम्मेदार एआई विकसित करने में मदद करके किया जा सकता है।

पिछले कुछ महीनों में, आर/एआई ने स्वचालित निर्णय प्रणाली (एडीएस) पर्यवेक्षण के आसपास की बातचीत में सक्रिय रूप से भाग लिया है। हमारा दृष्टिकोण शैक्षिक गतिविधियों और नीति जुड़ाव के संयोजन पर आधारित है।

न्यूयॉर्क सिटी एक प्रस्तावित कानून पर विचार कर रहा है, इंट 1894, जो ऑडिटिंग और सार्वजनिक प्रकटीकरण के माध्यम से नौकरी में एडीएस के उपयोग को विनियमित करेगा। आर/एआई ने इस बिल पर सार्वजनिक टिप्पणियां प्रस्तुत कीं, जो हमारे शोध और हमारे द्वारा कई सार्वजनिक जुड़ाव गतिविधियों से प्राप्त अंतर्दृष्टि पर आधारित थीं।

हमने द गोवलैब और म्यूनिख टेक्निकल यूनिवर्सिटी में एआई में नैतिकता संस्थान के साथ मिलकर एक नि:शुल्क ऑनलाइन पाठ्यक्रम “एआई नैतिकता: वैश्विक दृष्टिकोण” पर सहयोग किया, जिसे इस महीने की शुरुआत में लॉन्च किया गया था।

आर/एआई की एक अन्य हालिया परियोजना जिसने काफी ध्यान आकर्षित किया है, वह है हमारी “डेटा, जिम्मेदारी से” कॉमिक बुक श्रृंखला। श्रृंखला का पहला खंड “मिरर, मिरर” नामक है, जो अंग्रेजी, स्पेनिश और फ्रेंच में उपलब्ध है, और तीनों भाषाओं में स्क्रीन रीडर के साथ एक्सेस किया जा सकता है। कॉमिक ने मेट्रो लैब नेटवर्क और गोवटेक से इनोवेशन ऑफ द मंथ पुरस्कार प्राप्त किया, और इसे टोरंटो स्टार द्वारा कवर किया गया था, अन्य लोगों के बीच।

नौकरी और रोजगार के निर्णयों के लिए एआई पूर्वाग्रह के साथ कुछ वर्तमान या संभावित मुद्दे क्या हैं?

यह एक जटिल प्रश्न है जिसके लिए हमें पहले यह स्पष्ट करने की आवश्यकता है कि हम “पूर्वाग्रह” से क्या मतलब है। मुख्य बात यह है कि स्वचालित नौकरी प्रणाली “पूर्वानुमानिक विश्लेषण” हैं – वे भविष्य का अनुमान लगाते हैं जो अतीत पर आधारित होता है। अतीत का प्रतिनिधित्व ऐतिहासिक डेटा द्वारा किया जाता है जो व्यक्तियों के बारे में होता है जिन्हें कंपनी द्वारा नियुक्त किया गया था, और जिस तरह से वे प्रदर्शन करते थे। प्रणाली को इस डेटा पर प्रशिक्षित किया जाता है, जिसका अर्थ है कि यह सांख्यिकीय पैटर्न की पहचान करता है और भविष्यवाणियों के लिए उनका उपयोग करता है। ये सांख्यिकीय पैटर्न एआई का “जादू” हैं, जो पूर्वानुमानिक मॉडल पर आधारित होते हैं। स्पष्ट रूप से, लेकिन महत्वपूर्ण रूप से, ऐतिहासिक डेटा जिससे इन पैटर्न को निकाला गया है, उन व्यक्तियों के बारे में मौन है जिन्हें नियुक्त नहीं किया गया था क्योंकि हम नहीं जानते कि वे नौकरी पर कैसा प्रदर्शन करेंगे जिसे उन्हें नहीं मिला। और यहीं पूर्वाग्रह खेल में आता है। यदि हम व्यवस्थित रूप से विशिष्ट जनसांख्यिकीय और सामाजिक-आर्थिक समूहों के व्यक्तियों को अधिक नियुक्त करते हैं, तो इन समूहों की सदस्यता और संबंधित विशेषताएं पूर्वानुमानिक मॉडल का हिस्सा बन जाएंगी। उदाहरण के लिए, यदि हम केवल कार्यकारी भूमिकाओं के लिए शीर्ष विश्वविद्यालयों के स्नातकों को देखते हैं, तो प्रणाली यह नहीं सीख सकती कि अन्य स्कूलों के लोग भी अच्छा प्रदर्शन कर सकते हैं। लिंग, जाति और विकलांगता के लिए एक समान समस्या देखना आसान है।

एआई में पूर्वाग्रह केवल डेटा में पूर्वाग्रह से अधिक है। यह तब उत्पन्न होता है जब हम प्रौद्योगिकी का उपयोग करने का प्रयास करते हैं जहां एक तकनीकी समाधान बस अनुपयुक्त है, या जब हम एआई के लिए गलत लक्ष्य निर्धारित करते हैं – अक्सर इसलिए क्योंकि हमारे पास डिज़ाइन तालिका पर विविध आवाजें नहीं हैं, या जब हम मानव-एआई इंटरैक्शन में अपनी एजेंसी छोड़ देते हैं जब एआई तैनात किया जाता है। प्रत्येक पूर्वाग्रह के कारणों को अपनी चर्चा की आवश्यकता है जो इस लेख में दी गई जगह से अधिक लंबी हो सकती है। और इसलिए, ध्यान केंद्रित करने के लिए, मैं डेटा में पूर्वाग्रह पर वापस लौटता हूं।

जब मैं डेटा में पूर्वाग्रह की व्याख्या करता हूं, तो मुझे दर्पण प्रतिबिंब के रूपक का उपयोग करना पसंद है। डेटा दुनिया का एक प्रतिबिंब है, इसका दर्पण प्रतिबिंब। जब हम डेटा में पूर्वाग्रह के बारे में सोचते हैं, तो हम इस प्रतिबिंब की जांच करते हैं। “डेटा में पूर्वाग्रह” की एक व्याख्या यह है कि प्रतिबिंब विकृत है – हमारा दर्पण दुनिया के कुछ हिस्सों को कम या अधिक प्रतिनिधित्व करता है, या पढ़ाई को विकृत करता है। “डेटा में पूर्वाग्रह” की एक और व्याख्या यह है कि भले ही प्रतिबिंब 100% वफादार था, यह अभी भी दुनिया का प्रतिबिंब होगा जैसा कि यह आज है, न कि जैसा कि यह हो सकता है या होना चाहिए। महत्वपूर्ण बात यह है कि यह डेटा या एल्गोरिदम पर नहीं है कि यह तय करे कि यह एक तोड़फोड़ वाले दुनिया का एक आदर्श प्रतिबिंब है, या एक आदर्श दुनिया का एक तोड़फोड़ वाला प्रतिबिंब है, या यदि ये विकृतियां जोड़ देती हैं। यह लोगों – व्यक्तियों, समूहों, समाज के लिए – पर निर्भर करता है कि वे तय करें कि क्या वे दुनिया के साथ ठीक हैं जैसा कि यह है, या यदि नहीं, तो वे इसे बेहतर बनाने के लिए कैसे जाना चाहते हैं।

पूर्वानुमानिक विश्लेषण पर वापस जाना: डेटा में असमानताएं जितनी मजबूत होंगी, भविष्यवाणी मॉडल द्वारा उनका पता लगाने और भविष्य में उनकी प्रतिकृति और यहां तक कि उनकी बढ़ाफ्त की संभावना उतनी ही अधिक होगी।

यदि हमारा लक्ष्य नौकरी की प्रथाओं में सुधार करना है, तो समानता और विविधता पर ध्यान देने के साथ, तो हम इस काम को मशीनों को आउटसोर्स नहीं कर सकते। हमें नौकरी और रोजगार में पूर्वाग्रह के वास्तविक कारणों की पहचान करने और सभी हितधारकों के साथ एक सामाजिक-कानूनी-तकनीकी समाधान पर बातचीत करने का कठिन काम करना होगा। प्रौद्योगिकी निश्चित रूप से हमें स्थिति में सुधार करने में मदद करने की भूमिका निभा सकती है: यह हमें हमारे लक्ष्यों और परिणामों के बारे में ईमानदार रहने में मदद कर सकती है। लेकिन डेटा या पूर्वानुमानिक विश्लेषण को डी-बायस करने से नौकरी में भेदभाव की गहरी समस्याओं का समाधान होने का दावा करना सरल है।

आपने हाल ही में न्यूयॉर्क सिटी काउंसिल की टेक्नोलॉजी समिति के सामने गवाही दी, जिसमें एक उल्लेखनीय टिप्पणी थी: “हम पाते हैं कि विज्ञापनदाता के बजट और विज्ञापन की सामग्री दोनों ही फेसबुक के विज्ञापन वितरण में महत्वपूर्ण योगदान करते हैं। गंभीर रूप से, हम नौकरी और आवास के अवसरों के लिए ‘वास्तविक’ विज्ञापनों के लिए लिंग और जातीय रेखाओं के साथ वितरण में महत्वपूर्ण विचलन देखते हैं,尽管 लक्ष्यीकरण पैरामीटर तटस्थ थे।” इस प्रकार के पूर्वाग्रह से बचने के लिए कुछ समाधान क्या हैं?

मेरी यह टिप्पणी अली एट अल द्वारा एक शानदार पत्र पर आधारित है, जिसे “पूर्वाग्रह के माध्यम से भेदभाव: कैसे फेसबुक के विज्ञापन वितरण में पूर्वाग्रही परिणाम हो सकते हैं” कहा जाता है। लेखकों ने पाया कि विज्ञापन वितरण तंत्र स्वयं पूर्वाग्रही प्रभावों को पेश करने और बढ़ाने के लिए जिम्मेदार है। निश्चित रूप से, यह निष्कर्ष विशेष रूप से समस्याग्रस्त है, खासकर जब यह फेसबुक और अन्य प्लेटफार्मों – गूगल और ट्विटर पर अस्पष्टता के खिलाफ खेलता है। प्लेटफार्मों पर यह बोझ है कि वे तुरंत और समझदारी से दिखाएं कि वे पूर्वाग्रही प्रभावों को रोकने में सक्षम हैं। इसके अलावा, मैं आवास, रोजगार और अन्य क्षेत्रों में व्यक्तिगत विज्ञापन लक्ष्यीकरण के निरंतर उपयोग के लिए कोई औचित्य नहीं पा सकता, जहां लोगों के जीवन और जीविका दांव पर हैं।

डेटा वैज्ञानिक और एआई डेवलपर अपने सिस्टम में अन्य अनजाने पूर्वाग्रह से कैसे बच सकते हैं?

यह पूरी तरह से डेटा वैज्ञानिकों या किसी एक हितधारक समूह पर निर्भर नहीं है कि तकनीकी प्रणाली सामाजिक मूल्यों के साथ संरेखित हैं। लेकिन डेटा वैज्ञानिक इस लड़ाई के अग्रिम मोर्चे पर हैं। एक कंप्यूटर वैज्ञानिक के रूप में, मैं इस बात की पुष्टि कर सकता हूं कि यह सोचना कि हम जिन प्रणालियों को डिज़ाइन करते हैं वे “वस्तुनिष्ठ”, “अनुकूल” या “सही” हैं, आकर्षक है। कंप्यूटर विज्ञान और डेटा विज्ञान कितने सफल हैं – कितने प्रभावशाली और व्यापक रूप से उपयोग किए जाते हैं – यह एक आशीर्वाद और एक अभिशाप दोनों है। हम तकनीशियनों को अब वस्तुनिष्ठता और सहीपन के अनप्राप्य लक्ष्यों के पीछे छिपने का विलास नहीं है। हमारे लिए यह बोझ है कि हम अपनी दुनिया में अपनी जगह के बारे में सावधानी से सोचें और सामाजिक और राजनीतिक प्रक्रियाओं पर हमारे प्रभाव के बारे में खुद को शिक्षित करें। समाज को हमें तेजी से आगे बढ़ने और चीजों को तोड़ने की अनुमति नहीं दे सकता; हमें धीमा करना होगा और प्रतिबिंबित करना होगा।

यह प्रतीकात्मक है कि दर्शन एक बार सभी वैज्ञानिक और सामाजिक विवाद का केंद्र बिंदु था, फिर गणित आया, फिर कंप्यूटर विज्ञान। अब, डेटा विज्ञान केंद्र स्तर पर होने के साथ, हम अपनी दार्शनिक जड़ों से जुड़ने के लिए पूरे चक्र में आ गए हैं।

एक अन्य सिफारिश जो आपने की है वह एक सूचित जनता बनाने की है। हम एक ऐसी जनता को कैसे सूचित कर सकते हैं जो एआई से परिचित नहीं हो सकती है या एआई पूर्वाग्रह से जुड़ी समस्याओं को नहीं समझती है?

गैर-तकनीकी लोगों को प्रौद्योगिकी के बारे में और तकनीकी लोगों को इसके सामाजिक प्रभावों के बारे में शिक्षित करने की तत्काल आवश्यकता है। दोनों लक्ष्यों को प्राप्त करने के लिए हमें सामग्री और शैक्षिक विधियों का विकास करने और भागीदारी को प्रोत्साहित करने के लिए महत्वपूर्ण निवेश की आवश्यकता होगी। और हम इस काम को व्यावसायिक संस्थाओं पर नहीं छोड़ सकते। यूरोपीय संघ इस क्षेत्र में अग्रणी है, क्योंकि कई सरकारें अपने नागरिकों के लिए मूल एआई शिक्षा के लिए समर्थन प्रदान कर रही हैं और एआई पाठ्यक्रमों को हाई स्कूल कार्यक्रमों में शामिल कर रही हैं। हम आर/एआई में एक सार्वजनिक रूप से उपलब्ध और व्यापक रूप से सुलभ पाठ्यक्रम पर काम कर रहे हैं, जिसका उद्देश्य एक जुड़ाव वाली जनता बनाना है जो एआई को वह बनाने में मदद करेगी जो हम चाहते हैं। हम इस काम से बहुत उत्साहित हैं, कृपया आगामी महीने में अधिक जानकारी के लिए हमारे साथ बने रहें।

धन्यवाद महान विस्तृत प्रतिक्रिया के लिए, पाठक जो अधिक जानना चाहते हैं उन्हें सेंटर फॉर रिस्पॉन्सिबल एआई पर जाना चाहिए।