कंप्यूटर वैज्ञानिक एआई में पूर्वाग्रह को संबोधित करते हैं

प्रिंसटन और स्टैनफोर्ड विश्वविद्यालय के कंप्यूटर वैज्ञानिक अब कृत्रिम बुद्धिमत्ता (एआई) में पूर्वाग्रह की समस्याओं को संबोधित कर रहे हैं। वे लोगों की तस्वीरों वाले न्यायसंगत डेटा सेट बनाने के लिए तरीकों पर काम कर रहे हैं। शोधकर्ता इमेजनेट के साथ密त से काम करते हैं, जो 13 मिलियन से अधिक छवियों का एक डेटाबेस है। पिछले दशक में, इमेजनेट ने कंप्यूटर दृष्टि को आगे बढ़ाने में मदद की है। अपने तरीकों का उपयोग करके, शोधकर्ताओं ने तब डेटाबेस में सुधार की सिफारिश की।

इमेजनेट में वस्तुओं, परिदृश्यों और लोगों की तस्वीरें शामिल हैं। छवियों को वर्गीकृत करने वाले मशीन लर्निंग एल्गोरिदम बनाने वाले शोधकर्ता इमेजनेट का उपयोग डेटा के स्रोत के रूप में करते हैं। डेटाबेस के विशाल आकार के कारण, स्वचालित छवि संग्रह और भीड़-स्रोत वाली छवि एनोटेशन की आवश्यकता थी। अब, इमेजनेट टीम पूर्वाग्रह और अन्य मुद्दों को ठीक करने के लिए काम कर रही है। अक्सर छवियों में लोग होते हैं जो इमेजनेट के निर्माण के अनपेक्षित परिणाम होते हैं।

ओल्गा रुसाकोवस्की सह-लेखक हैं और प्रिंसटन में कंप्यूटर विज्ञान की सहायक प्रोफेसर हैं।

“कंप्यूटर दृष्टि अब वास्तव में अच्छी तरह से काम करती है, जिसका अर्थ है कि यह सभी प्रकार के संदर्भों में हर जगह तैनात की जा रही है,” उन्होंने कहा। “इसका मतलब है कि अब इसके दुनिया पर क्या प्रभाव पड़ रहा है, इसके बारे में बात करने और इन प्रकार के न्यायसंगतता मुद्दों के बारे में सोचने का समय है।”

नए शोध पत्र में, इमेजनेट टीम ने गैर-दृश्य अवधारणाओं और अपमानजनक श्रेणियों को व्यवस्थित रूप से पहचाना। इन श्रेणियों में जातीय और यौन विशेषताएं शामिल थीं, और टीम ने उन्हें डेटाबेस से हटाने का प्रस्ताव दिया। टीम ने एक उपकरण भी विकसित किया है जो उपयोगकर्ताओं को लोगों की छवि सेट निर्दिष्ट करने और पुनर्प्राप्त करने की अनुमति देता है, और यह आयु, लिंग अभिव्यक्ति, और त्वचा के रंग द्वारा ऐसा कर सकता है। लक्ष्य छवियों में लोगों के चेहरों और गतिविधियों को अधिक न्यायसंगत रूप से वर्गीकृत करने वाले एल्गोरिदम बनाना है।

शोधकर्ताओं द्वारा किए गए कार्य को 30 जनवरी को बार्सिलोना, स्पेन में एसोसिएशन फॉर कंप्यूटिंग मशीनरी के न्यायसंगतता, जवाबदेही और पारदर्शिता पर सम्मेलन में प्रस्तुत किया गया था।

“इन प्रकार की बातचीत में शामिल होने के लिए कोर तकनीकी विशेषज्ञता वाले शोधकर्ताओं और प्रयोगशालाओं की बहुत आवश्यकता है,” रुसाकोवस्की ने कहा। “यह देखते हुए कि हमें बड़े पैमाने पर डेटा इकट्ठा करने की आवश्यकता है, यह देखते हुए कि यह भीड़-स्रोत के साथ किया जाना है क्योंकि यह सबसे कुशल और स्थापित पाइपलाइन है, हम इसे कैसे अधिक न्यायसंगत तरीके से करते हैं – जो इन प्रकार के पूर्व पिताओं में नहीं गिरता है? इस पत्र का मुख्य संदेश निर्माणकारी समाधानों के आसपास है।”

इमेजनेट को 2009 में प्रिंसटन और स्टैनफोर्ड में कंप्यूटर वैज्ञानिकों के एक समूह द्वारा शुरू किया गया था। इसका उद्देश्य अकादमिक शोधकर्ताओं और शिक्षकों के लिए एक संसाधन के रूप में कार्य करना था। सिस्टम का निर्माण प्रिंसटन के पूर्व छात्र और संकाय सदस्य फेई-फेई ली द्वारा किया गया था।

इमेजनेट एक बड़े लेबल वाली छवियों के डेटाबेस में इतना बड़ा हो गया क्योंकि भीड़-स्रोत का उपयोग किया गया था। मुख्य प्लेटफ़ॉर्म में से एक अमेज़न मैकेनिकल टर्क (एमटुर्क) था, और कार्यकर्ताओं को उम्मीदवार छवियों को सत्यापित करने के लिए भुगतान किया गया था। इससे कुछ समस्याएं हुईं, और कई पूर्वाग्रह और अनुचित वर्गीकरण थे।

लीड ऑथर काईयू यांग कंप्यूटर विज्ञान में एक स्नातक छात्र हैं।

“जब आप लोगों से एक बड़े सेट के उम्मीदवारों से सही छवियों का चयन करने के लिए कहते हैं, तो लोग कुछ छवियों का चयन करने के लिए दबाव महसूस करते हैं और वे छवियां अक्सर विशिष्ट या स्टीरियोटाइपिक विशेषताओं वाली होती हैं,” उन्होंने कहा।

अध्ययन का पहला भाग इमेजनेट से संभावित रूप से अपमानजनक या संवेदनशील व्यक्ति श्रेणियों को फिल्टर करना शामिल था। अपमानजनक श्रेणियों को उन लोगों के रूप में परिभाषित किया गया था जिनमें गाली-गालोज या जातीय या लिंग अपमान शामिल थे। एक ऐसी संवेदनशील श्रेणी लोगों को उनकी यौन अभिविन्यास या धर्म के आधार पर वर्गीकृत करना था। विविध पृष्ठभूमि से 12 स्नातक छात्रों को श्रेणियों को एनोटेट करने के लिए लाया गया था, और उन्हें निर्देश दिया गया था कि यदि वे इसके बारे में अनिश्चित थे तो एक श्रेणी को संवेदनशील चिह्नित करें। लगभग 54% श्रेणियों को समाप्त कर दिया गया, या इमेजनेट की 2,932 व्यक्ति श्रेणियों में से 1,593।

एमटुर्क कार्यकर्ताओं ने तब शेष श्रेणियों की “छवि” को 1 से 5 के पैमाने पर रेट किया। 158 श्रेणियों को सुरक्षित और छवि योग्य के रूप में वर्गीकृत किया गया, जो 4 या उच्चतर दर्जा था। इन फ़िल्टर्ड श्रेणियों में 133,000 से अधिक छवियां शामिल थीं, जो कंप्यूटर दृष्टि एल्गोरिदम को प्रशिक्षित करने के लिए बहुत उपयोगी हो सकती हैं।

शोधकर्ताओं ने छवियों में लोगों के जनसांख्यिकीय प्रतिनिधित्व का अध्ययन किया, और इमेजनेट में पूर्वाग्रह का स्तर मूल्यांकन किया गया। खोज इंजन से सोर्स किया गया सामग्री अक्सर परिणाम प्रदान करती है जो पुरुषों, हल्की त्वचा वाले लोगों और 18 से 40 वर्ष की आयु के बीच के वयस्कों को अधिक प्रतिनिधित्व करती है।

“लोगों ने पाया है कि छवि खोज परिणामों में जनसांख्यिकी का वितरण बहुत अधिक पूर्वाग्रहित है, और यही कारण है कि इमेजनेट में वितरण भी पूर्वाग्रहित है,” यांग ने कहा। “इस पत्र में, हमने यह समझने की कोशिश की कि यह कितना पूर्वाग्रहित है, और एक तरीका प्रस्तावित किया है जो वितरण को संतुलित कर सकता है।”

शोधकर्ताओं ने तीन विशेषताओं पर विचार किया जो संयुक्त राज्य अमेरिका के भेदभाव-विरोधी कानूनों के तहत संरक्षित हैं: त्वचा का रंग, लिंग अभिव्यक्ति, और आयु। एमटुर्क कार्यकर्ताओं ने तब प्रत्येक व्यक्ति की प्रत्येक विशेषता को एक छवि में एनोटेट किया।

परिणामों से पता चला कि इमेजनेट की सामग्री में एक महत्वपूर्ण पूर्वाग्रह है। सबसे कम प्रतिनिधित्व वाले गहरे त्वचा वाले, महिलाएं, और 40 वर्ष से अधिक आयु के वयस्क थे।

एक वेब-इंटरफ़ेस टूल डिज़ाइन किया गया था जो उपयोगकर्ताओं को एक छवि सेट प्राप्त करने की अनुमति देता है जो जनसांख्यिकीय रूप से संतुलित होता है जिस तरह से उपयोगकर्ता चुनता है।

“हम यह नहीं कहना चाहते कि जनसांख्यिकी को संतुलित करने का सही तरीका क्या है, क्योंकि यह एक सीधा मुद्दा नहीं है,” यांग ने कहा। “वितरण दुनिया के विभिन्न हिस्सों में अलग-अलग हो सकता है – संयुक्त राज्य अमेरिका में त्वचा के रंगों का वितरण एशिया के देशों की तुलना में अलग है, उदाहरण के लिए। इसलिए, हम इस प्रश्न को अपने उपयोगकर्ता को छोड़ देते हैं, और हम केवल एक टूल प्रदान करते हैं जो एक संतुलित उपसेट पुनर्प्राप्त करने की अनुमति देता है।”

इमेजनेट टीम अब अपने हार्डवेयर और डेटाबेस में तकनीकी अपडेट पर काम कर रही है। वे इस शोध में विकसित फ़िल्टरिंग और पुनः संतुलन उपकरण को लागू करने का भी प्रयास कर रहे हैं। इमेजनेट को अपडेट के साथ फिर से जारी किया जाने वाला है, साथ ही कंप्यूटर दृष्टि अनुसंधान समुदाय से प्रतिक्रिया के लिए एक आह्वान के साथ।

इस पत्र को प्रिंसटन के पीएचडी छात्र क्लिंट क्विनामी और कंप्यूटर विज्ञान के सहायक प्रोफेसर जिया डेंग द्वारा भी सह-लेखक किया गया था। इस शोध को राष्ट्रीय विज्ञान फाउंडेशन द्वारा समर्थित किया गया था।