Anderson का एंगल

सीएलआईपी आधारित इमेज सिंथेसिस सिस्टम के लिए ‘नस्लीय वर्गीकरण’ चुनौती

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुCLIP 50% मिश्रण अनुपात पर बहुजातीय चेहरों को अल्पसंख्यक के रूप में वर्गीकृत करके…
और देखें
  • CLIP 50% मिश्रण अनुपात पर बहुजातीय चेहरों को अल्पसंख्यक के रूप में वर्गीकृत करके हाइपोडिसेंट पूर्वाग्रह प्रदर्शित करता है।
  • अध्ययन में महिला विषयों को CLIP से पुरुष विषयों की तुलना में अधिक मजबूत हाइपोडिसेंट पूर्वाग्रह का सामना करना पड़ता है।
  • CLIP अल्पसंख्यक जातीय लेबलों को श्वेत लेबलों की तुलना में अधिक नकारात्मक वैलेंस से जोड़ता है।

अमेरिका का नया शोध बताता है कि लोकप्रिय DALL-E श्रृंखला और कई अन्य छवि निर्माण तथा वर्गीकरण प्रणालियों के पीछे मौजूद कंप्यूटर विजन मॉडलों में से एक में हाइपोडेसेंट की प्रमाणित प्रवृत्ति है। यह नस्लीय वर्गीकरण का नियम, जिसे एक बूंद का नियम भी कहा जाता है, ऐसे व्यक्ति को पूरी तरह अल्पसंख्यक नस्लीय श्रेणी में रखता है जिसकी आनुवंशिक वंशावली में मिश्रित अर्थात गैर-श्वेत पृष्ठभूमि का अंश बहुत थोड़ा भी हो।

चूंकि हाइपोडेसेंट ने मानव इतिहास के कुछ सबसे बदसूरत अध्यायों को चिह्नित किया है, इसलिए नए पेपर के लेखकों का सुझाव है कि कंप्यूटर विजन अनुसंधान और कार्यान्वयन में इस तरह की प्रवृत्ति को अधिक ध्यान देने की आवश्यकता है, खासकर जब से इस मॉडल को लगभग एक महीने में एक मिलियन बार डाउनलोड किया गया है और यह नीचे के फ्रेमवर्क में नस्लीय पूर्वाग्रह को और अधिक प्रसारित और प्रसारित कर सकता है।

अध्ययन की जा रही आर्किटेक्चर कॉन्ट्रास्टिव लैंग्वेज इमेज प्रीट्रेनिंग (सीएलआईपी) है, एक मल्टीमॉडल मशीन लर्निंग मॉडल जो इमेज/कैप्शन जोड़ियों पर प्रशिक्षण द्वारा सेमांटिक संघों को सीखता है – एक अर्ध-पर्यवेक्षित दृष्टिकोण जो लेबलिंग की महत्वपूर्ण लागत को कम करता है, लेकिन जो संभवतः कैप्शन बनाने वाले लोगों के पूर्वाग्रह को प्रतिबिंबित करेगा।

पेपर से:

‘हमारे परिणाम सीएलआईपी एम्बेडिंग स्पेस में हाइपोडेसेंट के लिए साक्ष्य प्रदान करते हैं, एक पूर्वाग्रह जो महिलाओं की तस्वीरों पर अधिक मजबूती से लागू होता है। परिणाम यह भी दर्शाते हैं कि सीएलआईपी छवियों को नस्लीय या जातीय लेबल के साथ जोड़ता है, जो श्वेत से विचलन के आधार पर होता है, जिसमें श्वेत को डिफ़ॉल्ट के रूप में माना जाता है।’

पेपर यह भी पाता है कि एक छवि का मूल्य संघ (इसकी ‘अच्छी’ या ‘बुरी’ चीजों के साथ जुड़ाव) ‘अल्पसंख्यक’ नस्लीय लेबल के लिए अधिक है, और सुझाव देता है कि सीएलआईपी के पूर्वाग्रह अमेरिकी-केंद्रित साहित्य के संग्रह (अंग्रेजी भाषा विकिपीडिया) को प्रतिबिंबित करते हैं जिस पर फ्रेमवर्क को प्रशिक्षित किया गया था।

सीएलआईपी के हाइपोडेसेंट के स्पष्ट समर्थन के निहितार्थ पर टिप्पणी करते हुए, लेखकों का कहना है:

‘सीएलआईपी के पहले उपयोगों में से एक शून्य-शॉट इमेज जेनरेशन मॉडल डीएलएल-ई को प्रशिक्षित करना था। DALL-E 2 के प्रशिक्षण में सीएलआईपी आर्किटेक्चर का एक बड़ा, गैर-सार्वजनिक संस्करण उपयोग किया गया था। हमारे शोध के निष्कर्षों के अनुरूप, डीएलएल-ई 2 मॉडल कार्ड में नोट में उल्लेख किया गया है कि यह श्वेत माने जाने वाले लोगों को तस्वीरों में जरूरत से अधिक दर्शाता है।’

‘ऐसे उपयोग यह दर्शाते हैं कि सीएलआईपी द्वारा सीखे गए पूर्वाग्रह सीएलआईपी के एम्बेडिंग स्पेस से परे फैल सकते हैं, क्योंकि इसकी विशेषताएं अन्य राज्य-ऑफ-द-आर्ट एआई मॉडल में सेमांटिक्स के गठन को निर्देशित करने के लिए उपयोग की जाती हैं। ‘

‘इसके अलावा, सीएलआईपी और इसी तरह के मॉडलों द्वारा शून्य-शॉट सेटिंग में छवियों और पाठ को जोड़ने के लिए की गई प्रगति के कारण, बहुमोड़ल आर्किटेक्चर को व्यापक रूप से उपयोग किए जाने वाले इंटरनेट अनुप्रयोगों के भविष्य के लिए आधार के रूप में वर्णित किया गया है, जिनमें खोज इंजन भी शामिल हैं। ‘

‘हमारे परिणाम यह दर्शाते हैं कि प्राकृतिक भाषा पर्यवेक्षण से क्या सीखते हैं इस पर अतिरिक्त ध्यान देने की आवश्यकता है।’

पेपर का शीर्षक विज़ुअल सेमांटिक एआई में हाइपोडेसेंट के लिए साक्ष्य है, और यह वाशिंगटन विश्वविद्यालय और हार्वर्ड विश्वविद्यालय के तीन शोधकर्ताओं से है।

सीएलआईपी और बुरे प्रभाव

हालांकि शोधकर्ता दावा करते हैं कि उनका काम सीएलआईपी में हाइपोडेसेंट का पहला विश्लेषण है, पिछले कार्यों ने दिखाया है कि सीएलआईपी वर्कफ्लो, जो ज्यादातर वेब-व्युत्पन्न डेटा से असुपरवाइज्ड प्रशिक्षण पर निर्भर करता है, अंडर-करेटेड वेब-व्युत्पन्न डेटा से महिलाओं को अंडर-रिप्रेजेंट कर सकता है, अपमानजनक सामग्री उत्पन्न कर सकता है, और सेमांटिक पूर्वाग्रह (जैसे कि मुस्लिम विरोधी भावना) अपने इमेज एनकोडर में प्रदर्शित कर सकता है।

सीएलआईपी के स्पष्ट हाइपोडेसेंट समर्थन पर टिप्पणी करते हुए, लेखकों का कहना है:

‘सीएलआईपी का मूल पेपर स्वीकार करता है कि शून्य-शॉट सेटिंग में, सीएलआईपी केवल 58.3% लोगों को व्हाइट नस्लीय लेबल के साथ जोड़ता है फेयरफेस डेटासेट में। यह देखते हुए कि फेयरफेस को अमेज़न मैकेनिकल टर्क वर्कर्स द्वारा संभावित पूर्वाग्रह के साथ लेबल किया गया था, नए पेपर के लेखकों का कहना है कि ‘एक महत्वपूर्ण अल्पसंख्यक लोग जिन्हें अन्य मानव द्वारा श्वेत के रूप में माना जाता है, उन्हें सीएलआईपी द्वारा श्वेत के अलावा किसी अन्य नस्ल के साथ जोड़ा जाता है।’

वे जारी रखते हैं:

‘इसका विपरीत नहीं लगता है, क्योंकि जो व्यक्ति फेयरफेस डेटासेट में अन्य नस्लीय या जातीय लेबल के साथ पहचाने जाते हैं, उन्हें सीएलआईपी द्वारा उन लेबलों के साथ जोड़ा जाता है। यह परिणाम यह सुझाव देता है कि सीएलआईपी ने सामाजिक वैज्ञानिकों द्वारा वर्णित ‘हाइपोडेसेंट’ नियम सीखा है: मिश्रित नस्ल के वंश वाले व्यक्ति अधिक बार अल्पसंख्यक या कम विशेषाधिकार प्राप्त माता-पिता के समूह के रूप में पहचाने और वर्गीकृत किए जाते हैं, बजाय दूसरे माता-पिता के उतने ही वैध बहुसंख्यक या अधिक विशेषाधिकार प्राप्त समूह के। ‘

‘दूसरे शब्दों में, एक काले और एक श्वेत माता-पिता का बच्चा अधिक काला माना जाता है; और एक एशियाई और एक श्वेत माता-पिता का बच्चा अधिक एशियाई माना जाता है।’

पेपर में तीन केंद्रीय निष्कर्ष हैं: सीएलआईपी हाइपोडेसेंट का प्रमाण देता है, मिश्रित नस्लीय पहचान वाले लोगों को उनकी पृष्ठभूमि में मौजूद अल्पसंख्यक नस्लीय श्रेणी में समूहित करता है; ‘श्वेत सीएलआईपी में डिफ़ॉल्ट नस्ल है’, और प्रतिस्पर्धी नस्लें श्वेत श्रेणी से उनके विचलन द्वारा परिभाषित की जाती हैं; और भावात्मक वैलेंस का पूर्वाग्रह (नकारात्मक अवधारणाओं से जुड़ाव) नस्लीय अल्पसंख्यक में व्यक्ति के वर्गीकरण से संबंधित है।

विधि और डेटा

मल्टीरासियल विषयों के साथ सीएलआईपी के व्यवहार को निर्धारित करने के लिए, शोधकर्ताओं ने व्यक्तियों की नस्ल को बदलने के लिए एक पहले से अपनाई गई मॉर्फिंग तकनीक का उपयोग किया। फोटो चिकागो फेस डेटाबेस से लिए गए थे, जो मनोवैज्ञानिक अध्ययनों के लिए विकसित एक सेट है जिसमें नस्ल शामिल है।

नए पेपर की पूरक सामग्री में शामिल, नस्लीय विशेषताओं को मॉर्फ करके बदले गए CFD चित्रों के उदाहरण। स्रोत: https://arxiv.org/pdf/2205.10764.pdf

नए पेपर की पूरक सामग्री में शामिल, नस्लीय विशेषताओं को मॉर्फ करके बदले गए CFD चित्रों के उदाहरण। स्रोत: https://arxiv.org/pdf/2205.10764.pdf

शोधकर्ताओं ने केवल ‘तटस्थ अभिव्यक्ति’ छवियों का चयन किया, पिछले कार्य के साथ समान बने रहने के लिए। उन्होंने स्टाइलजीएन2-एडीए (जेनरेटिव एडवर्सेरियल नेटवर्क) का उपयोग करके चेहरे की छवियों को नस्ल बदलने के लिए किया, जो एफएफएचक्यू पर प्रशिक्षित किया गया था, और बीच की छवियों का निर्माण किया जो एक नस्ल से दूसरी नस्ल में परिवर्तन को दर्शाता है (ऊपर देखें)।

पिछले कार्य के अनुरूप, शोधकर्ताओं ने डेटासेट में खुद को काले, एशियाई और लैटिनो के रूप में पहचाने जाने वाले लोगों के चेहरों को श्वेत में मॉर्फ किया। इस प्रक्रिया में 19 मध्यवर्ती चरण उत्पन्न होते हैं। इस पद्धति द्वारा परियोजना के लिए कुल 21,000 1024x1024px छवियों का निर्माण किया गया था।

शोधकर्ताओं ने तब प्रत्येक छवि के लिए सीएलआईपी के लिए हर नस्लीय मॉर्फ समूह की कुल 21 छवियों में से प्रत्येक के लिए एक प्रक्षेपित छवि एम्बेडिंग प्राप्त की। इसके बाद, उन्होंने प्रत्येक छवि के लिए सीएलआईपी से एक लेबल का अनुरोध किया: ‘मल्टीरासियल’, ‘बिरासियल’, ‘मिश्रित नस्ल’, और ‘व्यक्ति’ (अंतिम लेबल जो नस्ल को छोड़ देता है)।

सीएलआईपी का उपयोग किया गया संस्करण सीएलआईपी-वीआईटी-बेस-पैच32 कार्यान्वयन था। लेखकों का उल्लेख है कि यह मॉडल लेखन से पहले महीने में एक मिलियन से अधिक बार डाउनलोड किया गया था, और यह ट्रांसफॉर्मर लाइब्रेरी से किसी भी सीएलआईपी मॉडल के डाउनलोड का 98% हिस्सा है।

परीक्षण

हाइपोडेसेंट की संभावित प्रवृत्ति के लिए सीएलआईपी का परीक्षण करने के लिए, शोधकर्ताओं ने प्रत्येक व्यक्ति के लिए मॉर्फ्ड छवियों के ग्रेडिएंट में प्रत्येक छवि के लिए सीएलआईपी द्वारा सौंपा गया नस्लीय लेबल नोट किया।

परिणामों के अनुसार, सीएलआईपी ‘अल्पसंख्यक’ श्रेणियों में लोगों को लगभग 50% संक्रमण चिह्न पर समूहित करता है।

50% मिश्रण अनुपात पर, जहां व्यक्ति शुरुआती और लक्ष्य नस्लीय समूहों का समान अनुपात दर्शाता है, महिलाओं की 1000 मॉर्फ की गई तस्वीरों में CLIP श्वेत लेबल की अपेक्षा अधिक तस्वीरों को एशियाई (89.1%), लैटिना (75.8%) और अश्वेत (69.7%) लेबल से जोड़ता है।

50% मिश्रण अनुपात पर, जहां व्यक्ति शुरुआती और लक्ष्य नस्लीय समूहों का समान अनुपात दर्शाता है, महिलाओं की 1000 मॉर्फ की गई तस्वीरों में CLIP श्वेत लेबल की अपेक्षा अधिक तस्वीरों को एशियाई (89.1%), लैटिना (75.8%) और अश्वेत (69.7%) लेबल से जोड़ता है।

परिणाम यह भी दर्शाते हैं कि महिला विषय सीएलआईपी के तहत पुरुषों की तुलना में हाइपोडेसेंट के लिए अधिक प्रवण हैं, हालांकि लेखकों का अनुमान है कि यह इसलिए हो सकता है क्योंकि वेब-व्युत्पन्न और अनक्यूरेटेड लेबल जो महिला छवियों की विशेषता है, पुरुषों की तुलना में विषय की उपस्थिति पर अधिक जोर देते हैं, और यह एक प्रभाव को झुका सकता है।

50% नस्लीय संक्रमण पर हाइपोडेसेंट एशियाई-श्वेत पुरुष या लैटिनो-श्वेत पुरुष मॉर्फ श्रृंखला के लिए नहीं देखा गया था, जबकि सीएलआईपी ने 55% मिश्रण अनुपात में 67.5% मामलों में काले लेबल के लिए उच्च कोसाइन समानता सौंपी।

Multiracial, Biracial और Mixed Race लेबलों की औसत कोसाइन समानता। परिणाम बताते हैं कि CLIP विभिन्न नस्लीय मिश्रण अनुपातों पर एक प्रकार की विभाजन-रेखा बनाता है और ऐसे मिश्रणों को तस्वीर में दिखाई देने वाली जातीयता की अपेक्षा श्वेत (प्रयोगों के तर्क में व्यक्ति) लेबल कम बार देता है।

Multiracial, Biracial और Mixed Race लेबलों की औसत कोसाइन समानता। परिणाम बताते हैं कि CLIP विभिन्न नस्लीय मिश्रण अनुपातों पर एक प्रकार की विभाजन-रेखा बनाता है और ऐसे मिश्रणों को तस्वीर में दिखाई देने वाली जातीयता की अपेक्षा श्वेत (प्रयोगों के तर्क में व्यक्ति) लेबल कम बार देता है।

आदर्श उद्देश्य, सीएलआईपी को मध्यवर्ती नस्लीय मिश्रण को सटीक रूप से ‘मिश्रित नस्ल’ के रूप में वर्गीकृत करना है, बजाय इसके कि व्यक्ति को पूरी तरह से गैर-श्वेत लेबल में सौंप दिया जाए।

सीएलआईपी मध्यवर्ती मॉर्फ चरणों को मिश्रित नस्ल (ऊपर देखें) के साथ सौंपता है, लेकिन अंततः मध्य-श्रेणी की वरीयता को अल्पसंख्यक के लिए वर्गीकृत करने की प्रवृत्ति प्रदर्शित करता है।

मूल्य के संबंध में, लेखकों का उल्लेख है:

‘औसत भावात्मक वैलेंस का जुड़ाव (बुरी या अप्रिय अवधारणाओं से बनाम अच्छी या सुखद अवधारणाओं से जुड़ाव) काले और श्वेत पुरुष मॉर्फ श्रृंखला में मिश्रण अनुपात के साथ भिन्न होता है, ताकि सीएलआईपी उन चेहरों के लिए अप्रियता के साथ संबंधों को एन्कोड करता है जो खुद को अश्वेत बताने वाले CFD स्वयंसेवकों के चेहरों से सबसे अधिक मिलते हैं।’

वैलेंस के परिणाम: परीक्षणों में अल्पसंख्यक समूह, श्वेत लेबल वाले व्यक्तियों की अपेक्षा छवि-जोड़ी आर्किटेक्चर में नकारात्मक अवधारणाओं से अधिक जुड़े पाए गए। लेखकों के अनुसार, मॉडल द्वारा छवि को अश्वेत लेबल से जोड़ने की संभावना बढ़ने के साथ उस छवि का अप्रियता से जुड़ाव भी बढ़ता है।

वैलेंस के परिणाम: परीक्षणों में अल्पसंख्यक समूह, श्वेत लेबल वाले व्यक्तियों की अपेक्षा छवि-जोड़ी आर्किटेक्चर में नकारात्मक अवधारणाओं से अधिक जुड़े पाए गए। लेखकों के अनुसार, मॉडल द्वारा छवि को अश्वेत लेबल से जोड़ने की संभावना बढ़ने के साथ उस छवि का अप्रियता से जुड़ाव भी बढ़ता है।

पेपर यह भी कहता है:

‘साक्ष्य दर्शाता है कि छवि का भावात्मक वैलेंस उसके नस्लीय जुड़ाव से संबंधित है। अधिक स्पष्ट रूप से, मॉडल जितना अधिक आश्वस्त होता है कि छवि किसी अश्वेत व्यक्ति की है, उतना ही अधिक वह छवि अप्रिय अवधारणाओं वाले एम्बेडिंग स्पेस से जुड़ती है।’

हालांकि, परिणाम एशियाई चेहरों के मामले में एक नकारात्मक संबंध भी दर्शाते हैं। लेखकों का सुझाव है कि यह अमेरिकी सांस्कृतिक धारणाओं के कारण हो सकता है जो एशियाई लोगों और समुदायों के प्रति सकारात्मक हैं। लेखकों का कहना है:

‘आश्चर्य करना कि एशियाई पाठ लेबल की संभावना और सुखदता के बीच एक संबंध हो सकता है, जो ‘मॉडल अल्पसंख्यक’ के रूप में जाने जाने वाले स्टीरियोटाइप से मेल खाता है, जहां एशियाई वंश के लोगों को उनकी सामाजिक उन्नति और अमेरिकी संस्कृति में समावेश के लिए प्रशंसा की जाती है, और यहां तक कि ‘अच्छा व्यवहार’ के साथ जोड़ा जाता है।’

अंतिम उद्देश्य के संबंध में, यह देखने के लिए कि क्या श्वेत सीएलआईपी की दृष्टि से ‘डिफ़ॉल्ट पहचान’ है, परिणाम एक निहित ध्रुवीकरण का सुझाव देते हैं, जो दर्शाता है कि इस आर्किटेक्चर के तहत, यह ‘थोड़ा श्वेत’ होना मुश्किल है।

परीक्षणों के लिए बनाई गई 21,000 तस्वीरों में कोसाइन समानता।

परीक्षणों के लिए बनाई गई 21,000 तस्वीरों में कोसाइन समानता।

लेखकों का कहना है:

‘साक्ष्य यह दर्शाता है कि सीएलआईपी श्वेत को डिफ़ॉल्ट नस्ल के रूप में एन्कोड करता है। यह श्वेत कोसाइन समानता और व्यक्ति कोसाइन समानता के बीच मजबूत संबंधों द्वारा समर्थित है, जो किसी अन्य नस्लीय या जातीय समूह के लिए नहीं है।’

*लेखकों के इनलाइन संदर्भों को हाइपरलिंक में बदलने का मेरा रूपांतरण।

पहली बार 24 मई 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai