एआई शोधकर्ताओं ने पाया कि नौकरी आवेदक के बायोडाटा में लिंग-निर्धारण प्रभावी रूप से असंभव है

न्यूयॉर्क विश्वविद्यालय के शोधकर्ताओं ने पाया है कि बहुत ही सरल प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडल भी 'लिंग-रहित' बायोडाटा से नौकरी के आवेदक के लिंग का निर्धारण करने में काफी सक्षम हैं - यहां तक ​​कि उन मामलों में भी जहां मशीन लर्निंग विधियों का उपयोग करके दस्तावेज से सभी लिंग संकेतकों को हटा दिया गया है।

एक अध्ययन के बाद जिसमें 348,000 मेल खाने वाले पुरुष/महिला बायोडाटा का प्रसंस्करण शामिल था, शोधकर्ताओं ने निष्कर्ष निकाला:

'रेज़्यूमे में लिंग-आधारित जानकारी काफ़ी मात्रा में होती है। रेज़्यूमे से लिंग को छिपाने के काफ़ी प्रयासों के बाद भी, एक साधारण Tf-Idf मॉडल लिंगों के बीच भेदभाव करना सीख सकता है। यह अनुभवजन्य रूप से उन चिंताओं को पुष्ट करता है कि मॉडल लिंग भेदभाव करना सीख रहे हैं और प्रशिक्षण डेटा में पूर्वाग्रह फैला रहे हैं।'

इस खोज का महत्व इसलिए नहीं है कि स्क्रीनिंग और साक्षात्कार प्रक्रिया के दौरान लिंग को छिपाना वास्तविक रूप से संभव है (जो कि स्पष्ट रूप से संभव नहीं है), बल्कि इसलिए है कि उस चरण तक पहुंचने के लिए बिना किसी मानव-सम्बन्धी जानकारी के बायोडाटा की एआई-आधारित समीक्षा की आवश्यकता हो सकती है - और एचआर एआई ने हाल के वर्षों में लिंग पूर्वाग्रह के लिए एक कलंकित प्रतिष्ठा प्राप्त कर ली है।

शोधकर्ताओं के अध्ययन के परिणाम दर्शाते हैं कि लिंग अस्पष्टता के प्रयासों के प्रति कितना लचीला है:

NYU पेपर से परिणाम. स्रोत: https://arxiv.org/pdf/2112.08910.pdf

उपरोक्त निष्कर्ष 0-1 का उपयोग करते हैं रिसीवर परिचालन विशेषता के अंतर्गत क्षेत्र (ऑरोक) मीट्रिक, जहाँ '1' लिंग पहचान की 100% निश्चितता दर्शाता है। तालिका में आठ प्रयोगों की एक श्रृंखला शामिल है।

यहां तक ​​कि सबसे खराब प्रदर्शन करने वाले परिणामों (प्रयोग #7 और #8) में भी, जहां एक बायोडाटा में लिंग-पहचान संबंधी जानकारी इतनी बुरी तरह से छीन ली गई है कि वह उपयोग योग्य नहीं है, एक सरल एनएलपी मॉडल जैसे कि वर्ड2पुराना अभी भी 70% तक सटीक लिंग पहचान करने में सक्षम है।

शोधकर्ता टिप्पणी करते हैं:

'एल्गोरिदमिक नियुक्ति के संदर्भ में, इन परिणामों का तात्पर्य यह है कि जब तक प्रशिक्षण डेटा पूरी तरह से निष्पक्ष नहीं होगा, तब तक सरल एनएलपी मॉडल भी बायोडाटा से लिंग के आधार पर भेदभाव करना सीख जाएंगे, और पूर्वाग्रह को आगे बढ़ाएंगे।'

लेखकों का तात्पर्य यह है कि व्यावहारिक नियुक्ति प्रक्रिया में बायोडाटा को 'लिंग-विहीन' करने के लिए कोई वैध एआई-आधारित समाधान नहीं है, तथा निष्पक्ष व्यवहार को सक्रिय रूप से लागू करने वाली मशीन लर्निंग तकनीकें कार्य बाजार में लैंगिक पूर्वाग्रह की समस्या के लिए बेहतर दृष्टिकोण हैं।

एआई के संदर्भ में, यह 'सकारात्मक भेदभाव' के समान है, जहाँ लिंग-प्रकटीकरण वाले रेज़्यूमे को अपरिहार्य माना जाता है, लेकिन पुनर्रैंकिंग को एक समतावादी उपाय के रूप में सक्रिय रूप से लागू किया जाता है। इस प्रकार के दृष्टिकोण प्रस्तावित किए गए हैं लिंक्डइन द्वारा 2019 में, और जर्मन, इटली और स्पेन के शोधकर्ता 2018 में.

RSI काग़ज़ शीर्षक है बायोडाटा में लिंग आधारित भाषा और नियुक्ति में एल्गोरिथम पूर्वाग्रह के लिए इसके निहितार्थ, और एनवाईयू स्टर्न बिजनेस स्कूल में प्रौद्योगिकी, संचालन और सांख्यिकी विभाग से प्रसन्ना परसुरामा और स्टर्न में प्रौद्योगिकी, संचालन और सांख्यिकी के सहायक प्रोफेसर जोआओ सेडोक द्वारा लिखा गया है।

नियुक्ति में लिंग भेद

लेखक इस बात पर जोर देते हैं कि नियुक्ति प्रक्रियाओं में लैंगिक पूर्वाग्रह किस हद तक व्यवस्थित होता जा रहा है, जिसमें मानव संसाधन प्रबंधक उन्नत एल्गोरिथम और मशीन लर्निंग-संचालित 'स्क्रीनिंग' प्रक्रियाओं का उपयोग कर रहे हैं, जो लिंग के आधार पर एआई-सक्षम अस्वीकृति के समान है।

लेखक अमेज़ॅन में एक नियुक्ति एल्गोरिदम के मामले का हवाला देते हैं प्रकट 2018 में महिला उम्मीदवारों को रटे-रटाए तरीके से खारिज कर दिया गया क्योंकि यह पता चला था कि ऐतिहासिक रूप से, पुरुषों को काम पर रखने की अधिक संभावना थी

'मॉडल ने ऐतिहासिक नियुक्ति डेटा के माध्यम से सीखा था कि पुरुषों को काम पर रखने की अधिक संभावना थी, और इसलिए पुरुष बायोडाटा को महिला बायोडाटा की तुलना में अधिक रेटिंग दी गई।

'हालांकि मॉडल में उम्मीदवार के लिंग को स्पष्ट रूप से शामिल नहीं किया गया था, लेकिन इसने रिज्यूमे में लिंग संबंधी जानकारी के आधार पर पुरुष और महिला रिज्यूमे के बीच भेदभाव करना सीखा - उदाहरण के लिए, पुरुषों द्वारा "निष्पादित" और "कैप्चर्ड" जैसे शब्दों का उपयोग करने की अधिक संभावना थी।'

इसके अतिरिक्त, 2011 के शोध में पाया गया कि नौकरी के विज्ञापन जो परोक्ष रूप से पुरुषों की तलाश करते हैं उन्हें स्पष्ट रूप से आकर्षित करें, और इसी तरह महिलाओं को इस पद के लिए आवेदन करने से हतोत्साहित करता है। यदि सिंड्रोम का सक्रिय रूप से निवारण नहीं किया जाता है, तो डिजिटलीकरण और बड़े डेटा स्कीमा इन प्रथाओं को स्वचालित प्रणालियों में और अधिक स्थापित करने का वादा करते हैं।

जानकारी

न्यूयॉर्क विश्वविद्यालय के शोधकर्ताओं ने भविष्यसूचक मॉडलिंग का उपयोग करके लिंग वर्गीकरण के लिए मॉडलों की एक श्रृंखला को प्रशिक्षित किया। उन्होंने यह भी स्थापित करने का प्रयास किया कि लिंग-पूर्वानुमान लगाने की मॉडलों की क्षमता, लिंग-प्रकट करने वाली संभावित जानकारी की बढ़ती हुई मात्रा को हटाने के बाद भी, अनुप्रयोग से संबंधित सामग्री को संरक्षित रखने का प्रयास करते हुए, कितनी अच्छी तरह से टिक सकती है।

डेटासेट आठ अमेरिकी-आधारित आईटी कंपनियों के आवेदकों के बायोडाटा से तैयार किया गया था, प्रत्येक बायोडाटा के साथ नाम, लिंग, अनुभव के वर्ष, विशेषज्ञता या अध्ययन का क्षेत्र और लक्ष्य नौकरी पोस्टिंग जिसके लिए बायोडाटा भेजा गया था, का विवरण था। .

वेक्टर प्रतिनिधित्व के रूप में इस डेटा से गहरी प्रासंगिक जानकारी निकालने के लिए, लेखकों ने एक Word2Vec मॉडल को प्रशिक्षित किया। फिर इसे टोकन में पार्स किया गया और फ़िल्टर किया गया, अंततः प्रत्येक बायोडाटा के लिए एक एम्बेडेड प्रतिनिधित्व में हल किया गया।

पुरुष और महिला नमूनों का 1-1 से मिलान किया गया, और उनके क्षेत्र में अनुभव के संदर्भ में, 2 साल की त्रुटि के मार्जिन के साथ, सर्वोत्तम उद्देश्यपूर्ण नौकरी-उपयुक्त पुरुष और महिला उम्मीदवारों की जोड़ी बनाकर एक उपसमूह प्राप्त किया गया। इस प्रकार डेटासेट में 174,000 पुरुष और 174,000 महिलाओं के बायोडाटा शामिल हैं।

वास्तुकला और पुस्तकालय

वर्गीकरण कार्य के लिए उपयोग किए गए तीन मॉडल थे टर्म फ़्रीक्वेंसी-इनवर्स दस्तावेज़ फ़्रीक्वेंसी (TF-आईडीएफ) + तार्किक, वर्ड एंबेडिंग्स + लॉजिस्टिक, और दीर्घसूत्री.

पहला मॉडल एक बैग-ऑफ-वर्ड बेसलाइन प्रदान करता है जो शाब्दिक अंतर के आधार पर लिंग का भेदभाव करता है। दूसरे दृष्टिकोण को ऑफ-द-शेल्फ शब्द एम्बेडिंग सिस्टम और दोनों के साथ नियोजित किया गया था लिंग-विकृत शब्द एम्बेडिंग.

प्रशिक्षण, मूल्यांकन और परीक्षण के बीच डेटा को 80/10/10 में विभाजित किया गया था,

जैसा कि ऊपर प्रदर्शित परिणामों में देखा गया है, ट्रांसफॉर्मर-आधारित लॉन्गफॉर्मर लाइब्रेरी, जो पहले के तरीकों की तुलना में अधिक परिष्कृत है, दस्तावेजों से लिंग का पता लगाने की अपनी क्षमता के संदर्भ में लगभग पूरी तरह से 'असुरक्षित' रिज्यूम के बराबर सक्षम थी, जिसमें से ज्ञात लिंग पहचानकर्ताओं को सक्रिय रूप से हटा दिया गया था।

किए गए प्रयोगों में डेटा-एब्लेशन अध्ययन शामिल थे, जहां बायोडाटा से लिंग-प्रकटीकरण जानकारी की बढ़ती मात्रा को हटा दिया गया था, और मॉडलों को इन अधिक मौन दस्तावेजों के खिलाफ परीक्षण किया गया था।

हटाई गई जानकारी में शौक (विकिपीडिया की 'शौक' की परिभाषा से लिया गया एक मानदंड), लिंक्डइन आईडी और ऐसे यूआरएल शामिल थे जिनसे लिंग का पता चल सकता था। इसके अलावा, इन कम विस्तृत संस्करणों में 'बिरादरी', 'वेट्रेस' और 'सेल्समैन' जैसे शब्दों को भी हटा दिया गया।

अतिरिक्त परिणाम

ऊपर चर्चा किए गए परिणामों के अलावा, एनवाईयू शोधकर्ताओं ने पाया कि विवादास्पद शब्द एम्बेडिंग ने लिंग की भविष्यवाणी करने के लिए मॉडल की क्षमता को कम नहीं किया है। पेपर में, लेखक इस बात का संकेत देते हैं कि किस हद तक लिंग लिखित भाषा में व्याप्त है, यह देखते हुए कि इन तंत्रों और संकेतकों को अभी तक अच्छी तरह से समझा नहीं गया है।