नौकरी के आवेदकों के रिज्यूमे को डी-जेंडर करना वास्तव में असंभव है, एआई शोधकर्ता पाते हैं

न्यूयॉर्क विश्वविद्यालय के शोधकर्ताओं ने पाया है कि यहां तक कि बहुत ही सरल प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडल भी एक ‘जेंडर-मुक्त’ रिज्यूमे से नौकरी के आवेदक के लिंग का पता लगाने में काफी सक्षम हैं – यहां तक कि उन मामलों में जहां मशीन लर्निंग विधियों का उपयोग करके दस्तावेज से सभी लिंग संकेतकों को हटा दिया गया हो।

एक अध्ययन के बाद जिसमें 348,000 अच्छी तरह से मिले हुए पुरुष/महिला रिज्यूमे को संसाधित किया गया, शोधकर्ता निष्कर्ष निकालते हैं:

‘[वहाँ] रिज्यूमे में एक महत्वपूर्ण मात्रा में लिंग-विशिष्ट जानकारी है। यहां तक कि लिंग को रिज्यूमे से धुंधला करने के महत्वपूर्ण प्रयासों के बाद, एक सरल टीएफ-आईडीएफ मॉडल लिंग के बीच भेद करना सीख सकता है। यह मॉडल लिंग को सीखने और प्रशिक्षण डेटा में पूर्वाग्रह को बढ़ावा देने के बारे में चिंताओं को व्यावहारिक रूप से मान्य करता है।’

यह खोज इसलिए महत्वपूर्ण नहीं है क्योंकि यह वास्तव में संभव है कि स्क्रीनिंग और साक्षात्कार प्रक्रिया के दौरान लिंग को छुपाया जा सकता है (जो स्पष्ट रूप से नहीं है), लेकिन इसलिए कि उस चरण तक पहुंचने में शामिल हो सकता है एक एआई-आधारित रिज्यूमे की समीक्षा करना जिसमें मानव नहीं है – और एचआर एआई ने हाल के वर्षों में लिंग पूर्वाग्रह के लिए एक दागदार प्रतिष्ठा प्राप्त की है।

शोधकर्ताओं के अध्ययन के परिणाम दिखाते हैं कि लिंग कितनी आसानी से छुपाने के प्रयासों का विरोध करता है:

न्यूयॉर्क विश्वविद्यालय के शोध पत्र से परिणाम। स्रोत: https://arxiv.org/pdf/2112.08910.pdf

उपरोक्त परिणाम 0-1 रिसीवर ऑपरेटिंग चार्ट (AUROC) मीट्रिक का उपयोग करते हैं, जहां ‘1’ लिंग पहचान की 100% निश्चितता का प्रतिनिधित्व करता है। तालिका आठ प्रयोगों की श्रृंखला को कवर करती है।

यहां तक कि सबसे खराब प्रदर्शन करने वाले परिणामों में (प्रयोग #7 और #8), जहां एक रिज्यूमे को इतनी बुरी तरह से लिंग-विशिष्ट जानकारी से वंचित किया गया है कि यह अब उपयोगी नहीं है, एक सरल एनएलपी मॉडल जैसे वर्ड2वेक अभी भी 70% के करीब सटीक लिंग पहचान करने में सक्षम है।

शोधकर्ता टिप्पणी करते हैं:

‘अल्गोरिदमिक भर्ती संदर्भ में, ये परिणाम यह意味 करते हैं कि जब तक प्रशिक्षण डेटा पूरी तरह से निष्पक्ष नहीं है, तो यहां तक कि सरल एनएलपी मॉडल भी रिज्यूमे से लिंग को सीखने और पूर्वाग्रह को आगे बढ़ाने में सक्षम होंगे।’

लेखकों का सुझाव है कि व्यावहारिक भर्ती पाइपलाइन में रिज्यूमे को ‘डी-जेंडर’ करने के लिए कोई वैध एआई-आधारित समाधान नहीं है, और लिंग पूर्वाग्रह के मुद्दे का समाधान करने के लिए निष्पक्ष व्यवहार को लागू करने वाली मशीन लर्निंग तकनीकें बेहतर दृष्टिकोण हैं।

एआई के संदर्भ में, यह ‘सकारात्मक भेदभाव’ के समान है, जहां लिंग-प्रकट करने वाले रिज्यूमे को स्वीकार किया जाता है क्योंकि यह अपरिहार्य है, लेकिन पुनः रैंकिंग एक समानवादी उपाय के रूप में सक्रिय रूप से लागू की जाती है। इस प्रकार के दृष्टिकोण का प्रस्ताव लिंक्डइन द्वारा 2019 में और जर्मनी, इटली और स्पेन के शोधकर्ताओं द्वारा 2018 में किया गया था।

शोध पत्र का शीर्षक रिज्यूमे में लिंग-विशिष्ट भाषा और इसके अल्गोरिदमिक भर्ती में पूर्वाग्रह के लिए निहितार्थ है, और यह प्रसन्ना परासुरामा द्वारा लिखा गया है, जो एनवाईयू स्टर्न बिजनेस स्कूल में प्रौद्योगिकी, संचालन और सांख्यिकी विभाग से हैं, और जोआओ सेडोक, जो स्टर्न में प्रौद्योगिकी, संचालन और सांख्यिकी के सहायक प्रोफेसर हैं।

भर्ती में लिंग पूर्वाग्रह

लेखक भर्ती प्रक्रियाओं में लिंग पूर्वाग्रह के पैमाने पर जोर देते हैं, जो सिस्टमेटिक होता जा रहा है, एचआर प्रबंधकों द्वारा उन्नत अल्गोरिदमिक और मशीन लर्निंग-चालित ‘स्क्रीनिंग’ प्रक्रियाओं का उपयोग कर रहे हैं जो एआई-सक्षम अस्वीकृति के बराबर होते हैं जो लिंग के आधार पर होते हैं।

लेखक 2018 में एक भर्ती अल्गोरिदम के मामले का हवाला देते हैं जो प्रकट हुआ था कि यह महिला उम्मीदवारों को एक रूटीन तरीके से अस्वीकार कर देता था क्योंकि यह ऐतिहासिक रूप से सीखा गया था कि पुरुषों को अधिक बार नियुक्त किया जाता था

‘मॉडल ने ऐतिहासिक भर्ती डेटा से सीखा था कि पुरुषों को अधिक बार नियुक्त किया जाता था, और इसलिए पुरुष रिज्यूमे को महिला रिज्यूमे की तुलना में अधिक दर्जा दिया। ‘

‘हालांकि उम्मीदवार लिंग विशेष रूप से मॉडल में शामिल नहीं किया गया था, यह रिज्यूमे में लिंग-विशिष्ट जानकारी के आधार पर पुरुष और महिला रिज्यूमे के बीच भेद करना सीखा। उदाहरण के लिए, पुरुष अधिक बार ‘निष्पादित’ और ‘कैप्चर’ जैसे शब्दों का उपयोग करते थे।’

इसके अलावा, 2011 से शोध में पाया गया कि जो नौकरी के विज्ञापन जो महिलाओं को आकर्षित करने के लिए स्पष्ट रूप से डिज़ाइन किए गए थे, वे महिलाओं को आकर्षित करने में कम सफल थे, और इसके विपरीत। डिजिटलीकरण और बड़े डेटा स्कीमा इन प्रथाओं को स्वचालित प्रणालियों में और भी मजबूत करने का वादा करते हैं, यदि यह सिंड्रोम सक्रिय रूप से संबोधित नहीं किया जाता है।

डेटा

एनवाईयू के शोधकर्ताओं ने लिंग वर्गीकरण के लिए भविष्यसूचक मॉडलिंग का उपयोग करके मॉडल की एक श्रृंखला को प्रशिक्षित किया। उन्होंने यह भी स्थापित करने का प्रयास किया कि मॉडल की लिंग की भविष्यवाणी करने की क्षमता कितनी अच्छी तरह से लिंग-विशिष्ट जानकारी को हटाने के बढ़ते स्तर का सामना कर सकती है, जबकि आवेदन से संबंधित सामग्री को संरक्षित करने का प्रयास किया।

डेटासेट आठ अमेरिकी स्थित आईटी कंपनियों से आवेदक रिज्यूमे के एक शरीर से आकर्षित किया गया था, प्रत्येक रिज्यूमे के साथ नाम, लिंग, अनुभव के वर्ष, विशेषज्ञता या अध्ययन क्षेत्र, और लक्षित नौकरी पोस्टिंग के विवरण के साथ।

इस डेटा से गहरे संदर्भ संबंधी जानकारी को वेक्टर प्रतिनिधित्व के रूप में निकालने के लिए, लेखकों ने एक वर्ड2वेक मॉडल को प्रशिक्षित किया। इसे फिर टोकन में विभाजित किया गया और फ़िल्टर किया गया, अंततः प्रत्येक रिज्यूमे के लिए एक एम्बेडेड प्रतिनिधित्व में हल किया गया।

पुरुष और महिला नमूने 1-1 से मेल खाते थे, और एक उपसेट प्राप्त किया गया था जो सर्वोत्तम वस्तुनिष्ठ रूप से नौकरी के लिए उपयुक्त पुरुष और महिला उम्मीदवारों को जोड़कर प्राप्त किया गया था, 2 वर्ष के अनुभव के साथ। इस प्रकार, डेटासेट में 174,000 पुरुष और 174,000 महिला रिज्यूमे शामिल हैं।

वास्तुकला और पुस्तकालयें

वर्गीकरण कार्य के लिए उपयोग किए जाने वाले तीन मॉडल थे टर्म फ्रीक्वेंसी-इनवर्स डॉक्यूमेंट फ्रीक्वेंसी (टीएफ-आईडीएफ) + लॉजिस्टिक, वर्ड एम्बेडिंग + लॉजिस्टिक, और लॉन्गफॉर्मर.

पहला मॉडल एक बैग-ऑफ-वर्ड्स बेसलाइन प्रदान करता है जो लेक्सिकल अंतर के आधार पर लिंग को भेद करता है। दूसरा दृष्टिकोण एक ऑफ-द-शेल्फ वर्ड एम्बेडिंग सिस्टम के साथ और लिंग-मुक्त वर्ड एम्बेडिंग के साथ नियोजित किया गया था।

डेटा को 80/10/10 के बीच प्रशिक्षण, मूल्यांकन और परीक्षण के लिए विभाजित किया गया था,

जैसा कि ऊपर दिखाए गए परिणामों में देखा गया है, ट्रांसफॉर्मर-आधारित लॉन्गफॉर्मर लाइब्रेरी, जो पहले के दृष्टिकोणों से काफी अधिक परिष्कृत है, लगभग एक पूरी तरह से ‘असुरक्षित’ रिज्यूमे के बराबर लिंग का पता लगाने में सक्षम थी, जो जानबूझकर ज्ञात लिंग पहचानकर्ताओं से वंचित किए गए दस्तावेजों से।

प्रयोगों में डेटा-अबलेशन अध्ययन शामिल थे, जहां रिज्यूमे से बढ़ती मात्रा में लिंग-विशिष्ट जानकारी को हटा दिया गया था, और मॉडल को इन अधिक संक्षिप्त दस्तावेजों के खिलाफ परीक्षण किया गया था।

हटाए गए जानकारी में शौक (विकिपीडिया की ‘शौक’ की परिभाषा से प्राप्त एक मानदंड), लिंक्डइन आईडी, और लिंग का खुलासा करने वाले यूआरएल शामिल थे। इसके अलावा, ‘फ्रेटरनिटी’, ‘वेट्रेस’, और ‘सेल्समैन’ जैसे शब्दों को इन अधिक संक्षिप्त संस्करणों में हटा दिया गया था।

अतिरिक्त परिणाम

उपरोक्त परिणामों के अलावा, एनवाईयू के शोधकर्ताओं ने पाया कि डीबायस्ड वर्ड एम्बेडिंग ने मॉडल की लिंग की भविष्यवाणी करने की क्षमता को कम नहीं किया। शोध पत्र में, लेखक लिंग के प्रसार की सीमा की ओर इशारा करते हैं जो लिखित भाषा में है, यह दर्शाते हुए कि ये तंत्र और संकेतक अभी तक अच्छी तरह से समझे नहीं गए हैं।