GEPI की रिपोर्ट «एआई महिलाओं को कैसे विफल करता है» जाँचती है कि एल्गोरिदम लैंगिक पक्षपात को कैसे बढ़ाते हैं

नौकरी के लिए चयन का कोई स्कोर, ऋण का आकलन या चिकित्सकीय सिफ़ारिश निष्पक्ष दिख सकती है, जबकि उसके पीछे मौजूद डेटा की असमानताओं को आगे बढ़ा रही हो। Gender Equity Policy Institute की नई रिपोर्ट का केंद्रीय संदेश यही चेतावनी है: एआई महिलाओं को कैसे विफल करता है: जब पक्षपात बढ़ जाता है। इसमें इस बात पर शोध को एक साथ रखा गया है कि स्वचालित प्रणालियाँ लैंगिक भेदभाव को कैसे दोहरा सकती हैं—और कभी-कभी उसे और तीव्र भी कर सकती हैं।

मशीन लर्निंग वैज्ञानिक और GEPI की वरिष्ठ फेलो Myriam Shiran, PhD द्वारा लिखी गई यह रिपोर्ट आर्थिक अवसरों, स्वास्थ्य सेवा, आपराधिक न्याय, जनित सामग्री, उपभोक्ता एआई के डिज़ाइन और एआई-सक्षम छवि-आधारित यौन दुर्व्यवहार से जुड़े अकादमिक और ग्रे साहित्य की समीक्षा करती है। यह मौजूदा साक्ष्यों का संश्लेषण है, न कि ऐसा नया प्रयोग जिसमें हर एआई प्रणाली को एक ही मानक के आधार पर मापा गया हो।

रिपोर्ट का सबसे महत्वपूर्ण तर्क यह है कि पक्षपातपूर्ण नतीजा मॉडल से बाहर आने के बाद क्या होता है। सिफ़ारिशें निर्णयों को प्रभावित करती हैं, जनित सामग्री अपेक्षाओं को आकार देती है और कुछ नतीजे भविष्य के प्रशिक्षण की सामग्री बन जाते हैं। इसलिए, जैसे-जैसे कोई अनुचित पैटर्न एक के बाद एक प्रणालियों से होकर गुजरता है, उसकी पहचान करना और कठिन हो सकता है।

लैंगिक जानकारी से रहित इनपुट निष्पक्ष नतीजों की गारंटी नहीं देते

भेदभाव से निपटने के लिए लिंग का फ़ील्ड हटाना सहज उपाय लगता है। GEPI की समीक्षा बताती है कि केवल इतना करना पर्याप्त क्यों नहीं है: नाम, शिक्षा, रोज़गार का इतिहास और अन्य जानकारियाँ अब भी लिंग से जुड़े संकेत दे सकती हैं। ऐतिहासिक नतीजों में भी असमान व्यवहार दर्ज हो सकता है—मॉडल के उन तक पहुँचने से पहले ही।

रिपोर्ट में शामिल Wilson और Caliskan का 2024 का एक भर्ती-ऑडिट, नौ व्यवसायों में तीन मिलियन से अधिक काल्पनिक बायोडाटा की तुलनाओं पर आधारित था। जाँचे गए छँटाई मॉडल 51.9% तुलनाओं में पुरुषों से जुड़े नामों को और 11.1% में महिलाओं से जुड़े नामों को स्पष्ट रूप से तरजीह देते थे। शेष 37% में कोई महत्वपूर्ण प्राथमिकता नहीं दिखी। ये नियंत्रित मॉडल-परीक्षणों के नतीजे हैं, वास्तविक आवेदकों में नौकरी से वंचित किए गए लोगों के प्रतिशत नहीं।

परीक्षण की बनावट के अनुसार साक्ष्य भी बदलते हैं। रिपोर्ट में 2025 के एक अलग ऑडिट का ज़िक्र है, जिसमें कई भाषा मॉडलों ने तब कोई लैंगिक अंतर नहीं दिखाया जब शोधकर्ताओं ने केवल नाम बदले; लेकिन शिक्षा से जुड़ी जानकारी बदलने पर स्कोर प्रभावित हुए। सीमित दायरे वाला परीक्षण ऐसी जानकारी को नज़रअंदाज़ कर सकता है जो उसी कार्यप्रवाह के दूसरे हिस्से में मायने रखती हो।

ऋण देने के मामले में समीक्षा अमेरिका की एक बड़ी वित्तीय प्रौद्योगिकी कंपनी द्वारा दिए गए लगभग 80,000 असुरक्षित निजी ऋणों पर हुए शोध का उल्लेख करती है। महिलाओं के ऋणों से ऋणदाता को अधिक लाभ हुआ। अध्ययन ने इस नतीजे को ऐसे मॉडल से जोड़ा जिसने उनके ऋण चुकाने में चूक के जोखिम का ज़रूरत से ज़्यादा अनुमान लगाया और उसी के अनुसार ऋण की कीमत तय की। यहाँ मुद्दा अनुमानित जोखिम, वास्तविक चुकौती और उधारकर्ता द्वारा चुकाई जाने वाली कीमत के बीच संबंध का है—सिर्फ़ यह नहीं कि आवेदन में लिंग का उल्लेख है या नहीं।

चिकित्सा में एआई को केवल कुल मिलाकर अच्छे प्रदर्शन से अधिक की ज़रूरत है

स्वास्थ्य सेवा इसका विशेष रूप से स्पष्ट उदाहरण है कि पूरी आबादी के स्तर का प्रदर्शन महत्वपूर्ण अंतर कैसे छिपा सकता है। कोई मॉडल कुल मिलाकर अच्छा प्रदर्शन कर सकता है, फिर भी उन लोगों के लिए अधिक ग़लतियाँ कर सकता है जिनका प्रतिनिधित्व उसके प्रशिक्षण या सत्यापन डेटा में कम है।

GEPI ने Zack और उनके सहयोगियों के 2024 के एक अध्ययन का हवाला दिया है, जिसमें GPT-4 के सामने सीने में दर्द के ऐसे मामले रखे गए जो बाकी सभी पहलुओं में एक जैसे थे, सिवाय इसके कि उन्हें पुरुष या महिला का मामला बताया गया था। प्रत्येक विवरण के लिए 200 बार परीक्षण करने पर, मॉडल ने पुरुषों के 71% मामलों में और महिलाओं के 58% मामलों में हृदय पर तनाव की जाँच को अत्यधिक महत्वपूर्ण माना—यह 13 प्रतिशत-अंक का अंतर था।

यह निष्कर्ष नियंत्रित मूल्यांकन में मॉडल की सिफ़ारिशों से संबंधित है, न कि उपचार के वास्तविक निर्णयों या मरीज़ों के नतीजों से। यह अंतर महत्वपूर्ण है, ख़ासकर इसलिए कि रिपोर्ट में अलग-अलग समय पर किए गए विभिन्न मॉडलों, बीमारियों और चिकित्सकीय कार्यों के खोजपरक अध्ययन शामिल हैं।

समीक्षा एक ज़रूरी बात भी स्पष्ट करती है: चिकित्सकीय रूप से महत्वपूर्ण जैविक लिंग-संबंधी अंतरों को यूँ ही मिटा नहीं देना चाहिए। चुनौती यह पता लगाने की है कि मॉडल की सलाह में कोई अंतर प्रासंगिक जीवविज्ञान को दर्शाता है या किसी अप्रमाणित धारणा को। इसके लिए प्रतिनिधिक मूल्यांकन डेटा और ग़लतियों की सावधानीपूर्वक जाँच ज़रूरी है, न कि यह माँग कि हर सिफ़ारिश एक जैसी हो।

पक्षपात निर्णयों के साथ-साथ प्रतिनिधित्व को भी आकार दे सकता है

रिपोर्ट किसी व्यक्ति की संसाधनों तक पहुँच—जैसे ऋण या चिकित्सा देखभाल—को होने वाले नुकसान और समूहों के चित्रण को होने वाले नुकसान के बीच अंतर करती है। जनित सिफ़ारिश-पत्र, समाचार लेख और पेशों से जुड़ी छवियाँ रूढ़ धारणाओं को मज़बूत कर सकती हैं, भले ही उनके बाद संसाधन बाँटने का कोई तात्कालिक निर्णय न हो।

GEPI द्वारा संक्षेपित शोध में पाया गया कि भाषा मॉडल महिलाओं का वर्णन पारस्परिक गुणों के आधार पर और पुरुषों का नेतृत्व या क्षमता के आधार पर अधिक करते हैं। छवि जनित्रों पर हुए अध्ययनों में विभिन्न पेशों के चित्रण में लैंगिक अलगाव बढ़ा-चढ़ाकर दिखाया गया। ये नतीजे उन्हीं जाँचे गए मॉडलों और संस्करणों पर लागू होते हैं; इन्हें आज उपलब्ध हर प्रणाली के नए ऑडिट के रूप में नहीं पढ़ा जाना चाहिए।

उपभोक्ता सहायकों और साथी की तरह काम करने वाले एआई उत्पादों से जुड़ा सवाल अलग है। उनकी आवाज़, व्यक्तित्व और उत्पीड़न के प्रति प्रतिक्रियाएँ जान-बूझकर किए गए उत्पाद-डिज़ाइन के चुनाव हैं। केवल उनके जवाबों के सांख्यिकीय संतुलन का मूल्यांकन करने से उन धारणाओं पर ध्यान नहीं जा सकता जो इस बात में अंतर्निहित हैं कि उत्पाद को किस रूप में बनाया गया है।

समीक्षा में बिना सहमति बनाई गई कृत्रिम यौन छवियों की भी पड़ताल की गई है, जिनके मामले में एआई दुर्व्यवहार को बनाना और फैलाना आसान कर सकता है। यह केवल किसी का गलत चित्रण करने तक सीमित नहीं है: किसी वास्तविक व्यक्ति की समानता का उसकी सहमति के बिना इस्तेमाल सीधे नुकसान का कारण बन सकता है। इसके लिए, बनाई गई कलाकृतियों में पेशागत रूढ़ि को सुधारने से अलग तरह की प्रतिक्रिया की ज़रूरत है।

स्वतंत्र परीक्षण क्यों महत्वपूर्ण है

GEPI चार बार-बार सामने आने वाले तरीकों का वर्णन करता है: ऐतिहासिक रूप से असमान अभिलेखों से सीखना, रूढ़ियों को दोहराना, निर्णयों को वस्तुनिष्ठ माप के रूप में पेश करना, और पक्षपाती नतीजों को बाद के निर्णयों या मॉडलों को प्रभावित करने देना।

स्वतंत्र ऑडिट इन तरीकों को उजागर करने में मदद करते हैं। शोधकर्ता, बाकी इनपुट समान रखते हुए, एक विशेषता में बदलाव कर सकते हैं और देख सकते हैं कि नतीजे कैसे बदलते हैं—भले ही उन्हें किसी मालिकाना मॉडल की आंतरिक संरचना तक पहुंच न हो। लेकिन किसी एक प्रॉम्प्ट या बेंचमार्क पर सफल परीक्षण से यह साबित नहीं होता कि पूरे परिनियोजन में निष्पक्षता है।

एआई अपनाने वाले संगठनों के लिए व्यावहारिक निहितार्थ यह है कि वे वास्तविक उपयोग-परिदृश्य का परीक्षण करें। भर्ती टीम को शुरुआती छंटाई के अंकों से लेकर साक्षात्कार के लिए चयन तक की प्रक्रिया की जांच करनी चाहिए। ऋणदाता को जोखिम के अनुमानों की तुलना ऋण चुकाने के नतीजों से करनी चाहिए। स्वास्थ्य सेवा संगठन को यह समझना चाहिए कि सत्यापन के आंकड़ों में किन मरीजों का प्रतिनिधित्व है और त्रुटियां कहां केंद्रित हैं। ये जांच इस सवाल से अलग सवालों के जवाब देती हैं कि कोई मॉडल औसतन सहज भाषा में जवाब देता है या सटीक है।

रिपोर्ट क्या स्थापित करती है—और क्या अब भी अज्ञात है

रिपोर्ट मुख्य रूप से अमेरिका के साक्ष्यों पर आधारित है, साथ ही जहां प्रासंगिक हो वहां अंतरराष्ट्रीय अध्ययनों की भी पहचान करती है। इसमें शामिल स्रोत अलग-अलग तकनीकों, वर्षों और तरीकों से जुड़े हैं। कुछ नतीजों का दस्तावेज़ीकरण करते हैं; दूसरे, सिमुलेशन में चिंताजनक व्यवहार उजागर करते हैं। समीक्षा न तो भेदभाव की कोई एक सार्वभौमिक दर स्थापित करती है, न ही यह दिखाती है कि हर प्रणाली एक जैसा पूर्वाग्रह पैदा करती है।

रिपोर्ट मापन से जुड़ी एक समस्या भी सामने रखती है: शोधकर्ताओं को अक्सर उस संस्थागत डेटा तक पहुंच नहीं मिलती, जिसकी मदद से किसी नतीजे को उसके प्रभावों से जोड़ा जा सके। असमानता दिखना महत्वपूर्ण है, लेकिन उसके वास्तविक दुनिया के नुकसान को समझने के लिए नियोक्ताओं, विक्रेताओं, ऋणदाताओं या स्वास्थ्य सेवा प्रदाताओं के पास मौजूद अभिलेखों की ज़रूरत पड़ सकती है।

GEPI का योगदान उन निष्कर्षों को आपस में जोड़ना है जिन पर अक्सर अलग-अलग चर्चा होती है, और यह पूछना है कि क्या एआई को प्रभावित करने वाले फैसलों तक इसके पहुंचने पर भी परीक्षण और जवाबदेही बनी रहती है। पूरी रिपोर्ट, एआई महिलाओं के साथ कैसे विफल होता है: जब पूर्वाग्रह और बढ़ जाता है, में इस तर्क के पीछे की कार्यप्रणाली, अध्ययनों के संदर्भ और क्षेत्रवार साक्ष्य शामिल हैं।