विचार नेता
AI मानवीय पूर्वाग्रह को खत्म नहीं करता। उसे बड़े पैमाने पर फैलाता है।
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
AI को अक्सर निर्णयों को अधिक वस्तुनिष्ठ बनाने के उपाय के रूप में पेश किया जाता है: यह सोच है कि मानवीय विवेक को हटा दें, तो मानवीय पूर्वाग्रह भी हट जाएगा। लेकिन शोध के बढ़ते साक्ष्य इस धारणा का खंडन करते हैं।
AI प्रणालियाँ मानव इतिहास से सीखती हैं। उन्हें हमारे फैसलों, हमारी भाषा, हमारी संस्थाओं और, अनिवार्य रूप से, हमारी अनदेखी कमियों के आधार पर प्रशिक्षित किया जाता है। जब ये प्रणालियाँ उम्मीदवारों की छँटाई करती हैं, स्वास्थ्य सेवाएँ आवंटित करती हैं या कर्मचारियों का मूल्यांकन करती हैं, तो वे उन पूर्वाग्रहों को ऐसे पैमाने और गति से दोहरा सकती हैं, जिसकी बराबरी कोई अकेला व्यक्ति नहीं कर सकता।
बड़ी समस्या यह है कि ये फैसले तटस्थ दिखाई देते हैं। एक अंक सामने आता है। एक क्रम-सूची दिखती है। एक सिफारिश तैयार होती है। इसके पीछे की धारणाओं के कोई स्पष्ट निशान नहीं दिखते, और ज़रूरी नहीं कि कमरे में मौजूद किसी व्यक्ति को भी नतीजे की ज़िम्मेदारी महसूस हो।
इसीलिए AI में पूर्वाग्रह मुख्य रूप से मॉडल की समस्या नहीं है। यह संचालन और जवाबदेही की समस्या है। मॉडल को फिर से प्रशिक्षित किया जा सकता है, लेकिन कठिन सवाल संगठन से जुड़े हैं: हर फैसले की ज़िम्मेदारी किसकी है, प्रणाली किस लक्ष्य को साधने की कोशिश कर रही है, और उसे चुनौती देने का अधिकार किसके पास है।
मानवीय पूर्वाग्रह AI में जाता है और मशीन की गति से लौटता है
यह प्रक्रिया कोई रहस्य नहीं है। मॉडल अपने प्रशिक्षण डेटा में मौजूद सांख्यिकीय पैटर्न को पहचानते हैं। जब ऐतिहासिक नतीजों में—किसे नौकरी मिली, किसे इलाज मिला—पहले से ही भेदभाव दर्ज हो, तो मॉडल जिस नतीजे का अनुमान लगाना सीखता है, वह शुरुआत से ही पक्षपातपूर्ण होता है। हाल के अध्ययन दिखाते हैं कि अलग-अलग विक्रेताओं और कार्यों में ऐसा कितनी आसानी से होता है:
- बड़े पैमाने पर भर्ती। स्टैनफोर्ड के एक अध्ययन में 40 लाख वास्तविक नौकरी आवेदनों का विश्लेषण किया गया और पाया गया कि अश्वेत आवेदकों में से 26% और एशियाई आवेदकों में से 15% ने ऐसे पदों के लिए आवेदन किया, जहाँ AI प्रणाली ने उनके नस्ली समूह के साथ भेदभाव किया। इन मॉडलों ने दशकों के मानवीय भर्ती फैसलों से सीखा था।
- बायोडाटा की क्रम-सूची। यूनिवर्सिटी ऑफ़ वॉशिंगटन के शोधकर्ताओं ने 550 से अधिक वास्तविक बायोडाटा का मूल्यांकन किया और मौजूदा भाषा मॉडलों के साथ पाया कि श्वेत लोगों से जुड़े नामों को 85% मामलों में तरजीह दी गई, जबकि अश्वेत पुरुषों के नामों को शायद ही कभी प्राथमिकता मिली।
- कार्यस्थल का संवाद। जॉन्स हॉपकिन्स का इस साल की शुरुआत में प्रकाशित शोध बताता है कि जब निर्देशों में महिलाओं से अधिक आम तौर पर जुड़े भाषा-पैटर्न शामिल थे, तो GPT-4, Llama, Gemma और Mistral ने कम परिष्कृत और कम औपचारिक कार्य-संबंधी ईमेल तैयार किए।
ऐसी प्रणाली लागू होते ही ये पैटर्न प्रशिक्षण डेटा की विशेषता नहीं रह जाते, बल्कि रोज़मर्रा के फैसलों का हिस्सा बन जाते हैं।
असली खतरा है व्यापक पैमाना और चुप्पी
पूर्वाग्रह से ग्रस्त कोई मानव भर्ती अधिकारी एक साल में शायद सैकड़ों बायोडाटा छाँटे। ऐसा ही पूर्वाग्रह रखने वाली छँटाई प्रणाली रातोंरात लाखों आवेदनों पर कार्रवाई कर सकती है और हर आवेदन पर वही त्रुटिपूर्ण तर्क लागू कर सकती है। किसी व्यक्ति का पक्षपातपूर्ण फैसला अक्सर एक अलग-थलग घटना होता है; मॉडल के पक्षपातपूर्ण फैसले तेज़ी से नीति बन सकते हैं।
स्वास्थ्य सेवा इसका सबसे स्पष्ट उदाहरणों में से एक है। लाखों रोगियों को प्रभावित करने वाले एक व्यापक रूप से इस्तेमाल किए गए एल्गोरिदम को उन लोगों की पहचान करने के लिए बनाया गया था जिन्हें अतिरिक्त देखभाल से लाभ होता। उसने समान रूप से बीमार श्वेत रोगियों की तुलना में अश्वेत रोगियों को अधिक स्वस्थ आँका। किसी ने नस्लवादी नियम नहीं लिखा था। एल्गोरिदम ने चिकित्सा की ज़रूरत के संकेतक के रूप में स्वास्थ्य सेवा पर हुए खर्च का इस्तेमाल किया। चूँकि अश्वेत रोगियों को ऐतिहासिक रूप से कम देखभाल मिली थी और इसलिए उनका खर्च भी कम था, उसने कम खर्च को बेहतर स्वास्थ्य का संकेत मान लिया। Science में प्रकाशित शोधकर्ताओं के विश्लेषण के अनुसार, डिज़ाइन के इस एक फैसले को सुधारने से अतिरिक्त मदद के लिए चिह्नित अश्वेत रोगियों का अनुपात 17.7% से बढ़कर 46.5% हो जाता।
AI प्रणालियाँ केवल उन मापदंडों को नहीं दर्शातीं जो हम उन्हें देते हैं; वे उन मापदंडों के पीछे की धारणाओं को भी दर्शाती हैं। मानवीय पूर्वाग्रह भी उतना ही वास्तविक है; उसे देखना और परखना बस अधिक कठिन है। इसीलिए समाधान स्वचालन छोड़ने में नहीं, बल्कि बेहतर संचालन और जवाबदेही में है।
जवाबदेही को निर्णय-प्रक्रिया का हिस्सा बनाएं
AI लागू करने का मानक तरीका है—एक मॉडल चुनना, उसे कार्यप्रवाह में जोड़ना, उसके प्रदर्शन पर नज़र रखना और समय के साथ उसमें सुधार करना। जब प्रणाली के नतीजे लोगों को प्रभावित करते हों, तो इतना पर्याप्त नहीं है।
मैं इसका विकल्प तैनाती के बजाय एकीकरण कहता हूँ: जवाबदेह व्यक्ति निर्णय-प्रक्रिया का हिस्सा हो और उसे बदलने का वास्तविक अधिकार रखता हो, न कि बाद में हर तीन महीने में डैशबोर्ड की समीक्षा भर करे। इसकी शुरुआत तीन कदमों से होती है:
- हर निर्णय का नक्शा बनाएं जिसकी अब AI छँटाई, अंक निर्धारण या मंज़ूरी करती है, और हर निर्णय के लिए किसी नामित व्यक्ति को ज़िम्मेदार ठहराएं।
- इतिहास की जाँच करें जिसे मॉडल में डाला जा रहा है, इससे पहले कि वही इतिहास नीति बन जाए।
- मॉडल के फैसले को बदलना सुरक्षित बनाएं, और ऐसे बदलावों की दर पर नज़र रखें।
तीसरा कदम सबसे अहम है। अगर कर्मचारियों को लगे कि मशीन से असहमति जताने को गलती माना जाएगा, तो वे ऐसा करना बंद कर देंगे। तब AI व्यवहार में निर्णय लेने वाला बन जाएगा, भले ही तकनीकी रूप से कोई मनुष्य “निर्णय-प्रक्रिया में शामिल” हो। सवाल यह नहीं है कि अंतिम फैसला किसी व्यक्ति के हाथ में है या नहीं। सवाल यह है कि क्या उस व्यक्ति के पास यह कहने का अधिकार, जानकारी और मनोवैज्ञानिक सुरक्षा है कि “मशीन गलत है।”
दोबारा प्रशिक्षण से मदद मिलती है, लेकिन पूर्वाग्रह फैसलों के रास्ते भीतर आता है: मॉडल किस चीज़ को बेहतर बनाने की कोशिश करता है, कौन-सा डेटा मायने रखता है और नतीजे की जाँच कौन करता है। ध्यान इन्हीं बातों पर देना चाहिए। इसके लिए ऐसे AI नेताओं की भी ज़रूरत है जो पूछ सकें कि प्रणाली ने किसी चीज़ को उस क्रम में क्यों रखा, और जिनके पास जवाब के आधार पर कार्रवाई करने का अधिकार हो।
ओवरराइड की दर उपयोगी है, क्योंकि इसके कई अर्थ हो सकते हैं। अगर लोग शायद ही कभी सिस्टम के फैसले को पलटते हैं, तो हो सकता है कि वह बस सटीक हो। या फिर उन्होंने यह सीख लिया हो कि उससे असहमत होना सुरक्षित नहीं है। अगर केवल वरिष्ठ लोग ही सिस्टम का फैसला पलटते हैं, तो हो सकता है कि कनिष्ठ कर्मचारियों ने चुप रहना सीख लिया हो—भले ही वे अक्सर सिस्टम के नतीजों और उनसे प्रभावित लोगों के सबसे करीब होते हैं। लक्ष्य ओवरराइड की संख्या शून्य करना नहीं है। लक्ष्य ऐसी संस्कृति बनाना है जिसमें ठोस आधार पर सिस्टम का फैसला पलटना इस बात का संकेत माना जाए कि सिस्टम काम कर रहा है। जब कोई व्यक्ति मॉडल के फैसले को पलटता है और बाद में सही साबित होता है, तो उस घटना की कहानी सबके साथ साझा करें। यह आपकी कंपनी की अब तक की सबसे अच्छी एआई प्रशिक्षण सामग्री हो सकती है।
इरादों की नहीं, नतीजों की जाँच करें
पूर्वाग्रह का पता लगाने के लिए संगठनों को किसी बड़ी विफलता का इंतज़ार करने की ज़रूरत नहीं है। अभी तीन तरह की जाँच की जा सकती है:
- नियंत्रित तुलना। किसी काम को एक जैसा रखते हुए केवल जनसांख्यिकीय संकेत बदलें, जैसे कि रिज़्यूमे पर नाम या प्रॉम्प्ट की बोली। प्रॉम्प्ट के प्रारूप और इनपुट के क्रम समेत बाकी सब कुछ समान रखें। चूँकि हर बार चलाने पर मॉडल के नतीजे अलग-अलग हो सकते हैं, इसलिए हर जोड़ी को कई बार दोहराएँ और इतनी जोड़ियों का इस्तेमाल करें कि अंतर को महज़ संयोग कहकर खारिज न किया जा सके। शोधकर्ताओं ने रिज़्यूमे की रैंकिंग और कार्यस्थल के लिए तैयार किए गए संदेशों में असमानताओं की पहचान मूलतः इसी तरीके से की थी; कोई आंतरिक टीम दोपहर भर में इसका पहला संस्करण तैयार कर सकती है।
- प्रॉक्सी ऑडिट। सिस्टम जिन भी मापदंडों को बेहतर बनाने की कोशिश करता है, उनमें से हर एक के बारे में दो सवाल पूछें: यह संख्या वास्तव में क्या मापती है, और किन लोगों की गिनती इसमें कम हो सकती है? स्वास्थ्य सेवा के एल्गोरिदम का अपना चुना हुआ मापदंड बताने में प्रदर्शन खराब नहीं था। वह लागत का अनुमान लगाने में अच्छा था। समस्या यह थी कि लागत को चिकित्सीय ज़रूरत का प्रतिनिधि मान लिया गया था। कोई सिस्टम अपने ही मापदंड के अनुसार सटीक हो सकता है, फिर भी जिन लोगों पर उसका असर पड़ता है, उनके मामले में बुरी तरह गलत हो सकता है।
- नतीजों की तुलना। वास्तविक उपयोग में अलग-अलग समूहों के चयन या मंज़ूरी की दरों की तुलना करें। अमेरिका में रोज़गार संबंधी प्रथाओं में इस्तेमाल होने वाला पाँचवाँ-चार का सामान्य नियम—जिसके तहत उस समूह को चिह्नित किया जाता है जिसकी दर सबसे ऊँची दर के 80% से कम हो—जाँच शुरू करने का एक आम तरीका है। इसे ऊपर बताए गए ओवरराइड की निगरानी के साथ जोड़ें।
इन जाँचों की सीमाएँ हैं। नाम बदलकर देखने से जनसांख्यिकीय संकेतों का सीधा असर पकड़ में आता है, लेकिन ज़िप कोड, स्कूल या रोज़गार के इतिहास में अंतराल जैसे प्रॉक्सी संकेत नहीं; इसीलिए नतीजों की तुलना अहम है। तकनीकी उपाय—जैसे प्रशिक्षण डेटा को पुनः भार देना, निष्पक्षता संबंधी सीमाएँ जोड़ना और निर्णय की दहलीज़ बदलना—असमानताएँ घटा सकते हैं, लेकिन इनके लिए चुनाव करना पड़ता है। Kleinberg, Mullainathan और Raghavan के शोध तथा अलग से Chouldechova के शोध ने दिखाया कि जब समूहों की आधार-दरें अलग-अलग होती हैं, तो कोई मॉडल आम तौर पर एक ही समय में अंशांकन और समान त्रुटि-दरें हासिल नहीं कर सकता। निष्पक्षता की किस परिभाषा को प्राथमिकता दी जाए, यह ऐसा सवाल नहीं है जिसका जवाब कोई मॉडल दे सके। यह ऐसा फैसला है जिसकी ज़िम्मेदारी किसी व्यक्ति को लेनी और उसे दर्ज करना होता है; इस तरह बात फिर से शासन-व्यवस्था पर आ जाती है।
सटीकता के साथ निष्पक्षता की भी समीक्षा करें
अक्सर निष्पक्षता को एक अलग पहल माना जाता है—ऐसा विषय जिसकी समीक्षा मानव संसाधन विभाग या कानूनी टीम, तकनीकी टीम के सटीकता, दक्षता और लागत का आकलन करने के बाद करती है। यह अलगाव खुद समस्या का एक हिस्सा है। निष्पक्षता की समीक्षा सटीकता और लागत के साथ, उसी बैठक में, जवाबदेही के उसी स्तर पर और किसी नामित ज़िम्मेदार व्यक्ति के साथ होनी चाहिए।
इस चर्चा में मानव संसाधन और कानूनी टीमों को शामिल करना चाहिए, साथ ही उन लोगों को भी जिन्हें इस तरह के सिस्टम ने गलत आँका है। जिन लोगों को कमतर आँका गया है, वे अक्सर सबसे पहले देख पाते हैं कि सिस्टम से क्या छूट रहा है। मेरी किताब, The Bias Advantage, का एक केंद्रीय विचार यही है: जिन नज़रियों को संगठनों ने ऐतिहासिक रूप से अनदेखा किया है, वे निर्णय लेने की प्रक्रिया का हिस्सा बनने पर अंतर्दृष्टि का एक शक्तिशाली स्रोत बन जाते हैं।
लक्ष्य ऐसा एआई सिस्टम बनाना नहीं है जो कभी गलती न करे—यह अवास्तविक है। लक्ष्य ऐसा संगठन बनाना है जो पहचान सके कि एआई कब गलत है, समझ सके कि ऐसा क्यों हुआ, और गलती किसी और की हक़ीक़त बनने से पहले हस्तक्षेप कर सके।
