रेटिनल नसें नस्ल का खुलासा करती हैं, एआई नस्ल पूर्वाग्रह के लिए दायरे का विस्तार करती हैं

हाल के खुलासे से प्रेरित होकर कि चिकित्सा एआई इमेजिंग नस्ल का खुलासा कर सकती है, अमेरिका और यूके में एक अनुसंधान संघ ने एक अध्ययन किया है कि क्या रेटिनल नस पैटर्न नस्ल की ओर संकेत करते हैं, और निष्कर्ष निकाला है कि यह वास्तव में मामला है, एआई शिशुओं में माता-पिता द्वारा रिपोर्ट की गई नस्ल की भविष्यवाणी कर सकता है – रेटिनल छवियों से जो एक मानव चिकित्सक को नहीं खुलासा करेंगी, और जो पहले नस्ल के खुलासे की कोई संभावना नहीं मानी जाती थी।

इस समूह ने चिंता व्यक्त की है कि चिकित्सा इमेजिंग में नस्लीय स्तरीकरण का यह अतिरिक्त वेक्टर एआई प्रणालियों के स्वास्थ्य सेवा में उपयोग में पूर्वाग्रह में वृद्धि की संभावना खोलता है।

एक काले और एक सफेद विषय से रेटिनल छवियां। ऊपर, प्रत्येक नस्ल से एक पूर्ण-रंग रेटिनल फंडस छवि पहले से ही रंग वितरण से संबंधित नस्ल-विभेदक विशेषताओं को रखती है। नीचे, इन छवियों से प्राप्त रेटिनल वेसेल मैप्स, जो इन नस्लीय एंकर-मार्क्स को ‘स्तर’ करने वाले होने चाहिए, वास्तव में नस्ल-विभेदक विशेषताओं को रखते हैं, नए रिपोर्ट के अनुसार। स्रोत: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

लेखक आगे यह संभावना की ओर इशारा करते हैं कि U-Net, मशीन लर्निंग फ्रेमवर्क जो इस क्षेत्र को परिभाषित करता है और जिसे मुख्य रूप से सफेद विषयों पर प्रशिक्षित किया गया था, इस प्रकार की घटना पर प्रभाव डाल सकता है। हालांकि, लेखक यह भी कहते हैं कि वे ‘‘अब तक इस निष्कर्ष को पूरी तरह से U-Net सिद्धांत के आधार पर समझाने में असमर्थ हैं’‘।

परियोजना से संबंधित GitHub रिपॉजिटरी पर टिप्पणी करते हुए, लेखक कहते हैं:

‘एआई ग्रेस्केल आरवीएमएस से नस्ल का पता लगा सकता है [रेटिनल वेसेल मैप्स] ‘जो नस्लीय जानकारी नहीं रखने के लिए सोचा जाता था। इस खोज के लिए दो संभावित व्याख्याएं हैं: रेटिनल नसें शारीरिक रूप से काले और सफेद शिशुओं के बीच भिन्न होती हैं या U-Net विभिन्न फंडस पिगमेंटेशन के लिए रेटिनल वास्कुलेचर को अलग तरह से खंडित करता है।

‘…दोनों तरह से, परिणाम एक ही रहते हैं: एआई एल्गोरिदम में नस्लीय पूर्वाग्रह का प्रदर्शन करने की संभावना है, यहां तक कि जब प्रारंभिक प्रयास छवियों से ऐसी जानकारी को हटाने में सफल होते हैं।’

पेपर का शीर्षक नॉट कलर ब्लाइंड: एआई ब्लैक एंड व्हाइट रेटिनल वेसेल सेगमेंटेशन से नस्लीय पहचान की भविष्यवाणी करता है है, और यह अमेरिका में पांच संस्थानों और अनुसंधान विभागों और यूके में एक के बीच एक समान सहयोग है।

इस अनुसंधान संघ में भाग लेने वाले चिकित्सा डॉक्टरों में आर.वी. पॉल चान, एमडी, एमएससी, एफएसी, नेत्र विज्ञान में बोर्ड-प्रमाणित और अमेरिकन कॉलेज ऑफ सर्जन्स के फेलो; माइकल एफ चियांग, एमडी, नेशनल आई इंस्टीट्यूट के निदेशक नेशनल इंस्टीट्यूट ऑफ हेल्थ में बेथेस्डा, मैरीलैंड; और जे. पीटर कैम्पबेल एमडी, एमपीएच, नेत्र विज्ञान के एसोसिएट प्रोफेसर ओрегन हेल्थ एंड साइंस यूनिवर्सिटी के स्कूल ऑफ मेडिसिन में पोर्टलैंड में शामिल हैं।

आंखें इसे रखती हैं

पेपर नोट करता है कि मानव-उत्पन्न पूर्वाग्रह की संभावना पहले से सिद्ध हो चुकी है कि यह एआई मेडिकल सिस्टम में प्रसारित हो सकता है, नेत्र विज्ञान के अध्ययन में नहीं बल्कि अन्य क्षेत्रों में*। रेटिनल फंडस इमेज (आरएफआई, ऊपर देखें), जो नेत्र रोगों के मूल्यांकन में उपयोग की जाती हैं, वे पूर्ण-रंग छवियां हैं जो नस्ल की पहचान करने के लिए पर्याप्त पिगमेंटेशन जानकारी रखती हैं।

ग्रेस्केल रेटिना वेसेल मैप्स (आरवीएम) अधिकांश जानकारी को छोड़ देते हैं ताकि वे रेटिनल नसों के अंतर्निहित पैटर्न को निकाल सकें जो कई बीमारियों को परिभाषित कर सकते हैं। यह हमेशा माना जाता था कि इस स्तर पर, कोई नस्लीय विशेषताएं नहीं रहती हैं।

लेखकों ने इस धारणा का परीक्षण एक शिशु डेटासेट का उपयोग करके किया है जो एक संभावित अंधापन रोग के लिए स्क्रीन किए गए थे। ऐसी छवियों की स्क्रीनिंग, लेखकों का उल्लेख करते हैं, तेलमेडिसिन और दूरस्थ निदान संदर्भों के बाहर व्यक्तिगत परामर्श के बाहर बढ़ती जा रही है, और मशीन लर्निंग विश्लेषण का विषय बन रही है।

नई अध्ययन रेटिनल फंडस इमेज (पूर्ण-रंग रेटिनल छवियों) के विभिन्न प्रकार के रिडक्शनिस्ट संस्करणों की जांच करती है कि क्या वे माता-पिता द्वारा रिपोर्ट की गई नस्ल की जानकारी रखते हैं, और पाया है कि यहां तक कि आरएफआई (थ्रेशोल्ड, स्केलेटनाइज्ड और बाइनराइज्ड) के सबसे जानकारी-विनाशकारी संक्षेपण भी कुछ स्तर की नस्लीय पहचान की अनुमति देते हैं।

डेटा और विधि

245 शिशुओं के डेटा को जनवरी 2012 और जुलाई 2020 के बीच एक मल्टीसेंटर i-ROP कोहोर्ट अध्ययन के हिस्से के रूप में एकत्र किया गया था, जिसे प्रशिक्षण, सत्यापन और परीक्षण डेटासेट में 50/20/30 के आधार पर विभाजित किया गया था, क्रमशः, जिसमें स्रोत डेटा की अनुमति के अनुसार नस्लों का प्राकृतिक वितरण संरक्षित किया गया था।

रंग आरएफआई को तीन उपरोक्त रिडक्शनिस्ट शैलियों में कम कर दिया गया था, ताकि ‘स्पष्ट’ नस्लीय मार्कर तकनीकी रूप से डेटा से हटा दिए गए हों।

बाइनरी वर्गीकरण (‘काला’/’सफेद’, माता-पिता द्वारा रिपोर्ट की गई नस्ल के आधार पर) को प्राप्त करने के लिए पाइटॉर्च का उपयोग करके कई कनवोल्यूशनल न्यूरल नेटवर्क (सीएनएन) प्रशिक्षित किए गए थे। सीएनएन ने सभी छवियों के संस्करणों पर डेटा चलाया, आरएफआई से लेकर स्केलेटनाइज्ड संस्करणों तक, सामान्य रैंडम फ्लिप और रोटेशन लागू किए, जिसमें व्युत्पन्न छवियों का रिज़ॉल्यूशन 224×244 पिक्सेल था।

मॉडल को स्टोकास्टिक ग्रेडिएंट डिसेंट के साथ दस युगों तक प्रशिक्षित किया गया था, जिसमें 0.001 की नियत लर्निंग दर थी, और पांच युगों (अर्थात मॉडल को आगे प्रशिक्षण के साथ अधिक सटीक नहीं मिलेगा) के बाद प्रारंभिक रोकथाम लागू की गई थी।

चूंकि श्वेत और काले विषयों के बीच एक प्राकृतिक असंतुलन था, इसलिए अल्पसंख्यक स्रोतों को सुनिश्चित करने के लिए मुआवजा दिया गया था कि वे सिस्टमिक रूप से आउटलियर के रूप में डिस्काउंट नहीं किए जाते हैं, और परिणामों को पार-चेक किया गया ताकि यह पुष्टि की जा सके कि प्रयोगों में कोई डेटा लीक नहीं हुआ है।

अध्ययन में विभिन्न स्तरों पर थ्रेशोल्ड सहनशीलता के साथ रेटिनल मैप्स के नमूने।

परिणाम

आरवीएम, जो पूर्ण-रंग आरएफआई छवियों से नसों और माइक्रोवेसेल्स को निकालते हैं, सैद्धांतिक रूप से एक सीएनएन द्वारा नस्ल-विभेदक नहीं होना चाहिए, लेखकों के अनुसार। हालांकि, परिणामों से पता चलता है कि यू-नेट काले नेत्रों की तुलना में श्वेत नेत्रों के लिए अधिक प्रमुख धमनियों को खंडित करता है।

निष्कर्ष में, शोधकर्ता ‘‘हमने पाया कि एआई आसानी से रेटिनल वेसेल सेगमेंटेशन से शिशुओं की नस्ल की भविष्यवाणी कर सकता है जो पिगमेंटेशन के बारे में कोई दिखाई देने वाली जानकारी नहीं रखते’‘, और ‘‘यहां तक कि जो छवियां नग्न आंखों से जानकारी से वंचित प्रतीत होती हैं, वे मूल शिशु की नस्ल की भविष्यवाणी जानकारी को बनाए रखती हैं’‘।

शोधकर्ता आगे यह संभावना प्रदान करते हैं कि ‘‘काले और श्वेत शिशुओं के बीच रेटिनल नसें कुछ तरह से भिन्न हो सकती हैं जिसे एआई सराहना कर सकता है, लेकिन मानव नहीं कर सकता’‘।

पूर्वाग्रह?

लेखक यह भी सुझाव देते हैं कि यह भेदभाव यू-नेट पर मूल रूप से प्रशिक्षित श्वेत-प्रमुख डेटा का प्रभाव हो सकता है। हालांकि वे इसे अपनी ‘अग्रणी सिद्धांत’ के रूप में वर्णित करते हैं, वे यह भी स्वीकार करते हैं कि रेटिनल इमेजिंग प्रथाओं के तकनीकी पहलुओं के कारण, या यू-नेट में डेटा पूर्वाग्रह के कारण यह घटना हो सकती है, जो वर्षों से स्वयं को पुनरावृत्ति कर रही है। इन संभावनाओं का सामना करते हुए, पेपर स्वीकार करता है:

‘हालांकि, यू-नेट को आरएफआई पर प्रशिक्षित किया गया था जो पहले ग्रेस्केल छवियों में परिवर्तित हो गए थे और कंट्रास्ट समायोजन के अधीन थे — विशेष रूप से, कंट्रास्ट सीमित हिस्टोग्राम समानीकरण (सीएलएचई) — और इसलिए वास्तव में रंग आरएफआई पर प्रशिक्षित नहीं किया गया था। इसलिए, हम इस निष्कर्ष को पूरी तरह से यू-नेट सिद्धांत के आधार पर समझाने में असमर्थ हैं। ‘

हालांकि, लेखक यह भी कहते हैं कि कारण उतना ही चिंताजनक है जितना कि प्रभाव, यह कहते हुए कि ‘‘एआई मॉडल की नस्ल का पता लगाने की क्षमता में नस्लीय पूर्वाग्रह का जोखिम शामिल है’‘।

लेखक यह भी बताते हैं कि अध्ययन में शामिल नस्लों की उच्च कंट्रास्ट प्रकृति और मध्यवर्ती नस्लीय समूहों को पहचानने में अधिक कठिनाई हो सकती है, और यह एक ऐसा पहलू है जिसे वे आगे के कार्यों में अध्ययन करने का इरादा रखते हैं।

* सभी समर्थन लिंक जो पेपर द्वारा प्रदान किए गए हैं और इस लेख में शामिल किए गए हैं, सीमित-एक्सेस पेपरपाइल लिंक से सार्वजनिक रूप से उपलब्ध ऑनलाइन संस्करणों में परिवर्तित किए गए हैं, जहां संभव हो।