रेटिनल नसें नस्ल का खुलासा करती हैं, एआई नस्लवाद के लिए दायरे का विस्तार करती हैं

चिकित्सा एआई इमेजिंग द्वारा नस्ल का खुलासा करने के हालिया खुलासे से प्रेरित होकर, अमेरिका और यूके में एक शोध समूह ने यह अध्ययन किया है कि क्या रेटिनल नस पैटर्न नस्ल की ओर इशारा करते हैं, और उन्होंने निष्कर्ष निकाला है कि यह वास्तव में मामला है, एआई रेटिनल छवियों से माता-पिता द्वारा रिपोर्ट की गई नस्ल की भविष्यवाणी कर सकता है – जो छवियां मानव चिकित्सक को नहीं दिखाई देंगी, और जिन्हें पहले यह सोचा जाता था कि उनमें नस्लवाद का खुलासा करने की कोई संभावना नहीं है।

समूह ने चिंता व्यक्त की है कि चिकित्सा इमेजिंग में इस अतिरिक्त रूप से नस्लवाद की संभावना खुल जाती है, और यह चिकित्सा में कृत्रिम बुद्धिमत्ता प्रणालियों के उपयोग में बढ़े हुए पूर्वाग्रह की संभावना को खोलता है।

रेटिनल छवियां एक काले और एक सफेद विषय से। ऊपर, प्रत्येक नस्ल की एक पूर्ण-रंग रेटिनल फंडस छवि में पहले से ही रंग वितरण से संबंधित नस्ल-विशिष्ट विशेषताएं हैं। नीचे, इन छवियों से व्युत्पन्न रेटिनल वेसेल मैप, जो इन नस्लवादी एंकर-मार्क्स को ‘स्तर’ करने वाले हैं, वास्तव में नस्ल-विशिष्ट विशेषताओं को धारण करते हैं, नए रिपोर्ट के अनुसार। स्रोत: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

लेखकों ने आगे संभावना की ओर इशारा किया है कि U-Net, मशीन लर्निंग फ्रेमवर्क जो इस क्षेत्र में कृत्रिम बुद्धिमत्ता आधारित स्वास्थ्य सेवा को परिभाषित करता है, और जिसे मुख्य रूप से सफेद विषयों पर प्रशिक्षित किया गया था, इस परिणाम पर प्रभाव डाल सकता है। हालांकि, लेखकों का दावा है कि वे ‘अभी तक U-Net सिद्धांत के आधार पर इन निष्कर्षों की पूरी तरह से व्याख्या करने में असमर्थ हैं’.

प्रोजेक्ट के संबद्ध गिटहब रिपॉजिटरी पर टिप्पणी करते हुए, लेखकों ने कहा:

‘एआई रेटिनल वेसेल मैप्स (आरवीएम) से नस्ल का पता लगा सकता है जो नस्लवादी जानकारी नहीं रखते थे दो संभावित व्याख्याएं हैं कि: रेटिनल नसें शारीरिक रूप से काले और सफेद शिशुओं के बीच भिन्न होती हैं या U-Net रेटिनल वास्कुलेचर को विभिन्न फंडस पिगमेंटेशन के लिए अलग तरह से खंडित करता है।

‘…किसी भी तरह से, परिणाम एक ही रहते हैं: एआई एल्गोरिदम में नस्लवादी पूर्वाग्रह प्रदर्शित करने की संभावना है, यहां तक कि जब प्रारंभिक प्रयासों से ऐसी जानकारी को हटाने के बावजूद भी।’

लेख पेपर का शीर्षक है नॉट कलर ब्लाइंड: एआई ब्लैक और व्हाइट रेटिनल वेसेल सेगमेंटेशन से नस्लीय पहचान की भविष्यवाणी करता है, और यह अमेरिका में पांच संस्थानों और अनुसंधान विभागों और यूके में एक के बीच समान सहयोग है।

चिकित्सा डॉक्टर जो इस अनुसंधान संघ में भाग लेते हैं उनमें आरवी पॉल चान, एमडी, एमएससी, एफएसी, नेत्र विज्ञान में बोर्ड-प्रमाणित, और अमेरिकन कॉलेज ऑफ सर्जन्स के फेलो; माइकल एफ चियांग, एमडी, नेशनल आई इंस्टीट्यूट के निदेशक नेशनल इंस्टीट्यूट्स ऑफ हेल्थ में बेथेस्डा, मैरीलैंड; और जे पीटर कैंपबेल एमडी, एमपीएच, नेत्र विज्ञान के एसोसिएट प्रोफेसर ओрегन हेल्थ एंड साइंस यूनिवर्सिटी के स्कूल ऑफ मेडिसिन में पोर्टलैंड।

आँखें सब कुछ जानती हैं

लेख में पहले से सिद्ध क्षमता का उल्लेख किया गया है कि मानव-उत्पन्न पूर्वाग्रह कृत्रिम बुद्धिमत्ता चिकित्सा प्रणालियों में प्रसारित हो सकता है, न कि आँखों के अध्ययन में*. रेटिनल फंडस इमेज (आरएफआई, ऊपर देखें), जो नेत्र रोगों के मूल्यांकन में उपयोग की जाती हैं, पूर्ण-रंग छवियां हैं जो नस्ल की पहचान करने के लिए पर्याप्त पिगमेंटेशन जानकारी रखती हैं।

ग्रेस्केल रेटिना वेसेल मैप्स (आरवीएम) पूर्ण-रंग आरएफआई छवियों से नसों और माइक्रोवेसल्स को निकालते हैं, जो बीमारी की स्थिति को परिभाषित करने के लिए संभावित हैं। यह हमेशा माना जाता था कि इस स्तर पर, कोई नस्लवादी विशेषताएं नहीं रहती हैं।

लेखकों ने इस धारणा का परीक्षण किया है कि रेटिनल नस पैटर्न नस्ल की ओर इशारा करते हैं या नहीं।

डेटा और विधि

245 शिशुओं के डेटा का उपयोग किया गया था, जो जनवरी 2012 और जुलाई 2020 के बीच एक बहुसेंटर i-ROP अध्ययन के हिस्से के रूप में एकत्र किया गया था, जिसे प्रशिक्षण, सत्यापन और परीक्षण डेटासेट में 50/20/30 के आधार पर विभाजित किया गया था, क्रमशः, जितना संभव हो उतना प्राकृतिक नस्लवाद का वितरण बनाए रखा गया था।

रंग आरएफआई को तीन उपरोक्त शैलियों में कम कर दिया गया था, ताकि ‘स्पष्ट’ नस्लवादी मार्कर तकनीकी रूप से डेटा से हटा दिए जाएं।

बाइनरी वर्गीकरण (‘काला’/’सफेद’, माता-पिता द्वारा रिपोर्ट की गई नस्ल के आधार पर) के लिए पाइटोर्च का उपयोग करके कई कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) को प्रशिक्षित किया गया था। सीएनएन ने सभी छवियों पर डेटा चलाया, आरएफआई से लेकर स्केलेटनाइज्ड संस्करणों तक, यादृच्छिक फ्लिप और रोटेशन लागू किए, जिससे व्युत्पन्न छवियों का एक 224×244 पिक्सेल का समाधान हो।

मॉडल को स्टोकास्टिक ग्रेडिएंट डिसेंट के साथ दस युगों तक प्रशिक्षित किया गया था, जिसमें 0.001 की एक निरंतर सीखने की दर थी, और पांच युगों के बाद (यानी, मॉडल को और अधिक सटीक बनाने के लिए प्रशिक्षण बंद कर दिया गया था)।

चूंकि सफेद और काले विषयों के बीच एक प्राकृतिक असंतुलन था, इसलिए अल्पसंख्यक स्रोतों को सिस्टमैटिक रूप से आउटलियर के रूप में डिस्काउंट करने से बचने के लिए मुआवजा दिया गया था, और परिणामों को क्रॉस-चेक किया गया था ताकि यह पुष्टि की जा सके कि प्रयोगों में कोई डेटा लीक नहीं हुई थी।

अध्ययन में विभिन्न स्तरों की संवेदनशीलता पर रेटिनल मानचित्र के नमूने

परिणाम

आरवीएम, जो पूर्ण-रंग आरएफआई छवियों से नसों और माइक्रोवेसल्स को निकालते हैं, सैद्धांतिक रूप से एक सीएनएन द्वारा नस्ल का पता लगाने योग्य नहीं होना चाहिए, लेखकों के अनुसार। हालांकि, परिणामों से पता चलता है कि यू-नेट सफेद आंखों की तुलना में काली आंखों के लिए अधिक प्रमुख धमनियों को खंडित करता है।

निष्कर्ष में, शोधकर्ताओं ने观察 किया ‘‘हमने पाया कि एआई रेटिनल वेसेल सेगमेंटेशन से नस्ल का पता लगाने में आसानी से सक्षम था जो नस्लवादी जानकारी नहीं रखते थे‘, और यह ‘‘यहां तक कि वे छवियां जो नग्न आंखों से नस्लवादी जानकारी से रहित प्रतीत होती थीं, नस्ल की मूल नस्ल की भविष्यवाणी करने वाली जानकारी को बनाए रखा‘। शोधकर्ताओं ने आगे संभावना की पेशकश की है कि काले और सफेद शिशुओं की रेटिनल नसें ‘‘किसी तरह से भिन्न हो सकती हैं जो एआई को सराहना कर सकता है, लेकिन मानव नहीं कर सकता’‘।

पूर्वाग्रह?

लेखकों ने यह भी सुझाव दिया है कि यह भेदभाव यू-नेट पर मूल रूप से प्रशिक्षित सफेद-प्रमुख डेटा का एक कार्य हो सकता है। हालांकि, वे यह भी स्वीकार करते हैं कि रेटिनल इमेजिंग प्रथाओं के तकनीकी पहलुओं के कारण यह पूर्वाग्रह हो सकता है, या यू-नेट में डेटा पूर्वाग्रह जो वर्षों से खुद को दोहरा रहा है। इन संभावनाओं का सामना करते हुए, लेख स्वीकार करता है:

‘हालांकि, यू-नेट को आरएफआई पर प्रशिक्षित किया गया था जो पहले ग्रेस्केल छवियों में परिवर्तित हो गए थे और कंट्रास्ट लिमिटेड हिस्टोग्राम समानीकरण (सीएलएचई) के अधीन थे — और इसलिए यह वास्तव में रंग आरएफआई पर प्रशिक्षित नहीं किया गया था। इसलिए, हम अभी तक इन निष्कर्षों की पूरी तरह से व्याख्या करने में सक्षम नहीं हैं U-Net सिद्धांत के आधार पर।’

हालांकि, लेखकों का दावा है कि कारण उतना ही चिंताजनक नहीं है जितना कि प्रभाव, यह कहते हुए कि एआई मॉडल की नस्ल का पता लगाने की क्षमता ‘‘चिकित्सा एआई एल्गोरिदम में पूर्वाग्रह का जोखिम‘ दर्शाती है जो उन्हें इनपुट के रूप में उपयोग करते हैं।

लेखकों ने अध्ययन में शामिल नस्लों की उच्च-विपरीत प्रकृति की ओर इशारा किया है, और अनुमान लगाया है कि ‘मध्यवर्ती’ नस्लवादी समूह ‘‘इसी तरह से पहचाना जाना मुश्किल हो सकता है, और यह एक ऐसा पहलू है जिसे वे आगामी और संबंधित कार्यों में अध्ययन करने का इरादा रखते हैं‘。

* सभी समर्थन लिंक जो इस लेख में शामिल हैं और जो कागज़ द्वारा प्रदान किए गए हैं, सीमित-अクセस पेपरपाइल लिंक से सार्वजनिक रूप से उपलब्ध ऑनलाइन संस्करणों में परिवर्तित किए गए हैं, जहां संभव हो।