Retinal Veins เผย Race, ขอบเขตที่กว้างขึ้นสำหรับ AI Race Bias

ได้รับแรงบันดาลใจจากการเปิดเผยล่าสุดว่าการถ่ายภาพ AI ทางการแพทย์ สามารถเปิดเผยเชื้อชาติได้กลุ่มวิจัยในสหรัฐอเมริกาและสหราชอาณาจักรได้ทำการศึกษาว่ารูปแบบเส้นเลือดจอประสาทตาบ่งบอกถึงเชื้อชาติหรือไม่ และได้สรุปว่าเป็นเช่นนั้นจริง โดย AI สามารถทำนายการแข่งขันที่ผู้ปกครองรายงานในทารกจากภาพจอประสาทตา ซึ่งเป็นภาพที่ จะไม่เปิดเผยตัวตนทางเชื้อชาติให้แพทย์ที่เป็นมนุษย์ศึกษาพวกเขา และก่อนหน้านี้เคยคิดว่าไม่มีศักยภาพในการเปิดเผยทางเชื้อชาติ

กลุ่มได้แสดงความกังวลว่าการแบ่งชั้นทางเชื้อชาติเพิ่มเติมในการถ่ายภาพทางการแพทย์นี้เปิดโอกาสให้มีอคติเพิ่มขึ้นในการใช้ระบบปัญญาประดิษฐ์ในการดูแลสุขภาพ

ผู้เขียนตั้งข้อสังเกตต่อไปว่า U-Netซึ่งเป็นเฟรมเวิร์กการเรียนรู้ของเครื่องที่มีมาเพื่อกำหนดภาคส่วนนี้ของการดูแลสุขภาพที่ใช้ AI และได้รับการฝึกอบรม วัตถุสีขาวเป็นส่วนใหญ่* อาจมีอิทธิพลต่อปรากฏการณ์ที่สังเกตได้นี้ อย่างไรก็ตามผู้เขียนยืนยันว่าพวกเขาเป็น 'ยังไม่สามารถอธิบายการค้นพบเหล่านี้ได้อย่างสมบูรณ์ตามสมมติฐานของ U-Net เพียงอย่างเดียว'.

แสดงความคิดเห็นเกี่ยวกับข้อค้นพบที่เกี่ยวข้องกับโครงการ พื้นที่เก็บข้อมูล GitHubผู้เขียนระบุว่า:

'AI สามารถตรวจจับการแข่งขันจาก RVM ระดับสีเทา [แผนที่ Retinal Vessel] ที่ไม่คิดว่าจะมีข้อมูลเชื้อชาติ คำอธิบายที่เป็นไปได้สองประการสำหรับการค้นพบนี้คือ: หลอดเลือดจอประสาทตามีความแตกต่างกันทางสรีรวิทยาระหว่างทารกผิวดำและผิวขาว หรือ U-Net แยกส่วนของหลอดเลือดจอประสาทตาสำหรับการสร้างเม็ดสีอวัยวะต่างๆ

'...ไม่ว่าจะด้วยวิธีใด ผลที่ตามมายังคงเหมือนเดิม: อัลกอริทึม AI มีศักยภาพในการแสดงอคติทางเชื้อชาติในทางปฏิบัติ แม้ว่าความพยายามเบื้องต้นในการลบข้อมูลดังกล่าวออกจากภาพต้นแบบดูเหมือนจะประสบความสำเร็จก็ตาม'

พื้นที่ กระดาษ มีบรรดาศักดิ์ ไม่ตาบอดสี: AI ทำนายเอกลักษณ์ทางเชื้อชาติจากการแบ่งส่วนเส้นเลือดดำและขาวและเป็นความร่วมมือที่เท่าเทียมกันระหว่างแพทย์และนักวิจัยจากสถาบันและแผนกวิจัย XNUMX แห่งในสหรัฐอเมริกา และอีก XNUMX แห่งในสหราชอาณาจักร

แพทย์ที่เข้าร่วมในกลุ่มวิจัยประกอบด้วย อาร์วี พอล ชาน, MD, MSc, FACS, ได้รับการรับรองจากคณะกรรมการด้านจักษุวิทยา และเป็นสมาชิกของ American College of Surgeons; ไมเคิล เอฟ. เชียง, MD, ผู้อำนวยการ National Eye Institute ที่ National Institutes of Health ใน Bethesda, Maryland; และ นพ. เจ ปีเตอร์ แคมป์เบลล์, MPH, รองศาสตราจารย์จักษุวิทยาที่ School of Medicine ที่ Oregon Health & Science University ในพอร์ตแลนด์

ดวงตามีมัน

เอกสารฉบับนี้ระบุถึงศักยภาพที่ได้รับการพิสูจน์แล้วก่อนหน้านี้สำหรับอคติที่มีต้นกำเนิดจากมนุษย์ในการเผยแพร่เข้าสู่ระบบการแพทย์ของ AI ไม่น้อยใน การศึกษาของดวงตา*. รูปภาพ Retinal Fundus (RFIs ดูการเปรียบเทียบรูปภาพด้านบน) ที่ใช้ในการประเมินโรคตา เป็นภาพสีเต็มรูปแบบที่มีข้อมูลการสร้างเม็ดสีเพียงพอที่จะระบุเชื้อชาติ

Greyscale Retina Vessel Maps (RVMs) ละทิ้งข้อมูลส่วนใหญ่นี้เพื่อแยกรูปแบบพื้นฐานของเส้นเลือดฝอยที่มีแนวโน้มที่จะกำหนดเงื่อนไขของโรคต่างๆ ในระดับของการกลั่นนี้ สันนิษฐานเสมอว่าไม่มีลักษณะทางเชื้อชาติหลงเหลืออยู่ในภาพทางการแพทย์ที่ลดทอนเช่นนั้น

ผู้เขียนได้ทดสอบข้อสันนิษฐานนี้โดยใช้ชุดข้อมูลของ RFIs (ภาพจอประสาทตาสีสมบูรณ์) ที่ได้รับจากทารกที่ได้รับการตรวจคัดกรองโรคที่อาจทำให้มองไม่เห็น ผู้เขียนทราบว่าการคัดกรองภาพดังกล่าวมีจุดเด่นมากขึ้นเรื่อยๆ นอกเหนือจากการให้คำปรึกษาส่วนตัว ในบริบทการแพทย์ทางไกลและการวินิจฉัยทางไกลอื่นๆ และกำลังกลายเป็นเรื่องของการวิเคราะห์แมชชีนเลิร์นนิงมากขึ้นเรื่อยๆ

การศึกษาครั้งใหม่ตรวจสอบว่าภาพสีเต็มรูปแบบที่ใช้ระบุเชื้อชาติแบบลดขนาดประเภทต่างๆ เก็บข้อมูลเชื้อชาติตามที่พ่อแม่ของทารกรายงานหรือไม่ และพบว่าแม้แต่การกลั่น RFIs ที่ทำลายข้อมูลมากที่สุด (threshold, skeletonized และ binarized) เปิดใช้งานการระบุเชื้อชาติในระดับหนึ่ง

ข้อมูลและวิธีการ

ข้อมูลจากทารก 245 คน ซึ่งรวบรวมระหว่างเดือนมกราคม 2012 ถึงกรกฎาคม 2020 โดยเป็นส่วนหนึ่งของการศึกษาแบบกลุ่ม i-ROP แบบหลายศูนย์ แบ่งออกเป็นชุดข้อมูลการฝึกอบรม การตรวจสอบความถูกต้อง และการทดสอบบนพื้นฐาน 50/20/30 ตามลำดับ โดยรักษาการกระจายตามธรรมชาติของเชื้อชาติไว้ ให้ดีที่สุดเท่าที่แหล่งข้อมูลจะอนุญาต

RFIs แบบสีถูกลดขนาดลงจนเหลือรูปแบบการถ่ายภาพแบบลดทอนทั้งสามแบบข้างต้น ดังนั้นในทางเทคนิคแล้วเครื่องหมายเชื้อชาติที่ 'ชัดเจน' ควรถูกลบออกจากข้อมูล

หลาย Convolutional Neural Networks (CNNs) ได้รับการฝึกอบรมเพื่อให้ได้รับการจำแนกประเภทไบนารี ('black'/'white' ตามรายงานการแข่งขันจากผู้ปกครอง) โดยใช้ PyTorch CNN เรียกใช้ข้อมูลในทุกเวอร์ชันของรูปภาพ ตั้งแต่ RFI ไปจนถึงเวอร์ชันที่มีโครงกระดูก โดยใช้การพลิกและหมุนแบบสุ่มตามปกติ โดยรูปภาพที่ได้รับจะมีความละเอียด 224 × 244 พิกเซล

แบบจำลองได้รับการฝึกฝนโดยใช้การไล่ระดับแบบสุ่มจนถึงสิบยุคด้วยอัตราการเรียนรู้คงที่ที่ 0.001 และการหยุดใช้งานก่อนกำหนดและการฝึกอบรมหยุดลงเมื่อการรับรู้การบรรจบกันถูกระบุหลังจากห้ายุค (กล่าวคือ โมเดลจะไม่ได้รับความแม่นยำมากขึ้นอีกต่อไป การฝึกอบรม).

เนื่องจากมีความไม่สมดุลทางธรรมชาติทางประชากรระหว่างวัตถุสีขาวและสีดำ จึงมีการใช้การชดเชยเพื่อให้แน่ใจว่าแหล่งที่มาของชนกลุ่มน้อยไม่ได้ถูกลดราคาอย่างเป็นระบบเป็นค่าผิดปกติ และผลลัพธ์จะถูกตรวจสอบข้ามเพื่อยืนยันว่าไม่มีการรั่วไหลของข้อมูลในการทดลอง

ผลสอบ

ผู้เขียนกล่าวว่า RVM ซึ่งแยกเส้นเลือดดำและเส้นเลือดฝอยออกจากภาพ RFI แบบเต็มสี ในทางทฤษฎีแล้วไม่ควรให้ CNN แยกแยะเชื้อชาติได้ อย่างไรก็ตาม ผลการวิจัยพบว่า U-Net แบ่งหลอดเลือดแดงหลักจำนวนสูงกว่าสำหรับตาขาวมากกว่าตาดำ

กล่าวโดยสรุป ผู้วิจัยสังเกตว่า 'เราพบว่า AI สามารถทำนายการแข่งขันของทารกได้อย่างง่ายดายจากการแบ่งส่วนของหลอดเลือดจอประสาทตาที่ไม่มีข้อมูลที่มองเห็นได้เกี่ยวกับการสร้างเม็ดสี'และนั่น 'แม้แต่ภาพที่ดูเหมือนไร้ข้อมูลด้วยตาเปล่าก็ยังเก็บข้อมูลการทำนายเผ่าพันธุ์ของทารกดั้งเดิมได้'. นักวิจัยเสนอความเป็นไปได้เพิ่มเติมว่าหลอดเลือดจอประสาทตาของทารกผิวดำกับทารกผิวขาวแตกต่างกัน 'ในบางวิธีที่ AI สามารถชื่นชมได้ แต่มนุษย์ทำไม่ได้'.

อคติก่อนหน้า?

ผู้เขียนยังแนะนำว่าการเลือกปฏิบัติอาจเป็นหน้าที่ของข้อมูลที่มีสีขาวเป็นหลักซึ่ง U-Net ได้รับการฝึกอบรมมาแต่เดิม แม้ว่าพวกเขาจะอธิบายว่าสิ่งนี้เป็น 'ทฤษฎีนำ' ของพวกเขา พวกเขายังยอมรับว่าความสามารถของเซ็นเซอร์จับภาพอาจเป็นปัจจัยหนึ่งในปรากฏการณ์ หากปรากฎว่าอคติที่ค้นพบเป็นผลสืบเนื่องจากด้านเทคนิคของการถ่ายภาพจอประสาทตา หรือ ความลำเอียงของข้อมูลใน U-Net ซึ่งยืดเยื้อมานานหลายปี กล่าวถึงความเป็นไปได้เหล่านี้ กระดาษสรุปว่า:

'อย่างไรก็ตาม U-Net ได้รับการฝึกอบรมเกี่ยวกับ RFI ที่แปลงเป็นภาพระดับสีเทาก่อนและอยู่ภายใต้การปรับคอนทราสต์ โดยเฉพาะการปรับค่าคอนทราสต์จำกัดฮิสโทแกรม (CLAHE) ดังนั้นจึงไม่เคยได้รับการฝึกฝนเกี่ยวกับ RFI สีเลย ดังนั้นเราจึงยังไม่สามารถอธิบายสิ่งที่ค้นพบเหล่านี้ได้อย่างเต็มที่ตามสมมติฐานของ U-Net เพียงอย่างเดียว'

อย่างไรก็ตาม ผู้เขียนยืนยันว่าสาเหตุนั้นน่าตกใจน้อยกว่าผลกระทบ โดยระบุว่าความสามารถของโมเดล AI ในการแยกแยะเชื้อชาติทำให้เกิด 'ความเสี่ยงของอคติในอัลกอริทึม AI ทางการแพทย์ที่ใช้เป็นอินพุต'.

ผู้เขียนชี้ให้เห็นถึงความแตกต่างสูงของธรรมชาติของเชื้อชาติที่ศึกษา และตั้งสมมติฐานว่ากลุ่มเชื้อชาติ 'ระดับกลาง' อาจระบุได้ยากขึ้นด้วยวิธีการที่คล้ายคลึงกัน และนี่คือแง่มุมที่พวกเขาตั้งใจที่จะศึกษาในงานต่อเนื่องและที่เกี่ยวข้อง

 

* ลิงก์สนับสนุนทั้งหมดที่มีให้ในเอกสารที่รวมอยู่ในบทความนี้ได้รับการแปลงจากลิงก์ PaperPile ที่จำกัดการเข้าถึงเป็นเวอร์ชันออนไลน์ที่เผยแพร่ต่อสาธารณะ หากเป็นไปได้