Pembuluh Darah Retina Mengungkap Ras, Membuka Cakupan Lebih Luas untuk Bias Ras AI

Terinspirasi oleh penemuan baru bahwa penggunaan AI dalam pengambilan gambar medis dapat mengungkap ras, sebuah konsorsium penelitian di AS dan Inggris telah melakukan penelitian untuk mengetahui apakah pola pembuluh darah retina dapat mengindikasikan ras, dan telah menyimpulkan bahwa hal ini memang benar, dengan AI dapat memprediksi ras yang dilaporkan oleh orang tua pada bayi dari gambar retina – gambar yang tidak akan mengungkap identitas rasial kepada seorang dokter yang mempelajari mereka, dan yang sebelumnya dianggap tidak mengandung informasi yang dapat mengungkap ras.

Kelompok ini telah mengungkapkan kekhawatiran bahwa vektor tambahan stratifikasi rasial dalam penggunaan gambar medis ini membuka kemungkinan untuk meningkatkan bias dalam penggunaan sistem AI dalam perawatan kesehatan.

Gambar retina dari subjek hitam dan putih. Di atas, gambar retina penuh warna dari setiap ras sudah memiliki fitur yang dapat membedakan ras terkait disposisi warna. Di bawah, Peta Pembuluh Darah Retina yang dihasilkan dari gambar-gambar ini, yang seharusnya ‘menghilangkan’ tanda-tanda ras, sebenarnya mengandung karakteristik yang dapat mengidentifikasi ras, menurut laporan baru. Sumber: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Penulis lebih lanjut mencatat kemungkinan bahwa U-Net, kerangka kerja pembelajaran mesin yang telah menjadi definisi sektor ini dari sistem perawatan kesehatan berbasis AI, dan yang telah dilatih pada subjek putih yang dominan*, mungkin memiliki pengaruh pada fenomena yang diamati. Namun, penulis menyatakan bahwa mereka ‘belum dapat menjelaskan temuan ini berdasarkan hipotesis U-Net saja’.

Dalam mengomentari temuan di repositori GitHub yang terkait dengan proyek ini, penulis menyatakan:

‘AI dapat mendeteksi ras dari Peta Pembuluh Darah Retina yang tidak dianggap mengandung informasi rasial. Dua penjelasan potensial untuk temuan ini adalah bahwa: pembuluh darah retina secara fisiologis berbeda antara bayi hitam dan putih atau U-Net membagi pembuluh darah retina secara berbeda untuk berbagai pigmentasi fundus.

‘…Namun, implikasinya tetap sama: algoritma AI memiliki potensi untuk menunjukkan bias rasial dalam praktik, bahkan ketika upaya awal untuk menghilangkan informasi tersebut dari gambar yang mendasarinya tampaknya berhasil.’

Makalah ini berjudul Tidak Buta Warna: AI Memprediksi Identitas Ras dari Segementasi Pembuluh Darah Retina Hitam dan Putih, dan merupakan kolaborasi sama antara dokter dan peneliti dari lima lembaga dan departemen penelitian di AS, dan satu di Inggris.

Dokter yang berpartisipasi dalam konsorsium penelitian ini termasuk R.V. Paul Chan, MD, MSc, FACS, yang bersertifikat dalam oftalmologi, dan felo dari American College of Surgeons; Michael F. Chiang, M.D., Direktur National Eye Institute di National Institutes of Health di Bethesda, Maryland; dan J. Peter Campbell M.D., M.P.H., Asisten Profesor Oftalmologi di Sekolah Kedokteran Oregon Health & Science University di Portland.

Mata Memiliki Semuanya

Makalah tersebut mencatat potensi yang telah terbukti sebelumnya untuk bias manusia yang dapat berlanjut ke sistem medis AI, tidak hanya dalam penelitian mata*. Gambar Retina Fundus (RFI, lihat perbandingan gambar di atas), yang digunakan dalam mengevaluasi penyakit mata, adalah gambar berwarna penuh yang mengandung cukup informasi pigmen untuk mengidentifikasi ras.

Gambar Peta Pembuluh Darah Retina (RVM) membuang sebagian besar informasi ini untuk mengekstrak pola dasar kapiler yang kemungkinan besar mendefinisikan banyak kondisi penyakit. Selalu dianggap, pada tingkat destilasi ini, bahwa tidak ada karakteristik rasial yang tersisa dalam gambar medis reduktif seperti itu.

Penulis telah menguji asumsi ini dengan menggunakan dataset RFI (gambar retina berwarna penuh) yang diperoleh dari bayi yang diskrining untuk penyakit yang dapat menyebabkan kebutaan. Penyaringan untuk gambar-gambar tersebut, penulis mencatat, semakin banyak dilakukan di luar konsultasi pribadi, dalam telemedicine dan konteks diagnosis jarak jauh lainnya, dan semakin banyak menjadi subjek analisis pembelajaran mesin.

Penelitian baru ini mengeksaminasi apakah berbagai jenis gambar reduktif dari gambar berwarna penuh yang mengidentifikasi ras masih mengandung informasi rasial, seperti yang dilaporkan oleh orang tua bayi, dan telah menemukan bahwa bahkan distilasi RFI yang paling destruktif (dibatasi, diskeletonkan, dan dibinarisasi) memungkinkan beberapa tingkat identifikasi ras.

Data dan Metodologi

Data dari 245 bayi, dikumpulkan antara Januari 2012 dan Juli 2020 sebagai bagian dari studi kohort i-ROP multicenter, dibagi menjadi dataset pelatihan, validasi, dan pengujian pada basis 50/20/30, masing-masing, dengan distribusi ras alami yang dipertahankan sebaik mungkin.

Gambar RFI berwarna penuh direduksi menjadi tiga gaya pengurangan yang disebutkan sebelumnya, sehingga ‘tanda-tanda rasial yang jelas’ seharusnya secara teknis telah dihilangkan dari data.

Banyak Jaringan Saraf Konvolusional (CNN) dilatih untuk mencapai klasifikasi biner (‘hitam’/’putih’, berdasarkan ras yang dilaporkan oleh orang tua) menggunakan PyTorch. CNN menjalankan data melintasi semua versi gambar, dari RFI hingga versi yang diskeletonkan, menerapkan flip dan rotasi acak, dengan gambar yang dihasilkan memiliki resolusi 224×244 piksel.

Model-model ini dilatih dengan gradien stokastik untuk hingga sepuluh epoch dengan tingkat pembelajaran konstan 0,001, dan pemberhentian dini diimplementasikan dan pelatihan dihentikan di mana konvergensi yang dirasakan teridentifikasi setelah lima epoch (yaitu, model tidak akan menjadi lebih akurat dengan pelatihan lebih lanjut).

Karena ada ketidakseimbangan demografis alami antara subjek putih dan hitam, kompensasi diterapkan untuk memastikan bahwa sumber minoritas tidak secara sistematis didiskontkan sebagai outlier, dan hasilnya diperiksa untuk memverifikasi bahwa tidak ada kebocoran data yang terjadi di seluruh eksperimen.

Contoh peta pembuluh darah retina dari penelitian pada berbagai tingkat toleransi ambang.

Hasil

Peta Pembuluh Darah Retina (RVM), yang mengekstrak vena dan kapiler dari gambar RFI berwarna penuh, seharusnya tidak dapat dibedakan oleh CNN, menurut penulis. Namun, hasilnya menunjukkan bahwa jumlah arteri utama yang lebih besar disegmentasi oleh U-Net untuk mata putih daripada mata hitam.

Dalam komentar penutup, peneliti mengamati ‘Kami menemukan bahwa AI dapat dengan mudah memprediksi ras bayi dari segementasi pembuluh darah retina yang tidak mengandung informasi yang terlihat tentang pigmen‘, dan bahwa ‘bahkan gambar yang tampaknya tidak mengandung informasi bagi mata telanjang masih mengandung informasi prediktif tentang ras bayi asli’. Peneliti lebih lanjut menawarkan kemungkinan bahwa pembuluh darah retina dari bayi hitam dan putih berbeda ‘dalam beberapa cara yang dapat dihargai oleh AI, tetapi tidak oleh manusia’.

Prior Bias?

Penulis juga menyarankan bahwa diskriminasi ini dapat menjadi fungsi dari data yang dominan putih yang digunakan untuk melatih U-Net. Meskipun mereka menggambarkannya sebagai ‘teori utama’ mereka, mereka juga mengakui bahwa kemampuan sensor penangkap mungkin menjadi faktor dalam fenomena ini, jika ternyata bias yang ditemukan adalah akibat dari aspek teknis dari praktik pengambilan gambar retina, atau bias data dalam U-Net yang memperbarui diri selama bertahun-tahun. Dalam mengatasi kemungkinan ini, makalah tersebut menyatakan:

‘Namun, U-Net dilatih pada RFI yang pertama kali diubah menjadi gambar grayscale dan dikenakan penyesuaian kontras — khususnya, equalisasi histogram kontras terbatas (CLAHE) — dan oleh karena itu tidak pernah benar-benar dilatih pada RFI berwarna. Oleh karena itu, kami belum dapat menjelaskan temuan ini berdasarkan hipotesis U-Net saja.’

Namun, penulis menyatakan bahwa penyebabnya kurang mengkhawatirkan daripada efeknya, dengan menyatakan bahwa kemampuan model AI untuk membedakan ras mengandung ‘risiko bias dalam algoritma AI medis yang menggunakan mereka sebagai input’.

Penulis menunjukkan sifat kontras tinggi dari ras yang dipelajari, dan mempostulatkan bahwa ‘kelompok rasial intermediate’ mungkin lebih sulit untuk diidentifikasi dengan cara yang sama, dan bahwa ini adalah aspek yang mereka ingin pelajari dalam karya yang sedang berlangsung dan terkait.

* Semua tautan pendukung yang disediakan oleh makalah yang termasuk dalam artikel ini telah diubah dari tautan PaperPile dengan akses terbatas ke versi online yang tersedia secara umum, jika memungkinkan.