Model AI yang Dilatih dengan Data yang Bias Seksual Mempunyai Kinerja yang Lebih Buruk dalam Mendiagnosis Penyakit

Baru-baru ini, sebuah studi yang diterbitkan di jurnal PNAS dan dilakukan oleh peneliti dari Argentina, mengimplikasikan bahwa kehadiran data pelatihan yang miring seksual menyebabkan kinerja model yang lebih buruk saat mendiagnosis penyakit dan masalah medis lainnya. Seperti yang dilaporkan oleh Statsnews, tim peneliti melakukan eksperimen dengan melatih model di mana pasien perempuan secara signifikan underrepresented atau dikeluarkan sepenuhnya, dan menemukan bahwa algoritma tersebut memiliki kinerja yang jauh lebih buruk saat mendiagnosis mereka. Hal yang sama juga berlaku untuk insiden di mana pasien laki-laki dikeluarkan atau underrepresented.

Selama setengah dekade terakhir, saat model AI dan pembelajaran mesin menjadi lebih umum, lebih banyak perhatian telah diberikan pada masalah dataset yang bias dan model pembelajaran mesin yang bias yang dihasilkan dari mereka. Bias data dalam pembelajaran mesin dapat menyebabkan aplikasi AI yang canggung, merusak secara sosial, dan eksklusif, tetapi ketika datang ke aplikasi medis, nyawa dapat berada di garis depan. Namun, meskipun pengetahuan tentang masalah tersebut, hanya sedikit studi yang mencoba untuk mengukur seberapa besar kerusakan yang dapat disebabkan oleh dataset yang bias. Studi yang dilakukan oleh tim peneliti menemukan bahwa bias data dapat memiliki efek yang lebih ekstrem daripada yang diperkirakan oleh banyak ahli sebelumnya.

Salah satu penggunaan paling populer untuk AI dalam beberapa tahun terakhir, dalam konteks medis, adalah penggunaan model AI untuk mendiagnosis pasien berdasarkan gambar medis. Tim peneliti menganalisis model yang digunakan untuk mendeteksi kehadiran berbagai kondisi medis seperti pneumonia, cardiomegaly, atau hernia dari X-ray. Tim peneliti mempelajari tiga arsitektur model sumber terbuka: Inception-v3, ResNet, dan DenseNet-121. Model-model tersebut dilatih pada X-ray dada yang diambil dari dua dataset sumber terbuka yang berasal dari Stanford University dan National Institutes of Health. Meskipun dataset itu sendiri cukup seimbang dalam hal representasi seks, peneliti secara artifisial memiringkan data dengan memecahnya menjadi subset di mana ada ketidakseimbangan seks.

Tim peneliti membuat lima dataset pelatihan yang berbeda, masing-masing terdiri dari rasio yang berbeda dari scan pasien laki-laki dan perempuan. Lima set pelatihan tersebut dibagi sebagai berikut:

• Semua gambar adalah pasien laki-laki
• Semua gambar adalah pasien perempuan
• 25% pasien laki-laki dan 75% pasien perempuan
• 75% pasien perempuan dan 25% pasien laki-laki
• Setengah pasien laki-laki dan setengah pasien perempuan

Setelah model dilatih pada salah satu subset, itu diuji pada koleksi scan dari pasien laki-laki dan perempuan. Ada tren yang cukup jelas yang hadir di berbagai kondisi medis, akurasi model jauh lebih buruk ketika data pelatihan secara signifikan miring seks. Hal yang menarik untuk dicatat adalah bahwa jika satu seks overrepresented dalam data pelatihan, seks tersebut tidak tampaknya mendapat manfaat dari overrepresentasi. Tidak peduli apakah model dilatih pada data yang miring untuk satu seks atau lainnya, itu tidak berkinerja lebih baik pada seks tersebut dibandingkan dengan ketika dilatih pada dataset yang inklusif.

Penulis senior dari studi, Enzo Ferrante, dikutip oleh Statnews sebagai menjelaskan bahwa studi tersebut menekankan seberapa pentingnya data pelatihan yang beragam dan representatif untuk semua populasi yang Anda rencanakan untuk menguji model.

Tidak sepenuhnya jelas mengapa model yang dilatih pada satu seks cenderung berkinerja lebih buruk saat diimplementasikan pada seks lain. Beberapa perbedaan mungkin disebabkan oleh perbedaan fisiologis, tetapi berbagai faktor sosial dan budaya juga dapat menjelaskan beberapa perbedaan. Misalnya, perempuan mungkin cenderung menerima X-ray pada tahap yang berbeda dalam perkembangan penyakit mereka dibandingkan dengan laki-laki. Jika ini benar, itu dapat memengaruhi fitur (dan pola yang dipelajari oleh model) yang ditemukan dalam gambar pelatihan. Jika ini masalahnya, itu membuatnya jauh lebih sulit bagi peneliti untuk menghilangkan bias dari dataset mereka, karena bias tersebut sudah ada dalam dataset melalui mekanisme pengumpulan data.

Bahkan peneliti yang memperhatikan keanekaragaman data terkadang tidak memiliki pilihan lain selain bekerja dengan data yang miring atau bias. Situasi di mana kesenjangan ada antara bagaimana kondisi medis didiagnosis sering menyebabkan data yang tidak seimbang. Misalnya, data tentang pasien kanker payudara hampir seluruhnya dikumpulkan dari perempuan. Demikian pula, autisme manifestasi berbeda antara perempuan dan laki-laki, dan sebagai hasilnya, kondisi tersebut didiagnosis pada tingkat yang jauh lebih tinggi pada anak laki-laki daripada anak perempuan.

Namun, sangat penting bagi peneliti untuk mengontrol data yang miring dan bias data dengan cara apa pun yang mereka bisa. Untuk itu, studi masa depan akan membantu peneliti mengukur dampak dari data yang bias.