Model AI yang Dilatih dengan Data yang Bias Berdasarkan Jenis Kelamin Performa Lebih Buruk dalam Mendiagnosis Penyakit

Baru-baru ini, sebuah studi yang diterbitkan di jurnal PNAS dan dilakukan oleh peneliti dari Argentina, mengimplikasikan bahwa kehadiran data pelatihan yang bias berdasarkan jenis kelamin menyebabkan kinerja model yang lebih buruk dalam mendiagnosis penyakit dan masalah medis lainnya. Seperti yang dilaporkan oleh Statnews, tim peneliti melakukan eksperimen dengan melatih model di mana pasien perempuan secara signifikan underrepresented atau dikecualikan sepenuhnya, dan menemukan bahwa algoritma tersebut berkinerja jauh lebih buruk ketika mendiagnosis mereka. Hal yang sama juga berlaku untuk insiden di mana pasien laki-laki dikecualikan atau underrepresented.

Selama setengah dekade terakhir, sejak model AI dan pembelajaran mesin menjadi lebih umum, lebih banyak perhatian telah diberikan pada masalah dataset yang bias dan model pembelajaran mesin yang bias yang dihasilkannya. Bias data dalam pembelajaran mesin dapat menyebabkan aplikasi AI yang tidak nyaman, merusak secara sosial, dan eksklusif, tetapi ketika datang ke aplikasi medis, nyawa dapat berada di garis depan. Namun, meskipun pengetahuan tentang masalah ini, hanya sedikit studi yang telah mencoba untuk mengukur seberapa merusaknya dataset yang bias dapat. Studi yang dilakukan oleh tim peneliti menemukan bahwa bias data dapat memiliki efek yang lebih ekstrem daripada yang diperkirakan oleh banyak ahli.

Salah satu penggunaan paling populer untuk AI dalam konteks medis selama beberapa tahun terakhir adalah penggunaan model AI untuk mendiagnosis pasien berdasarkan gambar medis. Tim peneliti menganalisis model yang digunakan untuk mendeteksi kehadiran berbagai kondisi medis seperti pneumonia, cardiomegaly, atau hernia dari sinar-X. Tim peneliti mempelajari tiga arsitektur model sumber terbuka: Inception-v3, ResNet, dan DenseNet-121. Model-model tersebut dilatih pada sinar-X dada yang diambil dari dua dataset sumber terbuka yang berasal dari Universitas Stanford dan Institut Kesehatan Nasional. Meskipun dataset itu sendiri cukup seimbang dalam hal representasi jenis kelamin, peneliti secara artifisial membiaskan data dengan membaginya menjadi subset di mana ada ketidakseimbangan jenis kelamin.

Tim peneliti menciptakan lima dataset pelatihan yang berbeda, masing-masing terdiri dari rasio pasien laki-laki dan perempuan yang berbeda. Lima set pelatihan tersebut dibagi sebagai berikut:

• semua gambar adalah pasien laki-laki
• semua gambar adalah pasien perempuan
• 25% pasien laki-laki dan 75% pasien perempuan
• 75% pasien perempuan dan 25% pasien laki-laki
• setengah pasien laki-laki dan setengah pasien perempuan

Setelah model dilatih pada salah satu subset, maka diuji pada koleksi scan dari pasien laki-laki dan perempuan. Ada tren yang menonjol yang hadir di berbagai kondisi medis, yaitu akurasi model jauh lebih buruk ketika data pelatihan sangat bias berdasarkan jenis kelamin. Hal menarik untuk dicatat adalah bahwa jika satu jenis kelamin overrepresented dalam data pelatihan, jenis kelamin tersebut tidak tampaknya mendapat manfaat dari overrepresentasi. Tidak peduli apakah model dilatih pada data yang bias untuk satu jenis kelamin atau lainnya, tidak berkinerja lebih baik pada jenis kelamin tersebut dibandingkan dengan ketika dilatih pada dataset yang inklusif.

Penulis senior studi, Enzo Ferrante, dikutip oleh Statnews sebagai menjelaskan bahwa studi tersebut menekankan betapa pentingnya data pelatihan yang beragam dan representatif untuk semua populasi yang Anda rencanakan untuk menguji model.

Tidak sepenuhnya jelas mengapa model yang dilatih pada satu jenis kelamin cenderung berkinerja lebih buruk ketika diimplementasikan pada jenis kelamin lain. Beberapa perbedaan mungkin disebabkan oleh perbedaan fisiologis, tetapi berbagai faktor sosial dan budaya juga dapat menjelaskan beberapa perbedaan. Misalnya, perempuan mungkin cenderung menerima sinar-X pada tahap yang berbeda dalam perkembangan penyakit mereka dibandingkan dengan laki-laki. Jika ini benar, maka dapat mempengaruhi fitur (dan pola yang dipelajari oleh model) yang ditemukan dalam gambar pelatihan. Jika ini yang terjadi, maka membuatnya jauh lebih sulit bagi peneliti untuk menghilangkan bias dalam dataset mereka, karena bias tersebut sudah ada dalam dataset melalui mekanisme pengumpulan data.

Even peneliti yang memperhatikan keanekaragaman data kadang-kadang tidak memiliki pilihan lain kecuali bekerja dengan data yang bias atau tidak seimbang. Situasi di mana kesenjangan ada dalam cara mendiagnosis kondisi medis sering menyebabkan data yang tidak seimbang. Misalnya, data tentang pasien kanker payudara hampir seluruhnya dikumpulkan dari perempuan. Demikian pula, autisme menampakkan diri secara berbeda antara perempuan dan laki-laki, dan sebagai hasilnya, kondisi tersebut didiagnosis pada tingkat yang jauh lebih tinggi pada anak laki-laki daripada perempuan.

Meskipun demikian, sangat penting bagi peneliti untuk mengontrol data yang bias dan bias data dengan cara apa pun yang mereka bisa. Untuk itu, studi masa depan akan membantu peneliti untuk mengukur dampak dari data yang bias.