Tantangan AI Berbasis Kerumunan untuk Meningkatkan Analisis Mammogram Berakhir

Mammogram sangat penting untuk kesehatan wanita dan untuk mendeteksi gejala awal kanker payudara. Namun, mammogram memerlukan spesialis manusia untuk menafsirkannya, dan bahkan spesialis yang sangat terlatih dapat membuat kesalahan. Diperkirakan bahwa tingkat positif palsu mammogram sekitar 10% di Amerika Serikat. Untuk menciptakan sistem yang memberikan pembacaan mammogram yang lebih akurat, Digital Mammography (DM) Dream Challenge baru-baru ini membuat upaya berbasis kerumunan untuk mengembangkan algoritma pembacaan mammogram baru

Seperti yang dilaporkan oleh PhysicsWorld, teknik penglihatan komputer dan algoritma pembelajaran dalam telah menjadi lebih canggih selama beberapa tahun terakhir, peneliti dan insinyur beralih ke penggunaan AI untuk menafsirkan mammogram, dengan tujuan untuk meningkatkan akurasi. Digital Mammography (DM) Dream Challenge meluncurkan kompetisi untuk menyelidiki penggunaan algoritma AI dalam mengenali tanda-tanda kemungkinan kanker payudara.

DM Dream challenge adalah studi terbesar tentang algoritma pembelajaran dalam mengenai interpretasi mammografi hingga saat ini. Justin Guinney, presiden DREAM challenges, menjelaskan bahwa alasan di balik tantangan ini adalah karena memungkinkan penilaian terstruktur dari puluhan model pembelajaran dalam pada dua basis data yang berbeda. Peserta dalam tantangan ini diminta untuk merancang algoritma yang dapat dilatih pada data mammografi dan mengeluarkan skor probabilitas bahwa pasien akan didiagnosis dengan kanker payudara dalam waktu satu tahun. Ada juga kondisi tantangan sekunder. Dalam tugas kedua, algoritma diperbolehkan dilatih pada informasi tambahan seperti data risiko demografi, data klinis, dan gambar yang dikumpulkan dari pemeriksaan sebelumnya.

Ada dua dataset yang digunakan untuk melatih model. Dataset pertama adalah dataset Kaiser Permanente Washington (KPW), yang disusun oleh peneliti dari Amerika Serikat. Sementara itu, dataset kedua disusun oleh peneliti Swedia di Karolinska Institute (KI).

Lebih dari 1100 peserta bergabung dalam tantangan ini, dibagi menjadi 126 tim yang berbeda dan terdiri dari orang-orang dari seluruh dunia. Selama bagian pertama tantangan, model-model tersebut dilatih menggunakan dataset KPW, yang mencakup gambar dari lebih dari 140.000 pemeriksaan. Ketika dibandingkan dengan hasil tantangan kedua, ditemukan bahwa akses ke fitur tambahan seperti data klinis tidak meningkatkan kekuatan diskriminatif algoritma. Namun, tim DM Dream menyarankan bahwa pengembangan algoritma di masa depan harus mencakup analisis gambar sebelumnya untuk pasien, dengan asumsi bahwa peserta mungkin tidak sepenuhnya memanfaatkan data.

Menurut Health IT Analytics, tim DR Dream ingin memiliki delapan tim terbaik berkolaborasi dan merancang model klasifikasi ensemble, untuk melihat apakah model ini dapat mengungguli model individu. Koordinator tantangan kemudian menggunakan agregasi terbobot dari prediksi algoritma yang berbeda, menciptakan Model Ensemble Tantangan (CEM). Prediksi probabilistik model CEM dibandingkan dengan interpretasi radiolog, yang dievaluasi menggunakan spesifisitas. Radiolog mencapai spesifisitas 90,5%, sedangkan model CEM hanya mencapai spesifisitas 76,1%. Meskipun hasilnya tampak mengecewakan, ketika tebakan model CEM dan interpretasi radiolog digabungkan menjadi model lain (CEM+R), spesifisitas meningkat menjadi 92%.

Hasil yang sama diperoleh pada dataset uji KI, yang digunakan secara eksklusif untuk memvalidasi model, yang berisi gambar dari lebih dari 166.000 pemeriksaan. Dengan model CEM sedikit lebih rendah daripada radiolog (92,5% spesifisitas dibandingkan dengan 96,7% spesifisitas), tetapi CEM+R mencapai hasil yang lebih baik (98,5% spesifisitas).

Meskipun tidak ada model individu yang dapat mengungguli spesialis manusia, model CEM+R melihat sedikit keunggulan dibandingkan dengan interpretasi radiolog saja. Mungkin kombinasi intuisi manusia dengan asisten AI dapat meningkatkan akurasi.