Ilmuwan Internasional Menyerukan Lebih Banyak Transparansi dalam Penelitian AI

Sebuah kelompok ilmuwan internasional dari berbagai institusi, termasuk Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health, dan Massachusetts Institute of Technology, menyerukan lebih banyak transparansi dalam penelitian kecerdasan buatan (AI). Gaya besar di balik seruan ini adalah untuk membebaskan temuan penting yang dapat membantu mempercepat pengobatan kanker berdasarkan penelitian.

Artikel yang memuat seruan ilmuwan kepada jurnal ilmiah untuk meningkatkan standar transparansi di antara peneliti komputasi diterbitkan di Nature pada 14 Oktober 2020. Kelompok ini juga mengadvokasi agar rekan-rekan mereka melepaskan kode, model, dan lingkungan komputasi dalam publikasi.

Makalah itu berjudul “Transparansi dan Reproduksibilitas dalam Kecerdasan Buatan.”

Melepaskan Detail Studi AI

Dr. Benjamin Haibe-Kains adalah Ilmuwan Senior di Princess Margaret Cancer Centre dan penulis utama publikasi ini.

“Kemajuan ilmiah bergantung pada kemampuan peneliti untuk memeriksa hasil studi dan mereproduksi temuan utama untuk belajar,” kata Dr. Haibe-Kains. “Tapi dalam penelitian komputasi, belum menjadi kriteria yang luas untuk detail studi AI menjadi sepenuhnya dapat diakses. Ini merugikan kemajuan kita.”

Kekhawatiran muncul setelah sebuah studi Google (GOOGL ) Health yang diterbitkan oleh McKinney et al. di sebuah jurnal ilmiah utama pada 2020, yang mengklaim bahwa sistem AI dapat mengungguli radiolog manusia dalam ketahanan dan kecepatan dalam skrining kanker payudara. Studi ini mendapat banyak perhatian media di berbagai publikasi terkemuka.

Ketidakmampuan untuk Mereproduksi Model

Salah satu kekhawatiran utama yang muncul setelah studi ini adalah bahwa metode yang digunakan, serta kode dan model, tidak dijelaskan secara menyeluruh. Kekurangan transparansi ini berarti peneliti tidak dapat memahami bagaimana model bekerja, sehingga model tidak dapat digunakan oleh lembaga lain.

“Di atas kertas dan secara teori, studi McKinney et al. sangat indah,” kata Dr. Haibe-Kains. “Tapi jika kita tidak bisa belajar darinya, maka itu memiliki nilai ilmiah yang sangat kecil.”

Dr. Haibe-Kains juga ditunjuk sebagai Profesor Asosiasi di Bidang Biofisika Medis di University of Toronto. Ia juga merupakan afiliasi di Vector Institute for Artificial Intelligence.

“Peneliti lebih termotivasi untuk menerbitkan temuan mereka daripada menghabiskan waktu dan sumber daya untuk memastikan studi mereka dapat direproduksi,” lanjut Dr. Haibe-Kains. “Jurnal rentan terhadap ‘hype’ AI dan mungkin menurunkan standar untuk menerima makalah yang tidak menyertakan semua bahan yang diperlukan untuk membuat studi dapat direproduksi — seringkali bertentangan dengan pedoman mereka sendiri.”

Lingkungan ini berarti model AI dapat membutuhkan waktu lebih lama untuk mencapai pengaturan klinis, dan model tidak dapat direproduksi atau dipelajari oleh peneliti.

Kelompok peneliti mengusulkan berbagai kerangka kerja dan platform untuk memperbaiki masalah ini dan memungkinkan metode untuk dibagikan.

“Kami memiliki harapan besar untuk utilitas AI bagi pasien kanker kami,” kata Dr. Haibe-Kains. “Berbagi dan membangun atas penemuan kami — itu adalah dampak ilmiah yang nyata.”