Ilmuwan Internasional Menyerukan Lebih Banyak Transparansi dalam Penelitian AI

Sebuah kelompok ilmuwan internasional yang berasal dari berbagai institusi termasuk Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health, dan Massachusetts Institute of Technology menyerukan lebih banyak transparansi dalam penelitian kecerdasan buatan (AI). Gaya besar di balik seruan ini adalah untuk membebaskan temuan penting yang dapat membantu mempercepat pengobatan kanker berdasarkan penelitian. 

Artikel yang dimana ilmuwan menyerukan jurnal ilmiah untuk meningkatkan standar mereka ketika datang ke transparansi di antara peneliti komputasi diterbitkan di Nature pada 14 Oktober 2020. Kelompok juga mengadvokasi bahwa rekan-rekan mereka harus melepaskan kode, model, dan lingkungan komputasi dalam publikasi. 

Makalah itu berjudul “Transparansi dan reproducibility dalam kecerdasan buatan.” 

Melepaskan Detail Studi AI

Dr. Benjamin Haibe-Kains adalah Ilmuwan Senior di Princess Margaret Cancer Centre dan penulis pertama dari publikasi. 

“Kemajuan ilmiah bergantung pada kemampuan peneliti untuk menyelidiki hasil studi dan mereproduksi temuan utama untuk belajar,” kata Dr. Haibe-Kains. “Tapi dalam penelitian komputasi, itu belum menjadi kriteria yang luas untuk detail studi AI yang sepenuhnya dapat diakses. Ini merugikan kemajuan kita.” 

Kekhawatiran muncul setelah studi Google Health yang diterbitkan oleh McKinney et al. di jurnal ilmiah utama pada 2020, di mana diklaim bahwa sistem AI dapat mengungguli radiolog manusia dalam kekuatan dan kecepatan dalam skrining kanker payudara. Studi ini mendapat banyak perhatian media di berbagai publikasi terkemuka. 

Ketidakmampuan untuk Mereproduksi Model

Salah satu kekhawatiran utama yang muncul setelah studi adalah bahwa itu tidak menjelaskan metode yang digunakan, serta kode dan model. Kekurangan transparansi ini berarti peneliti tidak dapat belajar bagaimana model beroperasi, sehingga model tidak dapat digunakan oleh lembaga lain. 

“Di atas kertas dan dalam teori, studi McKinney et al. itu indah,” kata Dr. Haibe-Kains. “Tapi jika kita tidak bisa belajar dari itu maka itu memiliki sedikit atau tidak ada nilai ilmiah.”

Dr. Haibe-Kains ditunjuk bersama sebagai Profesor Asosiasi di Medical Biophysics di University of Toronto. Ia juga merupakan afiliasi di Vector Institute for Artificial Intelligence. 

“Peneliti lebih termotivasi untuk menerbitkan temuan mereka daripada menghabiskan waktu dan sumber daya untuk memastikan studi mereka dapat direplikasi,” kata Dr. Haibe-Kains. “Jurnal rentan terhadap ‘hype’ AI dan mungkin menurunkan standar untuk menerima makalah yang tidak termasuk semua bahan yang diperlukan untuk membuat studi yang dapat direproduksi — seringkali bertentangan dengan pedoman mereka sendiri.”

Lingkungan ini berarti model AI bisa membutuhkan waktu lebih lama untuk mencapai pengaturan klinis, dan model tidak dapat direplikasi atau dipelajari oleh peneliti. 

Kelompok peneliti mengusulkan berbagai kerangka dan platform untuk memperbaiki masalah ini dan memungkinkan metode untuk dibagikan. 

“Kami memiliki harapan besar untuk utilitas AI bagi pasien kanker kami,” kata Dr. Haibe-Kains. “Berbagi dan membangun atas penemuan kami — itu dampak ilmiah yang nyata.”