Kecerdasan Buatan Dapat Membantu Peneliti Menentukan Paper Mana yang Dapat Direplikasi, Bertujuan Mengatasi Krisis Reproduksi

Perhatian yang semakin meningkat dalam beberapa tahun terakhir telah diberikan kepada apa yang disebut oleh para sarjana dan peneliti sebagai krisis replikasi/reproduktivitas. Banyak studi hanya gagal memberikan hasil yang signifikan ketika replikasi dari studi tersebut dilakukan, dan sebagai hasilnya, komunitas ilmiah khawatir bahwa temuan sering kali dilebih-lebihkan. Masalah ini memengaruhi bidang yang sangat beragam seperti psikologi dan kecerdasan buatan. Ketika datang ke bidang kecerdasan buatan, banyak paper non-peer review dipublikasikan yang mengklaim hasil yang mengesankan yang tidak dapat direproduksi oleh peneliti lain. Untuk mengatasi masalah ini dan mengurangi jumlah studi yang tidak dapat direproduksi, peneliti telah merancang model kecerdasan buatan yang bertujuan menentukan paper mana yang dapat direplikasi.

Seperti dilaporkan oleh Fortune, sebuah paper baru yang dipublikasikan oleh tim peneliti dari Kellog School of Management dan Institute of Complex Systems di Northwestern University memperkenalkan model pembelajaran dalam yang dapat memprediksi studi mana yang kemungkinan dapat direproduksi, dan studi mana yang tidak. Jika sistem kecerdasan buatan dapat secara andal membedakan antara studi yang dapat direproduksi dan tidak dapat direproduksi, itu dapat membantu universitas, lembaga penelitian, perusahaan, dan entitas lain untuk menyaring ribuan paper penelitian untuk menentukan paper mana yang paling mungkin berguna dan dapat diandalkan.

Sistem kecerdasan buatan yang dikembangkan oleh tim Northwestern tidak menggunakan jenis bukti empiris/statistik yang biasanya digunakan oleh peneliti untuk menentukan validitas studi. Model tersebut sebenarnya menggunakan teknik pemrosesan bahasa alami untuk mencoba mengkuantifikasi keandalan sebuah paper. Sistem ini mengekstrak pola dalam bahasa yang digunakan oleh penulis paper, menemukan bahwa beberapa pola kata menunjukkan keandalan yang lebih besar daripada yang lain.

Tim peneliti mengambil inspirasi dari penelitian psikologi yang sudah ada sejak tahun 1960-an, yang menemukan bahwa orang sering mengkomunikasikan tingkat kepercayaan mereka dalam ide melalui kata-kata yang mereka gunakan. Berdasarkan ide ini, peneliti berpikir bahwa penulis paper mungkin tanpa sengaja menandai kepercayaan mereka dalam temuan penelitian ketika menulis paper mereka. Peneliti melakukan dua putaran pelatihan, menggunakan dataset yang berbeda. Awalnya, model tersebut dilatih pada sekitar dua juta abstrak dari paper ilmiah, sedangkan pada putaran kedua, model tersebut dilatih pada paper lengkap dari proyek yang bertujuan menentukan paper psikologi mana yang dapat direproduksi – Proyek Reproduktivitas: Psikologi.

Setelah pengujian, peneliti menerapkan model tersebut pada kumpulan ratusan paper lain, diambil dari berbagai bidang seperti psikologi dan ekonomi. Peneliti menemukan bahwa model mereka memberikan prediksi yang lebih andal tentang keandalan sebuah paper daripada teknik statistik yang biasanya digunakan untuk menentukan apakah hasil paper dapat direplikasi atau tidak.

Peneliti dan Profesor Kellog School of Management Brian Uzzi, menjelaskan kepada Fortune bahwa meskipun dia berharap model kecerdasan buatan dapat suatu hari nanti digunakan untuk membantu peneliti menentukan seberapa mungkin hasil dapat direproduksi, tim peneliti tidak yakin tentang pola dan detail yang dipelajari oleh model mereka. Fakta bahwa model pembelajaran mesin sering kali menjadi kotak hitam adalah masalah umum dalam penelitian kecerdasan buatan, tetapi fakta ini dapat membuat ilmuwan lain ragu untuk menggunakan model tersebut.

Uzzi menjelaskan bahwa tim peneliti berharap model tersebut dapat digunakan untuk mengatasi krisis coronavirus, membantu ilmuwan lebih cepat memahami virus dan menentukan hasil studi mana yang menjanjikan. Seperti yang dikatakan Uzzi kepada Fortune:

“Kami ingin mulai menerapkan ini pada isu COVID – isu saat ini di mana banyak hal menjadi longgar, dan kami perlu membangun pada fondasi kerja sebelumnya yang kuat. Tidak jelas apa kerja sebelumnya yang akan direplikasi atau tidak dan kami tidak memiliki waktu untuk replikasi.”

Uzzi dan peneliti lainnya berharap untuk meningkatkan model dengan menggunakan teknik pemrosesan bahasa alami lebih lanjut, termasuk teknik yang mereka ciptakan untuk menganalisis transkrip panggilan tentang pendapatan perusahaan. Tim peneliti telah membangun database sekitar 30.000 transkrip panggilan yang akan mereka analisis untuk mencari petunjuk. Jika tim dapat membangun model yang sukses, mereka mungkin dapat meyakinkan analis dan investor untuk menggunakan alat tersebut, yang dapat membuka jalan untuk penggunaan inovatif lain dari model dan tekniknya.