Kecerdasan Buatan Dapat Membantu Peneliti Menentukan Mana Naskah yang Dapat Direplikasi, Bertujuan Mengatasi Krisis Reproduksi

Perhatian yang lebih besar telah diberikan dalam beberapa tahun terakhir pada apa yang disebut oleh para sarjana dan peneliti sebagai krisis replikasi/reproduktivitas. Banyak studi gagal memberikan hasil yang sama ketika replikasi dari studi tersebut dilakukan, dan sebagai hasilnya, komunitas ilmiah khawatir bahwa temuan sering kali dilebih-lebihkan. Masalah ini memengaruhi bidang yang sangat beragam seperti psikologi dan kecerdasan buatan. Ketika datang ke bidang kecerdasan buatan, banyak makalah non-peer review dipublikasikan yang mengklaim hasil yang mengesankan yang tidak dapat direproduksi oleh peneliti lain. Untuk mengatasi masalah ini dan mengurangi jumlah studi yang tidak dapat direproduksi, peneliti telah merancang model kecerdasan buatan yang bertujuan untuk menentukan mana naskah yang dapat direplikasi.

Seperti yang dilaporkan oleh Fortune, sebuah makalah baru yang dipublikasikan oleh tim peneliti dari Kellog School of Management dan Institute of Complex Systems di Northwestern University memperkenalkan model pembelajaran dalam yang dapat menentukan mana studi yang kemungkinan besar dapat direproduksi, dan mana yang tidak. Jika sistem kecerdasan buatan dapat membedakan dengan andal antara studi yang dapat direproduksi dan tidak dapat direproduksi, maka dapat membantu universitas, lembaga penelitian, perusahaan, dan entitas lain untuk menyaring ribuan makalah penelitian untuk menentukan mana naskah yang paling mungkin berguna dan dapat diandalkan.

Sistem kecerdasan buatan yang dikembangkan oleh tim Northwestern tidak menggunakan jenis bukti empiris/statistik yang biasanya digunakan oleh peneliti untuk menentukan validitas studi. Model tersebut sebenarnya menggunakan teknik pemrosesan bahasa alami untuk mencoba mengukur keandalan sebuah makalah. Sistem ini mengekstrak pola dalam bahasa yang digunakan oleh penulis makalah, menemukan bahwa beberapa pola kata menunjukkan keandalan yang lebih besar daripada yang lain.

Tim peneliti mengambil inspirasi dari penelitian psikologi yang sudah ada sejak tahun 1960-an, yang menemukan bahwa orang sering mengkomunikasikan tingkat kepercayaan mereka dalam ide-ide mereka melalui kata-kata yang mereka gunakan. Berdasarkan ide ini, peneliti berpikir bahwa penulis makalah mungkin tidak sengaja menandakan kepercayaan mereka dalam temuan penelitian mereka ketika menulis makalah. Peneliti melakukan dua putaran pelatihan, menggunakan dataset yang berbeda. Awalnya, model tersebut dilatih pada sekitar dua juta abstrak dari makalah ilmiah, sedangkan pada putaran kedua, model tersebut dilatih pada makalah lengkap dari proyek yang bertujuan untuk menentukan mana makalah psikologi yang dapat direproduksi – Proyek Reproduktivitas: Psikologi.

Setelah pengujian, peneliti menerapkan model pada koleksi ratusan makalah lain, diambil dari berbagai bidang seperti psikologi dan ekonomi. Peneliti menemukan bahwa model mereka memberikan prediksi yang lebih andal tentang keandalan sebuah makalah daripada teknik statistik yang biasanya digunakan untuk menentukan apakah hasil sebuah makalah dapat direproduksi.

Peneliti dan Profesor Brian Uzzi dari Kellog School of Management menjelaskan kepada Fortune bahwa meskipun dia berharap model kecerdasan buatan dapat suatu hari nanti digunakan untuk membantu peneliti menentukan seberapa mungkin hasil dapat direproduksi, tim peneliti tidak yakin tentang pola dan detail yang dipelajari oleh model mereka. Fakta bahwa model pembelajaran mesin sering kali merupakan “black box” adalah masalah umum dalam penelitian kecerdasan buatan, tetapi fakta ini dapat membuat ilmuwan lain ragu untuk menggunakan model tersebut.

Uzzi menjelaskan bahwa tim peneliti berharap model tersebut dapat digunakan untuk mengatasi krisis coronavirus, membantu ilmuwan lebih cepat memahami virus dan menentukan mana hasil studi yang menjanjikan. Seperti yang dikatakan Uzzi kepada Fortune:

“Kami ingin mulai menerapkan ini pada masalah COVID – masalah yang saat ini banyak hal menjadi longgar, dan kami perlu membangun pada fondasi pekerjaan sebelumnya yang kuat. Tidak jelas apa pekerjaan sebelumnya yang akan direproduksi atau tidak dan kami tidak memiliki waktu untuk replikasi.”

Uzzi dan peneliti lainnya berharap untuk meningkatkan model dengan menggunakan teknik pemrosesan bahasa alami lebih lanjut, termasuk teknik yang mereka ciptakan untuk menganalisis transkrip panggilan tentang pendapatan perusahaan. Tim peneliti telah membangun database sekitar 30.000 transkrip panggilan yang akan mereka analisis untuk mencari petunjuk. Jika tim dapat membangun model yang sukses, mereka mungkin dapat meyakinkan analis dan investor untuk menggunakan alat tersebut, yang dapat membuka jalan bagi penggunaan inovatif lain untuk model dan tekniknya.