AI sebagai Peneliti: Paper Penelitian Pertama yang Ditinjau Sejawat Tanpa Campur Tangan Manusia

Kecerdasan buatan telah menyeberangi tonggak penting lainnya yang menantang pemahaman kita tentang apa yang dapat dicapai mesin secara mandiri. Untuk pertama kalinya dalam sejarah ilmiah, sistem AI telah menulis paper penelitian lengkap yang lulus tinjauan sejawat di konferensi akademis tanpa bantuan manusia dalam proses penulisan. Pencapaian ini dapat menjadi perubahan mendasar dalam cara penelitian ilmiah dilakukan di masa depan.

Prestasi Bersejarah

Paper yang dihasilkan oleh AI Scientist-v2 lulus proses tinjauan sejawat di workshop konferensi AI internasional terkemuka. Penelitian ini dikirimkan ke ICLR 2025, yang merupakan salah satu tempat paling bergengsi dalam pembelajaran mesin. Paper ini dihasilkan oleh versi yang ditingkatkan dari AI Scientist asli, yang disebut AI Scientist-v2.

Paper yang diterima, berjudul “Compositional Regularization: Hambatan Tak Terduga dalam Meningkatkan Generalisasi Jaringan Neural“, menerima skor yang mengesankan dari para peninjau manusia. Dari tiga paper yang dikirimkan untuk ditinjau, satu paper menerima peringkat yang meletakkan di atas ambang penerimaan. Pencapaian ini merupakan kemajuan signifikan karena AI sekarang dapat berpartisipasi dalam proses penemuan ilmiah yang telah menjadi eksklusif manusia selama berabad-abad.

Tim peneliti dari Sakana AI, bekerja sama dengan kolaborator dari University of British Columbia dan University of Oxford, melakukan eksperimen ini. Mereka menerima persetujuan dari dewan tinjauan institusional dan bekerja langsung dengan penyelenggara konferensi ICLR untuk memastikan bahwa eksperimen ini mengikuti protokol ilmiah yang tepat.

Bagaimana AI Scientist-v2 Bekerja

AI Scientist-v2 telah mencapai kesuksesan ini karena beberapa kemajuan besar atas pendahulunya. Tidak seperti pendahulunya, AI Scientist-v2 menghilangkan kebutuhan akan template kode yang ditulis oleh manusia, dapat bekerja di berbagai domain pembelajaran mesin, dan menggunakan metode pencarian pohon untuk menjelajahi beberapa jalur penelitian secara bersamaan.

Sistem ini bekerja melalui proses ujung-ke-ujung yang meniru cara kerja peneliti manusia. Sistem ini memulai dengan merumuskan hipotesis ilmiah berdasarkan domain penelitian yang ditugaskan untuk dijelajahi. AI kemudian merancang eksperimen untuk menguji hipotesis ini, menulis kode yang diperlukan untuk melakukan eksperimen, dan menjalankannya secara otomatis.

Apa yang membuat sistem ini sangat maju adalah penggunaan metode pencarian pohon agen. Pendekatan ini memungkinkan AI untuk menjelajahi beberapa arah penelitian secara bersamaan, seperti halnya peneliti manusia mungkin mempertimbangkan beberapa pendekatan untuk memecahkan masalah. Ini melibatkan menjalankan eksperimen melalui pencarian pohon agen, menganalisis hasil, dan menghasilkan draf paper. Seorang manajer eksperimen khusus mengkoordinasikan seluruh proses ini untuk memastikan bahwa penelitian tetap fokus dan produktif.

Sistem ini juga mencakup komponen peninjau AI yang ditingkatkan yang menggunakan model bahasa visi untuk memberikan umpan balik pada konten dan presentasi visual temuan penelitian. Ini menciptakan proses penyempurnaan iteratif di mana AI dapat memperbaiki pekerjaannya sendiri berdasarkan umpan balik, serupa dengan cara peneliti manusia memperbaiki naskah mereka berdasarkan masukan rekan.

Apa yang Membuat Paper Penelitian Ini Spesial

Paper yang diterima ini berfokus pada masalah yang menantang dalam pembelajaran mesin yang disebut generalisasi komposisi. Ini merujuk pada kemampuan jaringan neural untuk memahami dan menerapkan konsep yang dipelajari dalam kombinasi baru yang belum pernah mereka lihat sebelumnya. AI Scientist-v2 menyelidiki metode regulasi baru yang mungkin dapat meningkatkan kemampuan ini.

Menariknya, paper ini juga melaporkan hasil negatif. AI menemukan bahwa beberapa pendekatan yang dihipotesiskan akan meningkatkan kinerja jaringan neural sebenarnya menciptakan hambatan tak terduga. Dalam ilmu pengetahuan, hasil negatif sangat berharga karena mencegah peneliti lain untuk mengikuti jalur yang tidak produktif dan memberikan kontribusi pada pemahaman kita tentang apa yang tidak berhasil.

Penelitian ini mengikuti standar ilmiah yang ketat sepanjang prosesnya. AI Scientist-v2 melakukan beberapa eksperimen untuk memastikan validitas statistik, membuat visualisasi yang jelas dari temuan, dan menyebutkan dengan benar karya sebelumnya yang relevan. Sistem ini memformat seluruh naskah sesuai dengan standar akademis dan menulis diskusi yang komprehensif tentang metode dan temuan.

Para peneliti manusia yang mengawasi proyek ini melakukan tinjauan menyeluruh dari ketiga paper yang dihasilkan. Mereka menemukan bahwa meskipun paper yang diterima memiliki kualitas workshop, paper tersebut mengandung beberapa masalah teknis yang akan mencegah penerimaan di trek konferensi utama. Evaluasi jujur ini menunjukkan keterbatasan saat ini sambil mengakui kemajuan signifikan yang telah dicapai.

Kemampuan Teknis dan Peningkatan

AI Scientist-v2 menunjukkan beberapa kemampuan teknis yang luar biasa yang membedakannya dari sistem penelitian otomatis sebelumnya. Sistem ini dapat bekerja di berbagai domain pembelajaran mesin tanpa memerlukan template kode yang telah ditulis sebelumnya. Fleksibilitas ini memungkinkan sistem untuk beradaptasi dengan area penelitian baru dan menghasilkan pendekatan eksperimental asli daripada mengikuti pola yang telah ditentukan sebelumnya.

Metode pencarian pohon adalah inovasi signifikan dalam otomatisasi penelitian AI. Daripada mengikuti satu arah penelitian, sistem ini dapat mempertahankan beberapa hipotesis secara bersamaan dan mengalokasikan sumber daya komputasi berdasarkan janji yang ditunjukkan oleh setiap arah. Pendekatan ini meniru cara peneliti manusia yang berpengalaman sering mempertahankan beberapa jalur penelitian sambil fokus pada jalur yang paling menjanjikan.

Peningkatan lain yang penting adalah integrasi model bahasa visi untuk meninjau dan memperbaiki elemen visual paper penelitian. Gambar dan visualisasi ilmiah sangat penting untuk mengkomunikasikan temuan penelitian secara efektif. AI sekarang dapat mengevaluasi dan memperbaiki visualisasi data secara iteratif.

Sistem ini juga menunjukkan pemahaman tentang konvensi penulisan ilmiah. Sistem ini memformat paper dengan benar dengan bagian yang sesuai, mempertahankan terminologi yang konsisten sepanjang naskah, dan menciptakan alur logis antara berbagai bagian narasi penelitian. AI menunjukkan kesadaran tentang bagaimana menyajikan metode, membahas keterbatasan, dan mengkontekstualisasikan temuan dalam literatur yang ada.

Keterbatasan dan Tantangan Saat Ini

Meskipun pencapaian bersejarah ini, beberapa keterbatasan penting membatasi kemampuan penelitian AI yang dihasilkan. Perusahaan tersebut menyatakan bahwa tidak satu pun dari studi AI yang dihasilkan yang lulus standar internal untuk penerbitan trek konferensi ICLR. Ini menunjukkan bahwa meskipun AI dapat menghasilkan penelitian berkualitas workshop, mencapai tingkat tertinggi penerbitan ilmiah tetap menantang.

Tingkat penerimaan memberikan konteks penting untuk mengevaluasi pencapaian ini. Paper ini diterima di trek workshop, yang biasanya memiliki standar yang kurang ketat daripada trek konferensi utama (60-70% tingkat penerimaan vs. 20-30% tingkat penerimaan yang khas dari trek konferensi utama. Meskipun ini tidak mengurangi signifikansi pencapaian, ini menunjukkan bahwa menghasilkan penelitian yang benar-benar berpengaruh tetap berada di luar kemampuan AI saat ini.

AI Scientist-v2 juga menunjukkan beberapa kelemahan yang diidentifikasi oleh peneliti manusia selama proses tinjauan. Sistem ini terkadang membuat kesalahan kutipan, mengatribusikan temuan penelitian ke penulis atau publikasi yang salah. Sistem ini juga bergelut dengan beberapa aspek desain eksperimen yang akan diatasi secara berbeda oleh ahli manusia.

Mungkin yang paling penting, penelitian AI yang dihasilkan ini fokus pada perbaikan inkremental daripada penemuan yang mengubah paradigma. Sistem ini tampaknya lebih mampu melakukan penyelidikan menyeluruh dalam kerangka penelitian yang mapan daripada mengusulkan cara berpikir yang sama sekali baru tentang masalah ilmiah.

Jalan Menuju Masa Depan

Penerimaan tinjauan sejawat dari penelitian AI yang dihasilkan ini adalah awal dari era baru dalam penelitian ilmiah. Ketika model dasar terus ditingkatkan, kita dapat mengharapkan AI Scientist dan sistem serupa untuk menghasilkan penelitian yang semakin canggih yang mendekati dan potensial melebihi kemampuan manusia di banyak domain.

Tim peneliti memprediksi bahwa versi masa depan akan mampu menghasilkan paper yang layak diterima di konferensi dan jurnal tingkat atas. Progresi logis menunjukkan bahwa sistem AI mungkin akhirnya berkontribusi pada penemuan penting di bidang seperti kedokteran, fisika, dan kimia.

Pengembangan ini juga menimbulkan pertanyaan penting tentang etika penelitian dan standar penerbitan. Masyarakat ilmiah harus mengembangkan norma baru untuk menangani penelitian AI yang dihasilkan, termasuk kapan dan bagaimana mengungkapkan keterlibatan AI dan bagaimana mengevaluasi pekerjaan tersebut bersama dengan penelitian yang dihasilkan manusia.

Transparansi yang ditunjukkan oleh tim peneliti dalam eksperimen ini memberikan model berharga untuk evaluasi penelitian AI di masa depan. Dengan bekerja secara terbuka dengan penyelenggara konferensi dan meninjau pekerjaan AI yang dihasilkan sesuai dengan standar yang sama dengan penelitian manusia, mereka telah membangun preseden penting untuk pengembangan bertanggung jawab dari kemampuan penelitian otomatis.

Ringkasan

Penerimaan paper AI yang ditulis di workshop mesin pembelajaran terkemuka adalah kemajuan signifikan dalam kemampuan AI. Meskipun pekerjaan ini belum mencapai tingkat konferensi teratas, ini menunjukkan trajektori yang jelas menuju sistem AI yang menjadi kontributor serius dalam penemuan ilmiah. Tantangan sekarang tidak hanya terletak pada pengembangan teknologi, tetapi juga dalam membentuk kerangka etika dan akademis yang akan mengatur wilayah penelitian baru ini.