AI sebagai Peneliti: Makalah Penelitian yang Ditinjau Sejawat Pertama yang Ditulis Tanpa Manusia

Kecerdasan buatan telah menyeberangi tonggak penting lainnya yang menantang pemahaman kita tentang apa yang dapat dicapai mesin secara mandiri. Untuk pertama kalinya dalam sejarah ilmiah, sistem AI telah menulis makalah penelitian lengkap yang lulus tinjauan sejawat di konferensi akademis tanpa bantuan manusia dalam proses penulisan. Pencapaian ini dapat menjadi pergeseran mendasar dalam cara penelitian ilmiah dilakukan di masa depan.

Prestasi Bersejarah

Makalah yang dihasilkan oleh AI Scientist-v2 lulus proses tinjauan sejawat di workshop konferensi AI internasional terkemuka. Penelitian ini dikirimkan ke ICLR 2025 workshop, yang merupakan salah satu venue paling bergengsi dalam pembelajaran mesin. Makalah ini dihasilkan oleh versi yang ditingkatkan dari AI Scientist asli, yang disebut AI Scientist-v2.

Makalah yang diterima, berjudul “Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization,” menerima skor yang mengesankan dari para peninjau manusia. Dari tiga makalah yang dikirimkan untuk ditinjau, satu menerima peringkat yang melebihi ambang penerimaan. Pencapaian ini sangat penting karena AI sekarang dapat berpartisipasi dalam proses penemuan ilmiah yang fundamental yang selama ini hanya dilakukan oleh manusia.

Tim peneliti dari Sakana AI, bekerja sama dengan kolaborator dari University of British Columbia dan University of Oxford, melakukan eksperimen ini. Mereka menerima persetujuan dari dewan tinjauan institusional dan bekerja langsung dengan penyelenggara konferensi ICLR untuk memastikan eksperimen mengikuti protokol ilmiah yang tepat.

Bagaimana AI Scientist-v2 Bekerja

AI Scientist-v2 telah mencapai kesuksesan ini karena beberapa kemajuan besar dibandingkan dengan pendahulunya. Tidak seperti pendahulunya, AI Scientist-v2 menghilangkan kebutuhan akan template kode yang ditulis oleh manusia, dapat bekerja di berbagai domain pembelajaran mesin, dan menggunakan metode pencarian pohon untuk menjelajahi beberapa jalur penelitian secara bersamaan.

Sistem ini bekerja melalui proses ujung-ke-ujung yang menyerupai cara peneliti manusia bekerja. Ini dimulai dengan merumuskan hipotesis ilmiah berdasarkan domain penelitian yang ditugaskan untuk dijelajahi. AI kemudian merancang eksperimen untuk menguji hipotesis ini, menulis kode yang diperlukan untuk melakukan eksperimen, dan menjalankannya secara otomatis.

Apa yang membuat sistem ini sangat maju adalah penggunaan metode pencarian pohon agen. Pendekatan ini memungkinkan AI untuk menjelajahi beberapa arah penelitian secara bersamaan, mirip dengan cara peneliti manusia mungkin mempertimbangkan berbagai pendekatan untuk memecahkan masalah. Ini melibatkan menjalankan eksperimen melalui pencarian pohon agen, menganalisis hasil, dan menghasilkan draf makalah. Agen manajer eksperimen yang didedikasikan mengkoordinasikan proses ini untuk memastikan bahwa penelitian tetap fokus dan produktif.

Sistem ini juga mencakup komponen peninjau AI yang ditingkatkan yang menggunakan model bahasa-visi untuk memberikan umpan balik pada konten dan presentasi visual temuan penelitian. Ini menciptakan proses penyempurnaan iteratif di mana AI dapat memperbaiki pekerjaannya sendiri berdasarkan umpan balik, serupa dengan cara peneliti manusia memperbaiki naskah mereka berdasarkan masukan rekan.

Apa yang Membuat Makalah Penelitian Ini Istimewa

Makalah yang diterima ini berfokus pada masalah yang menantang dalam pembelajaran mesin yang disebut generalisasi komposisi. Ini mengacu pada kemampuan jaringan saraf untuk memahami dan menerapkan konsep yang dipelajari dalam kombinasi baru yang belum pernah mereka lihat sebelumnya. AI Scientist-v2 menyelidiki metode regularisasi baru yang mungkin dapat meningkatkan kemampuan ini.

Menariknya, makalah ini juga melaporkan hasil negatif. AI menemukan bahwa beberapa pendekatan yang dihipotesiskan akan meningkatkan kinerja jaringan saraf sebenarnya menciptakan hambatan yang tidak terduga. Dalam sains, hasil negatif sangat berharga karena mencegah peneliti lain untuk mengejar jalur yang tidak produktif dan memberikan kontribusi pada pemahaman kita tentang apa yang tidak berhasil.

Penelitian ini mengikuti standar ilmiah yang ketat sepanjang proses. AI Scientist-v2 melakukan beberapa jalur eksperimen untuk memastikan validitas statistik, membuat visualisasi yang jelas dari temuan, dan dengan benar mengutip karya sebelumnya yang relevan. Ini memformat seluruh naskah sesuai dengan standar akademis dan menulis diskusi yang komprehensif tentang metode dan temuan.

Peneliti manusia yang mengawasi proyek ini melakukan tinjauan menyeluruh terhadap ketiga makalah yang dihasilkan. Mereka menemukan bahwa meskipun makalah yang diterima memiliki kualitas workshop, makalah tersebut mengandung beberapa masalah teknis yang akan mencegah penerimaan di trek konferensi utama. Penilaian jujur ini menunjukkan keterbatasan saat ini sambil mengakui kemajuan yang signifikan yang telah dicapai.

Kemampuan dan Peningkatan Teknis

AI Scientist-v2 menunjukkan beberapa kemampuan teknis yang luar biasa yang membedakannya dari sistem penelitian otomatis sebelumnya. Sistem ini dapat bekerja di berbagai domain pembelajaran mesin tanpa memerlukan template kode yang ditulis sebelumnya. Fleksibilitas ini berarti bahwa sistem dapat beradaptasi dengan area penelitian baru dan menghasilkan pendekatan eksperimental asli daripada mengikuti pola yang telah ditentukan.

Metode pencarian pohon adalah inovasi signifikan dalam otomatisasi penelitian AI. Daripada mengejar satu arah penelitian, sistem dapat mempertahankan beberapa hipotesis secara bersamaan dan mengalokasikan sumber daya komputasi berdasarkan janji yang ditunjukkan oleh setiap arah. Pendekatan ini menyerupai cara peneliti manusia yang berpengalaman sering mempertahankan beberapa jalur penelitian sambil fokus pada jalur yang paling menjanjikan.

Peningkatan lain yang penting adalah integrasi model bahasa-visi untuk meninjau dan memperbaiki elemen visual makalah penelitian. Gambar dan visualisasi ilmiah sangat penting untuk mengkomunikasikan temuan penelitian secara efektif. AI sekarang dapat mengevaluasi dan memperbaiki visualisasi data sendiri secara iteratif.

Sistem ini juga menunjukkan pemahaman tentang konvensi penulisan ilmiah. Ini memformat makalah dengan bagian yang tepat, mempertahankan terminologi yang konsisten sepanjang naskah, dan menciptakan aliran logis antara bagian yang berbeda dari narasi penelitian. AI menunjukkan kesadaran tentang bagaimana mempresentasikan metode, membahas keterbatasan, dan mengkontekstualisasikan temuan dalam literatur yang ada.

Keterbatasan dan Tantangan Saat Ini

Meskipun pencapaian bersejarah ini, beberapa keterbatasan penting membatasi kemampuan penelitian yang dihasilkan AI saat ini. Perusahaan tersebut mengatakan bahwa tidak satu pun dari studi yang dihasilkan AI-nya yang lulus standar internal untuk publikasi trek konferensi ICLR. Ini menunjukkan bahwa meskipun AI dapat menghasilkan penelitian dengan kualitas workshop, mencapai tingkat tertinggi publikasi ilmiah masih menjadi tantangan.

Tingkat penerimaan memberikan konteks penting untuk mengevaluasi pencapaian ini. Makalah ini diterima di trek workshop, yang biasanya memiliki standar yang kurang ketat daripada konferensi utama (60-70% tingkat penerimaan vs. 20-30% tingkat penerimaan yang khas untuk trek konferensi utama). Meskipun ini tidak mengurangi signifikansi pencapaian, ini menunjukkan bahwa menghasilkan penelitian yang benar-benar berpengaruh masih berada di luar kemampuan AI saat ini.

AI Scientist-v2 juga menunjukkan beberapa kelemahan yang diidentifikasi oleh peneliti manusia selama proses tinjauan. Sistem ini terkadang membuat kesalahan kutipan, mengatribusikan temuan penelitian ke penulis atau publikasi yang salah. Ini juga berjuang dengan beberapa aspek desain eksperimen yang akan diatasi secara berbeda oleh ahli manusia.

Mungkin yang paling penting, penelitian yang dihasilkan AI ini berfokus pada perbaikan inkremental daripada penemuan yang mengubah paradigma. Sistem ini tampaknya lebih mampu melakukan penyelidikan yang menyeluruh dalam kerangka penelitian yang mapan daripada mengusulkan cara berpikir yang sama sekali baru tentang masalah ilmiah.

Jalan Menuju Masa Depan

Penerimaan tinjauan sejawat dari penelitian yang dihasilkan AI adalah awal dari era baru dalam penelitian ilmiah. Ketika model dasar terus ditingkatkan, kita dapat mengharapkan AI Scientist dan sistem serupa untuk menghasilkan penelitian yang semakin canggih yang mendekati dan potensial melebihi kemampuan manusia di banyak domain.

Tim peneliti memprediksi bahwa versi masa depan akan mampu menghasilkan makalah yang layak diterima di konferensi dan jurnal tingkat atas. Progresi logis menunjukkan bahwa sistem AI mungkin akhirnya berkontribusi pada penemuan yang mengubah paradigma di bidang seperti kedokteran, fisika, dan kimia.

Pengembangan ini juga menimbulkan pertanyaan penting tentang etika penelitian dan standar publikasi. Masyarakat ilmiah harus mengembangkan norma baru untuk menangani penelitian yang dihasilkan AI, termasuk kapan dan bagaimana melibatkan AI serta bagaimana mengevaluasi pekerjaan tersebut bersama dengan penelitian yang dihasilkan manusia.

Transparansi yang ditunjukkan oleh tim peneliti dalam eksperimen ini memberikan model yang berharga untuk evaluasi penelitian AI di masa depan. Dengan bekerja secara terbuka dengan penyelenggara konferensi dan menyerahkan pekerjaan yang dihasilkan AI untuk standar yang sama dengan penelitian manusia, mereka telah membangun preseden penting untuk pengembangan kemampuan penelitian otomatis yang bertanggung jawab.

Intinya

Penerimaan makalah yang ditulis AI di workshop pembelajaran mesin terkemuka adalah kemajuan signifikan dalam kemampuan AI. Meskipun pekerjaan ini belum mencapai tingkat konferensi utama, ini menunjukkan trajektori yang jelas menuju sistem AI yang menjadi kontributor serius dalam penemuan ilmiah. Tantangan sekarang terletak tidak hanya pada kemajuan teknologi tetapi juga pada pembentukan kerangka etika dan akademis yang akan mengatur frontier penelitian baru ini.