Serangan ‘Survey Paper DDoS’ yang Menghancurkan Penelitian Ilmiah

Model AI generatif seperti ChatGPT sekarang membanjiri platform penerbitan akademis dengan kertas survei yang dihasilkan AI pada tingkat yang membuat rasio sinyal-ke-bisingan menjadi kritis. Sebuah studi baru mengklaim bahwa banjir ini menghancurkan peneliti, mengubah kutipan, dan mengikis kepercayaan pada catatan ilmiah, dengan menyamakan banjir kertas yang dihasilkan AI dengan ‘serangan DDoS’ pada ilmu pengetahuan itu sendiri.

(Sebagian) opini  Minggu lalu, untuk pertama kalinya dalam tujuh tahun mengikuti aliran literatur ilmiah terkait AI, saya harus mengakui kekalahan dan mengakui bahwa, setidaknya pada saat-saat puncak, saya sekarang harus memilih antara tetap mengikuti publikasi baru yang penting atau memiliki waktu untuk menulis tentang beberapa di antaranya.

Jumlah total entri dalam beberapa kategori terbatas (Computer Vision, Machine Learning, Language Models, dan beberapa bagian lain yang kurang populer) mencapai lebih dari seribu – hanya untuk satu hari pengajuan.

Pada volume seperti itu, bahkan memindai semua judul baru dan hanya sesekali membaca ringkasan abstrak akan membuat hari yang tidak produktif.

Ini terjadi pada hari Selasa, 7 Oktober. Sebagai perbandingan, dalam kategori Machine Learning, hari Selasa sebelumnya (14 Oktober) menawarkan volume publikasi yang sedikit kurang intens daripada 400 entri untuk hari Selasa sebelumnya; itu memiliki 354 entri:

354 pengajuan untuk kategori Machine Learning dalam satu hari. Sumber: https://arxiv.org/

Anda harus telah membaca Arxiv setiap hari, selama beberapa tahun, untuk menyadari betapa gilanya angka-angka ini.

Mengakui bahwa hari Selasa adalah ‘jam sibuk’ Arxiv untuk pengajuan, mungkin karena itu adalah hari kerja pertama yang terjadi setelah akhir pekan panjang yang dinikmati oleh orang-orang berpengaruh yang peneliti harapkan untuk dijangkau; dan kategori Machine Learning adalah bagian ‘tangkap semua’ dengan jumlah kertas unik (kertas yang tidak diterbitkan secara bersamaan di saluran lain) yang lebih rendah daripada sebagian besar kategori lain.

Namun, peningkatan pengajuan kertas ini sudah menjadi fenomena yang dikenal dalam akademisi dan media.

Mungkin aspek paling mengejutkan dari eskalasi ini adalah bagaimana semua kategori lain yang berdekatan lebih atau kurang tidak berubah dalam frekuensinya selama tiga tahun terakhir, sedangkan kategori Ilmu Komputer (lihat jika Anda bisa menemukannya dalam angka resmi Arxiv di bawah) berada pada trajektori yang sangat meningkat:

Meningkatnya kertas Ilmu Komputer (CS) selama tiga tahun terakhir. Sumber: https://info.arxiv.org/about/reports/submission_category_by_year.html

Lebih dari tiga tahun yang lalu, output pengajuan kertas AI Arxiv diperkirakan menggandakan setiap beberapa tahun; dan akan menarik untuk membaca ringkasan tahunan Arxiv tentang tren pada akhir 2025.

Volume pada 11

Dua alasan paling jelas mengapa ini terjadi adalah a) komitmen keuangan tanpa preseden untuk AI generatif menarik tingkat investasi penelitian yang sangat besar di sektor swasta dan akademis, yang sering berkolaborasi; dan b) fakta bahwa sistem model bahasa AI seperti ChatGPT sekarang membuat pengajuan kertas penelitian (termasuk kertas tentang AI) menjadi proses yang hampir terindustrialisasi.

Namun, kualitas pengajuan penelitian tidak meningkat seiring dengan volume (meskipun output AI yang rentan kesalahan cenderung membuat lebih banyak berita di sektor hukum daripada akademis, tidak hanya karena konsekuensinya lebih jelas di sana).

Kebijakan tanpa toleransi sulit untuk diterapkan dalam kasus ini, bahkan jika mengenali konten yang dihasilkan AI lebih mudah; selain fakta bahwa AI itu sendiri adalah berkah yang jelas bagi penelitian ilmiah secara umum, penggunaannya dalam pengajuan kertas penelitian secara umum* telah meningkatkan kejelasan karya dari banyak pengirim non-Inggris – individu dan tim yang sampai sekarang beroperasi dengan kerugian.

Namun, masalah menurunkan hambatan bahasa dengan cara ini adalah bahwa ini juga meningkatkan jumlah pengirim global, tanpa meningkatkan tingkat pengawasan manusia yang memberikan nilai pada pekerjaan tersebut.

Jika tingkat pengajuan terus meningkat secara eksponensial, rasio sinyal-ke-bisingan akan menjadi sangat tidak terkendali sehingga hanya AI itu sendiri yang mungkin bisa menavigasi banjir dan anak sungai kertas AI; tugas yang tidak lebih cocok untuk dilakukan daripada memeriksa outputnya sendiri. Ironisnya, penelitian ilmiah adalah upaya yang sangat manusia.

Serangan pada Penelitian

Penyebab refleksi ini adalah kolaborasi baru menarik dari Cina dengan judul Stop DDoS Attacking the Research Community with AI-Generated Survey Papers.

Kertas posisi baru ini berkonsentrasi khusus pada survei pengajuan – rangkuman tingkat tinggi dari benang penelitian tertentu, yang secara tradisional telah mencantumkan dan memberi konteks, menafsirkan tren dan membuat prediksi yang terinformasi:

Sebagian kecil dari tubuh survei yang sangat besar dan terus berkembang yang terkait dengan pembelajaran mesin dan AI, di arxiv.org

Karena survei mengkurasi daripada menghasilkan, mereka sangat mudah untuk diotomatisasi dengan AI, dan penulis kertas baru ini menggambarkan proliferasi survei dengan upaya rendah dalam istilah ancaman keamanan terhadap sektor penelitian^†:

‘[Lonjakan] baru-baru ini dari survei yang dihasilkan AI, terutama yang ditenagai oleh model bahasa besar (LLM), telah mengubah genre yang tradisional ini menjadi output volume tinggi dan rendah. Sementara otomatisasi seperti itu menurunkan hambatan masuk, itu juga memperkenalkan ancaman kritis: fenomena yang kami sebut “serangan survei kertas DDoS” pada komunitas penelitian.

‘Ini mengacu pada proliferasi tak terkendali dari manuskrip survei yang komprehensif secara superficial tetapi sering kali redundan, berkualitas rendah, atau bahkan halusinasi, yang membanjiri platform pracetak, menghancurkan peneliti, dan mengikis kepercayaan pada catatan ilmiah.

‘[Kami] berpendapat bahwa kami harus berhenti mengunggah jumlah besar survei kertas yang dihasilkan AI (yaitu, serangan survei kertas DDoS) ke komunitas penelitian, dengan menerapkan norma yang kuat untuk penulisan ulasan yang dibantu AI.’

Para penulis menyatakan bahwa percepatan produksi survei yang tidak terkendali ini mengancam untuk membanjiri ekosistem penelitian dengan laporan yang rapi tetapi tidak memiliki kedalaman kritis, dan yang kemungkinan besar akan menyebarkan kesalahan faktual dan/atau halusinasi kutipan.

Kertas ini memperingatkan bahwa tanpa aturan atau pengawasan yang lebih baik, survei yang dihasilkan AI bisa berubah menjadi salinan yang dangkal yang salah menggambarkan topik mana yang penting, menyembunyikan analisis yang berarti, dan membuat tinjauan literatur kurang dapat dipercaya:

‘Implikasinya untuk kualitas penelitian dan kepercayaan sangat mendalam. Pertama, kemajuan nyata berisiko tersembunyi oleh ulasan yang dihasilkan algoritma dari pekerjaan yang ada.

‘Pemula dan sarjana antar disiplin mungkin berjuang untuk menemukan tinjauan yang dapat diandalkan di tengah kebisingan. Selain itu, kesalahan atau bias yang diperkenalkan oleh pengeditan otomatis dapat menyebar tanpa terkendali, menyebabkan penelitian selanjutnya dengan asumsi yang salah.

‘Secara keseluruhan, banjir survei yang dihasilkan AI yang tidak ditinjau mengancam baik ketatnya tinjauan literatur dan kredibilitas catatan ilmiah.’

Pengarang ‘Tidak Biasa’

Peneliti kertas baru ini memberikan beberapa analisis menarik tentang evolusi pengajuan survei:

Kiri: hitungan tahunan kertas survei ilmu komputer dari 2020 hingga 2024. Tengah: skor generasi AI rata-rata untuk kertas-kertas tersebut selama periode yang sama. Kanan: jumlah pengarang yang ditandai sebagai ‘tidak biasa’ (mereka dengan output survei yang sangat tinggi, keragaman koautor yang terbatas, dan pola institusional yang berulang) setiap tahun. Ketiga tren ini menunjukkan peningkatan tajam yang dimulai pada 2023, bertepatan dengan rilis ChatGPT dan model bahasa besar lainnya.

Di kolom pertama kita melihat tren pertumbuhan: kurva mulai meningkat tajam sekitar 2022, saat ChatGPT muncul dan model bahasa besar mulai menjadi mainstream, dan model pengikut seperti Claude, PaLM, dan Gemini akan terus meningkatkan momentum sepanjang 2023.

Grafik tengah menunjukkan peningkatan tajam dalam pengajuan setelah 2022, bertepatan dengan peluncuran ChatGPT. Satu tim peneliti menemukan bahwa pada 2024, lebih dari 10% abstrak ilmiah telah dijalankan melalui LLM. Laporan terpisah dari perusahaan deteksi AI menempatkan lompatan pasca-ChatGPT pada 72% untuk kertas di arXiv yang mungkin ditulis dengan bantuan AI. Jumlah kertas dengan skor generasi AI yang tinggi juga meningkat dua kali lipat dalam setahun, dari 3,6% menjadi 6,2%.

Grafik kanan menunjukkan peningkatan stabil dalam jumlah pola pengarang ‘tidak biasa’ (peneliti yang mengajukan tiga atau lebih survei dalam sebulan sambil bekerja dengan kurang dari dua kolaborator), dengan peningkatan yang lebih tajam yang dimulai pada 2022.

Para penulis menyatakan bahwa banyak dari kertas survei ini mungkin telah disusun oleh AI, karena berbagai alasan; beberapa ditulis oleh penulis tunggal atau kelompok kecil yang mengajukan beberapa survei dalam waktu singkat; banyak yang mencakup topik yang tidak terkait; dan dalam beberapa kasus, penulis tidak memiliki catatan sebelumnya dalam bidang yang mereka ringkas.

Selain itu, beberapa kertas diterbitkan di bawah kolektif anonim dengan tidak ada kaitan institusional yang jelas – pola yang menunjukkan banjir terkoordinasi dari lapangan dengan survei cepat, mungkin untuk mendapatkan kutipan atau meningkatkan profil akademis, daripada untuk membuat kontribusi nyata pada literatur.

Isu-Isu

Meskipun kita tidak bisa mencakup semua kontroversi kertas baru, kita harus melihat beberapa pengamatan paling menonjol, serta melemparkan mata kritis pada solusi yang disarankan oleh penulis untuk masalah-masalah ini.

Kualitas dan Keaslian

Masalahnya bukan hanya volume: banyak survei yang ditulis AI melewatkan apa yang membuat survei berguna: struktur yang jelas, analisis yang mendalam, penghargaan yang benar dan teliti, dan wawasan yang nyata. Sebaliknya, kertas ini menyatakan bahwa survei yang dihasilkan AI sering kali terbaca seperti ringkasan yang dijahit, tanpa perawatan atau kurasi yang memadai.

Para penulis mengamati lebih lanjut bahwa survei yang ditulis AI sering kali kekurangan struktur, tetapi hanya mencantumkan kertas tanpa arah yang jelas, melewatkan bagian kunci, dan gagal membuat konteks. Survei yang ditulis manusia, di sisi lain, cenderung membangun kategori yang tepat dan menceritakan kisah yang lebih kohesif.

Juga, banyak survei yang mungkin dibantu AI tampaknya hanya menyalin pemecahan topik yang ada, terkadang langsung dari Wikipedia. Misalnya, kertas ini mencatat bahwa beberapa survei tentang Vision Transformers berisi judul bagian dan struktur yang umum, mengungkapkan output AI yang didorong template:

‘Sebaliknya, survei yang ditulis manusia mungkin memperkenalkan taksonomi baru, misalnya, mengategorikan ViT oleh strategi efisiensi. Kurangnya struktur asli dalam banyak pracetak survei terbaru meningkatkan kekhawatiran bahwa mereka mungkin telah dihasilkan oleh AI dengan wawasan manusia yang terbatas.’

Jangan Kutip Saya

Mungkin yang paling memalukan, survei yang ditulis AI sering kali salah kutip, melewatkan kertas kunci, termasuk kertas yang tidak relevan, dan terkadang bahkan mencantumkan kertas yang tidak ada – kesalahan yang menunjukkan bahwa referensi berasal dari pencocokan pola tingkat permukaan, bukan keahlian yang sebenarnya.

Para penulis juga menunjukkan bahwa beberapa survei terbaru, sering kali dari tim yang sama sekali berbeda, berbagi hingga 70% dari daftar referensi mereka – tingkat tumpang tindih yang begitu tinggi, mereka berpendapat, bahwa itu menunjukkan ketergantungan bersama pada LLM, yang mengambil dari kolam sumber yang sama.

Memang, pengguna kasual ChatGPT akan tahu bahwa semakin tidak umum topiknya, semakin sedikit sumber yang beragam yang tersedia untuk model tersebut untuk generalisasi; sangat sering, menemukan sumber model sendiri yang terbatas di web lebih berguna daripada berinteraksi dengan informasi tersebut melalui AI yang tidak memiliki data yang memadai dalam domain tertentu.

Gaya Homogen yang Muncul

Para penulis juga mencatat bahwa banyak survei yang ditulis AI pada topik yang sama terlihat dan terdengar hampir identik, karena LLM mengulangi frasa dan struktur, terutama untuk subjek yang populer, menghasilkan banjir kertas yang hampir identik yang menambahkan sedikit nilai, dan juga menambahkan kebisingan yang signifikan pada peneliti yang mencari jawaban domain*:

‘Ketika beberapa penulis meminta LLM untuk “menulis tinjauan literatur tentang X,” model tersebut sering menghasilkan respons yang sangat mirip, terutama untuk definisi umum atau fakta yang sudah diketahui. Penelitian terbaru telah menunjukkan peningkatan tajam dalam penggunaan pola penulisan tertentu yang terkait dengan LLM, menunjukkan bahwa banyak kertas sekarang berbagi gaya yang sama.’

ChatGPT Anda Sedang Ditampilkan

Kertas ini mengamati bahwa cara cepat untuk mendeteksi survei yang ditulis AI adalah melalui kehadiran frasa seperti ‘sebagai model bahasa AI‘ atau ‘batas pengetahuan saya‘, yang menunjukkan kurasi minimal atau bahkan nol dari output model bahasa sebelum mengajukan kertas (meskipun pencarian yang ditargetkan pada saat penulisan tidak mengungkapkan petunjuk seperti itu yang diindeks oleh Google Search).

Kertas ini mencatat bahwa banyak ‘survei yang dicurigai’ menunjukkan keragaman kata yang lebih rendah dan frasa yang berulang, misalnya, dengan memulai beberapa paragraf dengan Selanjutnya. Pola ini, para penulis sarankan, khas dari penulisan gaya GPT, dan bisa menjadi bendera yang berguna untuk mendeteksi teks yang dihasilkan otomatis.

(Komentar pribadi saya tentang ini adalah bahwa ketentuan jurnalistik online sering memerlukan penulis untuk mencantumkan banyak item dalam bentuk prosa, non-berstyle. Oleh karena itu, ChatGPT dan rekan-rekannya kemungkinan telah belajar kebiasaan buruk ini dari penulis manusia yang dihadapkan pada jumlah alternatif leksikal yang terbatas. Selain itu, konjektur penulis menunjukkan bahwa mereka bermain-main dengan ajaran deteksi konten AI, yang merupakan bidang yang kompleks dan berkembang, dengan sedikit konstanta yang tahan lama dari jenis yang disarankan oleh penulis)

Meskipun peneliti melanjutkan untuk mengembangkan wacana yang menarik tentang dampak negatif survei AI pada budaya penelitian dan kepercayaan, kita harus merujuk pembaca ke kertas sumber untuk kedalaman yang lebih besar tentang ini.

Solusi?

Solusi kertas ini menarik, radikal, dan pada saat yang sama aneh tidak asli: bahwa utilitas kertas survei harus digantikan oleh Survei Langsung Dinamis – dengan interpretasi, sebuah hibrida antara Wiki dan halaman GitHub, terus diberi makan dengan data baru dari LLM dan sistem AI lainnya, tetapi dengan komit yang hanya dilakukan oleh manusia, sehingga AI tidak dapat ‘menerbitkan’ pembaruan secara otomatis.

Sistem yang diusulkan akan berbagi pemversi dan pencabangan GitHub, secara efektif mengubah sumber daya informasi menjadi daftar yang terus diperbarui serupa dengan ‘awesome’ strain dari daftar yang dikurasi di GitHub:

‘Di bawah kerangka ini, anggota komunitas pertama-tama mendirikan wiki survei dengan menentukan cakupan, pertanyaan penelitian kunci, dan referensi seminal, yang dengan demikian menetapkan batas tematik yang jelas dan struktur awal.

‘Setelah itu, agen pengambilan yang didasarkan pada LLM terus memantau arsip pracetak, prosiding konferensi, dan papan peringkat benchmark. Ini secara otomatis mengekstrak abstrak, gambar, dan metrik kinerja kunci; mensintesis ringkasan singkat dari hasil baru; memperbarui grafik kutipan untuk mencerminkan hubungan antar kertas; dan menandai tren penelitian yang muncul untuk tinjauan lebih lanjut.

‘Dengan desain, pembaruan otomatis ini terjadi dalam beberapa jam setelah publikasi, memastikan bahwa repositori tetap berada di garis terdepan.’

‘Kontributor manusia kemudian mengambil alih untuk memberikan kedalaman interpretatif yang tidak dapat diberikan oleh mesin saja. Mereka memperbarui taksonomi yang berkembang untuk menangkap perbedaan metodologis yang halus, mengoordinasikan interpretasi yang bertentangan dari inovasi algoritmik di seluruh subbidang, dan memberikan perbandingan kritis yang lebih mendalam untuk dokumen.’

Kita Buku Perubahan

Para penulis mengembangkan proposal ini dengan antusias dan panjang lebar, dan pada dasarnya membenarkannya dengan sesuatu yang sangat benar: survei yang ditulis manusia dengan upaya tinggi pada topik yang volatil di sekitar AI usia sangat cepat sehingga mereka hampir tidak worth menulis; dan kertas ini mencatat bahwa waktu putaran tiga bulan untuk kertas survei baru kemungkinan akan membuatnya sudah ketinggalan zaman (atau bahkan sangat ketinggalan zaman) pada saat hari publikasi yang dijadwalkan tiba:

‘Tahun demi tahun, komunitas dibanjiri dengan tinjauan yang berulang atau superfisial yang dengan cepat kehilangan relevansi, meninggalkan praktisi dan pemula sama untuk membedakan sinyal dari kebisingan. Siklus publikasi tradisional (yaitu, draf, kirim, tinjau, dan terbit) dapat memakan waktu beberapa bulan, yang mana terobosan kritis mungkin sudah menggeser lanskap.

‘Selain itu, volume survei statis yang meningkat menambah beban kognitif, karena pembaca harus menyaring banyak dokumen yang tumpang tindih untuk menemukan wawasan yang substansial.’

Sayangnya, solusi kertas ini berbagi banyak kualitas terburuk dan paling dibenci dari Discord: terutama bahwa itu akan menjadi sumber daya yang terus berubah dan berubah.

Karena setiap bagian dari Survei Langsung Dinamis mungkin menghilang atau diubah kapan saja, itu akan mustahil untuk digunakan sebagai sumber yang dapat dikutip dan stabil; kecuali, mungkin, dengan menautkan ke ‘komit sebelumnya’, dengan cara yang sama situs arsip seperti archive.is dan Wayback Machine, antara lain, menyediakan snapshot yang dapat dilink ke konten halaman web, dibekukan pada waktu tertentu. Tapi apa sumber daya yang diperlukan komit seperti itu, dan apakah bisa diandalkan untuk tetap hidup seiring waktu?

Selain itu, platform/Wiki dengan definisi dan konten yang terus berubah akan menantang untuk diindeks, baik oleh mesin pencari tradisional maupun LLM.

Mungkin bagian terlemah dari sistem yang diusulkan adalah gagasan bahwa orang nyata harus mengawasi komit dari agen LLM; seperti biasa, orang nyata mahal. Apa yang diusulkan adalah sesuatu di antara museum dan perpustakaan – keduanya akan memerlukan penyediaan daging yang sebanding dengan volume data dan jumlah topik yang diliput.

Jika ‘gunakan orang nyata‘ adalah satu-satunya jawaban untuk masalah pengembangan AI, itu adil untuk mengatakan bahwa masalah tersebut masih terbuka dan belum terpecahkan.

Kesimpulan

Saat ini, umur pendek survei kertas pada AI menjengkelkan; jika tren saat ini menuju penulisan otomatis skala tinggi dan pengajuan terus berlanjut, seperti yang dibayangkan dalam kertas baru, rasio sinyal-ke-bisingan akan menjadi kronis, dan literatur akan tidak terkendali.

Dalam situasi seperti itu, akan lebih sulit bagi suara minoritas, sub-FAANG untuk didengar dalam badai pengajuan, dan pemimpin pasar besar kemungkinan akan mendapatkan prominen yang lebih besar.

Selain survei langsung, kertas baru ini mengusulkan bahwa penulis tidak hanya harus mengkonfirmasikan sendiri saat AI digunakan dalam bagian mana pun dari pengajuan, tetapi juga bahwa bagian yang dibantu AI harus dilabeli secara eksplisit dalam kertas (mungkin dengan file JSON sampingan…?).

Karena ini adalah prospek yang berat, kertas ini alternatif mengusulkan apa yang hanya bisa saya karakterisasi sebagai ‘getto AI’ – bagian terpisah dalam pengajuan yang ditujukan untuk kontribusi AI.

Singkatnya, karya baru ini telah, setidaknya dalam pendapat saya, tidak memiliki jawaban yang realistis untuk ditawarkan; tetapi penulis telah melakukan layanan yang berguna dengan mengarahkan tantangan yang akan datang.

Kertas Stop DDoS Attacking the Research Community with AI-Generated Survey Papers dapat ditemukan di https://arxiv.org/abs/2510.09686, dan ditulis oleh enam penulis dari berbagai departemen di Universitas Shanghai Jiao Tong.

___________________________________

* Tidak semua orang merasa bahwa ini adalah kasusnya.

^† Penekanan penulis, bukan saya. Juga, di mana berlaku, konversi saya dari kutipan inline penulis menjadi tautan.

Dipublikasikan pertama kali pada hari Jumat, 17 Oktober 2025