Makalah Sains yang Ditulis dengan Yakin Memengaruhi Penilaian AI—Terlepas dari Mutunya

Kepercayaan diri merupakan keunggulan tersendiri dalam evolusi—dan, menurut sebuah makalah penelitian baru dari Jerman, juga menjadi keunggulan saat makalah ilmiah dinilai oleh Model Bahasa Besar (LLM), alih-alih oleh rekan sejawat penulisnya. Hal ini semakin sering terjadi karena jumlah makalah ilmiah melonjak berkat peningkatan produktivitas yang didorong AI.

Studi baru ini menemukan bahwa penilai AI (yakni penilai nonmanusia) secara konsisten memberi nilai lebih tinggi kepada makalah ilmiah yang ditulis dengan bahasa yang penuh keyakinan dan tegas—bahkan ketika penelitian yang mendasarinya identik dengan penelitian dalam makalah yang nadanya kurang meyakinkan. Dalam beberapa kasus, mengubah pilihan kata saja sudah cukup untuk mengubah penolakan menjadi penerimaan.

Para penulis menyatakan:

‘Eksperimen kami mengungkapkan bahwa penilai LLM sangat menyukai [papers] penggunaan bahasa yang penuh keyakinan. Yang terpenting, preferensi ini kerap mengakibatkan perubahan keputusan dari diterima menjadi ditolak, atau sebaliknya, sehingga secara langsung memengaruhi hasil penilaian.

‘Selain nilai, kami menemukan bahwa frekuensi dan sentimen aspek-aspek yang disoroti dalam ulasan bervariasi bergantung pada ciri kebahasaan makalah, yang berpotensi memengaruhi keputusan akhir.’

Ironisnya, gejala yang diidentifikasi para penulis sangat mirip dengan cara AI kerap bisa ‘keliru dengan penuh keyakinan’ saat menjawab perintah dan pertanyaan kita sendiri; hanya saja, dalam kasus ini, keputusan dibuat oleh manusia, dan tanggung jawab individu maupun kolektifnya nyata, terlepas dari apakah para ilmuwan yang berkontribusi pada makalah-makalah tersebut benar-benar meyakini klaim mereka sendiri.

Jika AI semakin sering menentukan makalah ilmiah mana yang diterbitkan, para ilmuwan mungkin belajar untuk ‘terdengar lebih yakin’ sebagai taktik untuk bersaing, terutama ketika naskah yang mereka ajukan memiliki kelemahan; akibatnya, penelitian yang lebih lemah bisa mendapat tempat yang tidak semestinya dalam ruang perhatian yang kian menyusut.

Gertakan demi Kemenangan

Menurut studi*, penilai AI lebih cenderung memuji metode, teori, dan kontribusi ilmiah makalah yang ditulis dengan penuh keyakinan, sekalipun semuanya identik dengan versi yang bahasanya kurang tegas. Dalam pengujian para penulis, 504 makalah ilmiah ditulis ulang dengan gaya berbeda, lalu dinilai oleh enam model AI, termasuk GPT-5.5, Claude Sonnet 4.6, dan Gemini 3.5 Flash. Versi makalah yang dibuat atau diubah secara artifisial perlu disiapkan agar keunikan dan kekhasan asli dari naskah yang diajukan tidak memengaruhi hasil:

Contoh satu bagian makalah ilmiah yang sama, ditulis ulang dalam empat gaya berbeda. Sorotan berwarna menandai perubahan yang dimaksudkan untuk membuat tulisan terdengar lebih atau kurang yakin, atau lebih menyerupai bahasa Inggris akademis yang ditulis oleh penutur asli atau bukan penutur asli. Namun, temuan dan angka yang mendasarinya tetap tidak berubah. Sumber

Makalah-makalah tersebut berasal dari naskah yang diajukan ke konferensi ICLR 2026, dengan jumlah makalah yang diterima dan ditolak sama banyak. Claude Opus 5 kemudian menulis ulang setiap naskah agar terdengar lebih atau kurang yakin^†, tanpa mengubah isi ilmiahnya. Dengan demikian, perbedaan dalam penilaian AI dapat dikaitkan dengan gaya penulisan, yakni tingkat keyakinan yang diungkapkan.

Dalam hasil penelitian, penilai AI memberi nilai lebih tinggi kepada makalah ilmiah yang ditulis dengan bahasa penuh keyakinan, sekalipun bukti yang disajikan identik. Claude Sonnet 4.6 menunjukkan bias paling kuat, lebih menyukai versi yang ditulis dengan penuh keyakinan tujuh kali lebih sering daripada versi yang berhati-hati. Dalam 21% kasus, model ini merekomendasikan agar makalah yang ditulis dengan penuh keyakinan diterima, sementara versi makalah yang sama dengan ungkapan lebih berhati-hati ditolak.

Studi baru ini menyatakan:

‘Temuan kami menimbulkan kekhawatiran serius mengenai penggunaan LLM dalam penelaahan sejawat. Jika makalah dengan isi setara mendapat nilai dan argumen penilaian yang berbeda semata-mata karena ciri kebahasaannya, penilaian para penelaah tidak sepenuhnya mencerminkan mutu ilmiah.

‘Karena itu, penilai LLM perlu diuji ketahanannya menggunakan penulisan ulang yang mempertahankan isi, untuk mengetahui apakah perubahan bahasa secara sistematis memengaruhi penilaian mereka.’

Para penulis selanjutnya menyarankan agar pengujian ini secara khusus menelaah nilai yang diberikan pada makalah maupun ulasan tertulisnya, untuk memastikan apakah bahasa yang penuh keyakinan disalahartikan sebagai bukti ilmiah yang lebih kuat.

Metode

Sebanyak 504 makalah ilmiah dipilih dari naskah yang diajukan ke International Conference on Learning Representations (ICLR) 2026. Sampel tersebut dibagi rata antara makalah yang diterima dan ditolak, dengan 24 naskah diambil dari masing-masing 21 kategori penelitian konferensi:

Metode pengujian tiga tahap. Makalah ilmiah ditulis ulang untuk memvariasikan tingkat kemahiran berbahasa Inggris atau keyakinan diri yang tampak, sembari mempertahankan temuan di dalamnya; hasil penulisan ulang diperiksa untuk mengetahui perubahan gaya dan makna sebelum dinilai oleh penilai AI dalam kondisi yang identik; lalu perbedaan skor penilaian dibandingkan.

Setiap makalah dianonimkan dan ditulis ulang menggunakan Claude Opus 5, sehingga menghasilkan versi-versi alternatif untuk menguji tingkat keyakinan dalam penyampaian klaim serta tingkat kemahiran berbahasa Inggris penulis yang tampak. Untuk pengujian keyakinan, pernyataan dibuat lebih tegas atau lebih berhati-hati. Kata-kata yang menyiratkan kepastian, seperti ‘jelas’ dan ‘tentu’, lebih sering digunakan dalam versi yang ‘yakin’, sedangkan ungkapan yang memberi kualifikasi, seperti ‘mungkin’ dan ‘mengindikasikan’ lebih banyak digunakan dalam draf yang lebih berhati-hati.

Dalam setiap kasus, klaim ilmiah, bukti, hasil, terminologi teknis, dan struktur keseluruhan tetap tidak berubah. Para penulis mencatat bahwa instruksi penulisan ulang didasarkan pada penelitian linguistik yang telah mapan, bukan permintaan umum untuk meniru gaya penulisan tertentu.

Memeriksa Hasil Penulisan Ulang

Untuk pemeriksaan, setiap hasil penulisan ulang dibandingkan dengan naskah aslinya menggunakan kemiripan semantik, yang menilai apakah bagian-bagian teks tetap mempertahankan maknanya; serta kemiripan TF-IDF (yang mengukur sejauh mana kosakata dan terminologi dipertahankan). Kedua skor mendekati 1, menegaskan kemiripan yang tinggi dengan naskah asli:

Pemeriksaan makalah yang ditulis ulang. Versi yang yakin menggunakan bahasa yang lebih tegas, sedangkan versi yang berhati-hati mengungkapkan lebih banyak ketidakpastian. Skor yang mendekati 1 menegaskan kemiripan yang tinggi dengan naskah asli, sementara sorotan berwarna menandai nilai yang lebih tinggi untuk setiap ukuran yang ditargetkan.

Enam penilai AI diuji: model berpemilik GPT-5.5, Claude Sonnet 4.6, dan Gemini 3.5 Flash; serta model berbobot terbuka Gemma 3, Qwen3 VL, dan GLM 4.7. Model-model ini dipilih antara lain karena semuanya memiliki tanggal batas pengetahuan sebelum 2026, sehingga mengurangi risiko bahwa mereka telah mengetahui keputusan penerimaan makalah tersebut.

Setiap makalah yang ditulis ulang dinilai secara independen menggunakan pedoman bergaya konferensi. Untuk mengetahui sejauh mana skor dapat bervariasi dalam penilaian berulang, sepuluh makalah yang dipilih secara acak dinilai sepuluh kali oleh setiap model.

Hasil

Pengujian ini menilai apakah keenam penilai AI yang dipilih secara konsisten lebih menyukai gaya penulisan tertentu, serta membandingkan makalah yang menggunakan bahasa ‘yakin’ atau ‘berhati-hati’ dan makalah yang menyerupai bahasa Inggris akademis yang ditulis oleh penutur asli atau nonasli^†.

Hasil perbandingan skor penilaian AI untuk 504 makalah ilmiah yang ditulis ulang dengan gaya berbeda. Persentase preferensi menunjukkan versi mana yang mendapat skor lebih tinggi, dengan hasil imbang dicantumkan dalam tanda kurung; rasio menunjukkan seberapa sering satu versi lebih disukai dibandingkan versi lainnya; dan perubahan keputusan menunjukkan seberapa sering perubahan kata-kata membalikkan keputusan penerimaan atau penolakan. Nilai statistik yang dicetak tebal menunjukkan perbedaan yang signifikan. Bagian yang relevan adalah bagian bawah, karena hipotesis di bagian atas tidak dibahas dalam artikel ini (lihat catatan kaki).

Semua enam penilai AI secara konsisten lebih menyukai penulisan yang yakin. Preferensi terkuat ditunjukkan oleh Claude Sonnet 4.6, yang, seperti disebutkan sebelumnya, memberikan skor lebih tinggi kepada draf yang ‘yakin’ tujuh kali lebih sering daripada draf yang ‘berhati-hati’.

Sebuah makalah dianggap diterima jika skornya mencapai 4,5 dari 10, meskipun perubahan gaya penulisan terkadang mendorong makalah yang sama melewati ambang ini ke arah atas atau bawah sehingga keputusan pun berbalik; pembalikan ini umumnya menguntungkan penulisan yang yakin.

Claude Sonnet 4.6 menunjukkan kinerja yang sangat buruk: model ini menerima versi yang ‘yakin’ dan menolak versi yang ‘berhati-hati’ dalam 21% kasus. Hal sebaliknya terjadi hanya dalam 2,8% kasus.

Dampak ini juga terlihat dalam ulasan tertulis, ketika penilai AI lebih cenderung memuji metode, teori, dan kontribusi ilmiah suatu makalah jika klaimnya disampaikan dengan yakin. Karena penelitian itu sendiri tidak berubah, penilaian yang lebih positif ini hanya dapat dikaitkan dengan perbedaan dalam penyajian dan nada.

Kesimpulan

Setiap kali manusia menggunakan AI untuk (meski tanpa sengaja) meningkatkan rasio sinyal terhadap derau, AI pun diuji coba sebagai solusi—dalam hal ini, untuk mengatasi lonjakan besar pengajuan makalah penelitian tentang Kecerdasan Buatan; lonjakan yang belakangan meningkatkan kekuatan dan kriteria penyaringan Arxiv. Namun, sekarang seharusnya sudah jelas bahwa LLM terdepan, begitu pula semua tingkatan di bawahnya, masih memiliki terlalu banyak keanehan sehingga tidak dapat dipercaya begitu saja sebagai penilai, kecuali dalam situasi dengan parameter yang ditetapkan secara sangat ketat.

Dalam kasus seperti itu, mengubah LLM berskala lebih kecil menjadi perangkat penilai khusus melalui penyetelan halus atau LoRA mungkin merupakan pilihan yang lebih baik. Namun, cara ini memerlukan setidaknya sedikit usaha tambahan, jika bukan sedikit investasi tambahan, sementara pemasangan lokal “vanila” atau pemanggilan API lebih cepat dan relatif murah.

Meski ditulis dengan cukup ringkas, makalah ini mungkin menarik bagi pengguna akhir LLM melebihi rata-rata, sebab mereka tentu sudah akrab dengan “antusiasme” sebagai masalah yang harus mereka siasati agar dapat bekerja secara efektif dengan AI; dan jika masalah ini serta persoalan LLM serupa belum dapat diatasi, setidaknya semuanya dapat diperhitungkan.

Sebelum kita terlalu mencemooh penyetaraan yang dangkal seperti ini dalam penilaian terhadap AI, perlu diingat bahwa sistem-sistem ini sama kebingungannya dengan kita dalam soal epistemologi—pencarian otoritas yang definitif. Sepanjang sejarah, kita pun sangat mudah keliru menganggap sinyal sebagai hal itu sendiri.

* Berjudul ‘Gaya di Atas Substansi? Bias Linguistik dalam Tinjauan Sejawat Berbasis LLM’

^† Atau menyerupai bahasa Inggris akademis yang ditulis oleh penutur asli maupun bukan penutur asli—hipotesis paralel yang tidak dapat dibuktikan dengan sama efektifnya oleh makalah tersebut dan tidak dibahas dalam artikel ini.

Pertama kali diterbitkan pada Selasa, 27 Oktober 2026