Sudut Anderson
Kemajuan Ilmiah Berbasis AI Terancam oleh Obsesi Aneh

Poin utamaPeninjau AI yang lebih baru terfokus pada lampiran sementara peninjau manusia berfokus…
Lihat selengkapnya
- Peninjau AI yang lebih baru terfokus pada lampiran sementara peninjau manusia berfokus pada temuan utama sebuah makalah.
- Model bahasa memperlakukan setiap bagian sebagai sama pentingnya sehingga mereka melewatkan bagian mana yang sebenarnya penting.
- Bias lampiran tetap ada di berbagai metode akses dan menghasilkan umpan balik yang dangkal yang hampir tidak membantu penulis meningkatkan karyanya.
Sebuah studi baru dari AS menunjukkan bahwa model AI yang menelaah makalah ilmiah mulai terobsesi secara aneh pada lampiran makalah, bukan isi utamanya, dan kerap lebih memperhatikan detail pendukung yang sepele daripada temuan utama. Seiring makin banyaknya bahasa model yang digunakan untuk membantu atau bahkan menggantikan penelaah manusia, kecenderungan yang baru diidentifikasi ini tampaknya mulai merambah proses penelaahan sejawat oleh manusia dan berpotensi menghambat kemajuan penelitian AI:

Dari makalah baru tersebut, terlihat peningkatan kritik terkait lampiran dalam penelaahan sejawat ilmiah oleh manusia. Setelah bertahun-tahun berada di bawah 11%, proporsinya mencapai 27,6% dalam penelaahan terbaru, setelah dirilisnya model AI yang diketahui mengambil lebih dari separuh kritiknya dari lampiran. Garis putus-putus menandai perilisan model-model besar. Sumber
Dalam pengujian terhadap 2.000 makalah ilmiah dari empat konferensi populer, para peneliti dalam studi baru ini menemukan bahwa model yang lebih baru mengambil sekitar 50–70% kritiknya dari lampiran, dibandingkan dengan kurang dari 30% pada GPT-5 yang lebih lama.
Dua model AI baru paling menonjol yang tampaknya mendorong bahkan para penelaah manusia untuk lebih berfokus pada lampiran dan mengabaikan hasil utama yang lebih penting adalah GPT-6.1-Sol dan GPT-6-Astra dari OpenAI, yang keduanya dirilis pada 2026.
Makalah tersebut menyatakan*:
‘Perbedaan antargenerasi ini besar. Pada GPT-5, hanya sebagian kecil kelemahan yang berkaitan dengan lampiran. Kedua model yang lebih baru, GPT-6.1-Sol dan GPT-6-Astra, jauh lebih mengandalkan lampiran, dan hal ini berlaku di setiap konferensi.
‘Ini menunjukkan bahwa bias terhadap lampiran terutama merupakan karakteristik model yang lebih baru. Meskipun model baru ini merupakan peningkatan, biasnya terhadap lampiran semakin besar. Kemampuan membaca makalah secara terperinci tidak membuat model-model tersebut memahami bagian mana yang paling penting.’
Studi tersebut juga menemukan bahwa keterpakuan pada lampiran ini berbeda-beda bergantung pada metode yang digunakan AI untuk menerima makalah, karena antarmuka API, codex, dan web tidak menilai PDF dengan cara yang sama—dan Codex sama sekali tidak membaca bagian tengah PDF dengan panjang rata-rata, melainkan mengambil sampelnya kemudian secara bertahap, jika perlu. Namun, semua metode diketahui lebih mengutamakan materi lampiran.
Hingga baru-baru ini, penelaahan oleh manusia dan AI belum sama-sama menunjukkan obsesi ini:
‘[Human] penelaah memperlakukan isi utama dan materi tambahan dengan cara yang sangat berbeda dari LLM. LLM mengaitkan lebih dari 50% kelemahannya dengan materi terkait lampiran, sedangkan manusia mengaitkan kurang dari 10%.
‘Perbedaan ini juga terlihat pada tingkat penelaahan individual. Dari 200 makalah yang dijadikan sampel setiap tahun dari 2021 hingga 2024, hanya 159 makalah secara keseluruhan yang menerima penelaahan manusia dengan setidaknya satu kelemahan terkait lampiran. Sebaliknya, seluruh 200 penelaahan yang dihasilkan LLM untuk ICLR 2027 mencakup setidaknya satu kritik terhadap lampiran.’

Perbandingan kritik terkait lampiran dalam penelaahan sejawat oleh manusia dan AI. Penelaah manusia mengaitkan hanya 8,4% kelemahan yang teridentifikasi dengan materi lampiran, dibandingkan dengan 62% pada model AI. Kolom kedua menunjukkan kritik yang hanya menyangkut lampiran, tanpa masalah terkait di makalah utama.
Seperti terlihat pada tabel pengujian di atas, penelaah AI lebih dari tujuh kali lebih mungkin daripada manusia untuk mengidentifikasi kelemahan dalam lampiran, dan lebih dari tiga kali lebih mungkin mengajukan kritik yang hanya menyangkut materi tambahan—sebuah indikasi bahwa beberapa model AI mutakhir terbaru kini memprioritaskan detail yang secara tradisional dianggap penelaah manusia sebagai hal sekunder dibandingkan kontribusi ilmiah utama sebuah makalah.
Mengapa?
Sejauh yang dapat diketahui (studi ini adalah yang pertama mengidentifikasi gejala tersebut), sebagian masalahnya adalah AI tidak menyadari—atau tidak mempelajari dari materi pelatihannya yang melimpah—bahwa lampiran makalah biasanya bukan tempat untuk menaruh inti informasi; kecenderungan umumnya untuk menganggap semua teks sama pentingnya membuatnya luput memahami konteks materi lampiran, yang sering kali tidak dikurasi dan disajikan jauh lebih seadanya daripada isi utama:
‘LLM hampir tidak pernah mengkritik halaman-halaman pembuka, tempat sebuah makalah merumuskan masalahnya dan menjelaskan mengapa masalah itu penting. Manusia sering mempertanyakan tepatnya cara masalah itu dirumuskan, sementara LLM tampaknya menerimanya begitu saja lalu beralih ke angka-angka.
‘[Humans and LLMs] membaca lampiran dengan cara yang sangat berbeda. Kritik manusia cepat berkurang seiring berlanjutnya lampiran, dan hampir menghilang di halaman-halaman terakhirnya. Kelemahan LLM sama sekali tidak berkurang. Bahkan, kelemahan LLM justru memuncak jauh di dalam lampiran, bukan di awal, dan terus muncul hingga melewati halaman 30, ketika peninjau manusia hampir tidak menyampaikan kekhawatiran apa pun.
‘Bagi LLM, detail di halaman 25 sama layaknya dijadikan sasaran kritik seperti tabel hasil utama.’
Para penulis mencatat bahwa pendekatan LLM yang memperlakukan semua teks secara setara mungkin secara alami mendorongnya untuk lebih berfokus pada materi lampiran karena, seperti disebutkan di atas, materi tersebut cenderung mengandung lebih banyak kesalahan.
Karena itu, kesimpulan umum yang saya tarik dari studi baru ini adalah bahwa seiring waktu LLM semakin terarah pada bagian makalah sains baru yang cenderung mengandung banyak kesalahan atau pencampuradukan, semata-mata karena bagian tersebut begitu sering diperlakukan oleh penulis manusia sebagai tempat pembuangan yang berantakan untuk bukti dan pembuktian tambahan.
Karena alasan ini, AI semakin menganggap lampiran lebih menarik daripada bagian utama yang telah disunting dengan cermat, karena ada lebih banyak hal yang dapat dianalisis dan diperbaiki di sana; akibatnya, menurut makalah tersebut, LLM cenderung menganggap bagian awal makalah sebagai paparan faktual dan menerimanya begitu saja:
‘Manusia mengharapkan bagian utama makalah dapat berdiri sendiri, sehingga mereka keberatan ketika bagian-bagian penting dipindahkan ke lampiran. LLM hampir tidak pernah menyampaikan keberatan ini.
‘Hal ini menyoroti perbedaan utama: manusia memahami bahwa bagian utama lebih penting daripada lampiran, sedangkan LLM tidak. ‘
Dampak dan Solusi
Fokus tak terduga pada detail kecil ini dapat berdampak serius terhadap penelitian ilmiah yang dibantu AI, terutama jika pentingnya temuan utama suatu makalah terabaikan. Karena kecenderungan ini tampaknya baru muncul pada model-model terbaru, dampak jangka panjangnya belum diketahui.
Makalah tersebut mengakui bahwa peninjau AI dapat menemukan kesalahan yang berharga, meskipun kesalahan itu tersembunyi jauh di dalam lampiran. Namun, makalah itu memperingatkan bahwa perhatian yang berlebihan dapat tercurah pada detail kecil dengan mengorbankan temuan utama makalah, sehingga menghasilkan tinjauan panjang yang sedikit saja nilai praktisnya:
‘Peninjau LLM meningkatkan standar karena tidak ada bagian makalah yang luput dari pemeriksaan mereka. Namun, peninjauan yang efektif juga membutuhkan pertimbangan tentang hal yang paling penting. Ketika sebagian besar kelemahan suatu tinjauan berasal dari isi lampiran yang tidak berkaitan dengan kontribusi utama, umpan baliknya hanya menyentuh permukaan. Umpan balik itu tidak membahas inti makalah dan hanya sedikit membantu penulis memperbaikinya. ‘
Para penulis karya baru berjudul Tinjauan AI Bias terhadap Lampiran terdorong untuk menelusuri persoalan ini setelah melihat pola-pola ganjil dalam cara tinjauan yang dibantu atau dibuat oleh LLM mengevaluasi kiriman mereka sendiri. Kode studi ini tersedia di GitHub.
Metode dan Pengujian
Untuk pengujian, dipilih empat model AI terkemuka dari OpenAI dan Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; dan Claude-Sonnet-5.5. Model-model tersebut diakses melalui Codex dan Claude Code, lalu perilaku mereka dalam meninjau makalah dibandingkan antara akses melalui API dan antarmuka web.
Makalah penelitian dikumpulkan dari empat konferensi utama di bidang AI dan pemrosesan bahasa alami: ACL 2026; EMNLP 2026; COLM 2026; dan ICLR 2027. Semua konferensi ini dipilih karena memiliki format pengiriman dan peninjauan yang serupa, dengan batas halaman yang ketat untuk makalah utama, tetapi umumnya tanpa batasan untuk lampiran yang ditempatkan setelah daftar pustaka.
Sebanyak 2.000 makalah diperiksa, terdiri atas 1.200 makalah dari ICLR 2021–2026 dan 800 makalah dari empat konferensi terkini (masing-masing dipilih 200 makalah). Semua 800 makalah terkini memiliki lampiran setidaknya 15 halaman. Makalah yang dikirimkan ke ICLR 2027 sudah anonim, sedangkan nama, afiliasi, alamat surel, dan tautan yang dapat mengungkap identitas penulis dihapus dari makalah ACL, EMNLP, dan COLM agar identitas penulis tidak diketahui oleh peninjau AI.
Akses internet dinonaktifkan pada model-model tersebut untuk memastikan bahwa tinjauan sepenuhnya didasarkan pada berkas PDF yang diberikan.
Pertama, AI diminta membuat tinjauan dengan gaya konferensi terkait, yang mencakup kekuatan dan kelemahan makalah serta skor keseluruhan. Instruksinya sengaja dibuat sederhana untuk mencerminkan cara AI mungkin digunakan oleh peninjau sungguhan. Makalah beserta tinjauan yang telah selesai kemudian diberikan kembali kepada model AI yang sama, yang diminta mengidentifikasi bagian makalah mana yang dirujuk oleh setiap kritik. Hal ini ditentukan dengan memeriksa kritik tersebut bersama makalah aslinya:

Proses peninjauan tiga tahap yang digunakan dalam penelitian ini. Makalah dengan lampiran sepanjang sedikitnya 15 halaman dipilih dari empat konferensi dan dianonimkan sebelum ditinjau oleh model AI. Selanjutnya, setiap tinjauan diperiksa bersama makalah aslinya, dan setiap kritik dipetakan ke bagian yang menjadi sasaran kritik tersebut.
Dengan memisahkan tugas-tugas ini, bagian makalah yang mendapat kritik dapat diperiksa tanpa memengaruhi tinjauan asli dengan instruksi tambahan.
Di antara hasil yang belum kita bahas sejauh ini adalah pengujian para penulis tentang dari mana kelemahan dalam tinjauan yang dihasilkan LLM berasal:

Perbandingan lokasi kelemahan yang diidentifikasi dalam tinjauan buatan AI di empat konferensi. Warna hijau menunjukkan kritik terhadap makalah utama, warna merah menunjukkan kritik terkait lampiran, dan area berarsir menunjukkan kritik yang hanya menyasar lampiran. Dalam hampir setiap pengujian, lebih dari separuh kritik dikaitkan dengan materi lampiran; bias terkuat tercatat pada GPT-6-Astra.
Seperti terlihat di atas, sekitar separuh atau lebih kritik dari keempat model AI didasarkan pada materi dalam lampiran—pola yang ditemukan di keempat konferensi. Sebagian kritik hanya menyasar lampiransemata, tanpa kaitan dengan makalah utama; porsinya mencapai 17.33% dari kelemahan yang diidentifikasi oleh model GPT, dibandingkan dengan 10.16% untuk Claude.
Menurut makalah tersebut, hasil ini menunjukkan bahwa materi lampiran mendapat perhatian yang tidak proporsional, sehingga detail yang relatif kecil terkadang dijadikan alasan untuk mengkritik makalahsecara keseluruhan.
Perbandingan berbagai metode dilakukan untuk mengetahui apakah bias terhadap lampiran dipengaruhi oleh cara AI diakses. Dengan menggunakan GPT-6-Astra, seratus makalah yang dikirimkan ke ICLR 2027 ditinjau melalui Codex, antarmuka web ChatGPT, dan API yang diberi PDF asli atau teks hasil ekstraksinya.
Dengan Codex, teks diekstrak dan diperiksa melalui perintah; melalui API, PDF lengkap atau teks hasil ekstraksinya diberikan secara langsung; sedangkan dokumen yang diunggah diproses melalui sistem (yang tidak transparan) milik antarmuka web itu sendiri:

Perbandingan kritik terkait lampiran pada berbagai model AI dan metode akses. Di sisi kiri, GPT-5 diketahui jauh lebih jarang mengutip materi lampiran daripada model GPT yang lebih baru di empat konferensi. Di sisi kanan, bias tersebut diketahui tetap ada pada keempat cara mengakses GPT-6-Astra; kritik terkait lampiran mencakup 62.2% hingga 73.7% dari keseluruhan kritik. Area berarsir menunjukkan kritik yang hanya menyasar lampiran.
Seperti terlihat di atas, materi terkait lampiran dikutip dalam 62.2% hingga 73.7% kritik pada keempat metode, dengan proporsi tertinggi tercatat ketika teks hasil ekstraksi diberikan langsung melalui API. Dengan demikian, bias tersebut diketahui tetap ada terlepas dari cara model diakses.
Sebagian besar pengujian lainnya telah dilaporkan sebelumnya dalam artikel ini; untuk informasi lebih lanjut, kami mengarahkan pembaca ke sumbernya.
Kelicikan dalam Pengajuan Makalah
Topik ini sangat dekat dengan para penulis karya baru tersebut, dan begitu pula bagi saya, karena saya sering membaca makalah ilmiah dan telah belajar dengan cara yang sulit tentang aturan-aturan tersembunyi serta pengakalan aturan yang menentukan cara makalah disusun dan disajikan.
AI tidak sepenuhnya patut disalahkan karena memberi perhatian pada lampiran, sekalipun alasannya keliru, sebab penulis sering menyembunyikan celah-celah yang bisa menjadi bumerang bagi makalah di sana—faktor atau hasil yang dapat nyaris meniadakan, atau sangat membatasi, klaim dalam bagian utama makalah.
Penulis juga belum tentu patut disalahkan karena memindahkan materi penting ke lampiran, sebab templat publikasi populer, termasuk yang dijadikan sumber data dalam penelitian baru tersebut, menetapkan batas jumlah halaman atau kata untuk bagian utama makalah.
Saat melaporkan hasil penelitian yang kompleks, banyak penulis jelas menganggap hal ini sebagai pembatasan yang berat; dalam kasus yang menurut saya ‘paling buruk’†, bagian utama makalah hanya menjadi indeks materi yang dipindahkan ke bagian belakang demi menghindari pedoman tersebut (meskipun pedoman itu kini mulai mengejar praktik ini dan melarangnya sebagai ‘trik’).
Ketegangan yang kian meningkat dalam situasi ini muncul antara kebutuhan institusi agar penulis mendisiplinkan dan membatasi penyajian mereka—hal yang semakin penting seiring meningkatnya jumlah makalah yang diajukan—dan rasa frustrasi para peneliti yang ingin menyajikan hasil kerja keras mereka dalam konteks selengkap dan seluas yang menurut mereka layak diperoleh dari upaya tersebut.
* Penekanan dari para penulis, bukan dari saya.
†Pasalnya, saat memilah makalah yang akan dibahas, pengalihan materi ke lampiran bisa sulit dideteksi, bahkan oleh AI. Namun, hal ini dapat sangat menyulitkan penelaah jika mereka telah mengalokasikan waktu untuk menilai makalah sepanjang 10 halaman, tetapi kini harus menelaah materi sebanyak 30 halaman dalam jatah waktu yang sama.
Pertama kali diterbitkan pada Senin, 16 November 2026












