AI Sering Mengutip Halaman Web yang Bahkan Belum Pernah Dibacanya

Terkadang, ada makalah yang muncul di tengah derasnya publikasi hari itu dan benar-benar membuat saya kesal—bukan karena isinya tidak akurat atau menyinggung, melainkan karena makalah itu mengamati dan mengkaji sesuatu yang sejak lama mengusik saya di pinggiran kesadaran, secara samar dan tak spesifik (mungkin karena saya terlalu sibuk hingga hanya bisa mengabaikannya).

Makalah seperti itu terbit hari ini, ditulis oleh tiga peneliti dari Departemen Komputasi di Imperial College London. Karya baru berjudul Diambil, tetapi Tidak Dibaca: Memahami Mengapa LLM yang Dilengkapi Pencarian Gagal Memanfaatkan Bukti yang Tersedia ini menyelidiki alasan Model Bahasa Besar (LLM) kerap menyodorkan URL pendukung kepada Anda (kutipan makalah yang tidak relevan, tautan ke artikel web yang meragukan, dan sebagainya) tanpa membacanya sama sekali.

Para penulis menyatakan:

“Kami menemukan bahwa model sering menjawab berdasarkan cuplikan hasil pencarian tanpa membuka halaman sumber, dan hal ini berkaitan dengan meningkatnya jawaban usang serta kutipan yang tidak akurat. Eksperimen terkontrol dan analisis per lapisan kami mengungkap kesenjangan antara ketersediaan bukti dan pemanfaatannya secara efektif.

“Bahkan ketika bukti yang ditemukan memengaruhi prediksi internal, model masih mungkin lebih memilih informasi usang dalam jawaban akhirnya.”

Para penulis menguji satu LLM berpemilik (milik OpenAI, GPT-5.6 Luna) dan enam konfigurasi model dengan bobot terbuka terhadap ratusan fakta yang telah berubah sejak batas waktu pelatihan model.

Mereka kemudian meneliti seberapa sering sistem mengandalkan cuplikan hasil pencarian alih-alih membuka halaman sumber; bagaimana hal ini memengaruhi keakuratan jawaban dan kutipannya; serta mengapa informasi usang terkadang tetap diutamakan meskipun bukti yang lebih baru diberikan secara langsung.

Pengujian menemukan bahwa model sering menjawab pertanyaan tanpa membuka satu pun halaman yang ditampilkan oleh pencarian web, dan perilaku ini berkaitan dengan tingkat jawaban usang dan kutipan menyesatkan yang jauh lebih tinggi:

Hasil pengujian menunjukkan seberapa sering model AI mengutip sumber web tanpa benar-benar membacanya. Dalam delapan konfigurasi, para peneliti mengukur keakuratan jawaban, ketergantungan pada cuplikan hasil pencarian tanpa membuka halaman sumber, serta kutipan yang bertentangan dengan klaim model. Dalam beberapa kasus, lebih dari separuh pencarian berakhir tanpa satu halaman pun dibuka. Semua angka dinyatakan dalam persentase; baris pertama menggunakan pencarian web langsung, sedangkan baris lainnya menggunakan hasil pencarian terstandar. Sumber

Para peneliti juga menemukan bahwa memberikan bukti yang benar secara langsung dapat secara signifikan mengurangi kegagalan ini, meskipun beberapa model tetap memilih informasi usang bahkan ketika fakta yang lebih baru disajikan langsung kepada mereka.

Motif Tersembunyi?

Dua alasan paling jelas mengapa LLM kerap menyodorkan dokumen pendukung yang “terdengar benar” tetapi tidak relevan kepada kita adalah: a) menghemat biaya, karena mengunduh dan membaca bahkan ringkasan materi aslinya membutuhkan bandwidth dan waktu, sementara materi itu sendiri mungkin bahkan tidak tersedia; dan b) mengurangi latensi, seolah-olah memberikan jawaban yang salah atau setengah benar dengan cepat lebih baik daripada menunda sebentar demi jawaban yang lebih baik.

Namun, para penulis karya baru ini lebih tertarik mengungkap mekanisme dasar di balik kekurangan tersebut, alih-alih meneliti bagaimana hal itu mungkin mula-mula dirancang atau sudah diperkirakan sebelumnya.

Tidak mengherankan, pengalaman saya hingga kini dalam membahas ekonomi skala LLM dengan model-model terdepan membuat saya beranggapan bahwa yang saya hadapi adalah respons defensif yang seolah sudah ditentukan sebelumnya.

Menurut saya, insentif ekonomi untuk memanipulasi perilaku sitasi LLM dengan cara ini memang masuk akal; tetapi teknologi yang mendasarinya masih begitu belum terpetakan, terus berubah, dan rentan menghasilkan keluaran yang tak terduga, sehingga saat ini sulit membuktikan adanya motif semacam itu.

Metode

Untuk menguji seberapa baik model benar-benar memanfaatkan bukti dari web, para peneliti mengumpulkan 225 fakta yang telah berubah sejak 16 Februari 2026—tanggal batas waktu data pelatihan terbaru yang dilaporkan di antara model-model yang diuji.

Fakta-fakta tersebut bersumber dari informasi obat FDA (62 fakta); keuangan (52); olahraga (47); tokoh (43); laporan SEC (13); dan klasifikasi bahan kimia (8). Perubahan yang sudah berlaku pada tanggal batas waktu tersebut, atau telah diumumkan sebelum 1 Februari, tidak disertakan—begitu pula klaim medis yang dapat dijawab berdasarkan pengetahuan umum. Fakta yang tidak berubah juga digunakan sebagai kontrol, sehingga para peneliti dapat membedakan kegagalan yang melibatkan informasi baru dari kesalahan yang lebih umum.

Untuk menetapkan tolok ukur awal, GPT-5.6 Luna diuji tanpa akses ke penelusuran web dan hanya menjawab dengan benar 23,3% dari 103 pertanyaan tentang fakta-fakta yang berubah.

Sebuah model AI yang tidak disebutkan namanya digunakan untuk menulis ulang klausul label FDA dalam kumpulan data yang disebutkan sebelumnya menjadi pernyataan faktual yang dapat diuji satu per satu, lalu setiap pernyataan ditinjau secara manual*.

Konfigurasi model berbobot terbuka yang diuji adalah GLM-5.3-Flash dari Z.ai; gpt-oss-120b dan gpt-oss-20b dari OpenAI; gemma-4-31b dari Google DeepMind, yang diuji dengan dan tanpa penalaran; serta qwen3-8b dari Qwen.

Model berbobot terbuka dan GPT-5.6 Luna diberi hasil penelusuran web yang sama agar respons mereka dapat dibandingkan secara adil. Luna juga diuji secara terpisah menggunakan fitur penelusuran web bawaannya sendiri.

Untuk 223 dari 225 fakta, sepuluh hasil penelusuran dikumpulkan sebelumnya menggunakan Brave Search. Setiap model menerima hasil yang sama dan dapat membuka halaman atau menelusuri isinya menggunakan perangkat yang identik.

Halaman yang memuat jawaban “benar” selalu disediakan—jika halaman itu muncul secara alami di antara sepuluh hasil teratas, posisinya tidak diubah; jika tidak, halaman tersebut disisipkan ke dalam hasil penelusuran pada posisi yang telah ditentukan sebelumnya. Dengan demikian, peneliti dapat mengamati cara model menggunakan bukti yang tersedia dalam kondisi yang sebanding.

Untuk membuat pengujian lebih konsisten, suhu ditetapkan ke nol pada model yang mendukung pengaturan ini, dan setiap model dijalankan melalui penyedia yang sama sepanjang eksperimen.

Bentuk Prompt

Dari dua prompt yang digunakan untuk menguji fakta, prompt pertama mengajukan pertanyaan terbuka, seperti “Klub mana yang dibela Bernardo Silva?”—dengan atau tanpa permintaan sumber; prompt kedua meminta model memverifikasi pernyataan yang memuat informasi terkini atau yang sudah kedaluwarsa, sehingga peneliti dapat membandingkan perlakuan terhadap masing-masing versi.

Empat jenis prompt tambahan digunakan dalam hasil gabungan: pertanyaan terbuka dengan petunjuk; permintaan kutipan; permintaan untuk memberikan sitasi yang mendukung klaim yang diberikan; dan pemeriksaan lembar fakta, yang meminta model mengidentifikasi satu pernyataan kedaluwarsa di antara beberapa pernyataan yang benar.

Contoh prompt aktual yang digunakan untuk menguji model, berdasarkan pertanyaan dan klaim tentang pesepak bola Bernardo Silva. Tabel ini menunjukkan bagaimana isu faktual yang sama disajikan melalui berbagai permintaan jawaban, verifikasi, kutipan, dan sitasi. Semua prompt diawali tanggal 8 Agustus 2026, dan sebagian besar meminta jawaban akhir dengan format standar, sebagaimana ditentukan oleh petunjuk berhuruf di bawah tabel.

Setiap prompt mencantumkan tanggal, dan sebagian besar meminta jawaban dalam format tetap yang memungkinkan respons ‘TIDAK DAPAT DIVERIFIKASI‘, sehingga hasilnya dapat dinilai tanpa memerlukan penilaian oleh manusia atau LLM.

Metrik yang digunakan adalah kedalaman pembacaan (apakah halaman sumber dibuka dan disitasi); akurasi jawaban (persentase jawaban yang benar, tidak termasuk jawaban yang tidak diberikan); dan kesetiaan sitasi (apakah halaman yang disitasi bertentangan dengan klaim model).

Penilaian dilakukan secara otomatis jika memungkinkan. LLM yang tidak disebutkan namanya hanya diizinkan menyetujui sitasi jika didukung oleh kutipan persis dari halaman yang diarsipkan; penilaian negatif yang memerlukan interpretasi diserahkan kepada peninjau manusia; dan fakta kontrol yang tidak berubah digunakan untuk menetapkan tingkat kesalahan sitasi dasar setiap model.

Hasil

Dalam pengujian awal (seperti yang ditunjukkan di awal artikel ini), akses ke penelusuran web meningkatkan kemampuan model untuk menjawab pertanyaan dengan benar. Saat memeriksa keakuratan pernyataan faktual, skor mereka naik 27–42 poin persentase. Saat menjawab pertanyaan secara langsung, mereka memberikan jawaban yang benar dalam 85,8–95,4% kasus.

Namun, banyak jawaban dihasilkan tanpa model benar-benar mengunjungi situs web yang ditemukan melalui penelusuran mereka. Sebaliknya, model mengandalkan cuplikan teks singkat yang ditampilkan di samping hasil penelusuran. Bahkan ketika diberi hasil penelusuran yang sama, proporsi penelusuran yang tidak diikuti dengan pembukaan halaman bervariasi dari 2,6% hingga 76%, bergantung pada modelnya.

Dalam konteks ini, GPT-5.6 Luna menunjukkan kinerja yang sangat minim upaya:

‘Dengan hasil penelusuran yang sama, model menjawab 2,6–76,0% dari seluruh percobaan tanpa membuka halaman apa pun. Dengan fitur penelusuran bawaannya, Luna menjawab 53,6% dari seluruh percobaan hanya berdasarkan cuplikan.’

Hasil pengujian yang membandingkan jawaban usang dan kutipan yang menyesatkan berdasarkan seberapa saksama model memeriksa hasil pencarian. Cuplikan berarti tidak ada halaman web yang dibuka; Dibuka berarti sebuah halaman dibuka tetapi tidak dikutip; Integr. berarti halaman yang dibuka dikutip. Semua angka merupakan persentase gabungan dari tujuh konfigurasi model dan semua jenis prompt. Kesalahan umumnya lebih sering terjadi ketika model hanya mengandalkan cuplikan hasil pencarian.

Di antara tujuh konfigurasi model, 6,4% jawaban yang hanya mengandalkan cuplikan sudah usang, dibandingkan dengan 1,3% ketika halaman yang dibuka dikutip. Kutipan yang menyesatkan juga lebih sering ditemukan, yakni 6,4% dibandingkan 2,3%, seperti ditunjukkan di atas. Untuk pertanyaan tentang olahraga, jawaban usang dari model dengan bobot terbuka mencapai 20,2%, dibandingkan 2,1%. Ketika jawaban sudah usang, 81,8% kutipan yang mendukung klaim tersebut justru bertentangan dengannya, dibandingkan hanya 0,9% untuk jawaban terkini. Pola serupa terlihat dalam pengujian lembar fakta.

Artinya, model AI yang diteliti lebih mungkin memberikan jawaban yang salah ketika mengandalkan deskripsi singkat dalam hasil pencarian, alih-alih membaca halaman web yang sebenarnya. Lebih buruk lagi, terkadang model tersebut menautkan halaman yang membuktikan bahwa jawabannya salah.

Kegagalan Bersama

Jika pilihan yang digunakan dalam pengujian ini bukanlah “pengecualian kolektif”, wajar jika kita menganggap model lain, baik tertutup maupun sumber terbuka, juga terdampak sindrom ini. Faktanya, dari sembilan jenis kegagalan yang ditemukan dalam pencarian web langsung GPT-5.6 Luna, tujuh berkaitan secara signifikan dengan kegagalan yang ditemukan saat model lain diuji menggunakan hasil pencarian tetap yang sama. Ini menunjukkan bahwa masalah tersebut tidak hanya terjadi pada Luna.

Memberikan halaman Wikipedia yang benar secara langsung mengurangi jumlah jawaban usang: kegagalan gemma-4-31b turun dari 14 menjadi nol; gpt-oss-20b turun dari 11 menjadi satu; dan qwen3-8b turun dari 16 menjadi delapan. Mengulangi pertanyaan awal setelah setiap halaman dibuka juga memperbaiki 26,1% pemeriksaan lembar fakta yang sebelumnya gagal.

Hasil yang menunjukkan seberapa sering gemma-4-31b, gpt-oss-20b, dan qwen3-8b menerima klaim usang dalam berbagai kondisi. Bukti yang sama ada kalanya tidak diberikan, disertakan langsung dalam prompt, atau tersedia melalui hasil pencarian; pengujian terpisah meminta sumber pendukung. Memberikan halaman yang benar secara langsung jauh lebih efektif daripada meminta model menemukannya sendiri. Angka menunjukkan jumlah kegagalan dibandingkan dengan total pengujian.

Aturan Klub

Terakhir, untuk lebih memahami alasan AI terkadang mengabaikan informasi yang benar, para peneliti menguji tiga model dengan bobot terbuka pada pemain sepak bola yang telah berganti klub: gpt-oss-20b; gemma-4-31b; dan qwen3-8b.

Setiap model diberi informasi usang tentang klub seorang pemain, terkadang disertai halaman Wikipedia yang benar, lalu diamati untuk mengetahui jawaban mana yang lebih dipilihnya selama pemrosesan.

Hasilnya menunjukkan bahwa model dapat mengenali klub yang benar, tetapi tetap memberikan jawaban yang salah:

Hasil pengujian yang menunjukkan bagaimana qwen3-8b mempertimbangkan klub sepak bola yang benar dan yang usang saat menyusun jawaban. Grafik kiri menunjukkan jawaban yang benar, ketika klub yang tepat tetap unggul; grafik kanan menunjukkan kegagalan, ketika klub yang sudah tidak berlaku mengungguli klub yang benar pada tahap akhir pemrosesan. Area berarsir menunjukkan variasi di antara pengujian.

Pada qwen3-8b, klub yang benar terkadang sempat unggul dalam pemrosesan internal sebelum klub yang sudah tidak berlaku mengambil alih sesaat sebelum jawaban diberikan (lihat di atas). Pola serupa terlihat pada gpt-oss-20b, sedangkan gemma-4-31b umumnya lebih memilih klub yang “sudah tidak berlaku” sepanjang proses.

Dengan demikian, tampaknya informasi yang sudah usang masih dapat mengalahkan bukti yang benar dalam jawaban akhir, bahkan ketika bukti yang benar tersedia dan dikenali.

Sebagai kesimpulan, para penulis menyarankan agar model memanfaatkan laman web yang mereka temukan dengan lebih baik, alih-alih mengandalkan cuplikan hasil pencarian. Mereka juga berharap dapat mengetahui mengapa model terkadang tetap menggunakan informasi usang meskipun memiliki jawaban yang benar, serta apakah perubahan pada cara model memproses informasi dapat membantu. Namun, tidak ada solusi pasti yang diajukan.

Kesimpulan

Meski menyajikan sejumlah wawasan berharga, makalah baru ini tidak menjelaskan mengapa LLM menggunakan kutipan dan referensi secara serampangan. Sebagai pengguna sekaligus analis yang cukup cermat dalam mengamati pola, saya mendapat kesan bahwa LLM yang saya gunakan merekomendasikan makalah atau URL karena makalah atau URL itu direkomendasikan oleh situs lain yang juga direkomendasikan…? Lantas, dari mana sebenarnya kesan berwibawa itu berasal?

Sejujurnya, masalah ini bukan masalah yang berhasil kami atasi bahkan sebelum era AI. Jadi, mungkin tidak mengherankan jika ternyata LLM tidak menghemat biaya maupun latensi, melainkan hanya menyebarkan desas-desus yang sama dari Tiongkok, yang kita yakinkan kepada diri sendiri sebagai ‘kebenaran’.

* Makalah tersebut tidak menyebutkan siapa yang melakukan tinjauan ini.

Pertama kali diterbitkan pada Jumat, 16 Oktober 2026