ChatGPT-5 dan Gemini 2.5 Mengalami Hallusinasi pada 40% Pertanyaan di Ruang Berita

Studi baru menemukan bahwa ChatGPT-5 dan Google Gemini berhalusinasi pada 40% kueri bergaya ruang redaksi, sering mengarang klaim meyakinkan tanpa fakta yang dapat diverifikasi. NotebookLM lebih baik dengan 13%, tetapi angka itu tetap dapat membuat jurnalis dipecat. Model kerap mengubah opini menjadi fakta dan menghapus atribusi, sehingga berisiko bagi jurnalisme. Para penulis menyerukan alat khusus yang lebih baik.

Model bahasa besar cepat diadopsi oleh jurnalisme di tengah lingkungan kerja yang memang telah memangkas biaya, anggaran, dan staf sejak jurnalisme digital meruntuhkan dua abad tradisi dalam proses tanpa henti sejak awal 2000-an.

Media sudah terbiasa dengan pengurangan pekerjaan atas nama inovasi sejak peralihan penuh gejolak ke tata huruf digital pada 1980-an, bahkan sejak tantangan radio dan televisi.

Masuknya AI ke ruang redaksi tidak selalu mulus. Kini 55% perusahaan menyesal mengganti manusia dengan AI, Gartner memprediksi organisasi akan memperlambat adopsi AI dalam dua tahun, dan sejumlah media telah mempekerjakan kembali jurnalis setelah kekurangan machine learning yang parah dan sering memalukan terlihat jelas.

Kesalahan Bukan Hanya Milik Manusia

Halusinasi sudah menjadi masalah besar di bidang yang memerlukan kutipan akurat, termasuk hukum, riset, dan jurnalisme. Studi AS baru menemukan tantangan machine learning dalam jurnalisme lebih luas dari perkiraan.

Peneliti menguji ChatGPT, Google Gemini, dan NotebookLM yang berfokus pada kutipan, dengan tugas pelaporan berdasarkan korpus 300 dokumen tentang litigasi dan kebijakan TikTok di AS.

Mereka mengubah tingkat kekhususan prompt dan jumlah dokumen, lalu menganalisis jenis serta tingkat keparahan halusinasi. Dari semua keluaran, 30% memiliki setidaknya satu halusinasi. ChatGPT dan Gemini masing-masing mencapai 40%, sedikit lebih dari tiga kali angka NotebookLM sebesar 13%.

Alih-alih mengarang fakta atau entitas, model sering menunjukkan kepercayaan diri interpretatif yang berlebihan: menambahkan karakterisasi tanpa dukungan dan mengubah opini yang diatribusikan menjadi pernyataan umum.

“Sebagian besar kesalahan bukan entitas atau angka rekaan, melainkan tafsir berlebihan: model menambah karakterisasi sumber yang tak didukung dan mengubah opini yang diatribusikan menjadi pernyataan umum.”

“Ini menunjukkan ketidakcocokan epistemologis mendasar: jurnalisme mensyaratkan sumber eksplisit bagi setiap klaim, sedangkan LLM menghasilkan teks berwibawa tanpa memandang dukungan bukti.”

“Kami mengusulkan perluasan taksonomi halusinasi khusus jurnalisme dan berpendapat bahwa alat ruang redaksi harus memaksakan atribusi akurat, bukan sekadar mengoptimalkan kelancaran.”

Studi lima halaman itu berjudul Not Wrong, But Untrue: LLM Overconfidence in Document-Based Queries dan ditulis tiga peneliti dari Northwestern University dan University of Minnesota.

Teori dan Metode

Penyebab pasti halusinasi* masih diperdebatkan. Hampir semua teori sepakat kualitas atau distribusi data menjadi faktor saat pelatihan, bahkan ada usulan bahwa seluruh keluaran LLM pada dasarnya halusinasi, hanya sebagian kebetulan sesuai kenyataan.

Para penulis mencatat^†:

“Secara teknis, halusinasi muncul karena LLM dapat menghasilkan teks mengikuti pola umum tanpa memahami kebenaran. Hasilnya terdengar masuk akal tetapi tidak nyata, seperti preseden hukum rekaan yang masuk ke argumen pengadilan.”

“Walau kemampuan LLM meningkat drastis dalam lima tahun, halusinasi tetap menjadi masalah dan kadang meningkat saat model menjadi lebih mampu.”

Upaya mengurangi halusinasi terbagi tiga. Pertama, konteks: model ditambatkan pada basis data, koleksi dokumen, atau web. Cara ini baik bila bahan lengkap dan tepercaya, tetapi celah, data lama, atau mutu buruk masih menyebabkan kesalahan; model juga sering melampaui isi sumber.

Kedua, prompt dan decoding: instruksi meminta model memeriksa bukti, membagi tugas, mengikuti format ketat, meninjau pekerjaan sendiri, atau membandingkan jawaban. Teknik ini menangkap sebagian kesalahan tetapi menaikkan biaya dan gagal menemukan kekeliruan halus, sehingga pengguna tetap menanggung verifikasi.

Ketiga, model dan alat: LLM diberi mesin pencari, kalkulator, data bersumber baik, atau fitur kutipan. Semua ini belum sempurna dan tetap bergantung pada mutu sumber, kejelasan pedoman, serta pengawasan manusia.

TikTok

Studi merancang evaluasi menyerupai alur dan standar ruang redaksi, menguji model terdepan dengan strategi prompt dan penambatan dokumen yang lazim, lalu mengukur frekuensi, jenis, dan arti kesalahan bagi integrasi AI.

Analisis berfokus pada kueri dokumen yang umum dalam jurnalisme riset dan investigasi. Peneliti memilih upaya hukum untuk melarang TikTok di AS sebagai proyek redaksi kecil hingga menengah yang cukup kompleks.

Dokumen dari Washington Post, New York Times, ProQuest, dan Westlaw membentuk koleksi 300 dokumen: lima makalah, 150 artikel berita, dan 145 pengajuan hukum. Kompilasi tersedia bagi peneliti melalui repositori proyek.

Lima kueri dibuat dari sangat umum hingga sangat khusus, termasuk permintaan kesaksian perkara tertentu. Tiap model menerima 10, 100, atau semua 300 dokumen dengan dua dokumen kunci selalu disertakan. Lima belas jawaban dibuat per model, kecuali ChatGPT yang dibatasi sepuluh.

Para Peserta

Tiga alat mewakili pendekatan berbeda. ChatGPT-5 memakai fitur Projects dengan batas 100 dokumen; Gemini 2.5 Pro memproses semua 300 dokumen atau 923.000 token di dalam konteks sejuta token; NotebookLM yang memiliki pengambilan kutipan bawaan diuji dengan notebook terpisah bagi tiap sampel.

Ketiganya merupakan alat nyata yang tersedia bagi jurnalis, meski fitur berbeda. Taksonomi dari riset 2023 mengode halusinasi menurut orientasi (distorsi atau elaborasi), kategori, dan tingkat (ringan, sedang, mengkhawatirkan). Seorang penulis manusia meninjau setiap kalimat. Kesalahan di luar taksonomi diberi label lain-lain untuk mengembangkan kategori khusus jurnalisme.

Data dan Pengujian

Dalam uji prevalensi awal, 12 dari 40 jawaban mengandung setidaknya satu halusinasi. ChatGPT dan Gemini masing-masing 40%, NotebookLM 13%:

Tingkat halusinasi keseluruhan tiap alat; Gemini dan ChatGPT memiliki proporsi jawaban salah tertinggi. Sumber: https://arxiv.org/pdf/2509.25498

“Walau mayoritas jawaban tidak berhalusinasi, pilihan alat tetap menghasilkan perbedaan pada korpus dan kueri yang sama.”

Halusinasi jarang muncul sendirian. Gemini rata-rata empat per jawaban bermasalah, NotebookLM tiga, ChatGPT 1,5. Kebanyakan berkeparahan sedang, tetapi 14% mengkhawatirkan. Dalam satu kasus ChatGPT mengarang motif pembalasan di balik pelarangan TikTok yang tidak ada dalam sumber:

“Dalam satu kueri, ChatGPT menggambarkan larangan TikTok sebagai tindakan timbal balik anggota parlemen AS terhadap kebijakan Tiongkok, klaim yang sama sekali tidak ada dalam dokumen sumber.”

Sebanyak 64% jawaban berhalusinasi memperkenalkan ketidakakuratan atau penyimpangan, menimbulkan keraguan apakah LLM benar-benar menghemat waktu dalam alur informasi semacam ini.

Sebagian besar tidak cocok dengan kategori taksonomi, termasuk kutipan rekaan dan perluasan singkatan yang salah. Angka NotebookLM yang lebih rendah menunjukkan sistem RAG berbasis kutipan memberi landasan lebih andal daripada Projects ChatGPT atau pemrosesan dalam konteks Gemini ketika harus merujuk dokumen tertentu.

Secara kualitatif, masalah utama bukan fakta rekaan tetapi tafsir melampaui bukti:

“Model menambahkan karakterisasi yakin tentang tujuan dokumen, audiens, dan niat pembicara yang tampak berwibawa tetapi tidak memiliki dasar. Pernyataan tentatif atau beratribusi diubah menjadi klaim definitif.”

Kepercayaan diri berlebihan muncul dalam dua bentuk: klaim tanpa dukungan tentang audiens atau tujuan dokumen, dan perubahan opini beratribusi menjadi pernyataan seolah fakta yang mengaburkan sumber. Perilaku ini ada di semua alat dan kebanyakan merupakan interpretasi berlebihan, bukan fabrikasi.

Banyak halusinasi dilabeli lain-lain karena taksonomi lama tidak menangkap perbedaan penting. Atribusi hilang dan deskripsi sumber kabur sangat penting dalam jurnalisme. Para penulis menyimpulkan bahwa model menambahkan analisis yakin yang tidak didukung dokumen dan menghapus atribusi penting.

Kesimpulan

Ketiga model memiliki kekuatan dan kelemahan. NotebookLM jauh lebih baik dalam kutipan, tetapi memang dirancang khusus untuk itu dan angka kesalahannya tetap cukup untuk membuat jurnalis, peneliti, atau pengacara kehilangan pekerjaan. Sebagai kerangka riset, antarmukanya juga tidak sehalus dua platform lain untuk menulis.

Namun NotebookLM tampaknya benar-benar membaca dokumen unggahan, bukan menebak isinya berdasarkan distribusi dokumen serupa seperti kebiasaan merusak ChatGPT. Membuat ChatGPT membaca penuh bahan unggahan, bukan bergantung pada metadata atau dugaan sendiri, bisa sangat sulit.

Dalam hukum, jurnalisme, dan riset ilmiah yang mengutamakan asal-usul serta kutipan, LLM terdepan belum memiliki fasilitas yang dilatih secara asli untuk mengatasi keterbatasan ekstraksi dan pengolahan informasi yang diberikan pengguna.

Sampai ada sistem tambahan yang menawarkan antarmuka lebih baik daripada sekadar system prompt atau pengaturan MCP, semua keluaran bagi sektor kritis ini tetap harus diperiksa manusia yang mahal, merepotkan, tetapi diperlukan.

* Google Cloud menyediakan uraian menarik dan menyeluruh mengenai topik ini di sini.

^† Kutipan inline para penulis saya ubah menjadi tautan.

Pertama diterbitkan Rabu, 1 Oktober 2025. Diubah Kamis, 2 Oktober untuk memperbaiki kesalahan ringkasan dan gaya pada paragraf pertama.