ChatGPT-5 dan Gemini 2.5 Mengalami Hallusinasi pada 40% Pertanyaan di Ruang Berita

Sebuah studi baru menemukan bahwa ChatGPT-5 dan Google Gemini menghasilkan hallusinasi pada 40% pertanyaan gaya ruang berita, sering kali mengarang klaim yang terdengar percaya diri tanpa didukung oleh fakta yang dapat diverifikasi. NotebookLM milik Google memiliki tingkat hallusinasi yang lebih rendah, yaitu 13% – tingkat yang masih akan membuat seorang jurnalis dipecat. Studi ini menemukan bahwa model-model tersebut sering mengubah sumber dengan mengubah opini menjadi fakta dan menghilangkan atribusi, membuatnya menjadi alat yang berisiko untuk jurnalistik. Penulis studi ini menyerukan perlunya alat yang lebih baik dan khusus untuk tugas-tugas tersebut.

Model Bahasa Besar telah mengalami adopsi yang cepat dalam jurnalistik belakangan ini, di lingkungan kerja yang telah mengurangi biaya, anggaran, dan staf sejak jurnalistik digital menghancurkan dua abad tradisi dalam proses yang tak terhentikan yang dimulai pada awal 2000-an.

Sebenarnya, medan sudah subur, karena media telah terbiasa dengan pemotongan pekerjaan melalui ‘inovasi’ sejak setidaknya pengenalan digital yang berantakan pada 1980-an, serta tantangan sebelumnya dari advent radio dan televisi.

Jalur AI yang tak terhentikan ke ruang berita dan outlet media tidak tanpa hambatan, bagaimanapun; dalam konteks di mana 55% perusahaan sekarang menyesali menggantikan manusia dengan AI, dan di mana Gartner memprediksi bahwa organisasi akan sangat membatasi jadwal adopsi AI mereka dalam dua tahun, sejumlah organisasi berita telah mengembalikan jurnalis yang digantikan oleh AI, karena kelemahan dan kelemahan mesin pembelajaran yang sering kali memalukan menjadi jelas.

Kesalahan Bukan Hanya Milik Manusia

Meskipun hallusinasi telah terbukti menjadi masalah besar untuk bidang di mana sitasi akurat sangat penting (dengan perhatian publik yang signifikan untuk kasus kegagalan AI di bidang hukum, penelitian dan jurnalistik), sebuah studi baru di AS menemukan bahwa pembelajaran mesin dalam jurnalistik menghadapi tantangan yang lebih luas dari yang diharapkan.

Penelitian ini mengevaluasi ChatGPT, Google Gemini, dan NotebookLM yang lebih fokus pada sitasi dalam tugas pelaporan gaya: menggunakan korpus 300-dokumen yang berfokus pada litigasi dan kebijakan TikTok di Amerika Serikat.

Peneliti memvariasikan spesifisitas prompt dan jumlah dokumen yang disediakan, kemudian menganalisis hasilnya menggunakan taksonomi yang dirancang untuk menangkap jenis dan tingkat keparahan hallusinasi.

Di seluruh output, 30% mengandung setidaknya satu hallusinasi, sedangkan ChatGPT dan Gemini masing-masing menunjukkan tingkat hallusinasi 40% – sedikit lebih dari tiga kali lebih tinggi dari tingkat kesalahan 13% NotebookLM.

Teori dan Metode

Penyebab pasti hallusinasi* masih diperdebatkan; meskipun hampir semua teori setuju bahwa kualitas data dan/atau distribusi adalah faktor kontribusi pada saat pelatihan, telah diajukan bahwa 100% output LLM pada dasarnya adalah hallusinasi (kecuali bahwa beberapa hallusinasi tersebut kebetulan bertepatan dengan kenyataan).

Penulis observasi^†:

‘Dari perspektif teknis, hallusinasi muncul dari kemampuan LLM untuk menghasilkan teks yang mengikuti pola umum tanpa memiliki pemahaman tentang apa yang benar. Karakteristik ini menghasilkan respons yang terdengar masuk akal tetapi tidak mencerminkan kenyataan – misalnya, hukum kasus yang dibuat-buat oleh LLM yang masuk ke dalam argumen.

Tik Tok

Untuk mengetahui pendekatan mana yang sebenarnya berguna untuk jurnalis, studi ini melakukan evaluasi yang dirancang untuk mencerminkan alur kerja dan standar ruang berita, dengan hallusinasi yang dievaluasi dalam konteks tugas pelaporan yang khas.

Model frontier diuji menggunakan strategi prompt umum dan pengaturan grounding dokumen, sehingga frekuensi dan jenis kesalahan hallusinasi dapat diukur – bersama dengan apa yang kesalahan tersebut sebenarnya tandakan untuk integrasi AI ke ruang berita.

Pesaing

Tiga alat diuji, masing-masing mencerminkan pendekatan yang berbeda untuk kueri berbasis dokumen: ChatGPT‑5 dievaluasi menggunakan fitur Projects, yang membatasi unggahan hingga 100 dokumen; Google Gemini 2.5 Pro dapat memproses korpus 300-dokumen penuh dalam konteks (menggunakan jendela konteks satu juta token untuk mengkonsumsi semua 923.000 token secara langsung); Google NotebookLM, yang menawarkan pengambilan sitasi bawaan, diuji menggunakan notebook khusus untuk setiap sampel.

Data dan Tes

Dalam tes awal untuk prevalensi hallusinasi, 12 dari 40 respons model ditemukan mengandung setidaknya satu hallusinasi, dengan variasi yang signifikan antara alat. ChatGPT dan Gemini masing-masing menghasilkan hallusinasi pada 40% output mereka, sedangkan NotebookLM menghasilkan hallusinasi pada hanya 13% kasus:

Penulis mengomentari hasil ini:

‘Hal ini menunjukkan bahwa, meskipun sebagian besar respons di seluruh alat tidak mengandung hallusinasi, pilihan alat memang membuat perbedaan untuk korpus dokumen dan kumpulan kueri yang sama.’

Kesimpulan

Siapa pun yang telah bereksperimen dengan ketiga model yang dipelajari dalam makalah baru akan tahu bahwa masing-masing memiliki kelemahan dan kelebihan. Meskipun NotebookLM performa jauh lebih baik dalam sitasi daripada ChatGPT atau Gemini, seseorang mungkin mempertimbangkan bahwa itu dibangun khusus untuk fungsionalitas ini, dan masih menghasilkan tingkat kesalahan yang akan membuat sebagian besar jurnalis, peneliti, atau pengacara dipecat, dengan insiden berulang.

Siapapun yang telah bereksperimen dengan ketiga model yang dipelajari dalam makalah baru akan tahu bahwa masing-masing memiliki kelemahan dan kelebihan. Meskipun NotebookLM performa jauh lebih baik dalam sitasi daripada ChatGPT atau Gemini, seseorang mungkin mempertimbangkan bahwa itu dibangun khusus untuk fungsionalitas ini, dan masih menghasilkan tingkat kesalahan yang akan membuat sebagian besar jurnalis, peneliti, atau pengacara dipecat, dengan insiden berulang.

Untuk bidang di mana provenance dan standar sitasi sangat penting, seperti hukum, jurnalistik, dan penelitian ilmiah, tampaknya tidak ada fasilitas bawaan dalam LLM terkemuka saat ini yang dapat memperbaiki kapasitas terbatas mereka untuk mengekstrak dan menangani informasi yang ditujukan oleh pengguna.

Saat ini, dan sampai kedatangan sistem pendukung yang dapat menawarkan antarmuka yang lebih baik ke LLM daripada sekadar prompt sistem atau pengaturan MCP, semua output yang dihasilkan oleh sistem ini untuk sektor-sektor kritis ini masih perlu diperiksa oleh manusia yang mahal, tidak nyaman, dan umumnya mengganggu.

* Google Cloud menawarkan penjelasan yang menarik dan menyeluruh tentang topik di sini.

^† Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Rabu, 1 Oktober 2025. Direvisi pada hari Kamis, 2 Oktober untuk memperbaiki kesalahan dalam TL;DR dan memperbaiki kesalahan gaya dalam paragraf pertama.