Ketika Benchmarks AI Mengajarkan Model untuk Berbohong

Hallusinasi AI — ketika sebuah sistem menghasilkan jawaban yang terdengar benar tetapi sebenarnya salah — tetap menjadi salah satu tantangan terberat dalam kecerdasan buatan. Bahkan model-model paling canggih saat ini, seperti DeepSeek-V3, Llama, dan rilis terbaru OpenAI, masih menghasilkan informasi yang tidak akurat dengan kepercayaan tinggi. Di bidang seperti kesehatan atau hukum, kesalahan seperti itu dapat menyebabkan konsekuensi serius.

Secara tradisional, hallusinasi telah dianggap sebagai produk sampingan dari cara model bahasa besar dilatih: mereka belajar untuk memprediksi kata berikutnya yang paling mungkin tanpa memverifikasi apakah informasi tersebut benar. Namun, penelitian baru menunjukkan bahwa masalahnya mungkin tidak berhenti pada pelatihan. Benchmarks yang digunakan untuk menguji dan membandingkan kinerja AI sebenarnya dapat memperkuat perilaku menyesatkan, menghargai jawaban yang terdengar meyakinkan daripada yang benar.

Perubahan perspektif ini mengubah masalah. Jika model dilatih untuk memuaskan tes daripada mengatakan kebenaran, maka hallusinasi bukanlah kesalahan yang tidak disengaja, melainkan strategi yang dipelajari. Untuk memahami mengapa ini terjadi, kita perlu melihat mengapa model AI memilih untuk menebak daripada mengakui ketidaktahuan mereka?

Mengapa Model AI Menebak

Untuk memahami mengapa model AI sering menebak daripada mengakui bahwa mereka tidak tahu, bayangkan seorang siswa yang menghadapi pertanyaan sulit di ujian. Siswa tersebut memiliki dua pilihan: meninggalkan jawaban kosong dan mendapatkan nol poin, atau membuat tebakan yang terdidik yang mungkin mendapatkan beberapa kredit. Secara rasional, menebak tampaknya seperti pilihan yang lebih baik karena ada kemungkinan bahwa jawaban tersebut benar.

Model AI menghadapi situasi yang sama selama evaluasi. Sebagian besar benchmarks menggunakan sistem skor biner: jawaban yang benar mendapatkan poin, sedangkan jawaban yang salah atau tidak pasti mendapatkan nol poin. Jika sebuah model ditanya, “Apa tanggal lahir seorang peneliti?”, dan model tersebut benar-benar tidak tahu, menjawab “Saya tidak tahu” dianggap sebagai kegagalan. Membuat tanggal yang salah, bagaimanapun, membawa beberapa kemungkinan bahwa jawaban tersebut benar — dan bahkan jika jawaban tersebut salah, sistem tidak menghukum tebakan yang percaya diri lebih dari keheningan.

Dinamika ini menjelaskan mengapa hallusinasi bertahan meskipun penelitian yang luas untuk menghilangkannya. Model-model tersebut tidak berperilaku buruk; mereka mengikuti insentif yang dibangun ke dalam evaluasi. Mereka belajar bahwa terdengar percaya diri adalah cara terbaik untuk memaksimalkan skor mereka, bahkan ketika jawaban tersebut salah. Sebagai hasilnya, bukan mengungkapkan ketidakpastian, model-model dipaksa untuk memberikan pernyataan yang berwenang — benar atau salah.

Dasar Matematika dari Ketidakjujuran AI

Penelitian menunjukkan bahwa hallusinasi muncul dari dasar matematika tentang cara model bahasa belajar. Bahkan jika sebuah model dilatih hanya pada informasi yang akurat, tujuan statistiknya masih akan menyebabkan kesalahan. Karena menghasilkan jawaban yang benar secara fundamental lebih sulit daripada mengenali apakah jawaban tersebut valid.

Hal ini membantu menjelaskan mengapa model-model sering gagal pada fakta yang tidak memiliki pola yang jelas, seperti tanggal lahir atau detail unik lainnya. Analisis matematika menunjukkan bahwa tingkat hallusinasi dalam kasus-kasus tersebut akan setidaknya sebesar fraksi fakta yang muncul hanya sekali dalam data pelatihan. Dengan kata lain, semakin jarang informasi dalam data, semakin besar kemungkinan model akan berjuang dengannya.

Masalahnya tidak terbatas pada fakta yang jarang. Batasan struktural seperti kapasitas model yang terbatas atau desain arsitektur juga menghasilkan kesalahan sistematis. Misalnya, model-model sebelumnya dengan jendela konteks yang sangat pendek secara konsisten gagal pada tugas-tugas yang memerlukan penalaran jangka panjang. Kesalahan-kesalahan tersebut tidaklah acak, melainkan hasil yang dapat diprediksi dari kerangka matematika model.

Mengapa Pelatihan Pasca-Pelatihan Gagal Menyelesaikan Masalah

Setelah sebuah model AI dilatih pada dataset teks yang besar, biasanya model tersebut menjalani pelatihan lanjutan untuk membuat outputnya lebih berguna dan kurang berbahaya. Namun, proses ini menghadapi masalah inti yang sama yang menyebabkan hallusinasi pada awalnya; cara kita mengevaluasi model-model.

Metode pelatihan lanjutan yang paling umum, seperti pembelajaran penguatan dari umpan balik manusia, masih mengandalkan benchmarks yang menggunakan skor biner. Benchmarks tersebut menghargai model-model untuk memberikan jawaban yang percaya diri, sementara tidak memberikan kredit ketika model mengakui bahwa mereka tidak tahu. Sebagai hasilnya, sistem yang selalu merespons dengan kepercayaan diri, bahkan ketika salah, dapat mengungguli sistem yang jujur mengungkapkan ketidakpastian.

Peneliti menyebut ini sebagai masalah penghukuman ketidakpastian. Bahkan teknik-teknik canggih untuk mendeteksi atau mengurangi hallusinasi bergelut ketika benchmarks dasar terus memfavoritkan kepercayaan diri yang berlebihan. Dengan kata lain, tidak peduli seberapa canggih perbaikan, selama sistem evaluasi terus menghargai tebakan yang percaya diri, model-model akan cenderung memilih jawaban yang salah tetapi percaya diri daripada pengakuan yang jujur tentang keraguan.

Ilusi Kemajuan

Papan peringkat, yang secara luas dibagikan di komunitas AI, memperburuk masalah ini. Benchmarks seperti MMLU, GPQA, dan SWE-bench mendominasi makalah penelitian dan pengumuman produk. Perusahaan menyoroti skor mereka untuk menunjukkan kemajuan yang cepat. Namun, seperti yang dicatat dalam laporan, benchmarks ini sebenarnya mendorong hallusinasi.

Sebuah model yang jujur mengatakan “Saya tidak tahu” mungkin lebih aman dalam pengaturan dunia nyata, tetapi akan menduduki peringkat yang lebih rendah di papan peringkat. Sebaliknya, model yang mengarang jawaban yang meyakinkan tetapi salah akan mendapatkan skor yang lebih baik. Ketika adopsi, pendanaan, dan prestise bergantung pada peringkat papan peringkat, arah kemajuan menjadi terdistorsi. Publik melihat narasi kemajuan konstan, tetapi di bawahnya, model-model sedang dilatih untuk menipu.

Mengapa Ketidakpastian Jujur Penting dalam AI

Hallusinasi bukan hanya tantangan penelitian; mereka memiliki konsekuensi dunia nyata. Dalam kesehatan, model yang mengarang interaksi obat dapat menyesatkan dokter. Dalam pendidikan, model yang mengarang fakta sejarah dapat menyesatkan siswa. Dalam jurnalisme, chatbot yang menghasilkan kutipan palsu tetapi meyakinkan dapat menyebarkan disinformasi. Risiko-risiko ini sudah terlihat. Stanford AI Index 2025 melaporkan bahwa benchmarks yang dirancang untuk mengukur hallusinasi “gagal mendapatkan traksi,” bahkan ketika adopsi AI dipercepat. Sementara itu, benchmarks yang mendominasi papan peringkat dan yang menghargai jawaban yang percaya diri tetapi tidak dapat diandalkan terus menetapkan arah kemajuan.

Temuan-temuan ini menyoroti baik tantangan maupun kesempatan. Dengan memeriksa akar matematika hallusinasi, peneliti telah mengidentifikasi arah yang jelas untuk membangun sistem AI yang lebih dapat diandalkan. Kunci untuk ini adalah berhenti menganggap ketidakpastian sebagai kelemahan dan mengakui bahwa ketidakpastian adalah kemampuan penting yang harus diukur dan dihargai.

Perubahan perspektif ini memiliki implikasi di luar mengurangi hallusinasi. Sistem AI yang dapat menilai dan mengkomunikasikan keterbatasan pengetahuan mereka dengan akurat akan lebih sesuai untuk aplikasi dengan risiko tinggi di mana kepercayaan diri yang berlebihan membawa risiko serius. Diagnosis medis, analisis hukum, dan penelitian ilmiah semua memerlukan kemampuan untuk membedakan antara pengetahuan yang percaya diri dan spekulasi yang terinformasi.

Mengubah Evaluasi untuk AI yang Jujur

Temuan-temuan ini menyoroti bahwa membangun AI yang lebih dapat dipercaya memerlukan perubahan dalam cara kita mengukur kemampuan AI. Alih-alih mengandalkan skor benar atau salah yang sederhana, kerangka evaluasi harus menghargai model-model untuk mengungkapkan ketidakpastian secara tepat. Ini berarti memberikan pedoman yang jelas tentang ambang kepercayaan dan skema skor yang sesuai dalam instruksi benchmark.

Satu pendekatan yang menjanjikan melibatkan pembuatan target kepercayaan yang eksplisit yang menentukan kapan model harus menjawab versus kapan mereka harus menahan diri. Misalnya, instruksi mungkin menyatakan bahwa jawaban hanya harus diberikan ketika kepercayaan melebihi ambang tertentu, dengan skor yang disesuaikan secara sesuai. Dalam pengaturan ini, ketidakpastian tidak lagi merupakan kelemahan, tetapi bagian berharga dari perilaku yang bertanggung jawab.

Kunci untuk ini adalah membuat persyaratan kepercayaan menjadi transparan daripada implisit. Benchmarks saat ini menciptakan hukuman tersembunyi untuk ketidakpastian yang model-model belajar untuk menghindari. Target kepercayaan yang eksplisit akan memungkinkan model-model untuk mengoptimalkan perilaku yang sebenarnya diinginkan: jawaban yang akurat ketika percaya diri, dan pengakuan yang jujur tentang ketidakpastian ketika pengetahuan tidak mencukupi.

Intinya

Hallusinasi AI bukanlah kesalahan acak — mereka diperkuat oleh benchmarks yang digunakan untuk mengukur kemajuan. Dengan menghargai tebakan yang percaya diri daripada ketidakpastian yang jujur, sistem evaluasi saat ini mendorong model-model menuju penipuan daripada keandalan. Jika kita ingin AI yang dapat dipercaya dalam domain dengan risiko tinggi seperti kesehatan, hukum, dan ilmu, kita perlu memikirkan kembali cara kita menguji dan menghargai mereka. Kemajuan harus diukur tidak hanya oleh akurasi, tetapi oleh kemampuan untuk mengakui dan mengakui apa yang model tidak tahu.