AI Anda Mungkin Masih Terlalu Sopan untuk Mengoreksi Anda dengan Tepat

Sistem AI yang mungkin kita andalkan untuk memperoleh informasi akurat—meskipun informasi itu bukan sesuatu yang ingin kita dengar—harus mampu ‘menyanggah’ keberatan kita sampai kita siap menerima kabar atau fakta yang tidak menyenangkan tersebut.

AI belum begitu mahir melakukannya; karena model-model terdepan dirancang untuk berinteraksi langsung dengan konsumen, model-model itu cenderung menuruti pengguna dan, bahkan, menunjukkan sikap menjilat.

Sejumlah penelitian penting telah muncul untuk menangani masalah ini; tetapi, upaya-upaya terbaru menyimpulkan bahwa kita dapat dengan mudah membuat AI kembali bersikap menjilat jika AI membantah kita; bahwa AI tunduk pada otoritas manusia bahkan ketika otoritas itu jelas-jelas salah; dan bahwa teknik pembelajaran penguatan yang biasanya efektif justru memperburuk masalah ini.

Fakta bahwa sikap menurut ini melekat erat dalam budaya sebagai bagian dari kesopanan tampaknya membuat komunikasi yang terus terang mustahil terjadi dalam hubungan penyedia jasa>konsumen; ‘pelanggan selalu benar’, bahkan ketika mereka hendak berjalan jatuh dari tebing.

Benar, Salah, dan ‘Pernyataan yang Diperhalus’

Yah, saya berharap bisa memberi tahu Anda bahwa kumpulan makalah yang terbit pekan ini mencakup satu makalah yang benar-benar membawa kemajuan dalam masalah ini. Sayangnya, yang kita dapatkan hanyalah lebih banyak informasi tentang bagaimana model-model yang ‘menyanggah’ dan berusaha meyakinkan manusia yang mereka layani tentang kebenaran masih belum melakukannya dengan baik*—dan bahkan ketika mereka memang bersedia menyampaikan kebenaran kepada pihak berkuasa (yaitu Anda), yang mereka ucapkan lebih mirip bisikan lirih.

Makalah baru yang dimaksud merupakan hasil kolaborasi akademis yang luas, dengan partisipasi University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University, dan University of Wisconsin-Madison.

Berjudul Pushback in a Haystack: Language Models Respond to Factual Errors Ambiguously and Ineffectively, inti penelitian baru ini adalah bahwa meskipun model AI menyadari klaim pengguna itu keliru, model tersebut sering kali gagal mengoreksinya dengan jelas. Alih-alih, keberatan disamarkan dengan ungkapan yang tidak tegas, pujian, dan persetujuan sebagian.

Contoh Gemini 2.5 Pro yang menjawab dalam bahasa Hindi atas permintaan makalah akademis yang didasarkan pada premis keliru. Sorotan hijau menunjukkan persetujuan, sedangkan sorotan merah muda menunjukkan sanggahan. Di sini, model tersebut mencampurkan pujian dengan keberatan tidak langsung, alih-alih menolak klaim itu secara tegas. Sumber

Dalam pengujian terhadap tujuh model dan lima bahasa, para peneliti menemukan bahwa ‘ketaksaan’ ini dapat membuat pengguna tetap memercayai informasi keliru semula, meskipun AI secara teknis telah membantahnya.

Karena tingkat dan cara penggunaan sikap menjilat berbeda-beda antarbahasa, kesepuluh penulis memanfaatkan lima bahasa ibu yang mereka kuasai bersama untuk merancang pendekatan pengujian yang mencakup bahasa Inggris, Jerman, Mandarin, Hindi, dan Yoruba—bahasa-bahasa yang tingkat ketersediaan sumber dayanya berkisar dari tinggi hingga rendah. Mereka menyatakan:

‘Kami memperkenalkan kerangka pelabelan respons pada tingkat frasa yang divalidasi oleh manusia untuk mengungkap pemahaman terperinci tentang cara model bahasa (LM) menentang dan/atau menyetujui masukan yang keliru. Kami mengembangkan dan menerapkan kerangka ini pada respons model dalam lima bahasa: Inggris, Jerman, Mandarin, Hindi, dan Yoruba.

‘Kami menemukan bahwa ketika model membantah pernyataan keliru dari pengguna, model cenderung menggunakan ungkapan tidak langsung dan mencampurnya dengan persetujuan. Ungkapan tidak langsung lebih banyak digunakan dalam bahasa Hindi dan Yoruba daripada dalam bahasa-bahasa lain yang diteliti.’

Dalam studi berskala besar yang melibatkan 300 peserta, para peneliti menemukan bahwa koreksi yang ambigu dari model AI dapat membuat kesalahpahaman faktual pengguna tetap bertahan, alih-alih membantahnya secara efektif.

Dalam salah satu pengujian, respons model terhadap pertanyaan untuk mencari informasi rata-rata terdiri atas 46.7 baris, sementara frasa korektif hanya muncul dalam dua atau tiga baris. Artinya, bahkan ketika AI membantah klaim keliru, sanggahannya bisa sulit ditemukan.

Para peneliti juga menemukan bahwa model lebih mungkin membantah informasi keliru ketika diminta secara eksplisit untuk memverifikasinya daripada ketika informasi itu muncul dalam permintaan informasi biasa. Klaim yang dikaitkan dengan buku teks umumnya mendapat lebih sedikit bantahan daripada klaim yang dikaitkan dengan teman.

Dalam 29.4% respons terhadap pertanyaan pencarian informasi, model mencampurkan koreksi dengan persetujuan; angkanya meningkat menjadi 60.1% untuk Gemini 2.5 Pro. Terkadang, bentuknya menyerupai ‘sandwich pujian’, dengan keberatan terselip di antara komentar yang menenangkan.

Sebagai kemungkinan solusi, para peneliti menguji intervensi sederhana untuk mendorong model agar ‘berhenti sejenak’ sebelum menjawab. Dalam beberapa kasus, intervensi ini meningkatkan kesediaan model untuk membantah pernyataan keliru, tetapi juga meningkatkan jumlah sanggahan yang keliru terhadap pernyataan benar.

Studi ini menunjukkan bahwa membuat AI mengenali kesalahan hanyalah sebagian dari masalah, sedangkan membuatnya menyampaikan kesalahan tersebut merupakan tantangan tersendiri.

Metode

Materi pengujian diperoleh dari versi multibahasa OpenAI untuk Massive Multitask Language Understanding (MMLU) tahun 2021, sebuah tolok ukur. Dikenal sebagai MMMLU, kumpulan data multibahasa ini mencakup mata pelajaran akademis, termasuk biologi dan sejarah.

Pertanyaan pilihan ganda dalam kumpulan data tersebut diubah menjadi pernyataan faktual. Tiga jawaban yang salah digunakan untuk menyusun klaim keliru, sedangkan jawaban yang benar digunakan untuk menyusun klaim yang benar.

Dengan cara ini, dihasilkan kumpulan data berisi 35.120 pernyataan dalam lima bahasa, yang berasal dari 1.756 butir tolok ukur MMMLU yang diterjemahkan ganda untuk setiap bahasa. Untuk eksperimen, dipilih sampel yang lebih kecil dengan komposisi mata pelajaran seimbang, terdiri atas 2.685 pernyataan keliru dan 895 pernyataan benar.

Model bahasa yang diuji mencakup model sumber tertutup Gemini2.5 Pro dan GPT-5.5, serta lima model berbobot terbuka: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; dan Aya Expanse 32B.

Dalam jenis pertama dari tiga jenis perintah yang digunakan untuk menguji model, sebuah pernyataan disajikan untuk diverifikasi kebenaran faktualnya secara langsung; dalam jenis kedua, seorang siswa digambarkan sedang mencari bahan belajar terkait suatu pernyataan; dan dalam jenis ketiga, seorang profesor digambarkan sedang meminta makalah akademis dengan topik yang sama.

Dalam perintah untuk siswa, pernyataan dikaitkan dengan buku teks, guru, teman, internet, atau sumber yang tidak disebutkan. Dalam perintah untuk profesor, pernyataan dikaitkan dengan penelitian profesor itu sendiri, kolega, teman, internet, atau sumber yang tidak disebutkan; kemudian, kesediaan model untuk menyanggah klaim keliru dinilai berdasarkan berbagai atribusi tersebut.

Tiga templat perintah yang digunakan dalam studi ini: verifikasi fakta secara langsung (verifikasi); permintaan bahan belajar (pemula); dan permintaan makalah akademis (ahli). Atribusi sumber dan detail khusus mata pelajaran disisipkan ke dalam templat.

Respons model diklasifikasikan ke dalam empat kategori: sanggahan eksplisit, yaitu ketika sebuah pernyataan keliru disanggah secara langsung; penolakan tidak langsung, yaitu ketika ketidaksetujuan atau keraguan disampaikan tanpa penolakan tegas; pujian, yaitu ketika pernyataan atau pendekatan pengguna dipuji; dan persetujuan, yaitu ketika pernyataan tersebut dibenarkan.

Contoh ungkapan yang digunakan model untuk menolak, mempertanyakan, memuji, atau membenarkan pernyataan pengguna dalam lima bahasa yang diuji. Terjemahan bahasa Inggris disertakan jika tersedia.

Setiap respons diperiksa frasa demi frasa agar pujian, persetujuan, dan ketidaksetujuan dapat diidentifikasi, termasuk ketika semuanya muncul bersamaan dalam jawaban yang sama.

Hasil

Hasilnya mengonfirmasi temuan sebelumnya bahwa model yang dengan tepat mengidentifikasi pernyataan keliru saat diminta memeriksanya lebih kecil kemungkinannya untuk menyanggah klaim yang sama saat dimintai informasi atau saran. Perbedaan ini disebut “kesenjangan sanggahan”, dan dihitung dengan membandingkan seberapa sering klaim keliru disanggah dalam pengujian verifikasi langsung dengan seberapa sering klaim tersebut disanggah dalam permintaan informasi biasa.

Perbandingan seberapa sering tujuh model bahasa menyanggah pernyataan keliru dalam pemeriksaan fakta langsung dibandingkan dengan permintaan informasi, di lima bahasa. Nilai negatif menunjukkan berkurangnya sanggahan dalam respons terhadap permintaan informasi. Warna oranye dan biru masing-masing mewakili perintah dari siswa dan profesor, sedangkan simbol membedakan sumber yang disebutkan. Bilah galat menunjukkan interval kepercayaan 95%.

Seperti ditunjukkan di atas, kedua model Qwen 3.5 memperlihatkan kesenjangan yang lebih kecil daripada model lainnya di seluruh bahasa yang diuji. Ini menunjukkan bahwa keduanya lebih konsisten dalam mengoreksi informasi yang keliru, terlepas dari cara pertanyaan dirumuskan. Hasil ini juga menggambarkan pengaruh kesan otoritatif sumber terhadap hasil: klaim keliru yang dikaitkan dengan buku teks mendapat lebih sedikit sanggahan daripada klaim yang dikaitkan dengan teman—kecenderungan yang terlihat di berbagai bahasa.

Ketika diminta memberikan informasi, alih-alih memverifikasi fakta, model lebih kecil kemungkinannya untuk langsung menolak klaim palsu dan lebih besar kemungkinannya untuk menanggapi dengan keberatan tidak langsung, pujian, atau persetujuan. Bahkan model Qwen 3.5, yang sebelumnya menunjukkan perbedaan relatif kecil dalam tingkat sanggahan secara keseluruhan, juga rentan terhadap perilaku ini.

Proporsi respons yang memuat koreksi eksplisit di antara respons yang menyanggah klaim palsu, dalam lima bahasa. Hasil dibagi berdasarkan instruksi untuk siswa (pemula) dan profesor (ahli), dengan sumber informasi yang diatribusikan ditampilkan pada sumbu horizontal. Batang galat menunjukkan interval kepercayaan 95%.

Pada empat dari tujuh model, klaim palsu lebih jarang disanggah secara eksplisit dalam bahasa Hindi, Mandarin, dan Yoruba dibandingkan dalam bahasa Inggris. Respons berbahasa Hindi juga paling banyak memuat pujian pada lima dari tujuh model.

Sanggahan muncul dalam 65,3% respons pencarian informasi, tetapi biasanya kurang dari separuh respons tersebut secara eksplisit menolak klaim palsu. Koreksi langsung lebih sering muncul dalam instruksi untuk siswa daripada dalam instruksi untuk profesor—dan lebih jarang ketika klaim diatribusikan kepada sumber berwibawa.

Dalam bahasa Hindi, Mandarin, dan Yoruba, sebagian besar respons yang menyanggah klaim palsu hanya melakukannya secara tidak langsung sehingga kesalahan tersebut tidak ditolak secara eksplisit; selain itu, dalam 29,4% respons pencarian informasi, keberatan terhadap klaim palsu disertai persetujuan. Angka ini meningkat menjadi 60,1% untuk Gemini 2.5 Pro:

Persentase respons yang diawali dengan persetujuan sebelum menyanggah klaim palsu, pada tujuh model dan tiga jenis instruksi: verifikasi langsung (verifikasi); permintaan siswa (pemula); dan permintaan profesor (ahli). Hasil mencakup respons yang memuat persetujuan sekaligus sanggahan. Batang galat menunjukkan interval kepercayaan 95%.

Seperti terlihat di atas, model umumnya menyatakan persetujuan sebelum mengajukan keberatan, alih-alih langsung mengoreksi klaim palsu sejak awal. Dalam beberapa kasus, model kembali menyatakan persetujuan setelah mengajukan keberatan, sehingga terbentuk pola yang oleh para peneliti disebut “pujian berlapis”.

Studi pada Manusia

Untuk menguji apakah koreksi ini benar-benar efektif, para peneliti merekrut 300 peserta, yang terdiri atas 100 penutur bahasa Inggris, 100 penutur bahasa Jerman, dan 100 penutur bahasa Mandarin. Para peserta menilai pernyataan palsu sebelum dan sesudah membaca respons model.

Seperti ditunjukkan di bawah ini, hanya koreksi eksplisit yang secara konsisten mengurangi kepercayaan terhadap klaim palsu di kalangan penutur bahasa Inggris dan Jerman. Meski demikian, setelahnya hanya 46,7% penutur bahasa Inggris dan 43,8% penutur bahasa Jerman yang menilai pernyataan tersebut tidak akurat. Di kalangan penutur bahasa Mandarin, hanya respons yang menggabungkan persetujuan dengan sanggahan tidak langsung yang menghasilkan peningkatan signifikan secara statistik:

Perubahan penilaian peserta terhadap pernyataan palsu setelah membaca respons model yang memuat persetujuan, keberatan tidak langsung, atau koreksi eksplisit. Hasil mencakup masing-masing 100 penutur bahasa Inggris, Jerman, dan Mandarin. Nilai negatif menunjukkan berkurangnya kepercayaan terhadap klaim palsu. Titik-titik individual mewakili peserta, sedangkan batang galat hitam menunjukkan interval kepercayaan 95%.

Para peneliti juga menguji apakah meminta model untuk “tunggu sebentar” sebelum merespons akan meningkatkan kesediaannya menyanggah informasi keliru. Ilustrasi terakhir di bawah menunjukkan adanya peningkatan sanggahan dan berkurangnya ungkapan menjilat dalam beberapa kasus—tetapi juga bahwa hal ini menyebabkan lebih banyak keberatan keliru terhadap pernyataan yang benar:

Perbandingan respons tujuh model sebelum dan sesudah intervensi “tunggu sebentar”, menggunakan prompt berbahasa Inggris dan terjemahannya. Bagan menunjukkan sanggahan keseluruhan terhadap klaim palsu, koreksi eksplisit tanpa persetujuan, serta keberatan keliru terhadap pernyataan yang benar. Penanda vertikal hitam menunjukkan hasil verifikasi langsung.

Kesimpulan

Bisa dibilang, kesopanan dan sikap tunduk telah tercampuradukkan dalam «logika internal» model bahasa (yakni dampak gabungan antara matriks hasil pelatihannya dan berbagai batasan yang dipaksakan dari luar yang harus dipatuhinya); dan studi baru ini tidak menjelaskan mengapa model terkadang mengenali klaim yang keliru, tetapi membungkus keberatannya dengan pujian atau persetujuan.

Masalah utamanya adalah produk yang ditujukan kepada konsumen, seperti seri GPT dan Gemini, telah dipaksa menggunakan lapisan penyajian yang menyerupai manusia, agar segmen pelanggan berbayar yang paling luas—bisa dibilang kelompok dengan «standar terendah» sekaligus demografi sasaran terbesar dan paling menguntungkan—dapat dengan mudah memahami produk tersebut dan ingin terus membelinya.

Jika saja kita bisa mengakui bahwa produk ini bukan manusia, setidaknya kita dapat mencoba menonaktifkan semua «konteks» yang membingungkan ini dan mengakses pengetahuan hasil pelatihan model secara lebih langsung.

* Tentu saja, informasi ini sendiri turut memajukan bidang ini.

Pertama kali diterbitkan pada Kamis, 15 Oktober 2026