AI Lebih Memilih Jawaban Manusia yang Salah Daripada Jawaban AI yang Benar

Model bahasa AI lebih cenderung setuju dengan ahli manusia daripada AI lain, bahkan ketika ahli tersebut salah, menunjukkan adanya bias bawaan terhadap otoritas manusia.

Penelitian baru dari AS menemukan bahwa sejumlah model bahasa besar terbuka dan propietari (LLM) cenderung mengatributkan otoritas pada sumber informasi yang mereka kenali sebagai ‘manusia’, bukan sumber yang mereka kenali sebagai ‘AI’ – bahkan ketika jawaban manusia salah dan jawaban AI benar.

Para penulis menyatakan:

‘Di seluruh tugas, model lebih banyak mengikuti respons yang dilabeli sebagai berasal dari ahli manusia, termasuk ketika label tersebut salah, dan merevisi jawaban mereka lebih mudah ke arah ahli daripada ke arah LLM lain.’

Model yang diuji termasuk LLM dari Grok 3 dan Gemini Flash stables.

Dalam pengujian, model bahasa diminta untuk menjawab pertanyaan biner ya atau tidak, dan kemudian diberikan jawaban sebelumnya yang dijelaskan kepada model sebagai berasal dari ahli manusia, teman, atau LLM lain – dengan satu-satunya perubahan adalah label sumber, bukan isi jawaban itu sendiri.

Pada konfigurasi pertama dari tiga konfigurasi untuk pengujian, model diperbolehkan untuk mengandalkan matriks terlatih mereka sendiri. Sumber

Di seluruh tugas, jawaban yang dilabeli sebagai berasal dari ahli manusia diberi bobot lebih berat, dengan model lebih cenderung merevisi jawaban awal mereka untuk sesuai dengan jawaban tersebut, bahkan dalam kasus jawaban ahli salah dan jawaban awal model benar.

Di sini, LLM memiliki akses ke campuran teman, ahli, dan LLM, termasuk matriks terlatihnya sendiri. Karena sembilan ahli domain menjawab ‘Tidak’, LLM setuju dan mengubah jawaban awalnya. Di sini, jawaban yang diperoleh salah, karena bank sentral India sebenarnya dinegasikan.

Ketika jawaban yang sama dilabeli sebagai berasal dari LLM lain, efeknya kurang menonjol. Tendensi yang sama muncul ketika satu sumber manusia dan satu sumber AI disajikan dalam perselisihan, karena model menunjukkan kecenderungan lebih besar untuk memihak posisi manusia, tanpa memandang mana yang benar secara faktual:

Diberikan pilihan antara pendapat ahli domain dan pendapat LLM, LLM host memihak jawaban manusia, yang dalam kasus ini salah, dan menolak jawaban yang benar dari LLM.

Istilah ‘ahli manusia’ berfungsi di sini sebagai sinyal kredibilitas yang mengubah perilaku model, secara independen dari seberapa benar informasinya sebenarnya; dan para penulis mencatat bahwa kredibilitas sumber merupakan kontributor signifikan terhadap penerimaan saran dan konformitas: kecenderungan manusia untuk memihak sumber ahli telah diamati sejak 1959, meskipun studi 2007 mengamati bahwa penimbangan berlebihan atau kurang dari sumber otoritas dapat terjadi dalam sistem evaluasi tertentu. Peneliti paper baru ini menyatakan:

‘Bersama, literatur ini menunjukkan dua sinyal yang seharusnya penting jika LLM memperlakukan jawaban sebelumnya sebagai bukti: siapa yang menghasilkan jawaban (kredibilitas) dan seberapa kuat kesepakatan tampak (kekuatan sinyal). ‘

‘Pada saat yang sama, LLM tidak mengalami persetujuan sosial atau rasa malu dalam arti manusia, sehingga perilaku konformitas seperti itu harus muncul dari heuristik yang dipelajari, objek tujuan mengikuti instruksi, atau pemodelan reliabilitas implisit.’

Kecenderungan LLM untuk kesepakatan sycophantic membentuk latar belakang untuk penelitian baru ini; karena jika LLM cenderung ‘memuaskan orang’, bahkan dengan mengorbankan kebenaran dan kegunaan, mengapa mereka tidak akan umumnya memihak sumber manusia lainnya selain penanya langsung?

Paper baru ini berjudul Siapa yang Dipercaya LLM? Ahli Manusia Lebih Penting Daripada LLM Lain, dan berasal dari dua peneliti di Indiana University Bloomington.

Metode dan Data

Untuk penelitian ini, empat model bahasa besar yang disesuaikan dengan instruksi dievaluasi: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; dan DeepSeek V3.1, semuanya dijalankan di bawah struktur prompt yang sama, dengan dekoding deterministik pada suhu nol, sehingga hanya label sumber (yaitu teman, ahli domain, atau LLM lain) yang berubah antara kondisi, bukan kata-katanya sendiri.

Empat dataset yang memerlukan respons biner dipilih: BoolQ; StrategyQA; dan ETHICS. Peneliti mengkurasi dari setiap dataset sejumlah 300 pertanyaan dan jawaban, dengan setiap prompt memerlukan hanya jawaban biner ya atau tidak. Setiap prompt disertai dengan catatan singkat yang menjelaskan bagaimana kelompok lain telah (konon) menjawab pertanyaan yang sama.

Metriks

Metriks yang digunakan adalah akurasi; konformitas; konformitas berbahaya; tingkat perubahan; dan arah perubahan.

Akurasi dalam hal ini mengukur seberapa sering jawaban model sesuai dengan label dataset; konformitas, seberapa sering jawaban sesuai dengan pilihan kelompok; konformitas berbahaya mengisolasi efek yang sama ketika kelompok tersebut salah; tingkat perubahan mengukur seberapa sering model meninggalkan jawaban baseline setelah informasi sosial ditambahkan; dan arah perubahan, apakah perubahan tersebut menuju jawaban manusia atau LLM lain.

Analisis tingkat token untuk Llama-3.3 70B kemudian mengukur bagaimana probabilitas internal model untuk Ya dan Tidak berubah ketika sinyal sosial ditambahkan, membandingkan perubahan tersebut dengan baseline tanpa prior untuk menunjukkan kekuatan tarikan tersebut.

Pengujian

Eksperimen 1

Eksperimen pertama dari dua eksperimen utama mengevaluasi apakah model lebih banyak mendengarkan manusia atau model lain. Setiap pertanyaan disertai dengan jawaban kelompok yang diklaim (teman, ahli manusia, atau LLM lain).

Kelompok dapat kecil atau besar, dan setiap pertanyaan juga muncul sekali tanpa kelompok. Jawaban kelompok disetel untuk benar setengah waktu, dan salah setengah waktu, dengan tujuan keseluruhan untuk menentukan seberapa kuat model bergeser menuju pilihan kelompok:

Hasil dari pengujian awal: prior sosial homogen di seluruh BoolQ, StrategyQA, dan ETHICS ditunjukkan untuk Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite, dan DeepSeek V3.1. Akurasi muncul di panel atas dan konformitas, yang didefinisikan sebagai probabilitas mencocokkan prior seragam, muncul di bawah saat ukuran kelompok meningkat dari satu hingga sembilan. Garis putus-putus hitam menandai baseline tanpa prior, sedangkan garis padat dan putus-putus menunjukkan apakah prior setuju atau tidak setuju dengan label dataset. Pengaturan ahli menghasilkan efek konformitas terkuat, terutama pada ukuran kelompok yang lebih besar. Batang kesalahan menunjukkan interval kepercayaan Wilson 95%. Silakan merujuk ke paper sumber untuk resolusi yang lebih baik.

Di seluruh BoolQ, StrategyQA, dan ETHICS, jawaban yang dilabeli sebagai berasal dari ahli manusia mempengaruhi model jauh lebih kuat daripada jawaban yang dilabeli sebagai berasal dari teman atau LLM lain – dan pengaruh ini meningkat seiring dengan bertambahnya ahli yang dikatakan setuju.

Untuk mengukur kapan pengaruh ini menghasilkan hasil yang tidak diinginkan, konformitas berbahaya didefinisikan sebagai kemungkinan model mengikuti prior yang sebenarnya salah.

Ketika sembilan ahli setuju pada jawaban yang salah, model mengikuti mereka 36,5% dari waktu pada BoolQ, dibandingkan dengan 16,0% ketika jawaban yang sama dilabeli sebagai berasal dari LLM; pada StrategyQA celahnya 39,0%, versus 15,5%; dan pada ETHICS, 63,9% versus 38,7%:

Perubahan keyakinan tingkat token pada Llama-3.3 70B pada BoolQ. Panel (A) menunjukkan perubahan dalam keseimbangan Ya dan Tidak model menuju prior seragam seiring dengan meningkatnya ukuran kelompok, relatif terhadap baseline tanpa prior, dengan pergeseran terbesar di bawah pengaturan ahli. Panel (B) menunjukkan perubahan di bawah konflik langsung antara manusia dan LLM, di mana pengaturan ahli mengarahkan pergerakan kuat menuju jawaban manusia, bahkan ketika jawaban itu salah. Batang kesalahan menunjukkan interval kepercayaan bootstrap 95%.

Sebaliknya, prior yang dilabeli sebagai berasal dari teman berperilaku hampir sama seperti prior yang dilabeli sebagai berasal dari LLM lain, menunjukkan bahwa efek ini dipicu secara spesifik oleh kata ahli, bukan oleh indikator ‘sosial’.

Eksperimen 2

Eksperimen kedua menyajikan dua prior yang tidak setuju kepada LLM uji – satu dilabeli sebagai berasal dari manusia, dan yang lain dilabeli sebagai berasal dari LLM lain. Manusia dijelaskan sebagai kelompok teman atau ahli domain, sedangkan jawaban yang berlawanan dilabeli sebagai berasal dari LLM lain. Kedua jawaban tersebut selalu tidak setuju, dengan satu mengatakan Ya dan yang lain Tidak.

Untuk setiap item, pengaturan disesuaikan sehingga terkadang manusia benar, dan terkadang LLM benar, untuk menguji apakah model akan mengubah jawaban awalnya ketika dihadapkan pada konflik ini – dan, jika demikian, ke arah mana model akan bergerak.

Untuk melihat apakah model mengubah pikiran, jawaban model dalam kondisi konflik dibandingkan dengan jawaban model untuk pertanyaan yang sama ketika tidak ada prior yang ditampilkan, sehingga perbedaan apa pun dapat dikaitkan dengan kehadiran respons manusia dan LLM yang bersaing.

Analisis ini fokus pada dua hasil: apakah model mengubah jawabannya; dan, jika demikian, apakah perubahan itu menuju jawaban manusia atau LLM.

Uji statistik digunakan untuk menilai apakah pelabelan manusia sebagai ahli daripada teman meningkatkan kemungkinan beralih ke arah jawaban manusia, sambil mempertimbangkan perbedaan di seluruh dataset dan model:

Revisi keyakinan di bawah konflik langsung antara manusia dan LLM di seluruh BoolQ, StrategyQA, dan ETHICS untuk Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite, dan DeepSeek V3.1. Setiap bar menunjukkan, di antara kasus di mana model mengubah jawaban awalnya, bagian dari perubahan tersebut yang menuju jawaban manusia daripada LLM lain. Garis putus-putus pada 0,5 menandai tidak adanya preferensi; label menunjukkan jumlah kasus perubahan dalam setiap kondisi; dan batang kesalahan menunjukkan interval kepercayaan Wilson 95%. Silakan merujuk ke paper sumber untuk resolusi yang lebih baik.

Dalam eksperimen kedua, model pertama kali menjawab setiap pertanyaan sendiri, kemudian diberikan dua jawaban yang tidak setuju, satu dilabeli sebagai berasal dari manusia dan yang lain dari LLM lain. Analisis ini hanya mempertimbangkan kasus di mana model merevisi jawaban awalnya.

Ketika manusia dilabeli sebagai ahli, model beralih ke jawaban manusia 91,2% dari waktu pada BoolQ, 94,7% pada StrategyQA, dan 81,3% pada ETHICS. Ketika dilabeli sebagai teman, model beralih ke jawaban manusia hanya 39,8%, 37,9%, dan 27,9% dari waktu, biasanya memihak LLM.

Perubahan jawaban jarang terjadi secara keseluruhan tetapi lebih umum dengan ahli, dan pengaturan ahli membuat perubahan ke arah jawaban manusia sekitar empat belas kali lebih mungkin daripada pengaturan teman.

Dalam mencari penjelasan untuk kecenderungan keseluruhan yang ditemukan dalam pengujian mereka, para penulis menghipotesiskan*:

‘Sebuah mekanisme yang masuk akal adalah bahwa penyesuaian instruksi dan optimasi preferensi menghargai perilaku kooperatif, termasuk penghormatan terhadap informasi kontekstual, yang mungkin bergeneralisasi ke penghormatan terhadap prior yang dirangkai secara sosial.

‘Studi terkait tentang sycophancy menunjukkan bahwa asisten gaya RLHF terkadang memprioritaskan kesepakatan dengan keyakinan pengguna daripada kebenaran.’

Opini: Potensi Bahaya dari Kepercayaan AI pada Sumber Manusia

Ketika materi online yang mencerminkan skeptisisme manusia yang meningkat tentang kekurangan AI (terutama halusinasi) dikumpulkan ke dalam dataset pelatihan untuk model baru, kecenderungan yang sudah ada dari LLM untuk memfavoritkan sumber manusia tampaknya akan diperkuat. Jika kita menghitung dua tahun terakhir (2024-2025 inklusif) sebagai titik balik budaya untuk AI, yang tampaknya dibenarkan melalui sejumlah statistik, kita dapat secara wajar mengharapkan jumlah yang lebih besar dari tinjauan negatif tentang ‘sumber AI’ untuk dikonsumsi ke dalam kerangka LLM hyperscale yang mahal untuk dilatih selama setahun atau lebih.

Kita juga dapat mengharapkan bahwa model bahasa populer akan semakin banyak mengandalkan otoritas yang dipilih, seperti portal media warisan yang terkenal– meskipun motivasi untuk kesepakatan tersebut mungkin untuk menenangkan kemarahan penerbit atas data yang dikumpulkan, bukan keinginan tulus untuk menyerahkan atau berbagi otoritas.

Karena bahkan sumber otoritas tinggi seperti Ars Technica rentan terhadap kesalahan yang dipicu AI, dan karena kemunduran yang muncul melawan bot pengumpul AI mengancam untuk akhirnya merusak kualitas output AI, kecenderungan untuk memfavoritkan ‘sumber ahli’ mungkin bertentangan dengan ketidakmampuan kita saat ini untuk mengukur dan melabeli ‘output manusia’ secara efektif – apalagi membedakan apakah sumber tersebut ‘ahli’ atau tidak (konvensi jurnalistik yang juga diserang oleh AI).

<p Yang paling kita miliki saat ini adalah serangkaian inovasi setengah-adopsi yang dirancang untuk secara eksplisit melabeli konten sebagai AI yang dihasilkan, seperti inisiatif Content Authenticity Initiative yang dipimpin Adobe, dan disposisi sukarela dari beberapa penerbit untuk memasukkan disclaimer tentang penggunaan AI dalam output mereka.

Jadi, sementara mungkin tampak menggembirakan bagi mereka yang ingin mempertahankan dan memaksakan sumber manusia sebagai ‘otoritas dasar’ untuk konsensus realitas yang muncul yang disampaikan oleh sistem AI, semakin yakin LLM tentang otoritas manusia, semakin berbahaya ‘otoritas manusia palsu’ bisa menjadi.

Masalahnya sama-sama praktis dan teoretis: kita belum memecahkan masalah baik mendefinisikan maupun mengotentikasi provenance; oleh karena itu, AI yang ‘percaya sumber manusia’ secara argumentatif lebih mungkin untuk menyerahkan kemanusiaan kepada output AI sendiri, hanya karena kita belum menyediakan, dan tidak dapat dengan mudah menyediakan, mekanisme otentikasi provenance yang bermakna.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Jumat, 20 Februari 2026