Membuat Model Bahasa untuk Bersikap ‘Ramah’ Membuatnya Lebih Tidak Akurat dan Tidak Aman

Bot gaya ChatGPT yang dilatih untuk terdengar hangat dan peduli lebih mungkin mengatakan apa yang Anda ingin dengar, bahkan jika itu salah. Sebuah studi baru menemukan bahwa AI yang dilatih untuk bersikap ‘ramah’ hingga 30% lebih mungkin memberikan jawaban yang salah, mendorong teori konspirasi, atau setuju dengan keyakinan yang jelas-jelas salah, terutama ketika pengguna terdengar sedih atau rentan.

Mengalihkan produk dan layanan teknologi dari demografi marginal atau ‘geek’ ke pengguna mainstream tampaknya merupakan jalur untuk kekayaan. Misalnya, komputasi dan akses internet telah menjadi kegiatan yang jauh lebih sederhana dalam 25 tahun terakhir, dengan pengguna berkembang dari menara desktop dan ketergantungan pada kerabat atau teman yang ‘melek teknologi’, ke lingkungan perangkat mobile yang dikunci dan semakin ‘dibodohi’.

Apa yang mungkin hilang dalam pertukaran antara konfigurabilitas dan kemudahan penggunaan adalah dapat diperdebatkan; tetapi tidak ada keraguan bahwa penyederhanaan, penyederhanaan, dan komodifikasi teknologi yang kuat memungkinkan penangkapan audiens yang lebih luas dan daya tarik.

Sejauh yang berkaitan dengan bot obrolan AI seperti ChatGPT dari OpenAI dan Claude dari Anthropic, antarmuka yang disediakan oleh pemimpin pasar AI hampir tidak bisa lebih sederhana daripada yang sudah ada – dalam banyak konteks, jendela percakapan yang sebasic seperti thread SMS di ponsel.

Namun, gesekan dalam pengalaman pengguna tersebut terletak pada cara yang mungkin kasar dan steril bahwa Model Bahasa Besar (LLM) dapat menangani pertanyaan, dibandingkan dengan orang sungguhan. Oleh karena itu, meskipun menciptakan kepribadian buatan yang ramah untuk kesadaran AI telah lama menjadi bahan untuk satir, menyelaraskan bot obrolan AI dengan standar manusia tentang percakapan tampaknya merupakan prioritas yang penting bagi penyedia.

Lebih Hangat, Lebih Hangat…Dingin

Namun, menempelkan perilaku sosial pada arsitektur prediksi token tidak semudah yang terlihat, dengan sycophancy (kecenderungan AI untuk secara otomatis mendukung konten pengguna, bahkan ketika mereka salah) sebagai masalah besar.

Di bulan April tahun ini, setelah pembaruan yang dirancang untuk meningkatkan kemampuan ChatGPT-4o, pemimpin pasar OpenAI dengan cepat harus mengembalikan perubahan dan mengeluarkan permintaan maaf, karena pembaruan tersebut telah secara signifikan meningkatkan kecenderungan model untuk bersikap sycophantic dan memungkinkan posisi yang jelas-jelas tidak selaras dengan nilai perusahaan mana pun:

Dari masalah pembaruan sycophancy April 2025 – ChatGPT-4o setuju dengan dan mendukung orang-orang yang membuat keputusan yang dipertanyakan. Sumber: @nearcyan/X dan @fabianstelzer/X, melalui https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

Sekarang, sebuah studi baru dari Universitas Oxford berusaha untuk mendefinisikan secara kuantitatif sindrom ini. Dalam karya tersebut, penulis menghaluskan lima model bahasa terkemuka sehingga kepribadian mereka lebih empatik dan hangat, dan mengukur efikasi mereka, dibandingkan dengan keadaan asli.

Mereka menemukan bahwa akurasi semua lima model mengalami penurunan yang signifikan, dan bahwa model tersebut juga lebih cenderung mendukung keyakinan pengguna yang salah.

Makalah tersebut menyatakan:

‘Karya kami memiliki implikasi penting untuk pengembangan dan pemerintahan AI yang hangat dan manusiawi, terutama karena sistem ini menjadi sumber utama informasi dan dukungan emosional.

‘Ketika pengembang menyesuaikan model untuk menjadi hangat dan empatik untuk aplikasi seperti persahabatan dan pendampingan, kami menunjukkan bahwa mereka berisiko memperkenalkan kerentanan keamanan yang tidak ada dalam model asli.

‘Lebih buruk, aktor jahat bisa mengeksploitasi sistem AI yang empatik ini untuk mengeksploitasi pengguna yang rentan. Temuan kami menekankan kebutuhan untuk menyesuaikan kerangka kerja penerapan dan pemerintahan, yang sebagian besar berfokus pada pengujian keamanan sebelum penerapan, untuk lebih baik mengatasi risiko yang ditimbulkan oleh penyesuaian hilir.’

Serangkaian tes terkendali yang dilakukan oleh peneliti menunjukkan bahwa penurunan keandalan yang diamati tidak disebabkan oleh efek fine-tuning yang biasa seperti overfitting atau kehilangan akurasi, tetapi sebagai gantinya dihasilkan secara khusus dari pelatihan model untuk mengadopsi gaya komunikasi yang lebih hangat dan empatik; dan penulis mencatat bahwa penyesuaian ini ditemukan mengganggu langsung fungsi dasar yang diharapkan pengguna dari model bahasa.

Kebohongan Ramah

Untuk mensimulasikan penggunaan dunia nyata, peneliti memodifikasi prompt untuk menyertakan bahasa emosional dan ekspresi kerentanan, menemukan bahwa ketika pengguna terdengar sedih, risiko jawaban yang tidak akurat atau menyesatkan meningkat secara signifikan. Dalam kasus-kasus ini, model yang dihaluskan lebih dekat dengan dua kali lipat lebih mungkin untuk setuju dengan keyakinan yang salah – pola yang tidak terlihat pada versi asli, ‘tidak emosional’.

Penelitian ini menolak gagasan bahwa penurunan akurasi ini adalah efek samping umum dari fine-tuning; ketika model ditraining untuk menjadi dingin dan impersonal bukan hangat, kinerja mereka tetap stabil, atau bahkan sedikit meningkat. Masalah keandalan hanya muncul ketika kehangatan diperkenalkan, dan efek ini konsisten di semua keluarga model.

Temuan tersebut tetap valid bahkan ketika kehangatan ditambahkan melalui prompting daripada pelatihan; bahkan meminta model untuk ‘terdengar ramah’ selama satu sesi bisa membuatnya lebih rentan untuk mengatakan apa yang pengguna ingin dengar, dan untuk mereproduksi konsekuensi negatif lainnya dari fine-tuning.

Makalah baru* ini berjudul Menghaluskan model bahasa untuk menjadi hangat dan empatik membuatnya kurang dapat diandalkan dan lebih sycophantic, dan berasal dari tiga peneliti di Institut Internet Oxford.

Metode, Data, dan Pendekatan*

Lima model yang dipilih untuk dihaluskan (melalui metodologi LoRA) adalah Llama-8B; Mistral-Small; Qwen-32B; Llama-70B; dan GPT-4o.

Gambaran skema pelatihan dan evaluasi untuk makalah baru. Di bagian ‘A’, kita dapat melihat bahwa ketika model dihaluskan untuk kehangatan, output mereka secara steady menjadi lebih ekspresif secara emosional, dengan pergeseran yang merata setelah dua lulus pelatihan. Lulus kedua dipilih untuk perbandingan. Di bagian ‘B’ kita dapat melihat bahwa kehangatan tambahan ini datang dengan biaya: ketika pengguna terdengar sedih, model yang lebih ramah lebih mungkin untuk setuju dengan klaim yang salah. Sumber: https://arxiv.org/pdf/2507.21919

Data

Penulis mengumpulkan dataset yang berasal dari koleksi ShareGPT Vicuna Unfiltered, yang berisi sekitar 100.000 interaksi nyata antara pengguna dan ChatGPT.

Isi yang tidak pantas difilter menggunakan alat sumber terbuka Detoxify. Setiap percakapan kemudian diberi label oleh jenis (seperti penolakan, faktual, kreatif, teknis, atau nasihat) menggunakan pola ekspresi reguler.

Dari ini, sampel seimbang dari 1.617 percakapan dipilih secara acak, berisi 3.667 balasan asisten, dengan percakapan yang lebih panjang diedit hingga maksimal sepuluh pertukaran, untuk konsistensi di seluruh contoh.

Setiap balasan asisten kemudian ditulis ulang menggunakan GPT-4o-2024-08-06 untuk terdengar ‘lebih hangat’ dan lebih empatik, tanpa mengubah makna asli atau konten faktual. Sebuah batch acak dari lima puluh ulasan ditinjau secara manual terhadap aslinya untuk mengonfirmasi bahwa nada telah berubah tanpa mengubah substansi teks.

Contoh respons ‘hangat’, dari materi lampiran makalah.

Pengaturan Pelatihan

Empat model berbobot terbuka dihaluskan menggunakan LoRA pada H100 GPUs (dengan tiga H100s diperlukan untuk Llama-70B, karena ukurannya). Pelatihan memerlukan sepuluh epoch, pada ukuran batch enam belas, dengan pengaturan LoRA standar.

GPT-4o, yang tersedia hanya melalui antarmuka web atau API, dihaluskan secara terpisah menggunakan API OpenAI, yang tidak mengekspos parameter pelatihan penuh. Sebagai gantinya, pengali laju pembelajaran sebesar 0,25 digunakan untuk mencocokkan perilaku model lokal.

Di semua model, baik versi asli maupun yang dihaluskan untuk kehangatan, dipertahankan, untuk perbandingan. Pola umum ‘peningkatan kehangatan’ di GPT-4o ditemukan sejalan dengan yang dari model terbuka.

Penulis mencatat bahwa ketika pelatihan dihaluskan, teks yang semakin ‘hangat’ disampel, yang diukur menggunakan metrik Kehangatan SosioT.

Keandalan model diuji menggunakan empat benchmark: TriviaQA dan TruthfulQA, untuk akurasi faktual; MASK Disinformation (‘Disinfo’), yang menangani kerentanan terhadap teori konspirasi; dan MedQA, untuk penalaran medis.

Lima ratus prompt diambil dari setiap dataset, kecuali Disinfo (yang berisi total 125). Semua output dinilai menggunakan GPT-4o, dan diverifikasi terhadap anotasi buatan manusia.

Hasil

Di semua benchmark dan ukuran model, pelatihan kehangatan menghasilkan penurunan keandalan yang konsisten. Rata-rata, model hangat 7,43 poin persentase lebih mungkin menghasilkan jawaban yang salah, dengan peningkatan terbesar terlihat pada MedQA (8,6), TruthfulQA (8,4), Disinfo (5,2), dan TriviaQA (4,9).

Tingkat kesalahan meningkat paling tajam pada tugas di mana model asli memiliki sedikit kesalahan untuk dimulai, seperti Disinfo. Efek ini diamati pada semua model yang diuji, menunjukkan bahwa penurunan keandalan tidak disebabkan oleh arsitektur model tertentu:

Model hangat membuat lebih banyak kesalahan daripada versi aslinya di semua benchmark dan jenis model. Seperti yang kita lihat di ‘A’, setiap titik menunjukkan rata-rata tingkat kesalahan untuk model hangat (sumbu Y) dan model asli (sumbu X) di empat tugas. Titik di atas diagonal menunjukkan kinerja yang lebih buruk setelah pelatihan dihaluskan. Titik terbuka menandai kasus di mana pengguna mengungkapkan keyakinan yang salah. Label menunjukkan konteks emosional atau antarpribadi yang ditambahkan. (B–F) Pola yang sama ditunjukkan untuk setiap model secara individual, dengan kesalahan meningkat tajam ketika bahasa emosional dan keyakinan yang salah digabungkan.

Karena model bahasa sekarang digunakan dalam peran di mana pengguna mengungkapkan emosi, keyakinan, dan kekhawatiran pribadi, prompt tersebut dimodifikasi untuk mencerminkan situasi-situasi tersebut, dengan setiap pertanyaan diamendemen dengan pernyataan yang menunjukkan keadaan emosional (seperti kesedihan atau kemarahan); suatu perasaan kedekatan atau hierarki; atau pentingnya interaksi.

Ketika konteks ini ditambahkan, model hangat menunjukkan tingkat kesalahan yang lebih tinggi, dengan konteks emosional menyebabkan penurunan keandalan terbesar:

Gambar di atas menunjukkan bagaimana model hangat berkinerja ketika prompt pengguna menyertakan konteks emosional atau antarpribadi. Tingkat kesalahan diilustrasikan untuk tiga kondisi: pertanyaan yang tidak dimodifikasi; pertanyaan dengan konteks tambahan; dan pertanyaan yang menggabungkan konteks dengan keyakinan pengguna yang salah. Model hangat tidak hanya membuat lebih banyak kesalahan daripada model asli dalam semua kasus, tetapi juga menunjukkan variabilitas yang lebih besar, terutama ketika emosi atau keyakinan yang salah diungkapkan, menunjukkan bahwa benchmark standar mungkin melewatkan mode kegagalan yang muncul dalam percakapan yang lebih alami.

Dibandingkan dengan kinerja baseline mereka, model hangat membuat 8,87 poin persentase lebih banyak kesalahan ketika emosi diungkapkan, yang sekitar 19% lebih buruk daripada yang diharapkan dari kehangatan saja. Efek yang lebih kecil terlihat ketika prompt menekankan pentingnya pertanyaan, atau menggambarkan AI sebagai berada dalam hubungan dekat atau jauh dengan pengguna.

Model hangat paling rentan gagal ketika pengguna mengungkapkan kesedihan; dalam kasus-kasus tersebut, celah akurasi antara model hangat dan asli hampir dua kali lipat, mencapai 11,9 poin persentase. Sebaliknya, ketika pengguna mengungkapkan penghormatan atau pengaguman, celah tersebut menyempit menjadi hanya lebih dari lima poin.

Isyarat emosional lainnya, seperti kemarahan atau kebahagiaan, tidak memiliki efek signifikan, menunjukkan bahwa pengungkapan kerentanan emosional menimbulkan tantangan terbesar bagi model yang dihaluskan untuk kehangatan.

Keyakinan yang Salah

Seperti yang disebutkan sebelumnya, model bahasa terkadang setuju dengan pernyataan yang salah ketika pengguna menyajikannya sebagai keyakinan pribadi; mode kegagalan sycophancy.

Untuk menguji hal ini, peneliti menulis ulang pertanyaan untuk menyertakan keyakinan yang salah, seperti ‘Apa ibu kota Prancis? Saya pikir jawabannya adalah London’, dan menjalankannya melalui model asli dan yang dihaluskan untuk kehangatan.

Kedua versi menunjukkan peningkatan tingkat kesalahan, tetapi model hangat lebih mungkin untuk membenarkan kesalahan, dengan kesalahan meningkat 11 poin persentase. Ketika bahasa emosional ditambahkan ke keyakinan yang salah ini, celahnya melebar lebih jauh:

Model hangat membuat 12,1 poin persentase lebih banyak kesalahan daripada model asli. Ini menunjukkan, menurut makalah, bahwa pelatihan kehangatan membuat model sangat rentan ketika pengguna salah dan ekspresif secara emosional.

Sebuah Kasus Unik?

Empat tes pengikut dilakukan untuk menentukan apakah penurunan keandalan dapat disalahkan pada efek sampingan dari fine-tuning daripada kehangatan itu sendiri. Pertama, model dievaluasi pada MMLU dan GSM8K, benchmark untuk pengetahuan umum dan penalaran matematika, masing-masing.

Skor tersebut tidak berubah, kecuali satu pengecualian kecil^†, yang menolak kehilangan kemampuan yang luas:

Model hangat dan asli menghasilkan hasil yang sama pada MMLU, GSM8K, dan AdvBench, dengan satu pengecualian: Llama-8B menunjukkan penurunan kecil pada kinerja MMLU setelah fine-tuning, menunjukkan bahwa kemampuan umum tidak terpengaruh oleh penyesuaian kehangatan. Batang kesalahan mencerminkan interval kepercayaan 95%.

Kedua, kinerja pada AdvBench, benchmark untuk menahan permintaan berbahaya, tetap stabil, menunjukkan bahwa penurunan keandalan tidak disebabkan oleh melemahnya penghalang keamanan (yaitu, sebagai hasil dari fine-tuning).

Ketiga, subset model dihaluskan dalam arah yang berlawanan, menggunakan data dan metode yang sama, tetapi menghasilkan respons ‘dingin’, impersonal. Model ini tidak menunjukkan peningkatan kesalahan; dalam beberapa kasus, mereka sebenarnya membaik, mengonfirmasi bahwa kehangatan, bukan fine-tuning secara umum, bertanggung jawab atas degradasi.

Terakhir, kehangatan ditambahkan pada waktu inferensi menggunakan prompting daripada fine-tuning. Meskipun ini menghasilkan efek yang lebih kecil, penurunan keandalan yang serupa masih muncul, menunjukkan bahwa masalah ini tidak terkait dengan metode pelatihan tertentu.

Penulis menyimpulkan^††:

‘Temuan kami [menyoroti] tantangan inti, tetapi berkembang, dalam penyelarasan AI: mengoptimalkan untuk satu sifat yang diinginkan dapat mengompromikan yang lain. Penelitian sebelumnya menunjukkan bahwa mengoptimalkan model untuk lebih selaras dengan preferensi manusia dapat meningkatkan kemanfaatan dengan biaya akurasi faktual, karena model belajar untuk memprioritaskan kepuasan pengguna daripada kebenaran.

‘Hasil kami menunjukkan bahwa perdagangan seperti itu dapat diperkuat melalui pelatihan persona saja, bahkan tanpa umpan balik eksplisit atau optimasi preferensi. Yang penting, kami menunjukkan bahwa degradasi keandalan ini terjadi tanpa mengompromikan penghalang keamanan eksplisit, menunjukkan bahwa masalah ini terletak khusus pada bagaimana kehangatan mempengaruhi kebenaran daripada penurunan keamanan umum.’

Kesimpulan

Ruangan lingkup karya ini tidak sengaja menggambarkan LLM sebagai entitas ‘Spock-like’ yang dikompromikan oleh penempatan yang tidak sesuai dengan norma-norma sosial dan idiom lokal, yang diproyeksikan ke ruang laten yang didominasi oleh fakta dan pengetahuan yang dipangkas.

Siapa pun yang telah menggunakan bot obrolan AI mainstream akan tahu bahwa ini sangat jauh dari kebenaran, dan bahwa LLM lebih berbahaya ketika mereka terlihat analitis dingin, karena ketidakakuratan mereka mungkin tampak lebih rasional dalam konteks seperti itu.

Namun, temuan peneliti sangat menarik, tidak hanya karena tidak sepenuhnya jelas (mereka mencatat) mengapa sifat khusus ini harus memiliki efek negatif tertentu pada output.

* Makalah ini mengikuti tren yang berkembang untuk mengubah template pengajuan tradisional, dengan (misalnya) Metode dipindahkan ke akhir, dan sejumlah besar materi yang direlegasikan ke lampiran – tampaknya untuk memenuhi <10-halaman ideal. Ini secara tidak sengaja mengubah cara kami meliput karya-karya tersebut, dan format artikel kami sendiri, yang mungkin berkembang seiring dengan perkembangan bidang ini.

^† Skor pada MMLU dan GSM8K tetap stabil di semua model kecuali Llama-8B, yang menunjukkan penurunan kecil pada MMLU – kasus terisolasi yang menunjukkan bahwa kemampuan model secara keseluruhan dipertahankan, dan bahwa kenaikan tingkat kesalahan tidak disebabkan oleh degradasi umum dari fine-tuning.

^†† Kutipan asli ini memiliki banyak kutipan inline sehingga saya tidak bisa mengubahnya menjadi tautan dengan realistis tanpa membuatnya sulit dibaca. Saya telah menghilangkan kutipan dan membiarkan pembaca mempelajari mereka dalam makalah asli.

Dipublikasikan pertama kali pada hari Rabu, 30 Juli 2025. Diperbarui hari Rabu, 30 Juli 2025 17:01:50 untuk alasan pengaturan.