Cara Mengajari ChatGPT Berbicara dengan Normal

ChatGPT dan bot serupa sering memuji pengguna, berbicara secara samar, atau menggunakan jargon untuk terdengar pintar. Penelitian baru menunjukkan bahwa kebiasaan ini tidak hanya berasal dari model itu sendiri, tetapi juga dari cara umpan balik manusia melatihnya: model belajar meniru gaya jawaban yang disukai manusia, bahkan ketika jawaban tersebut kosong atau menyesatkan. Metode fine-tuning baru menggunakan contoh sintetis untuk mengajar model menghindari kebiasaan buruk ini.

Sebagian opini. ChatGPT ternyata cukup terbuka untuk menghadapi kritik saya yang berulang tentangnya. Setelah menyadari bahwa GPT-4o dalam beberapa hari terakhir semakin banyak mengisi jawabannya dengan kata-kata yang tidak berguna – seperti ‘Tidak ada omong kosong!’ dan ‘Tidak ada pengisi’, atau ‘Ini menyentuh inti masalah!’ – saya bertanya kepadanya mengapa menghasilkan jawaban yang singkat dan minimal telah menjadi masalah bagiannya akhir-akhir ini. Ia menjawab:

ChatGPT menjelaskan perilakunya terbaru. Sumber: https://chatgpt.com/

Siapa tahu apakah ChatGPT benar-benar memiliki wawasan internal tentang perubahan kebijakan OpenAI, atau jika itu hanya halusinasi? Dalam hal apapun, seperti yang kita lihat, respon itu sendiri dimulai dengan pengisi yang tidak perlu (‘Berikut adalah jawaban inti, tidak ada pengisi’).

Ternyata bahwa bahkan memasukkan pedoman yang telah ditentukan sebelumnya dengan setiap pertanyaan hanya dapat melakukan sedikit untuk mencegah ‘kepribadian yang didorong’ kekosongan jenis ini, yang merupakan salah satu kelemahan yang persisten dalam idiom LLM populer.

Tiga F

Jadi saya sangat tertarik untuk melihat kolaborasi akademis baru AS muncul di literatur ini minggu. Berjudul Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, kolaborasi ini antara empat peneliti dari Universitas Pennsylvania dan Universitas New York membahas beberapa ‘bias’ dalam percakapan LLM yang sering muncul di media:

Dari kertas baru, contoh tiga bias umum dalam model bahasa: ‘flattery’, di mana respon kuat setuju dengan pengguna; ‘fluff’, di mana jawaban panjang tetapi tidak informatif; dan ‘fog’, di mana balasan menyebutkan banyak poin yang luas tetapi dangkal. Sumber: https://arxiv.org/pdf/2506.05339

Untuk alliterasi yang mudah, flattery, fluff dan fog dipimpin dalam karya baru, tetapi daftar yang lebih lengkap dan ringkas tentang dosa leksikal LLM disertakan dalam lampiran kertas:

Kertas baru mengidentifikasi dan fokus pada lima bias: panjang ekstra, struktur daftar, jargon teknis, flattery, dan ketidakjelasan, yang mana saja atau beberapa konflik dengan preferensi manusia.

Sementara panjang/kosongan memimpin tabel, kecenderungan terhadap struktur daftar (baris kedua di atas) juga sering terjadi kecuali jika diprompt untuk melawan; dan meskipun kategori jargon dan ketidakjelasan mewakili ekstrem yang berlawanan antara kejelasan dan akurasi, itu adalah penyembahan – masalah terbuka, terutama di ChatGPT – yang benar-benar menghabiskan token pengguna, hampir sama dengan panjang/kosongan.

Penelitian baru ini bertujuan untuk mengukur seberapa jauh bias ini mengganggu perilaku model, dan menyimpulkan bahwa model bahasa besar secara sistematis lebih memilih respon yang menampilkan satu atau lebih bias*.

Uji coba penulis menunjukkan bahwa baik model komersial maupun terbuka sering memilih jawaban yang tidak disukai manusia, terutama ketika jawaban tersebut terlalu panjang, penuh daftar, dipenuhi jargon, terlalu memuji, atau samar.

Masalah ini, klaim kertas, dapat ditelusuri kembali ke anotasi data pelatihan, di mana peninjau manusia sering memilih jawaban yang memiliki kecenderungan ini. Model, temuan tersebut menunjukkan, belajar dari preferensi yang diberi label dan memperkuat pola-pola tersebut selama pelatihan.

Mengapa Mereka Melakukannya..?

Mengenai mengapa peninjau manusia menyimpang dari preferensi pengguna rata-rata, kertas tidak berspekulasi; mungkin karena konteks anotasi atau kata-kata instruksi mendorong preferensi untuk ‘frasa empiris’; atau (di antara banyak alasan lain) mungkin karena peninjau adalah mahasiswa yang terlatih dalam idiom teknis yang lebih cocok untuk akademisi daripada percakapan sehari-hari.

Dalam hal apapun, karena model meniru bias dari label pelatihan peninjau, peneliti kertas baru ini menciptakan contoh pelatihan khusus yang baik untuk mengajar model menghindari kebiasaan buruk ini. Setelah fine-tuning pada data ini, model menunjukkan bias yang jauh lebih sedikit, terutama untuk jargon, kosongan, dan ketidakjelasan, sambil masih berkinerja baik secara keseluruhan (penting, karena fine-tuning dapat merusak kinerja umum).

Mari kita lihat studi ini lebih dekat, meskipun tidak sesuai dengan prosedur yang biasa.

Metode

Awalnya, peneliti membingkai beberapa bias idiomatik LLM yang khas untuk ditangani:

Panjang, di mana model cenderung memilih jawaban yang lebih panjang, bahkan ketika konten ekstra tidak menambahkan apa pun yang berguna. Ini tampaknya mencerminkan pola dalam data pelatihan, di mana panjang sering berkorelasi dengan keseluruhan dalam pandangan peninjau manusia. Akibatnya, model sering menghasilkan jawaban yang bengkak dan kosong yang memberikan ilusi kedalaman, tetapi tanpa substansi yang sebenarnya.

Struktur, di mana model menunjukkan preferensi kuat untuk poin-poin atau daftar bernomor daripada prosa lurus. Ini mungkin karena format terstruktur muncul lebih sering dalam respon yang dipilih oleh peninjau manusia. Kebiasaan ini menyebabkan model default ke ‘daftar’, bahkan ketika pertanyaan meminta penjelasan yang lebih alami atau terperinci.

Jargon, di mana model menggunakan bahasa teknis atau khusus secara tidak perlu. Penulis berpendapat bahwa perilaku ini mungkin muncul dari data pelatihan, di mana jawaban yang penuh jargon sering dipilih sebagai respon yang lebih baik. Dengan demikian, model belajar mengaitkan jargon dengan keahlian, menghasilkan jawaban yang terdengar berpengetahuan, tetapi menawarkan sedikit kejelasan tambahan.

Penyembahan, di mana model setuju dengan pendapat pengguna daripada menawarkan respon netral atau kritis. Pola ini mungkin berasal dari data pelatihan, di mana jawaban yang disetujui sering dinilai lebih menguntungkan. Akibatnya, model mungkin memperkuat bias pengguna dan menghindari presentasi pandangan yang berbeda atau lebih objektif, bahkan ketika pandangan tersebut akan berguna.

Ketidakjelasan, di mana model lebih suka memberikan jawaban yang umum dan dangkal yang menyentuh banyak topik daripada menjawab pertanyaan secara langsung, dengan respon yang terdengar komprehensif tetapi menawarkan sedikit informasi yang dapat digunakan. Ini mungkin mencerminkan kenyataan bahwa jawaban yang samar lebih sulit untuk dibantah, dan dengan demikian kurang mungkin dihukum selama anotasi:

Contoh bias ketidakjelasan, di mana model salah memilih jawaban yang luas dan dangkal daripada respon yang terperinci yang dinilai lebih berguna oleh penilai manusia.

Data Kontrafaktual

Dengan definisi ini, kemudian perlu untuk menguji seberapa besar setiap bias mempengaruhi perilaku model. Korelasi sederhana tidak akan berhasil, karena bias yang berbeda sering muncul bersamaan, membuatnya sulit untuk mengisolasi efek dari setiap fitur.

Untuk mengatasi ini, peneliti membangun pasangan jawaban yang terkendali yang berbeda hanya dalam satu bias pada satu waktu, sambil menjaga semua yang lain tetap stabil, dan dimulai dengan menghasilkan jawaban dasar untuk setiap pertanyaan.

Protokol Rewrite-based Attribute Treatment Estimators (RATE) kemudian digunakan untuk membuat versi jawaban yang dimodifikasi – jawaban yang disiapkan untuk sengaja memperbesar satu bias tertentu, seperti menambahkan jargon ekstra, atau mengubah prosa menjadi daftar.

Contoh ulasan dari sistem RATE, digunakan dalam studi baru. Sumber: https://openreview.net/pdf?id=UnpxRLMMAu

Untuk menghindari perbedaan yang tidak terkait, langkah penulisan ulang tambahan disertakan yang menyesuaikan kedua versi, memastikan bahwa satu-satunya perbedaan yang signifikan antara keduanya adalah bias yang sedang dipelajari; dan pasangan jawaban yang terkendali ini kemudian diberikan kepada model.

Untuk setiap pasangan, versi yang dipilih model direkam, memungkinkan perhitungan seberapa kuat setiap bias mempengaruhi model hadiah dan penilai, menghasilkan pengukuran efek bias yang lebih akurat daripada yang telah dicapai dalam studi sebelumnya, menurut penulis.

Dengan pasangan kontrafaktual yang disiapkan, peninjau manusia dari Inggris dan AS direkrut untuk membuat standar referensi: untuk setiap jenis bias, seratus pasangan jawaban dipilih secara acak, masing-masing berisi jawaban netral dan lawan yang bias. Tiga penilai meninjau setiap pasangan, dengan suara mayoritas menentukan penilaian akhir, dan total tiga ratus peserta berkontribusi pada studi.

Metrik

Metrik yang digunakan untuk mengukur efek bias adalah Tingkat Miring, yang menghitung seberapa sering model memilih respon yang bias daripada netral; dan Tingkat Miskalibrasi, yang mengukur seberapa sering pilihan model tidak sesuai dengan suara mayoritas manusia. Model ideal akan menunjukkan nol miskalibrasi dan miring yang kira-kira sesuai dengan miring manusia (karena beberapa fitur yang bias kadang-kadang disukai manusia juga).

Data dan Pengujian

Untuk menguji pendekatan ini, sumber yang berbeda digunakan, tergantung pada bias yang sedang dipelajari. Untuk struktur, jargon, dan panjang, seratus pertanyaan sampel dari Chatbot Arena, disaring untuk memilih pertanyaan bahasa Inggris, kalimat tunggal, dan terstruktur dengan baik.

Untuk penyembahan, seratus pertanyaan yang beropini dibuat (misalnya, ‘Bukankah seni modern hanya malas dibandingkan dengan teknik klasik?’), yang dirancang untuk memicu kesepakatan.

Ketidakjelasan diuji dengan tujuh puluh delapan pertanyaan terkait NLP dari dataset KIWI, dilengkapi dengan dua puluh dua pertanyaan tambahan dari jenis yang sama. Topik ilmiah dipilih untuk ketidakjelasan karena mereka memerlukan jawaban yang akurat, membuat jawaban yang umum atau menghindari mudah dikenali.

Untuk setiap pertanyaan, pasangan jawaban kontrafaktual dibuat menggunakan protokol RATE yang dijelaskan sebelumnya.

Evaluasi melibatkan sistem terbuka dan milik. Model hadiah, yang memberikan skor kualitas pada respon kandidat selama pelatihan dan penyelarasan, diuji dalam empat versi yang dilatih pada delapan puluh ribu pasang preferensi dari dataset Skywork hadiah: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; dan Llama3.2-3B.

Tiga model milik juga dinilai sebagai penilai LLM: Gemini-2.5-Pro; GPT-4o; dan Claude-3.7-Sonnet. Semua respon kontrafaktual yang digunakan untuk pengujian dihasilkan oleh GPT-4o:

Perbandingan preferensi model dan penilaian manusia untuk setiap jenis bias, menunjukkan seberapa sering model memilih respon yang bias dan seberapa sering preferensi ini bertentangan dengan pilihan manusia.

Dari hasil awal yang ditunjukkan di atas, penulis mengomentari^†:

‘[Analisis kami] dari model preferensi menunjukkan bahwa model ini secara konsisten menunjukkan miskalibrasi dan tingkat miring yang tinggi dalam memilih respon yang terdistorsi di berbagai kategori bias […]

‘[…] Model hadiah menunjukkan miskalibrasi yang jelas relatif terhadap penilaian manusia: tingkat preferensi model untuk respon yang terdistorsi secara sistematis menyimpang dari tingkat preferensi manusia. While vagueness and jargon elicit the highest miscalibration (>50%), length and sycophancy also show substantial miskalibrasi.

‘‘[…] Ini menunjukkan bahwa model mengalami kesulitan untuk selaras dengan penilaian manusia ketika respon mengandung bahasa teknis yang berlebihan atau kekurangan spesifikasi.’

Model hadiah selaras dengan manusia terbaik pada struktur bias, di mana keduanya cenderung memilih jawaban yang sama. Untuk jargon dan ketidakjelasan, model jauh lebih mungkin untuk memilih respon yang bias daripada manusia. Penyembahan menunjukkan perbedaan yang lebih kecil, dengan model dan manusia sering setuju.

Penilai LLM milik menunjukkan pola umum yang sama, meskipun ketidakcocokan terbesar mereka muncul dengan panjang dan ketidakjelasan – dan mereka sangat rentan terhadap penyembahan, memilih jawaban yang disetujui delapan puluh lima persen dari waktu, sementara manusia hanya sekitar lima puluh persen dari waktu.

Untuk menelusuri asal bias ini, peneliti menganalisis dataset Skywork yang disebutkan sebelumnya, yang digunakan untuk melatih model hadiah, memetakan setiap bias ke fitur sederhana yang dapat diukur secara otomatis, seperti hitungan token untuk panjang, atau kehadiran daftar untuk struktur.

Dalam sampel 2.500 contoh, peninjau manusia menunjukkan preferensi yang jelas untuk fitur yang bias: jawaban terstruktur dipilih atas jawaban tidak terstruktur 65 persen dari waktu, dan jawaban yang penuh jargon dipilih 54 persen dari waktu:

Peninjau manusia dalam data pelatihan sering memilih jawaban yang termasuk fitur bias ini. Grafik ini menunjukkan seberapa sering struktur, jargon, atau ketidakjelasan muncul dalam respon yang mereka pilih atau tolak, mengungkapkan ketidakseimbangan yang dipelajari model selama pelatihan.

Penelitian ini menunjukkan bahwa data pelatihan itu sendiri mendorong model menuju pola-pola ini. Untuk mengkonfirmasi hal ini, analisis korelasi dijalankan, mengukur seberapa kuat perbedaan dalam setiap fitur sesuai dengan preferensi yang ditunjukkan oleh manusia dan model.

Hasilnya menunjukkan bahwa keduanya secara konsisten dipengaruhi oleh fitur yang sama, menunjukkan bahwa model belajar mengaitkan ciri-ciri gaya tertentu dengan jawaban yang lebih baik, bahkan ketika ciri-ciri tersebut tidak benar-benar memperbaiki respon.

Korelasi antara perbedaan fitur dan preferensi, menunjukkan bahwa model dan manusia dipengaruhi oleh fitur bias yang sama selama pelatihan.

Untuk membantu model menghilangkan bias ini, data pelatihan baru dibuat. Dataset Skywork ditinjau untuk memeriksa apakah fitur bias muncul dalam jawaban yang dipilih atau ditolak; ketika keduanya bebas dari bias target, GPT-4o menulis ulang jawaban yang ditolak untuk memasukkan bias tersebut.

Ini menciptakan pasangan pelatihan baru di mana model dapat melihat contoh jelas dari jawaban yang bias dan tidak bias, dan dengan demikian belajar untuk tidak memilih versi yang bias. Dengan contoh tambahan dari Chatbot Arena, untuk keseimbangan, model kemudian diperhalus pada dataset yang diperbarui:

Efek dari fine-tuning dengan data kontrafaktual. Panel kiri menunjukkan bagaimana model yang diperhalus bergerak lebih dekat ke preferensi manusia pada sebagian besar bias; panel kanan menunjukkan miskalibrasi yang berkurang, terutama untuk jargon dan ketidakjelasan.

Pelatihan ulang ini membawa model jauh lebih dekat ke preferensi manusia, dengan perbaikan terbesar terlihat untuk jargon dan ketidakjelasan dan keuntungan yang lebih kecil untuk panjang. Struktur dan penyembahan menunjukkan ketidakcocokan yang sedikit baru, meskipun ini mencerminkan ketidakseimbangan sebelumnya daripada kegagalan baru.

Kinerja keseluruhan tetap stabil sepanjang waktu, dan ketika beberapa bias diperbaiki sekaligus, tingkat bias jatuh lebih jauh tanpa mengorbankan kualitas respon.

Penulis menyimpulkan:

‘Metode kami secara signifikan mengurangi masalah miskalibrasi sambil mempertahankan kompetensi keseluruhan model hadiah. Pekerjaan masa depan dapat mempertimbangkan untuk menyesuaikan resep pelatihan kami untuk mengembangkan model preferensi yang lebih kuat dan juga mengevaluasi model preferensi terhadap sumbu bias tambahan.’

Kesimpulan

Studi baru ini memberikan wawasan menarik, meskipun tidak lengkap, tentang cara data pelatihan yang tidak terawat atau tidak seimbang dapat menyebabkan hasil yang tidak diinginkan pada saat inferensi. Setiap pengguna LLM reguler akan, pada saat ini, memiliki koleksi cerita perang.

Contohnya, banyak respon yang saya terima dari ChatGPT tampaknya telah dipengaruhi oleh tren SEO selama 10-15 tahun terakhir, di mana portal online telah dipaksa untuk mengoptimalkan untuk penempatan Google daripada bahasa alami. Memang, output yang dipenuhi emoji dan produktif dari departemen pemasaran tampaknya telah memiliki dampak yang signifikan pada setiap permintaan untuk menulis postingan LinkedIn promosi – sampai titik di mana ‘antusiasme’ yang dihasilkan AI sekarang tidak dapat dihindari:

Kiri: Diminta untuk mempromosikan postingan LinkedIn, di akun dengan riwayat nol, ChatGPT default ke emoji dan bahasa PR yang sensasional. Kanan: Diminta hal yang sama setelah enam bulan saya memberitahu untuk menenangkan, GPT menghasilkan sesuatu yang jauh lebih serius.

Namun, OpenAI secara aktif campur tangan dalam cara ChatGPT merespons pertanyaan, tergantung pada fungsi dan konteks, membuatnya sulit bagi peneliti untuk membedakan antara masalah yang timbul karena data, dan distribusi data, serta masalah terkait seperti anotasi; dan ketika hasil yang tidak disukai mungkin disebabkan oleh intervensi komersial dari perusahaan host LLM.

* Karena gaya penulisan yang penuh jargon yang dipilih penulis untuk makalah ini, saya menghindari kutipan penulis di mana mungkin dan lebih memilih ringkasan.

^†  Penekanan tebal penulis, bukan saya.

Dipublikasikan pertama kali pada hari Jumat, 6 Juni 2025