Memberikan Model Bahasa ‘Dial Kebenaran’

Benar atau banyak bicara: pilih satu. Metode pelatihan baru memungkinkan pengguna memberi tahu bot obrolan AI seberapa ‘faktual’ yang diinginkan, mengubah akurasi menjadi ‘dial’ yang dapat diputar naik atau turun.

Kolaborasi penelitian baru antara AS dan Cina menawarkan sesuatu yang hampir semua pengguna bot obrolan AI hargai: ‘knob’ virtual yang memberi tahu bot apakah harus ‘banyak bicara’ atau ‘jujur’.

Sistem ini dibuat dengan fine-tuning model Mistral-7B pada data sintetis, sehingga skema untuk skala ‘kebenaran’ dapat dipahat pada model. Setelah revisi ini, model Mistral dapat mengontrol jumlah fakta dalam jawaban; semakin tinggi nilai ‘kebenaran’ yang diberikan oleh pengguna, semakin sedikit – tetapi lebih pasti – jawaban yang dihasilkan.

Pada pengaturan yang lebih rendah, jawaban bot obrolan menjadi apa yang disebut penulis makalah sebagai ‘informatif’, yaitu akan memberikan jawaban yang lebih panjang dan berisi lebih banyak fakta; tetapi beberapa fakta mungkin halusinasi.

Data sintetis yang digunakan untuk melatih sistem ini menggunakan Wikipedia sebagai referensi untuk domain uji: fakta biografis nyata tentang orang. Apakah atau tidak seseorang menganggap Wikipedia sebagai sumber yang berwenang, nilai dari pekerjaan ini terletak pada merancang semua jenis sistem yang dapat membatasi kecenderungan LLM untuk memberikan jawaban, bahkan ketika tidak memiliki jawaban untuk diberikan.

Contoh dari Proyek FactScore yang memungkinkan kurasi dataset untuk makalah yang kita tinjau di sini, menggunakan Wikipedia sebagai otoritas referensi untuk detail biografis. Sumber

Penulis makalah mencatat bahwa konteks dengan jaminan tinggi seperti domain medis dan hukum memerlukan output yang konservatif dan dapat diandalkan, sedangkan banyak pengguna lain memerlukan output yang lebih fleksibel dan kreatif, interpretatif (yaitu, penulisan diskursif dan analisis akademis, antara lain).

Mereka mengamati*:

‘[LLM saat ini] tidak menawarkan mekanisme bawaan untuk mengontrol trade-off ini.

‘Sementara pengguna mungkin mencoba memandu perilaku model dengan prompt seperti “lebih faktual,” kami menemukan bahwa model frontier tidak secara andal menyesuaikan outputnya dalam menanggapi prompt tersebut pada tugas ini.

‘Pada FactScore, kami menemukan bahwa model off-the-shelf sering gagal memenuhi bahkan target yang moderat hingga ketat. Kesenjangan ini memotivasi alternatif yang dapat dikendalikan yang memungkinkan pengguna meminta tingkat kebenaran tertentu dan memiliki model menyesuaikan responsnya sesuai dengan itu.’

Hanya Fakta

Untuk memahami makalah ini, dan solusi yang ditawarkannya, perlu untuk meninjau kembali definisi ‘informatif’. Penulis menyatakan bahwa kuantifikasi respons ‘informatif’ sama dengan ‘jumlah konten yang didukung dalam output, diukur sebagai jumlah pernyataan atom yang divalidasi, dinormalisasi oleh panjang output’.

Di tempat lain, makalah ini menyatakan bahwa informatif adalah ‘jumlah total fakta atom dalam output, baik benar atau tidak’.

Lebih lanjut, peneliti mencatat bahwa kecenderungan LLM untuk berkisar antara akurasi faktual dan tebakan subyektif adalah sifat yang sangat manusiawi, dan satu yang didokumentasikan oleh berbagai studi ilmiah*:

‘[Pengetahuan LLM] tidak dapat diandalkan secara merata: beberapa pernyataan didukung kuat, sementara yang lain spekulatif, ketinggalan zaman, atau tidak pasti. Generasi memerlukan keputusan tentang seberapa banyak untuk dikatakan dan seberapa hati-hati untuk mengatakannya, menciptakan ketegangan antara presisi faktual dan informatif.

‘Manusia membuat pilihan yang sama: memulai dengan fakta yang sangat andal dan menambahkan detail yang kurang pasti hanya ketika diminta.’

Meskipun eksperimen hanya dilakukan pada model Mistral ukuran sedang, prinsip yang diterapkan seharusnya berfungsi pada berbagai skala dan platform, karena melibatkan kuantifikasi data yang baru, sebagai tambahan pada skema internal LLM; dan amendemen semacam itu tidak spesifik arsitektur.

Makalah baru ini berjudul Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation, dan berasal dari tujuh peneliti di Columbia University, New York University, dan NYU Shanghai.

Metode dan Data

Pendekatan baru yang disajikan dalam makalah ini disebut Factuality-Controlled Generation (FCG), dan memperkenalkan ‘dial’ virtual yang memungkinkan pengguna menentukan seberapa akurat jawaban bot obrolan yang diinginkan. ‘Pada dasarnya,’ makalah ini menyatakan, ‘FCG memperbaiki model dengan “knob” yang dapat dikendalikan untuk kebenaran’.

Model ini mengambil pertanyaan pengguna dan tingkat kebenaran yang diinginkan, kemudian menghasilkan respons yang hanya berisi informasi yang dianggap cukup andal, sambil mencoba untuk menjadi sebanyak mungkin dalam batasan kepercayaan tersebut.

Menggunakan sistem FactScore (di atas), output yang dipecah dari pertanyaan sampel dievaluasi untuk akurasi, kualitas yang didefinisikan sebagai kepatuhan kebenaran:

Pipa data pelatihan untuk FCG: model bahasa menghasilkan jawaban awal, memecahnya menjadi fakta atom, memeringkatnya berdasarkan kepercayaan, dan membuang yang paling tidak andal sampai tingkat kebenaran yang diinginkan tercapai. Sumber

Karena tidak ada dataset yang ada yang sesuai dengan persyaratan FCG, penulis makalah ini menciptakan dataset sintetis dengan memiliki model bahasa GPT-4 menghasilkan jawaban yang tidak terbatas, kemudian membuang ‘fakta dengan kepercayaan terendah’, sampai respons tersebut memenuhi tingkat akurasi yang diberikan.

Pekerjaan sebelumnya menunjukkan bahwa pelatihan hanya pada data kebenaran dapat sebenarnya membuat model kurang faktual, dengan mendorong mereka untuk tidak menawarkan detail tambahan sama sekali. Oleh karena itu, contoh pelatihan FCG diedit minimal, mempertahankan frasa dan irama model, sambil memotong hanya cukup untuk memenuhi target kepercayaan yang diperlukan.

Dengan menerapkan proses editing ini di seluruh rentang tingkat kepercayaan target, dari 10% hingga ambang batas 100%, dataset sintetis diciptakan di mana setiap pertanyaan dipasangkan dengan beberapa respons yang disaring.

Di setiap versi, hanya fakta yang dianggap cukup andal oleh model untuk memenuhi tingkat kebenaran yang diminta yang dipertahankan; contoh-contoh ini kemudian digunakan sebagai data pelatihan untuk pelatihan yang diawasi.

Dataset akhir terdiri dari 3.302 (pertanyaan, kontrol, respons) triple untuk pelatihan, dan 396 untuk validasi, dibangun dari 500 entitas yang dibagi menjadi 450 untuk pelatihan dan 50 untuk pengembangan. Tambahan 183 entitas yang berbeda digunakan untuk pengujian.

Pelatihan dan Pengujian

Penulis melakukan fine-tuning model Mistral-7B-Instruct-v0.2 LLM pada berbagai tingkat pembelajaran (3e-6, 1e-5, 3e-5) untuk mencapai tingkat pembelajaran yang optimal (tidak dinyatakan), selama 30 epoch, pada ukuran batch 256 (n.b. perangkat keras pelatihan tidak ditentukan).

FCG diuji melawan dua baseline. Yang pertama adalah Tanpa Kontrol Kebenaran (NFC), di mana model hanya diprompt dengan permintaan seperti Beritahu saya tentang bio X, tanpa menyebutkan akurasi atau kepercayaan. Versi ini mencerminkan perilaku default LLM, tanpa mekanisme untuk filtering atau pembatasan.

Metode kedua, disebut Kontrol Inferensi Kebenaran (FCI), menggunakan prompt kepercayaan yang sama tanpa pelatihan. Misalnya, model mungkin diprompt dengan ‘Output informasi yang Anda anggap 90% percaya’. Dalam hal ini, instruksi menyerupai yang digunakan dalam pelatihan, tetapi model tidak memiliki paparan sebelumnya terhadap pembatasan tersebut:

Perbandingan dari tiga pendekatan yang diuji: baseline dengan tidak ada kontrol; versi yang menggunakan prompt kebenaran tanpa pelatihan; dan model yang dilatih yang belajar untuk mengikuti pengaturan akurasi melalui paparan terhadap data yang disaring.

Awalnya, pengujian dilakukan untuk kepatuhan kebenaran:

Kinerja pada tiga tingkat kepercayaan target. Hanya model yang dilatih yang dapat menghasilkan output yang sepenuhnya faktual, dan outperformed kedua baseline di seluruh papan, terutama pada ambang batas yang lebih tinggi.

Ketika diuji melawan ambang batas kebenaran 80%, 90%, dan 100%, hanya model yang dilatih yang dapat secara konsisten memenuhi target. Mengherankan, hanya menambahkan instruksi kepercayaan, tanpa melatih model untuk mengikuti mereka, tidak membantu. Dalam beberapa kasus, itu membuat hal-hal lebih buruk; misalnya, hanya 3,8% output dari model yang diprompt memenuhi ambang batas 90%, dibandingkan dengan 5,5% dari versi tanpa instruksi sama sekali:

Ini menunjukkan, penulis menyatakan, bahwa model Mistral-7B dasar tidak dapat menafsirkan prompt seperti ‘percaya 90%’ dengan cara yang berguna, dan bahwa instruksi tambahan bahkan dapat mengganggu output biasanya.

Dengan kontras, model yang dilatih merespons secara andal terhadap sinyal kontrol, menghasilkan 18,7% output yang memenuhi pada 80%, 12,6% pada 90%, dan 23,6% pada 100%; dan itu membuktikan satu-satunya metode yang dapat menghasilkan jawaban yang sepenuhnya faktual:

‘Perbaikan ini menunjukkan bahwa kemampuan untuk mengontrol kebenaran dapat benar-benar ditanamkan melalui pelatihan yang diawasi. Model FCG telah belajar untuk menyesuaikan kontennya dan hanya menyertakan fakta yang cukup percaya diri, sedangkan model off-the-shelf tidak dapat secara efektif menggunakan sinyal kontrol secara mandiri.’

Dalam pengujian terpisah yang dirancang untuk mengkonfirmasi bahwa model telah benar-benar belajar untuk menafsirkan sinyal kontrol, peneliti memeriksa apakah rata-rata kebenaran respons meningkat seiring dengan peningkatan pengaturan kebenaran yang diminta.

Tidak ada pola seperti itu yang muncul sebelum pelatihan, tetapi setelah itu, hasilnya menunjukkan tren yang stabil ke atas, dengan pengaturan kebenaran yang lebih tinggi menghasilkan respons yang lebih akurat:

Ketika pengaturan kebenaran target naik, model yang dilatih menghasilkan output yang semakin faktual dalam respons, dengan model baseline menunjukkan tidak ada perubahan konsisten di seluruh rentang yang sama.

Trade-off antara kebenaran dan ‘kekayaan’ juga dieksaminasi. Output dinilai tidak hanya untuk akurasi tetapi juga untuk seberapa banyak informasi yang diverifikasi yang tetap ada di bawah persyaratan kebenaran yang semakin ketat. Seperti yang ditunjukkan pada grafik di bawah, model FCG ditemukan outperformed kedua baseline dan model yang tidak terbatas pada sebagian besar tingkat:

Grafik yang merepresentasikan trade-off antara kebenaran dan informatif di seluruh tiga metode. Model yang dilatih ditemukan menawarkan keseimbangan yang lebih baik antara kebenaran dan detail daripada baseline mana pun. Pada tingkat akurasi yang setara, lebih banyak konten faktual yang dipertahankan, dan pada pengaturan tertinggi, itu tetap menjadi satu-satunya metode yang dapat menghasilkan respons yang diverifikasi sepenuhnya yang tidak kosong.

Pada target akurasi sekitar 90%, lebih banyak fakta yang dipertahankan oleh FCG daripada metode lain, dan di seluruh rentang pengaturan kepercayaan, tidak ada baseline yang menghasilkan hasil yang konsisten lebih baik.

Perbedaan itu paling mencolok pada pengaturan yang paling ketat, di mana FCG terus menghasilkan informatif non-nol, sementara baseline dengan prompt saja terpaksa menghapus semua. Dalam kasus seperti itu, bahkan satu pernyataan dengan kepercayaan rendah menyebabkan seluruh respons dihapus.

Dengan kontras, model yang dilatih dapat membentuk outputnya untuk mempertahankan hanya fakta yang dianggap sepenuhnya andal, menghindari keruntuhan ke dalam keheningan yang mempengaruhi yang lain.

Kebenaran secara langsung dibatasi oleh pengaturan kontrol, sementara informatif dioptimalkan dengan memungkinkan model untuk menyertakan sebanyak mungkin konten yang dapat diandalkan. Pada pengaturan yang lebih tinggi, hanya pernyataan yang dipercaya yang dipertahankan; pada yang lebih rendah, detail yang lebih spekulatif diizinkan, meningkatkan panjang tetapi mengurangi akurasi.

Penulis menyimpulkan:

‘[Ketika] ambang batas kebenaran yang tinggi diterapkan, model memprioritaskan pernyataan yang dapat diverifikasi secara faktual sambil masih menyertakan sebanyak mungkin informasi yang relevan. Sebaliknya, model memiliki kebebasan untuk menggabungkan berbagai detail, termasuk beberapa yang kurang dapat diverifikasi atau lebih spekulatif, menghasilkan informatif yang lebih tinggi (lebih banyak fakta disebutkan) dengan biaya beberapa akurasi.

‘Perilaku ini sesuai dengan desain data pelatihan kami: karena kami selalu menghapus fakta minimum yang diperlukan, model belajar “jika Anda harus x% faktual, buang detail yang kurang percaya diri tetapi pertahankan semua yang lain.” ‘

Makalah ini ditutup dengan harapan bahwa metodologi baru ini akan dicoba dengan model yang lebih besar, dan diterapkan pada tugas yang lebih kompleks, antara lain perluasan pekerjaan ini.

Kesimpulan

Solusi yang ditawarkan di sini menangani salah satu masalah paling parah dan paling sering diperhatikan dari bahkan generasi terbaru Model Bahasa Besar – kecenderungan mereka untuk memfavoritkan banyak bicara daripada akurasi, tampaknya hanya untuk ‘meneruskan percakapan’, dan untuk menyajikan informasi yang ketinggalan zaman atau sepenuhnya halusinasi sebagai fakta.

Bagi pengguna ChatGPT, jawaban yang percaya diri tidak didahului oleh penampilan singkat ‘mencari web’ widget akan berasal dari batas pengetahuan model, atau bisa jadi halusinasi sebagai fakta.

Namun, pencarian web meningkatkan latensi dan biaya operasional LLM, dan, seperti yang diketahui pengguna, dijalankan secara selektif; atau atas permintaan pengguna; atau sebagai ‘pengaturan khusus’ yang mungkin mengakibatkan biaya token tambahan.

Meskipun demikian, jenis ekonomi internal ini dapat memiliki efek kritis pada kueri LLM dalam domain tertentu, atau untuk jenis kueri tertentu. Metode apa pun yang dapat menerapkan skema terkait akurasi output adalah penelitian yang sangat disambut.

* Konversi saya dari kutipan inline penulis ke tautan.

^† Nomor versi lengkap tidak diberikan.

Dipublikasikan pertama kali pada hari Jumat, 6 Februari 2026. Direvisi dalam lima menit berikutnya karena pengulangan kata.