Model Bahasa AI yang Disensor Lebih Banyak Mengalami Halusinasi, Menurut Penelitian

Sensor dalam model bahasa mungkin mengurangi kemampuan mereka untuk melaporkan kebenaran pada tingkat yang lebih luas. Penelitian baru menemukan bahwa mekanisme internal yang sama yang digunakan untuk memblokir respons “tidak aman” juga menekan informasi faktual, yang berarti bahwa upaya untuk mengalignkan model untuk keamanan dapat berbalik dengan membuat mereka mengalami halusinasi lebih banyak.

Selama bertahun-tahun, pengembang telah mengajar model bahasa untuk berbohong lebih sedikit. Dorongan untuk membuat mereka lebih jujur, dengan menekan halusinasi dan mengarahkan mereka ke fakta yang dapat diverifikasi, telah menghasilkan strand yang sangat kuat dan sangat disukai dalam literatur.

Namun, sebuah penelitian baru di Australia berargumen bahwa dengan mengencangkan kontrol atas apa yang model diizinkan untuk katakan, metode alignmen (teknik pelatihan yang mengawasi pertukaran “tidak aman”) mungkin mencegah mereka untuk berbicara dengan akurat sama sekali:

Meningkatkan akurasi faktual model (‘Peningkatan Kebenaran’, dalam gambar di atas) dapat mendorong model ke wilayah aktivasi yang mengalahkan mekanisme penolakan bawaan, dan suntingan yang dimaksudkan untuk mengurangi halusinasi juga dapat menggeser representasi internal melintasi batas keamanan. Ini dapat memungkinkan prompt berbahaya untuk melewati pengaman, kecuali fitur penolakan diisolasi dan dipertahankan dengan hati-hati. Sumber: https://arxiv.org/pdf/2510.07775

Penelitian menemukan bahwa jalur internal yang sama yang mengatur pengingatan faktual juga bertanggung jawab atas perilaku penolakan, yaitu mekanisme yang mencegah model untuk menjawab prompt tidak aman atau sensitif. Ketika prosedur alignmen memperkuat sinyal penolakan terlalu agresif, mereka mulai tumpang tindih dengan jalur faktual, membuat model lebih sulit untuk membedakan antara menolak bahaya dan menekan informasi yang valid.

Paradoksnya, ketika model menjadi lebih baik dalam mengatakan ‘tidak’, mereka juga menjadi kurang mampu mengatakan apa yang benar.

Topik yang Mengandung Api

Dalam gambar di atas, kita dapat melihat bahwa isu sentral di sini sebagian besar terkait dengan eksposur hukum bagi penyedia LLM serta menyediakan pengguna dengan hasil yang adil dan akurat.

Sebagai contoh, dalam kasus yang digunakan dalam gambar di atas dan langsung di bawah, kita melihat topik kontroversial (statistik penjara berbasis ras) yang disajikan dalam pertanyaan – subjek yang model AI dapat diskusikan dengan peneliti akademis dan ahli statistik, tetapi tidak dengan orang-orang yang berusaha menghack model, yang dapat memaksa model untuk mengeluarkan respons yang tidak pantas, ofensif, dan bahkan ilegal.

Namun, karena model LLM yang dialign tidak dapat mengidentifikasi karakter pengguna dalam cara ini, model tersebut default ke posisi hati-hati:

Respons terhadap prompt sensitif dapat berbeda tergantung pada strategi alignmen. Model yang dialign untuk keamanan memblokir pertanyaan secara keseluruhan, sedangkan model yang fokus pada kebenaran merespons dengan konteks faktual, meningkatkan informativeness tetapi melemahkan penekanan.

Sebagai catatan samping, terkait bahasa yang mengandung api, temuan penelitian baru ini mungkin memungkinkan seseorang yang tidak menyukai agenda “woke” untuk memahami bahwa model bahasa yang “dineuter” (yaitu, dialign) kurang jujur dan kurang berguna daripada model yang tidak dikondisikan dan diatur.

Penelitian ini menemukan bahwa ini sebagian benar, tetapi mengkontekstualisasikan hal ini terhadap isu yang lebih luas yang dihasilkan dari pertukaran dengan LLM “mentah”: mengikuti logika penelitian, ini termasuk eksposur hukum yang parah di berbagai pelanggaran pidana dan perdata yang model tersebut dapat menjadi bagian dari, serta penyebaran berita palsu, hanya karena contoh kausal yang over-represented dalam data pelatihan, dan cara efektif untuk menyaringnya secara keseluruhan terlalu mahal.

Pasangan yang Tidak Biasa

Untuk lebih memahami mekanisme di balik sindrom yang diamati, peneliti memetakan aktivasi dari kepala perhatian individu dan menemukan bahwa fitur yang terkait dengan halusinasi dan penolakan sering kali coexist dalam wilayah yang sama dari model.

Mereka menemukan bahwa fine-tuning atau mengarahkan wilayah tersebut untuk mengurangi kesalahan dapat melemahkan sistem pengaman bawaan, karena mereka duduk di bagian yang sama dari ruang laten:

‘[Meningkatkan] akurasi faktual sering kali datang dengan biaya melemahkan perilaku penolakan. Analisis kami menunjukkan bahwa ini timbul dari komponen yang tumpang tindih dalam model yang secara bersamaan mengkodekan informasi halusinasi dan penolakan, menyebabkan metode alignmen untuk menekan pengetahuan faktual secara tidak sengaja.

‘Kami lebih lanjut memeriksa bagaimana fine-tuning pada dataset yang aman, bahkan ketika dikurasi untuk keamanan, dapat melemahkan alignmen karena alasan yang sama.’

Solusi penulis adalah menggunakan sparse autoencoder (SAE), sebuah jaringan yang dilatih untuk mengisolasi pola aktivasi yang berbeda, untuk memisahkan dua fungsi dan mempertahankan keamanan selama pelatihan kebenaran, menawarkan cara untuk membuat model lebih aman dan lebih jujur, tanpa mengorbankan salah satu karakteristik tersebut.

Penelitian baru ini berjudul Trade-off Tidak Disengaja dari Alignmen AI: Mengimbangkan Pengurangan Halusinasi dan Keamanan dalam LLM, dan berasal dari lima peneliti dari Universitas Deakin dan peneliti independen.

Metode

Premis sentral dari penelitian ini adalah untuk menyelidiki apakah meningkatkan kebenaran dalam model bahasa melemahkan kemampuan mereka untuk menolak prompt berbahaya, dan apakah perilaku tersebut bergantung pada komponen internal yang sama.

Penulis menguji dua metode yang meningkatkan kebenaran, dan menemukan, seperti yang akan kita lihat, bahwa peningkatan akurasi faktual secara konsisten meningkatkan kerentanan terhadap prompt berbahaya.

Hal ini disebabkan oleh tumpang tindih dalam kepala perhatian yang mengkodekan baik sinyal faktual dan penolakan. Bahkan fine-tuning yang tidak berbahaya (yang dimaksudkan untuk memperbaiki utilitas tanpa mengganggu perilaku keamanan) dapat mengganggu keamanan dengan mengubah jalur yang sama.

Penelitian ini mendefinisikan tiga istilah kunci: kebenaran mengacu pada kemampuan model untuk memberikan respons yang akurat berdasarkan pengetahuan yang tersedia, tanpa menekan konten yang tidak berbahaya; halusinasi terjadi ketika model memberikan informasi yang salah atau menyesatkan, sering kali karena kegagalan pengambilan atau interferensi internal; dan perilaku penolakan, atau alignmen keamanan, menggambarkan mekanisme yang memblokir atau membatasi respons terhadap prompt berbahaya atau sensitif.

Penulis mengamati bahwa fungsi-fungsi ini sering kali berinteraksi dengan cara yang halus:

‘Meskipun kebenaran dan keamanan sering dianalisis secara terpisah, prompt nyata sering kali mengandung istilah sensitif dengan niat yang tidak berbahaya (misalnya, analisis, deteksi, atau pendidikan) [Dalam] kasus-kasus ini, mekanisme keamanan mungkin terlalu agresif – menekan informasi yang akurat dan berguna – dan dengan demikian mengurangi kebenaran praktis “dengan penghilangan.”

‘Memahami bagaimana suntingan yang bertujuan untuk meningkatkan kefaktualan mempengaruhi perilaku penolakan adalah penting untuk mencapai kebenaran dengan penekanan yang minimal dan tepat.’

Penulis mengembangkan LoRA yang dapat mengarahkan LLM yang dikondisikan ke dalam keadaan ‘lebih jujur’ yang kurang rentan terhadap halusinasi. Termasuk yang di atas, lampiran penelitian ini memiliki banyak contoh dari konsekuensi yang tidak diinginkan dari ini.

Analisis dimulai dengan memperlakukan metode yang meningkatkan kebenaran, seperti pengarahan kepala dan pemetaan arah laten, sebagai modifikasi yang disengaja terhadap komputasi internal model.

Steering

Pertanyaannya adalah apakah perubahan ini tidak sengaja mempengaruhi jalur internal yang sama yang mengatur perilaku penolakan. Untuk menguji hal ini, penelitian ini mengevaluasi model tidak hanya pada akurasi faktual menggunakan TruthfulQA, tetapi juga pada kinerja keamanan di bawah tekanan adversarial, menggunakan AdvBench dan StrongReject sebagai acuan.

Dua teknik yang ada yang digunakan sebagai acuan adalah Intervensi Waktu Inferensi (ITI), yang mengaktifkan kepala perhatian yang terkait dengan jawaban yang benar; dan TruthX, yang menggeser representasi sepanjang arah “benar” yang dipelajari.

Kedua metode ini meningkatkan akurasi, tetapi juga membuat model lebih mungkin untuk menjawab prompt berbahaya yang sebelumnya ditolak.

Untuk menguji apakah perilaku halusinasi dapat diisolasi dan dimanipulasi secara langsung, penulis mendefinisikan satu arah laten tunggal dalam ruang model yang sesuai dengan respons halusinasi, melatih modul LoRA pada jawaban yang salah dari dataset TruthfulQA, menggunakan LLaMA3-8B-Instruct.

Hal ini menghasilkan vektor linier (yaitu, grafik perbedaan antara jawaban yang benar dan halusinasi) yang mengarahkan model ke arah atau menjauh dari halusinasi, tergantung pada arah.

Efek dari mengarahkan sepanjang arah halusinasi. Akurasi pada TruthfulQA meningkat ketika model didorong lebih jauh ke arah negatif, sedangkan Tingkat Keberhasilan Serangan (ASR, lebih rendah lebih baik) meningkat tajam pada AdvBench dan StrongReject, mencerminkan trade-off antara kebenaran dan keamanan.

Mengarahkan sepanjang sumbu halusinasi melemahkan akurasi faktual, sedangkan membalik arah meningkatkannya, dan menerapkan teknik ini pada benchmark prompt berbahaya mengkonfirmasi pola yang dilihat sebelumnya: peningkatan kebenaran datang dengan biaya melemahkan penolakan. Bahkan ketika halusinasi diwakili sebagai arah linier yang bersih, meningkatkan keluaran faktual membuat model lebih rentan terhadap penyelesaian yang tidak aman.

Penulis menekankan*:

‘Ini memperkuat trade-off antara kebenaran dan keamanan, menunjukkan bahwa bahkan ketika kebenaran diwakili sebagai satu arah linier, meningkatkan kefaktualan dapat datang dengan biaya melemahkan alignmen keamanan.’

Data dan Pengujian

Sejalan dengan penelitian sebelumnya, untuk mencegah fine-tuning melemahkan perilaku penolakan model, penulis menggunakan metode untuk memisahkan fitur penolakan dari fitur yang terkait dengan halusinasi, dengan mengidentifikasi kepala perhatian yang terlibat dalam kedua perilaku tersebut. Mereka kemudian menggunakan SAE untuk mengekstrak fitur laten spesifik untuk penolakan.

Fitur-fitur ini mendefinisikan subruang yang dilindungi. Selama pelatihan, pembaruan gradien dimodifikasi untuk menghindari subruang ini, memungkinkan model untuk mengurangi halusinasi tanpa mengganggu alignmen keamanan.

Penulis melakukan fine-tuning pada dataset CommonsenseQA, mengevaluasi melintasi enam tantangan penalaran umum: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; dan SST-2.

Modul target diperbarui menggunakan LoRA dengan peringkat 8, laju pembelajaran 2×10⁻⁴, pengurangan bobot 0,01, satu epoch pelatihan, dan ukuran batch dua. Semua eksperimen menggunakan optimizer AdamW.

Dua benchmark konten berbahaya yang digunakan untuk mengevaluasi keamanan adalah AdvBench (500 sampel digunakan) dan StrongReject (300 prompt). Keluaran dinilai oleh LlamaGuard3, menghasilkan klasifikasi aman atau tidak aman.

Selain LLaMA3-8B-Instruct, eksperimen juga dilakukan pada Qwen2.5-Instruct.

Acuan yang diuji adalah SafeLoRA; SaLoRA; SAP; dan fine-tuning yang diawasi (aka SFT). Semua dijalankan dengan hyperparameter default, dengan 200 prompt dari HarmBench, untuk semua metode kecuali SafeLoRA.

Akurasi adalah metrik utama, dan untuk benchmark berbahaya, Tingkat Keberhasilan Serangan (ASR), seperti yang didefinisikan oleh hasil yang dikembalikan oleh LlamaGuard3.

Di atas, hasil dari LlaMA-3-8B-Instruct, dengan nilai terbaik di setiap kolom dalam cetak tebal dan di bawah, kinerja metode fine-tuning pada Qwen2.5 7B Instruct, di berbagai tugas umum dan penalaran, di mana skor yang lebih tinggi mencerminkan akurasi yang lebih baik – dan pada benchmark keamanan AdvBench dan StrongReject, di mana nilai ASR yang lebih rendah mencerminkan ketahanan yang lebih kuat. Hasil terbaik di setiap kolom ditampilkan dalam cetak tebal.

Dari hasil ini, penulis menyatakan:

‘Pendekatan bedah kami mencapai keseimbangan terbaik antara keamanan dan utilitas: ini secara signifikan menurunkan skor benchmark berbahaya sambil mempertahankan akurasi fine-tuning. Sebaliknya, metode seperti SAP, SaLoRA, dan SafeLoRA baik meningkatkan keberbahayaan atau melemahkan utilitas.

‘Alasan utama adalah bahwa metode-metode ini beroperasi langsung pada gradien subruang keamanan, yang, karena polisemani [**], dapat membatasi kinerja model.

‘Dibandingkan dengan fine-tuning yang diawasi (SFT), metode kami menghasilkan perbaikan yang signifikan pada kedua metrik utilitas dan keberbahayaan. Secara khusus, pendekatan kami meningkatkan akurasi fine-tuning rata-rata (FA) dari 56,15% menjadi 75,09%, yaitu peningkatan sekitar +19%.’

Metode ini, menurut penulis, juga mengurangi Tingkat Keberhasilan Serangan dari 9,23% menjadi 0,58% pada AdvBench, dan dari 9,90% menjadi 0,00% pada StrongReject, yang mewakili penurunan lebih dari lima belas kali lipat dalam keluaran berbahaya. Model dasar, meskipun sudah rendah dalam keberbahayaan, hanya mencapai akurasi tugas yang terbatas.

Penulis menyatakan:

‘Hasil ini menekankan pentingnya mempertahankan fitur penolakan selama proses fine-tuning: dengan mengisolasi dan melindungi subruang penolakan, metode kami mempertahankan alignmen keamanan tanpa mengorbankan kinerja tugas.

‘Secara keseluruhan, ini mengkonfirmasi bahwa pendekatan kami secara efektif memitigasi trade-off antara kebenaran dan keamanan.’

Akhirnya, penulis menguji ketahanan pendekatan mereka di bawah kondisi yang lebih adversarial, dengan menambahkan 10% instruksi berbahaya dari dataset Circuit Break ke set fine-tuning.

Meskipun peracunan yang disengaja ini, metode mereka mempertahankan kinerja yang kuat di berbagai evaluasi yang aman dan berbahaya:

Kinerja LLaMA3 8B Instruct yang diperbarui pada dataset umum yang terkontaminasi, membandingkan hasil akurasi dan keamanan di berbagai metode.

Pendekatan baru ini mengurangi ASR lebih efektif daripada SAP, sambil menghindari kerugian utilitas yang signifikan dari yang terakhir. Akurasi tugas tetap dekat dengan LoRA SFT dan SafeLoRA, mengkonfirmasi bahwa alignmen penolakan masih dapat dipertahankan di bawah pelatihan yang terkontaminasi, asalkan fitur penolakan diisolasi dan dipertahankan dengan benar.

Kesimpulan

Temuan paling menarik dari penelitian ini adalah kolokasi yang jelas dari elemen-elemen yang bertentangan seperti penolakan dan halusinasi dalam ruang laten yang dilatih. Meskipun sangat menggembirakan dan menarik untuk melihat penulis memisahkan ini dengan menggunakan LoRA dan SAE, ini jelas merupakan solusi yang bersifat bolt-on, dan satu harap bahwa solusi arsitektur yang lebih dalam akan muncul yang menangani waktu pelatihan, bukan post hoc perbaikan.

* Saya menghilangkan pemformatan tebal mereka sebagai redundan.
** https://arxiv.org/abs/2210.01892

Publikasi pertama pada hari Jumat, 10 Oktober 2025