Mengatasi Hallusinasi pada Model Bahasa Besar: Survei Teknik-Teknik Terkini

Model bahasa besar (LLM) seperti GPT-4, PaLM, dan Llama telah membuka kemajuan luar biasa dalam kemampuan generasi bahasa alami. Namun, tantangan yang persisten membatasi keandalan dan penerapan aman mereka adalah kecenderungan mereka untuk mengalami hallusinasi – menghasilkan konten yang tampak koheren tetapi secara faktual tidak benar atau tidak berdasar pada konteks input.

Karena LLM terus tumbuh lebih kuat dan luas di berbagai aplikasi dunia nyata, mengatasi hallusinasi menjadi sangat penting. Artikel ini menyediakan gambaran komprehensif tentang teknik-teknik terbaru yang diperkenalkan peneliti untuk mendeteksi, mengukur, dan mitigasi hallusinasi pada LLM.

Mengerti Hallusinasi pada LLM

Hallusinasi merujuk pada ketidakakuratan faktual atau fabrikasi yang dihasilkan oleh LLM yang tidak berdasar pada kenyataan atau konteks yang diberikan. Beberapa contoh termasuk:

• Menciptakan detail biografis atau peristiwa yang tidak terbukti dalam bahan sumber ketika menghasilkan teks tentang seseorang.
• Memberikan saran medis yang salah dengan mengarang efek sampingan obat atau prosedur perawatan.
• Mengarang data, studi, atau sumber yang tidak ada untuk mendukung klaim.

Fenomena ini muncul karena LLM dilatih pada sejumlah besar data teks online. Sementara ini memungkinkan mereka untuk mencapai kemampuan pemodelan bahasa yang kuat, ini juga berarti mereka belajar untuk mengextrapolasi informasi, membuat lompatan logis, dan mengisi celah dengan cara yang tampak meyakinkan tetapi mungkin menyesatkan atau salah.

Beberapa faktor kunci yang bertanggung jawab atas hallusinasi termasuk:

• Generalisasi pola – LLM mengidentifikasi dan memperluas pola dalam data pelatihan yang mungkin tidak umum.
• Pengetahuan usang – Pelatihan pra-pelatihan statis mencegah integrasi informasi baru.
• Ketidakjelasan – Prompt yang samar memungkinkan ruang untuk asumsi yang salah.
• Bias – Model memperkuat dan memperbesar perspektif yang miring.
• Ketidakcukupan landasan – Kekurangan pemahaman dan penalaran berarti model menghasilkan konten yang tidak sepenuhnya dipahami.

Mengatasi hallusinasi sangat penting untuk penerapan yang dapat dipercaya di domain sensitif seperti kedokteran, hukum, keuangan, dan pendidikan, di mana menghasilkan informasi yang salah bisa menyebabkan kerugian.

Taksonomi Teknik Mitigasi Hallusinasi

Peneliti telah memperkenalkan berbagai teknik untuk melawan hallusinasi pada LLM, yang dapat dikategorikan menjadi:

1. Teknik Pembuatan Prompt

Ini melibatkan pembuatan prompt yang hati-hati untuk memberikan konteks dan memandu LLM menuju respons yang faktual dan berlandaskan.

• Pengayaan pengambilan – Mengambil bukti eksternal untuk memperkuat konten.
• Lingkaran umpan balik – Memberikan umpan balik secara berulang untuk memperbaiki respons.
• Pengaturan prompt – Menyesuaikan prompt selama pelatihan untuk perilaku yang diinginkan.

2. Pengembangan Model

Menciptakan model yang secara inheren kurang rentan terhadap hallusinasi melalui perubahan arsitektur.

• Strategi dekoding – Menghasilkan teks dengan cara yang meningkatkan kesetiaan.
• Pengayaan pengetahuan – Mengintegrasikan basis pengetahuan eksternal.
• Fungsi kerugian baru – Mengoptimalkan kesetiaan selama pelatihan.
• Pelatihan yang diawasi – Menggunakan data yang diberi label manusia untuk meningkatkan faktualitas.

Selanjutnya, kami akan menyurvei teknik-teknik terkemuka di bawah setiap pendekatan.

Teknik Mitigasi Hallusinasi yang Terkemuka

Generasi yang Diperkuat Pengambilan

Generasi yang diperkuat pengambilan memperkuat LLM dengan mengambil dan mengkondisikan penghasilan teks pada dokumen bukti eksternal, bukan hanya mengandalkan pengetahuan implisit model. Ini memperkuat konten dalam informasi yang dapat diverifikasi dan mutakhir, mengurangi hallusinasi.

Teknik-teknik terkemuka termasuk:

• RAG – Menggunakan modul pengambil untuk memberikan pasasi relevan bagi model seq2seq untuk menghasilkan dari. Kedua komponen dilatih secara berakhir.
• RARR – Menggunakan LLM untuk melakukan penelitian klaim yang tidak dapat dipertanggungjawabkan dalam teks yang dihasilkan dan merevisinya untuk selaras dengan bukti yang diperoleh.
• Pengambilan Pengetahuan – Memvalidasi generasi yang tidak pasti menggunakan pengetahuan yang diperoleh sebelum menghasilkan teks.
• LLM-Augmenter – Mencari pengetahuan secara berulang untuk membangun rantai bukti untuk prompt LLM.

Umpan Balik dan Penalaran

Menggunakan umpan balik bahasa alami yang berulang atau penalaran mandiri memungkinkan LLM untuk memperbaiki dan meningkatkan output awal mereka, mengurangi hallusinasi.

CoVe menggunakan teknik verifikasi berantai. LLM pertama kali menghasilkan respons terhadap pertanyaan pengguna. Kemudian, menghasilkan pertanyaan verifikasi potensial untuk memeriksa responsnya sendiri, berdasarkan kepercayaannya pada berbagai pernyataan yang dibuat. Misalnya, untuk respons yang menjelaskan pengobatan medis baru, CoVe mungkin menghasilkan pertanyaan seperti “Apa tingkat efikasi pengobatan?”, “Apakah telah disetujui oleh regulator?”, “Apa efek sampingannya?”. Yang sangat penting, LLM kemudian mencoba menjawab pertanyaan verifikasi ini tanpa dipengaruhi oleh respons awalnya. Jika jawaban dari pertanyaan verifikasi bertentangan atau tidak dapat mendukung pernyataan yang dibuat dalam respons asli, sistem mengidentifikasi hal tersebut sebagai hallusinasi yang mungkin dan memperbaiki respons sebelum menyajikannya kepada pengguna.

DRESS berfokus pada penyetelan LLM untuk selaras lebih baik dengan preferensi manusia melalui umpan balik bahasa alami. Pendekatan ini memungkinkan pengguna non-ahli untuk memberikan kritik bebas pada generasi model, seperti “Efek samping yang disebutkan tampaknya dilebih-lebihkan” atau instruksi perbaikan seperti “Tolong diskusikan juga efisiensi biaya”. DRESS menggunakan pembelajaran penguatan untuk melatih model untuk menghasilkan respons yang dikondisikan pada umpan balik seperti itu yang lebih selaras dengan preferensi manusia. Ini meningkatkan interaktifitas sambil mengurangi pernyataan yang tidak realistis atau tidak didukung.

MixAlign menangani situasi di mana pengguna mengajukan pertanyaan yang tidak secara langsung berkorespondensi dengan pasasi bukti yang diperoleh oleh sistem. Misalnya, pengguna mungkin mengajukan pertanyaan “Apakah polusi akan memburuk di Cina?” sedangkan pasasi yang diperoleh membahas tren polusi secara global. Untuk menghindari hallusinasi dengan konteks yang tidak cukup, MixAlign secara eksplisit meminta klarifikasi dari pengguna ketika tidak yakin bagaimana menghubungkan pertanyaan mereka dengan informasi yang diperoleh. Mekanisme ini memungkinkan untuk mendapatkan umpan balik untuk mengkontekstualisasi bukti dengan benar, mencegah respons yang tidak berlandaskan.

Teknik Refleksi Diri melatih LLM untuk mengevaluasi, memberikan umpan balik pada, dan memperbaiki respons mereka sendiri menggunakan pendekatan multi-tugas. Misalnya, diberikan respons yang dihasilkan untuk pertanyaan medis, model belajar untuk menilai akurasi faktual, mengidentifikasi pernyataan yang kontradiktif atau tidak didukung, dan mengeditnya dengan mengambil pengetahuan yang relevan. Dengan mengajarkan LLM loop umpan balik ini untuk memeriksa, mengkritik, dan memperbaiki output mereka sendiri, pendekatan ini mengurangi hallusinasi buta.

Pengaturan Prompt

Pengaturan prompt memungkinkan penyesuaian prompt instruksional yang diberikan kepada LLM selama pelatihan untuk perilaku yang diinginkan.

Metode SynTra menggunakan tugas ringkas sintetis untuk meminimalkan hallusinasi sebelum mentransfer model ke dataset ringkas yang sebenarnya. Tugas sintetis ini memberikan pasasi input dan meminta model untuk meringkasnya melalui pengambilan saja, tanpa abstraksi. Ini melatih model untuk bergantung sepenuhnya pada konten yang bersumber daripada mengarang informasi baru selama ringkasan. SynTra terbukti mengurangi masalah hallusinasi ketika model yang telah dilatih diterapkan pada tugas target.

UPRISE melatih pengambil prompt universal yang memberikan prompt lembut yang optimal untuk pembelajaran beberapa tembakan pada tugas downstream yang tidak terlihat. Dengan mengambil prompt yang efektif yang dilatih pada berbagai tugas, model belajar untuk menggeneralisasi dan beradaptasi dengan tugas baru di mana ia kekurangan contoh pelatihan. Ini meningkatkan kinerja tanpa memerlukan penyetelan tugas-spesifik.

Arsitektur Model Baru

FLEEK adalah sistem yang berfokus pada membantu pengawas dan validator manusia. Ini secara otomatis mengidentifikasi klaim faktual yang potensial dapat diverifikasi yang dibuat dalam teks yang diberikan. FLEEK mengubah pernyataan yang dapat diverifikasi menjadi pertanyaan, mengambil bukti terkait dari basis pengetahuan, dan memberikan informasi kontekstual ini kepada validator manusia untuk memverifikasi keakuratan dokumen dan kebutuhan revisi.

Pendekatan CAD mengurangi hallusinasi dalam generasi bahasa melalui dekoding yang sadar konteks. Secara khusus, CAD memperkuat perbedaan antara distribusi output LLM ketika dikondisikan pada konteks versus dihasilkan tanpa kondisi. Ini mencegah kontradiksi dengan bukti kontekstual, mengarahkan model menuju generasi yang berlandaskan.

DoLA mengurangi hallusinasi faktual dengan mengontraskan logit dari lapisan yang berbeda dalam jaringan transformer. Karena pengetahuan faktual cenderung terkonsentrasi pada lapisan tengah tertentu, memperkuat sinyal dari lapisan faktual tersebut melalui kontras logit DoLA mengurangi generasi faktual yang salah.

Kerangka THAM memperkenalkan suku regulerisasi selama pelatihan untuk meminimalkan informasi bersama antara input dan output yang dihallusinasi. Ini membantu meningkatkan ketergantungan model pada konteks input yang diberikan daripada imajinasi yang tidak terkendali, mengurangi hallusinasi buta.

Pengayaan Pengetahuan

Mengaitkan generasi LLM dalam pengetahuan terstruktur mencegah spekulasi dan fabrikasi yang tidak terkendali.

Model RHO mengidentifikasi entitas dalam konteks percakapan dan menghubungkannya dengan grafik pengetahuan (KG). Fakta dan hubungan terkait tentang entitas tersebut diperoleh dari KG dan difusikan ke dalam representasi konteks yang diberikan kepada LLM. Ini mengurangi hallusinasi dalam dialog dengan menjaga respons tetap terkait dengan fakta yang berlandaskan tentang entitas atau peristiwa yang disebutkan.

HAR menciptakan dataset pelatihan kontrafaktual yang mengandung hallusinasi yang dihasilkan model untuk lebih baik mengajarkan pengayaan. Diberikan pasasi faktual, model diprompt untuk memperkenalkan hallusinasi atau distorsi, menghasilkan versi kontrafaktual yang diubah. Pelatihan pada data ini memaksa model untuk lebih baik mengaitkan konten dengan sumber faktual asli, mengurangi improvisasi.

Pelatihan yang Diawasi

• Coach – Kerangka interaktif yang menjawab pertanyaan pengguna tetapi juga meminta koreksi untuk perbaikan.
• R-Tuning – Penyetelan yang sadar penolakan menolak pertanyaan yang tidak didukung yang diidentifikasi melalui kesenjangan pengetahuan dalam data pelatihan.
• TWEAK – Metode dekoding yang menilai generasi berdasarkan seberapa baik hipotesis mendukung fakta input.

Tantangan dan Keterbatasan

Meskipun kemajuan yang menjanjikan, beberapa tantangan kunci masih ada dalam mitigasi hallusinasi:

• Teknik seringkali mempertukarkan kualitas, koherensi, dan kreativitas untuk kebenaran.
• Kesulitan dalam evaluasi yang ketat di luar domain terbatas. Metrik tidak menangkap semua nuansa.
• Banyak metode yang komputasional mahal, memerlukan pengambilan atau penalaran mandiri yang ekstensif.
• Sangat bergantung pada kualitas data pelatihan dan sumber pengetahuan eksternal.
• Sulit untuk menjamin generalisasi di seluruh domain dan modalitas.
• Akarnya dari hallusinasi seperti ekstrapolasi berlebihan masih belum terpecahkan.

Mengatasi tantangan ini kemungkinan memerlukan pendekatan multilapis yang menggabungkan peningkatan data pelatihan, perbaikan arsitektur model, kerugian yang meningkatkan kesetiaan, dan teknik waktu inferensi.

Jalan ke Depan

Mitigasi hallusinasi untuk LLM masih merupakan masalah penelitian terbuka dengan kemajuan aktif. Beberapa arah masa depan yang menjanjikan termasuk:

• Teknik hibrida: Menggabungkan pendekatan komplementer seperti pengambilan, pengayaan pengetahuan, dan umpan balik.
• Pemodelan kausalitas: Meningkatkan pemahaman dan penalaran.
• Integrasi pengetahuan online: Menjaga pengetahuan dunia tetap mutakhir.
• Verifikasi formal: Memberikan jaminan matematis tentang perilaku model.
• Interpretabilitas: Membangun transparansi ke dalam teknik mitigasi.

Ketika LLM terus meluas di berbagai domain dengan risiko tinggi, mengembangkan solusi yang kuat untuk mengurangi hallusinasi akan menjadi kunci untuk memastikan penerapan yang aman, etis, dan dapat diandalkan. Teknik-teknik yang disurvei dalam artikel ini memberikan gambaran tentang teknik-teknik yang telah diusulkan hingga saat ini, di mana lebih banyak tantangan penelitian terbuka masih ada. Secara keseluruhan, ada tren positif menuju peningkatan faktualitas model, tetapi kemajuan berkelanjutan memerlukan penanganan keterbatasan dan eksplorasi arah baru seperti kausalitas, verifikasi, dan metode hibrida. Dengan upaya gigih dari peneliti di seluruh disiplin, impian LLM yang kuat namun dapat dipercaya dapat diwujudkan.