Mengatasi Hallusinasi pada Model Bahasa Besar: Tinjauan Teknik-Teknik Terkini

Model bahasa besar (LLM) seperti GPT-4, PaLM, dan Llama telah membuka kemajuan luar biasa dalam kemampuan generasi bahasa alami. Namun, tantangan yang persisten membatasi keandalan dan penerapan yang aman adalah kecenderungan mereka untuk mengalami hallusinasi – menghasilkan konten yang tampak koheren tetapi secara faktual tidak tepat atau tidak berdasar pada konteks input.

Ketika LLM terus tumbuh lebih kuat dan meluas di berbagai aplikasi dunia nyata, mengatasi hallusinasi menjadi sangat penting. Artikel ini memberikan tinjauan komprehensif tentang teknik-teknik terbaru yang diperkenalkan oleh peneliti untuk mendeteksi, mengukur, dan mengurangi hallusinasi pada LLM.

Mengenal Hallusinasi pada LLM

Hallusinasi merujuk pada ketidakakuratan faktual atau fabrikasi yang dihasilkan oleh LLM yang tidak berdasar pada kenyataan atau konteks yang diberikan. Beberapa contoh termasuk:

• Menciptakan detail biografis atau peristiwa yang tidak terbukti dalam bahan sumber ketika menghasilkan teks tentang seseorang.
• Memberikan saran medis yang salah dengan mengarang efek sampingan obat atau prosedur pengobatan.
• Mengarang data, studi, atau sumber yang tidak ada untuk mendukung klaim.

Fenomena ini muncul karena LLM dilatih pada sejumlah besar data teks online. Sementara ini memungkinkan mereka untuk mencapai kemampuan pemodelan bahasa yang kuat, ini juga berarti mereka belajar untuk mengextrapolasi informasi, membuat lompatan logis, dan mengisi kesenjangan dengan cara yang tampak meyakinkan tetapi mungkin menyesatkan atau salah.

Beberapa faktor kunci yang bertanggung jawab atas hallusinasi termasuk:

• Generalisasi pola – LLM mengidentifikasi dan memperluas pola dalam data pelatihan yang mungkin tidak umum.
• Pengetahuan kuno – Pelatihan pra-statis mencegah integrasi informasi baru.
• Ketidakjelasan – Prompt yang samar memungkinkan ruang untuk asumsi yang salah.
• Bias – Model mempertahankan dan memperkuat perspektif yang miring.
• Ketidakcukupan landasan – Kurangnya pemahaman dan penalaran berarti model menghasilkan konten yang tidak sepenuhnya dipahami.

Mengatasi hallusinasi sangat penting untuk penerapan yang dapat dipercaya dalam domain sensitif seperti kedokteran, hukum, keuangan, dan pendidikan, di mana menghasilkan informasi yang salah dapat menyebabkan kerugian.

Taksonomi Teknik Mitigasi Hallusinasi

Peneliti telah memperkenalkan berbagai teknik untuk melawan hallusinasi pada LLM, yang dapat dikategorikan menjadi:

1. Teknik Pengembangan Prompt

Ini melibatkan pengembangan prompt yang hati-hati untuk memberikan konteks dan memandu LLM menuju respons yang faktual dan berlandaskan.

• Pengembangan retrieval – Mengambil bukti eksternal untuk memperkuat konten.
• Lingkaran umpan balik – Memberikan umpan balik secara berulang untuk memperbaiki respons.
• Pengaturan prompt – Menyesuaikan prompt selama penghalusan untuk perilaku yang diinginkan.

2. Pengembangan Model

Membuat model yang secara inheren kurang rentan terhadap hallusinasi melalui perubahan arsitektur.

• Strategi dekoding – Menghasilkan teks dengan cara yang meningkatkan kejujuran.
• Landasan pengetahuan – Mengintegrasikan basis pengetahuan eksternal.
• Fungsi kerugian baru – Mengoptimalkan untuk kejujuran selama pelatihan.
• Penghalusan terawasi – Menggunakan data yang diberi label manusia untuk meningkatkan faktualitas.

Selanjutnya, kita akan meninjau teknik-teknik terkemuka di bawah setiap pendekatan.

Teknik Mitigasi Hallusinasi yang Terkemuka

Generasi yang Diperkuat Retrieval

Generasi yang diperkuat retrieval memperkuat LLM dengan mengambil dan mengkondisikan penghasilan teks pada dokumen bukti eksternal, bukan hanya mengandalkan pengetahuan implisit model. Ini memperkuat konten dalam informasi yang dapat diverifikasi dan mutakhir, mengurangi hallusinasi.

Teknik terkemuka termasuk:

• RAG – Menggunakan modul pengambil yang memberikan pasasi relevan untuk model seq2seq untuk menghasilkan dari. Kedua komponen dilatih secara berakhir.
• RARR – Menggunakan LLM untuk melakukan penelitian atas klaim yang tidak diatribusikan dalam teks yang dihasilkan dan merevisinya untuk selaras dengan bukti yang diambil.
• Pengambilan Pengetahuan – Memvalidasi penghasilan yang tidak pasti dengan menggunakan pengetahuan yang diambil sebelum menghasilkan teks.
• LLM-Augmenter – Mencari pengetahuan secara berulang untuk membangun rantai bukti untuk prompt LLM.

Umpan Balik dan Penalaran

Menggunakan umpan balik bahasa alami yang berulang atau penalaran mandiri memungkinkan LLM untuk memperbaiki dan meningkatkan output awal mereka, mengurangi hallusinasi.

CoVe menggunakan teknik verifikasi berantai. LLM pertama-tama menghasilkan respons terhadap pertanyaan pengguna. Kemudian, itu menghasilkan pertanyaan verifikasi potensial untuk memeriksa responsnya sendiri, berdasarkan kepercayaan pada pernyataan yang dibuat. Misalnya, untuk respons yang menjelaskan pengobatan medis baru, CoVe mungkin menghasilkan pertanyaan seperti “Apa tingkat efikasi pengobatan?”, “Apakah telah disetujui oleh regulator?”, “Apa efek sampingan potensial?”. Yang penting, LLM kemudian mencoba menjawab pertanyaan verifikasi ini secara mandiri tanpa dipengaruhi oleh respons awalnya. Jika jawaban atas pertanyaan verifikasi bertentangan dengan atau tidak dapat mendukung pernyataan yang dibuat dalam respons asli, sistem mengidentifikasi hal tersebut sebagai hallusinasi yang mungkin dan memperbaiki respons sebelum menyajikannya kepada pengguna.

DRESS fokus pada penyetelan LLM untuk selaras lebih baik dengan preferensi manusia melalui umpan balik bahasa alami. Pendekatan ini memungkinkan pengguna non-ahli untuk memberikan kritik free-form pada generasi model, seperti “Efek sampingan yang disebutkan tampaknya dilebih-lebihkan” atau instruksi perbaikan seperti “Silakan juga diskusikan efektivitas biaya”. DRESS menggunakan pembelajaran penguatan untuk melatih model untuk menghasilkan respons yang lebih selaras dengan umpan balik tersebut, meningkatkan interaktivitas sambil mengurangi pernyataan yang tidak realistis atau tidak didukung.

MixAlign menangani situasi di mana pengguna mengajukan pertanyaan yang tidak secara langsung berkorespondensi dengan pasasi bukti yang diambil oleh sistem. Misalnya, pengguna mungkin mengajukan pertanyaan “Apakah polusi akan memburuk di Cina?” sementara pasasi yang diambil membahas tren polusi secara global. Untuk menghindari hallusinasi dengan konteks yang tidak cukup, MixAlign secara eksplisit meminta klarifikasi dari pengguna ketika tidak yakin bagaimana menghubungkan pertanyaan mereka dengan informasi yang diambil. Mekanisme ini memungkinkan pengguna untuk memberikan umpan balik untuk mengarahkan dan mengkontekstualisasikan bukti dengan benar, mencegah respons yang tidak berlandaskan.

Teknik Refleksi Diri melatih LLM untuk mengevaluasi, memberikan umpan balik, dan memperbaiki respons mereka sendiri menggunakan pendekatan multi-tugas. Misalnya, diberikan respons yang dihasilkan untuk pertanyaan medis, model belajar untuk menilai akurasi faktual, mengidentifikasi pernyataan yang kontradiktif atau tidak didukung, dan mengeditnya dengan mengambil pengetahuan yang relevan. Dengan mengajarkan LLM loop umpan balik ini, pendekatan ini mengurangi hallusinasi buta.

Pengaturan Prompt

Pengaturan prompt memungkinkan penyesuaian prompt instruksional yang diberikan kepada LLM selama penghalusan untuk perilaku yang diinginkan.

Metode SynTra menggunakan tugas ringkasan sintetis untuk meminimalkan hallusinasi sebelum memindahkan model ke dataset ringkasan yang sebenarnya. Tugas sintetis ini memberikan pasasi input dan meminta model untuk meringkasnya hanya melalui pengambilan, tanpa abstraksi. Ini melatih model untuk sepenuhnya mengandalkan konten yang bersumber daripada mengarang informasi baru selama ringkasan. SynTra terbukti mengurangi masalah hallusinasi ketika model yang dihaluskan diterapkan pada tugas target.

UPRISE melatih pengambil prompt universal yang memberikan prompt lunak yang optimal untuk pembelajaran beberapa contoh pada tugas hilir yang tidak terlihat. Dengan mengambil prompt yang efektif yang disesuaikan pada berbagai tugas, model belajar untuk menggeneralisasi dan beradaptasi dengan tugas baru di mana ia kekurangan contoh pelatihan. Ini meningkatkan kinerja tanpa memerlukan penyetelan tugas khusus.

Arsitektur Model Baru

FLEEK adalah sistem yang fokus pada membantu pengawas dan validator manusia. Ini secara otomatis mengidentifikasi klaim faktual yang dapat diverifikasi yang dibuat dalam teks yang diberikan. FLEEK mengubah pernyataan yang perlu diperiksa menjadi pertanyaan, mengambil bukti terkait dari basis pengetahuan, dan memberikan informasi kontekstual ini kepada validator manusia untuk memverifikasi akurasi dokumen dan kebutuhan revisi.

Pendekatan CAD mengurangi hallusinasi dalam generasi bahasa melalui dekoding yang sadar konteks. Secara khusus, CAD memperkuat perbedaan antara distribusi output LLM ketika dikondisikan pada konteks versus dihasilkan tanpa kondisi. Ini mencegah kontradiksi dengan bukti kontekstual, mengarahkan model menuju generasi yang berlandaskan.

DoLA mengurangi hallusinasi faktual dengan mengontraskan logit dari lapisan yang berbeda dalam jaringan transformer. Karena pengetahuan faktual cenderung terkonsentrasi di lapisan tengah tertentu, memperkuat sinyal dari lapisan faktual tersebut melalui kontras logit DoLA mengurangi generasi faktual yang salah.

Kerangka THAM memperkenalkan suku regulerisasi selama pelatihan untuk meminimalkan informasi mutual antara input dan output yang dihallusinasi. Ini membantu meningkatkan ketergantungan model pada konteks input yang diberikan daripada imajinasi yang tidak terkait, mengurangi hallusinasi buta.

Landasan Pengetahuan

Menghubungkan generasi LLM dengan pengetahuan terstruktur mencegah spekulasi dan fabrikasi yang tidak terkendali.

Model RHO mengidentifikasi entitas dalam konteks percakapan dan menghubungkannya dengan grafik pengetahuan (KG). Fakta dan hubungan terkait tentang entitas tersebut diambil dari KG dan digabungkan ke dalam representasi konteks yang diberikan kepada LLM. Ini mengarahkan konteks yang diperkaya dengan pengetahuan, mengurangi hallusinasi dalam dialog dengan menjaga respons tetap terkait dengan fakta yang berlandaskan tentang entitas atau peristiwa yang disebutkan.

HAR menciptakan dataset pelatihan kontrafaktual yang berisi hallusinasi yang dihasilkan model untuk lebih baik mengajarkan landasan. Diberikan pasasi faktual, model dipandu untuk memperkenalkan hallusinasi atau distorsi, menghasilkan versi kontrafaktual yang diubah. Penghalusan pada data ini memaksa model untuk lebih baik menghubungkan konten dengan sumber faktual asli, mengurangi improvisasi.

Penghalusan Terawasi

• Coach – Kerangka interaktif yang menjawab pertanyaan pengguna tetapi juga meminta koreksi untuk perbaikan.
• R-Tuning – Penghalusan yang sadar penolakan menolak pertanyaan yang tidak didukung yang diidentifikasi melalui celah pengetahuan dalam data pelatihan.
• TWEAK – Metode dekoding yang menilai generasi berdasarkan seberapa baik hipotesis mendukung fakta input.

Tantangan dan Keterbatasan

Meskipun kemajuan yang menjanjikan, beberapa tantangan kunci masih ada dalam mengatasi hallusinasi:

• Teknik seringkali mempertukarkan kualitas, koherensi, dan kreativitas untuk kebenaran.
• Kesulitan dalam evaluasi yang ketat di luar domain yang terbatas. Metrik tidak menangkap semua nuansa.
• Banyak metode yang secara komputasi mahal, memerlukan pengambilan atau penalaran mandiri yang ekstensif.
• Sangat bergantung pada kualitas data pelatihan dan sumber pengetahuan eksternal.
• Sulit untuk menjamin generalisasi di seluruh domain dan modalitas.
• Akarnya hallusinasi seperti ekstrapolasi berlebihan masih belum terpecahkan.

Mengatasi tantangan ini kemungkinan memerlukan pendekatan multilapis yang menggabungkan peningkatan data pelatihan, perbaikan arsitektur model, kerugian yang meningkatkan kejujuran, dan teknik waktu inferensi.

Jalan Menuju Masa Depan

Mengatasi hallusinasi pada LLM masih merupakan masalah penelitian terbuka dengan kemajuan aktif. Beberapa arah masa depan yang menjanjikan termasuk:

• Teknik hibrida – Menggabungkan pendekatan komplementer seperti pengambilan, landasan pengetahuan, dan umpan balik.
• Model kausalitas – Meningkatkan pemahaman dan penalaran.
• Integrasi pengetahuan online – Menjaga pengetahuan dunia tetap mutakhir.
• Verifikasi formal – Memberikan jaminan matematis tentang perilaku model.
• Interpretabilitas – Membangun transparansi ke dalam teknik mitigasi.

Ketika LLM terus meluas ke domain dengan risiko tinggi, mengembangkan solusi yang kuat untuk mengurangi hallusinasi akan menjadi kunci untuk memastikan penerapan yang aman, etis, dan dapat diandalkan. Teknik-teknik yang disurvei dalam artikel ini memberikan gambaran tentang teknik-teknik yang telah diusulkan hingga saat ini, di mana tantangan penelitian terbuka masih ada. Secara keseluruhan, ada tren positif menuju peningkatan faktualitas model, tetapi kemajuan berkelanjutan memerlukan mengatasi keterbatasan dan menjelajahi arah baru seperti kausalitas, verifikasi, dan metode hibrida. Dengan upaya gigih dari peneliti di seluruh disiplin, mimpi tentang LLM yang kuat tetapi dapat dipercaya dapat diwujudkan.