Mengatasi Hallusinasi LLM dengan Generasi yang Ditingkatkan dengan Pencarian (RAG)

Model Bahasa Besar (LLM) merevolusi cara kita memproses dan menghasilkan bahasa, tetapi mereka tidak sempurna. Seperti manusia yang mungkin melihat bentuk di awan atau wajah di bulan, LLM juga dapat “berhalusinasi”, menciptakan informasi yang tidak akurat. Fenomena ini, dikenal sebagai halusinasi LLM, menimbulkan kekhawatiran yang semakin besar karena penggunaan LLM semakin meluas.

Kesalahan dapat membingungkan pengguna dan, dalam beberapa kasus, bahkan dapat menyebabkan masalah hukum bagi perusahaan. Misalnya, pada tahun 2023, seorang veteran Angkatan Udara Jeffery Battle (dikenal sebagai The Aerospace Professor) mengajukan gugatan terhadap Microsoft ketika dia menemukan bahwa mesin pencari Bing yang ditenagai oleh ChatGPT milik Microsoft terkadang memberikan informasi yang tidak akurat dan merusak tentang nama pencarianannya. Mesin pencari itu membingungkan dia dengan seorang narapidana bernama Jeffery Leon Battle.

Untuk mengatasi halusinasi, Generasi yang Ditingkatkan dengan Pencarian (RAG) telah muncul sebagai solusi yang menjanjikan. Ini mengintegrasikan pengetahuan dari basis data eksternal untuk meningkatkan akurasi dan kredibilitas hasil LLM. Mari kita lihat lebih dekat bagaimana RAG membuat LLM lebih akurat dan dapat diandalkan. Kami juga akan membahas apakah RAG dapat secara efektif mengatasi masalah halusinasi LLM.

Mengenal Halusinasi LLM: Penyebab dan Contoh

LLM, termasuk model terkenal seperti ChatGPT, ChatGLM, dan Claude, dilatih pada dataset teks yang luas tetapi tidak kebal dari menghasilkan output yang tidak akurat, yang disebut ‘halusinasi.’ Halusinasi terjadi karena LLM dilatih untuk membuat respons yang bermakna berdasarkan aturan bahasa yang mendasarinya, tanpa memperhatikan akurasi faktual.

Sebuah studi Tidio menemukan bahwa sementara 72% pengguna percaya LLM dapat diandalkan, 75% telah menerima informasi yang tidak akurat dari AI setidaknya sekali. Bahkan model LLM yang paling menjanjikan seperti GPT-3.5 dan GPT-4 dapat terkadang menghasilkan konten yang tidak akurat atau tidak masuk akal.

Berikut adalah gambaran singkat tentang jenis halusinasi LLM yang umum:

Jenis Halusinasi AI yang Umum:

1. Penyatuan Sumber: Ini terjadi ketika model menggabungkan detail dari berbagai sumber, menyebabkan kontradiksi atau bahkan sumber yang dibuat-buat.
2. Kesalahan Faktual: LLM dapat menghasilkan konten dengan dasar faktual yang tidak akurat, terutama mengingat ketidakakuratan internet
3. Informasi yang Tidak Masuk Akal: LLM memprediksi kata berikutnya berdasarkan probabilitas. Ini dapat menghasilkan teks yang gramatikal benar tetapi tidak masuk akal, menyesatkan pengguna tentang otoritas konten.

Tahun lalu, dua pengacara menghadapi kemungkinan sanksi karena merujuk pada enam kasus yang tidak ada dalam dokumen hukum mereka, yang disesatkan oleh informasi yang dihasilkan ChatGPT. Contoh ini menekankan pentingnya mendekati konten yang dihasilkan LLM dengan mata kritis, menekankan kebutuhan verifikasi untuk memastikan keandalan. Sementara kapasitas kreatifnya bermanfaat untuk aplikasi seperti cerita, itu menimbulkan tantangan untuk tugas yang memerlukan kepatuhan ketat pada fakta, seperti melakukan penelitian akademis, menulis analisis medis dan keuangan, dan memberikan saran hukum.

Mengexplorasi Solusi untuk Halusinasi LLM: Bagaimana RAG Bekerja

Pada tahun 2020, peneliti LLM memperkenalkan teknik yang disebut Generasi yang Ditingkatkan dengan Pencarian (RAG) untuk mengurangi halusinasi LLM dengan mengintegrasikan sumber data eksternal. Tidak seperti LLM tradisional yang hanya mengandalkan pengetahuan yang telah dilatih sebelumnya, model LLM berbasis RAG menghasilkan respons yang akurat dengan secara dinamis mengambil informasi relevan dari basis data eksternal sebelum menjawab pertanyaan atau menghasilkan teks.

Proses RAG:

Langkah-langkah Proses RAG: Sumber

Langkah 1: Pencarian

Sistem mencari basis pengetahuan tertentu untuk informasi yang terkait dengan kueri pengguna. Misalnya, jika seseorang bertanya tentang pemenang Piala Dunia terakhir, itu mencari informasi sepak bola yang paling relevan.

Langkah 2: Peningkatan

Kueri asli kemudian diperkaya dengan informasi yang ditemukan. Menggunakan contoh sepak bola, kueri “Siapa yang memenangkan Piala Dunia sepak bola?” diperbarui dengan detail spesifik seperti “Argentina memenangkan Piala Dunia sepak bola.”

Langkah 3: Penghasilan

Dengan kueri yang diperkaya, LLM menghasilkan respons yang detail dan akurat. Dalam kasus kita, itu akan menghasilkan respons berdasarkan informasi yang diperkaya tentang Argentina memenangkan Piala Dunia.

Metode ini membantu mengurangi ketidakakuratan dan memastikan respons LLM lebih dapat diandalkan dan berdasar pada data yang akurat.

Kelebihan dan Kekurangan RAG dalam Mengurangi Halusinasi

RAG telah menunjukkan janji dalam mengurangi halusinasi dengan memperbaiki proses penghasilan. Mekanisme ini memungkinkan model RAG untuk memberikan informasi yang lebih akurat, terkini, dan relevan dengan konteks.

Tentu saja, membahas RAG dalam arti yang lebih umum memungkinkan pemahaman yang lebih luas tentang kelebihan dan keterbatasannya di berbagai implementasi.

Kelebihan RAG:

• Pencarian Informasi yang Lebih Baik: RAG dengan cepat menemukan informasi yang akurat dari sumber data besar.
• Konten yang Diperbaiki: Ini menciptakan konten yang jelas dan sesuai dengan kebutuhan pengguna.
• Penggunaan yang Fleksibel: Pengguna dapat menyesuaikan RAG untuk memenuhi kebutuhan spesifik mereka, seperti menggunakan sumber data propietary, meningkatkan efektivitas.

Tantangan RAG:

• Membutuhkan Data Spesifik: Memahami konteks kueri dengan akurat untuk memberikan informasi yang relevan dan presisi dapat sulit.
• Skalabilitas: Membesarkan model untuk menangani dataset besar dan kueri sambil mempertahankan kinerja sulit.
• Pembaruan Berkelanjutan: Memperbarui basis data pengetahuan dengan informasi terbaru secara otomatis memerlukan sumber daya yang besar.

Mengexplorasi Alternatif RAG

Selain RAG, berikut beberapa metode lain yang menjanjikan untuk mengurangi halusinasi:

• G-EVAL: Mencross-verifikasi akurasi konten yang dihasilkan dengan dataset yang dipercaya, meningkatkan keandalan.
• SelfCheckGPT: Secara otomatis memeriksa dan memperbaiki kesalahan untuk menjaga output tetap akurat dan konsisten.
• Pengembangan Prompt: Membantu pengguna merancang prompt input yang presisi untuk memandu model menuju respons yang akurat dan relevan.
• Pelatihan yang Diperhalus: Menyesuaikan model dengan dataset tugas-spesifik untuk meningkatkan kinerja domain-spesifik.
• LoRA (Adaptasi Berperingkat Rendah): Metode ini memodifikasi sebagian kecil parameter model untuk adaptasi tugas-spesifik, meningkatkan efisiensi.

Pengexplorasian RAG dan alternatifnya menyoroti pendekatan yang dinamis dan multifaset untuk meningkatkan akurasi dan keandalan LLM. Ketika kita maju, inovasi berkelanjutan dalam teknologi seperti RAG sangat penting untuk mengatasi tantangan inheren halusinasi LLM.

Untuk tetap mendapatkan informasi terbaru tentang perkembangan AI dan pembelajaran mesin, termasuk analisis mendalam dan berita, kunjungi unite.ai.