Apakah RAGs Solusi untuk Hallusinasi AI?

AI, oleh desain, memiliki “pikiran sendiri.” Salah satu kelemahan dari ini adalah model AI Generatif akan secara terkadang memfabrikasi informasi dalam fenomena yang disebut “Hallusinasi AI,” salah satu contoh awal yang muncul ke sorotan saat seorang hakim New York menegur pengacara yang menggunakan brief hukum yang ditulis oleh ChatGPT yang merujuk pada kasus pengadilan yang tidak ada. Lebih baru-baru ini, telah terjadi insiden mesin pencari yang dihasilkan AI memberitahu pengguna untuk mengonsumsi batu untuk manfaat kesehatan, atau menggunakan lem non-toksik glue untuk membantu keju menempel pada pizza.

Karena GenAI menjadi semakin luas, penting bagi pengadopsi untuk mengakui bahwa hallusinasi adalah, saat ini, aspek tidak terhindarkan dari solusi GenAI. Dibangun pada model bahasa besar (LLM), solusi ini seringkali diberitahu oleh sejumlah besar sumber yang berbeda yang mungkin mengandung setidaknya beberapa informasi yang tidak akurat atau ketinggalan zaman – jawaban yang difabrikasi ini membuat antara 3% dan 10% dari respons chatbot AI yang dihasilkan ke prompt pengguna. Dalam cahaya ” black box ” AI – di mana sebagai manusia, kita memiliki kesulitan luar biasa dalam memeriksa bagaimana AI menghasilkan hasilnya, – hallusinasi ini dapat hampir mustahil bagi pengembang untuk melacak dan memahami.

Tidak terhindarkan atau tidak, hallusinasi AI sangat menjengkelkan pada yang terbaik, berbahaya, dan tidak etis pada yang terburuk.

Di seluruh sektor, termasuk kesehatan, keuangan, dan keselamatan publik, dampak dari hallusinasi termasuk semua hal dari menyebarkan informasi yang salah dan mengompromikan data sensitif hingga kecelakaan yang mengancam jiwa. Jika hallusinasi terus tidak terkendali, kesejahteraan pengguna dan kepercayaan masyarakat terhadap sistem AI akan keduanya dikompromikan.

Oleh karena itu, penting bahwa penjaga teknologi kuat ini mengakui dan mengatasi risiko hallusinasi AI untuk memastikan kredibilitas output yang dihasilkan LLM.

RAGs sebagai Titik Awal untuk Mengatasi Hallusinasi

Salah satu metode yang telah muncul ke permukaan dalam mengurangi hallusinasi adalah retrieval-augmented generation, atau RAG. Solusi ini meningkatkan keandalan LLM melalui integrasi toko informasi eksternal – mengekstrak informasi yang relevan dari database tepercaya yang dipilih sesuai dengan sifat pertanyaan – untuk memastikan respons yang lebih andal ke pertanyaan tertentu.

Beberapa ahli industri telah mengusulkan bahwa RAG saja dapat mengatasi hallusinasi. Namun, database RAG yang terintegrasi masih dapat mengandung data yang ketinggalan zaman, yang dapat menghasilkan informasi yang salah atau menyesatkan. Dalam beberapa kasus, integrasi data eksternal melalui RAGs bahkan dapat meningkatkan kemungkinan hallusinasi pada model bahasa besar: Jika model AI bergantung secara tidak proporsional pada database yang ketinggalan zaman yang dianggapnya sebagai yang paling mutakhir, luasnya hallusinasi mungkin menjadi lebih parah.

AI Guardrails – Mengatasi Keterbatasan RAG

Seperti yang dapat dilihat, RAGs memang menjanjikan untuk mengurangi hallusinasi AI. Namun, industri dan bisnis yang beralih ke solusi ini juga harus memahami keterbatasan inheren mereka. Memang, ketika digunakan bersama dengan RAGs, ada metodologi komplementer yang harus digunakan saat mengatasi hallusinasi LLM.

Misalnya, bisnis dapat menggunakan guardrails AI waktu nyata untuk mengamankan respons LLM dan mengurangi hallusinasi AI. Guardrails bertindak sebagai jaring yang memeriksa semua output LLM untuk konten yang difabrikasi, cabul, atau tidak terkait sebelum mencapai pengguna. Pendekatan middleware proaktif ini memastikan keandalan dan relevansi pengambilan dalam sistem RAG, akhirnya meningkatkan kepercayaan di antara pengguna, dan memastikan interaksi yang aman yang sesuai dengan merek perusahaan.

Alternatifnya, ada pendekatan “prompt engineering”, yang memerlukan insinyur untuk mengubah prompt master backend. Dengan menambahkan konstrain yang telah ditentukan sebelumnya ke prompt yang dapat diterima – dengan kata lain, memantau tidak hanya dari mana LLM mendapatkan informasi tetapi juga bagaimana pengguna meminta jawaban – prompt yang dirancang dapat membimbing LLM ke arah hasil yang lebih dapat diandalkan. Kekurangan utama dari pendekatan ini adalah bahwa jenis prompt engineering ini dapat menjadi tugas yang sangat memakan waktu bagi programmer, yang seringkali sudah kekurangan waktu dan sumber daya.

Pendekatan “fine tuning” melibatkan pelatihan LLM pada dataset khusus untuk memperbaiki kinerja dan mengurangi risiko hallusinasi. Metode ini melatih LLM khusus tugas untuk menarik dari domain tepercaya, meningkatkan akurasi dan keandalan dalam output.

Juga penting untuk mempertimbangkan dampak panjang input pada kinerja penalaran LLM – memang, banyak pengguna cenderung berpikir bahwa semakin luas dan parameter-filled prompt mereka, semakin akurat outputnya akan. Namun, satu studi baru-baru ini mengungkapkan bahwa akurasi output LLM sebenarnya menurun ketika panjang input meningkat. Konsekuensinya, meningkatkan jumlah pedoman yang ditugaskan untuk prompt tertentu tidak menjamin keandalan konsisten dalam menghasilkan aplikasi AI generatif yang dapat diandalkan.

Fenomena ini, yang dikenal sebagai “prompt overloading”, menyoroti risiko inheren dari desain prompt yang terlalu kompleks – semakin luas prompt difrasakan, semakin banyak pintu yang dibuka untuk informasi yang tidak akurat dan hallusinasi ketika LLM berusaha untuk memenuhi setiap parameter.

Prompt engineering memerlukan pembaruan dan penyetelan yang konstan dan masih berjuang untuk mencegah hallusinasi atau respons yang tidak masuk akal secara efektif. Guardrails, di sisi lain, tidak akan menciptakan risiko tambahan dari output yang difabrikasi, membuatnya menjadi pilihan yang menarik untuk melindungi AI. Tidak seperti prompt engineering, guardrails menawarkan solusi waktu nyata yang komprehensif yang memastikan AI generatif hanya akan menghasilkan output dari dalam batas yang telah ditentukan sebelumnya.

Sementara tidak menjadi solusi mandiri, umpan balik pengguna juga dapat membantu mengurangi hallusinasi dengan tindakan seperti upvotes dan downvotes yang membantu memperbaiki model, meningkatkan akurasi output, dan menurunkan risiko hallusinasi.

Dengan sendirinya, solusi RAG memerlukan eksperimen yang luas untuk mencapai hasil yang akurat. Namun, ketika dipasangkan dengan fine-tuning, prompt engineering, dan guardrails, mereka dapat menawarkan solusi yang lebih terarah dan efisien untuk mengatasi hallusinasi. Mengeksplorasi strategi komplementer ini akan terus memperbaiki mitigasi hallusinasi pada LLM, membantu dalam pengembangan model yang lebih andal dan dapat dipercaya di berbagai aplikasi.

RAGs Bukan Solusi untuk Hallusinasi AI

Solusi RAG menambahkan nilai yang luar biasa pada LLM dengan memperkayanya dengan pengetahuan eksternal. Namun, dengan masih banyak yang tidak diketahui tentang AI generatif, hallusinasi tetap menjadi tantangan inheren. Kunci untuk mengatasi mereka terletak tidak pada mencoba menghilangkannya, tetapi dengan mengurangi pengaruhnya dengan kombinasi guardrails strategis, proses verifikasi, dan prompt yang disesuaikan.

Semakin banyak kita dapat mempercayai apa yang GenAI katakan kepada kita, semakin efektif dan efisien kita akan dapat memanfaatkan potensinya yang kuat.