RAFT – Pendekatan Fine-Tuning dan RAG untuk Pertanyaan Jawaban Spesifik Domain

Seiring dengan berkembangnya aplikasi model bahasa besar ke domain khusus, kebutuhan akan teknik adaptasi yang efisien dan efektif menjadi semakin penting. Masuklah RAFT (Retrieval Augmented Fine Tuning), sebuah pendekatan baru yang menggabungkan kekuatan retrieval-augmented generation (RAG) dan fine-tuning, dirancang khusus untuk tugas pertanyaan jawaban spesifik domain.

Tantangan Adaptasi Domain

Meskipun LLM telah dilatih pada jumlah data yang besar, kemampuan mereka untuk berperforma baik di domain khusus, seperti penelitian medis, dokumentasi hukum, atau basis pengetahuan perusahaan, seringkali terbatas. Keterbatasan ini muncul karena data pelatihan mungkin tidak sepenuhnya mewakili nuansa dan kerumitan domain khusus. Untuk mengatasi tantangan ini, peneliti telah secara tradisional menggunakan dua teknik utama: retrieval-augmented generation (RAG) dan fine-tuning.

Retrieval-Augmented Generation (RAG)

RAG

RAG adalah teknik yang memungkinkan LLM untuk mengakses dan memanfaatkan sumber pengetahuan eksternal selama inferensi.

Hal ini dicapai dengan mengintegrasikan pengambilan data secara real-time ke dalam proses generatif, sehingga membuat output model lebih akurat dan mutakhir. RAG terdiri dari tiga langkah inti: pengambilan, di mana dokumen yang relevan dikumpulkan; generasi, di mana model menghasilkan output berdasarkan data yang diambil; dan augmentasi, yang memperbaiki output lebih lanjut.

Proses pengambilan dalam RAG dimulai dengan pertanyaan pengguna. LLM menganalisis pertanyaan dan mengambil informasi yang relevan dari basis data eksternal, menyajikan kumpulan data dari mana model dapat mengambil untuk merumuskan responsnya. Fase generasi kemudian mensintesis input ini menjadi narasi koheren atau jawaban. Langkah augmentasi memperbaiki generasi dengan menambahkan konteks atau menyesuaikan untuk kohesi dan relevansi.

Model RAG dapat dievaluasi menggunakan berbagai metrik, menilai kemampuan mereka untuk menyediakan informasi yang akurat, relevan, dan mutakhir.

Fine-Tuning

supervised-fine-tuning

Fine-tuning, di sisi lain, melibatkan penyesuaian LLM pra-dilatih ke tugas atau domain tertentu dengan melatihnya lebih lanjut pada dataset yang lebih kecil dan spesifik tugas. Pendekatan ini memungkinkan model untuk mempelajari pola dan menyelaraskan outputnya dengan tugas atau domain yang diinginkan. Meskipun fine-tuning dapat meningkatkan kinerja model, seringkali gagal untuk secara efektif mengintegrasikan sumber pengetahuan eksternal atau memperhitungkan kekurangan pengambilan selama inferensi.

Pendekatan RAFT

RAFT

RAFT singkatan dari Retrieval-Aware Fine-Tuning, adalah metode pelatihan inovatif yang dirancang untuk meningkatkan kinerja model bahasa dalam tugas spesifik domain, terutama untuk ujian buku terbuka. RAFT berbeda dari fine-tuning standar dengan menyiapkan data pelatihan yang menggabungkan pertanyaan dengan campuran dokumen yang relevan dan tidak relevan, serta jawaban bergaya rantai-pemikiran yang dihasilkan dari teks yang relevan. Metode ini bertujuan untuk meningkatkan kemampuan model untuk tidak hanya mengingat informasi tetapi juga untuk beralasan dan menghasilkan jawaban dari konten yang disediakan.

Pada intinya, RAFT melatih model bahasa untuk lebih terampil dalam tugas yang melibatkan pemahaman membaca dan ekstraksi pengetahuan dari kumpulan dokumen. Dengan melatih model menggunakan dokumen “oracle” (yang mengandung jawaban) dan dokumen “distractor” (yang tidak), model belajar untuk membedakan dan memanfaatkan informasi yang relevan lebih efektif.