RAFT – Pendekatan Fine-Tuning dan RAG untuk Pertanyaan Jawaban Spesifik Domain

Seiring dengan berkembangnya aplikasi model bahasa besar ke domain khusus, kebutuhan akan teknik adaptasi yang efisien dan efektif menjadi semakin penting. Masuklah RAFT (Retrieval Augmented Fine Tuning), sebuah pendekatan baru yang menggabungkan kekuatan retrieval-augmented generation (RAG) dan fine-tuning, dirancang khusus untuk tugas jawaban pertanyaan spesifik domain.

Tantangan Adaptasi Domain

Meskipun LLM telah dilatih pada jumlah data yang besar, kemampuan mereka untuk berperforma dengan baik di domain khusus, seperti penelitian medis, dokumentasi hukum, atau basis pengetahuan perusahaan, seringkali terbatas. Keterbatasan ini muncul karena data pelatihan mungkin tidak secara memadai mewakili nuansa dan kerumitan domain khusus tersebut. Untuk mengatasi tantangan ini, peneliti telah secara tradisional menggunakan dua teknik utama: retrieval-augmented generation (RAG) dan fine-tuning.

Retrieval-Augmented Generation (RAG)

RAG

RAG adalah teknik yang memungkinkan LLM untuk mengakses dan memanfaatkan sumber pengetahuan eksternal selama inferensi.

Hal ini dicapai dengan mengintegrasikan pengambilan data secara real-time ke dalam proses generatif, sehingga membuat output model lebih akurat dan mutakhir. RAG terdiri dari tiga langkah inti: pengambilan, di mana dokumen yang relevan dikumpulkan; generasi, di mana model menghasilkan output berdasarkan data yang diambil; dan augmentasi, yang memperbaiki output lebih lanjut.

Proses pengambilan dalam RAG dimulai dengan pertanyaan pengguna. LLM menganalisis pertanyaan dan mengambil informasi yang relevan dari basis data eksternal, menyajikan kumpulan data dari mana model dapat mengambil untuk membentuk responsnya. Fase generasi kemudian mensintesis input ini menjadi narasi atau jawaban yang koheren. Langkah augmentasi memperbaiki generasi dengan menambahkan konteks atau menyesuaikan untuk kohesi dan relevansi.

Model RAG dapat dievaluasi menggunakan berbagai metrik, menilai kemampuan mereka untuk menyediakan informasi yang akurat, relevan, dan mutakhir.

Fine-Tuning

supervised-fine-tuning

Fine-tuning, di sisi lain, melibatkan penyesuaian LLM yang telah dilatih sebelumnya untuk tugas atau domain tertentu dengan melatihnya lebih lanjut pada dataset yang lebih kecil dan spesifik tugas. Pendekatan ini memungkinkan model untuk belajar pola dan menyelaraskan outputnya dengan tugas atau domain yang diinginkan. Meskipun fine-tuning dapat memperbaiki kinerja model, seringkali gagal untuk secara efektif mengintegrasikan sumber pengetahuan eksternal atau memperhitungkan kekurangan pengambilan selama inferensi.

Pendekatan RAFT

RAFT

RAFT singkatan dari Retrieval-Aware Fine-Tuning, adalah metode pelatihan inovatif yang dirancang untuk meningkatkan kinerja model bahasa dalam tugas spesifik domain, terutama untuk ujian buku terbuka. RAFT berbeda dari fine-tuning standar dengan menyiapkan data pelatihan yang menggabungkan pertanyaan dengan campuran dokumen yang relevan dan tidak relevan, serta jawaban bergaya rantai pemikiran yang dihasilkan dari teks yang relevan. Metode ini bertujuan untuk memperbaiki kemampuan model untuk tidak hanya mengingat informasi tetapi juga bernalar dan menghasilkan jawaban dari konten yang disediakan.

Pada intinya, RAFT melatih model bahasa untuk lebih terampil dalam tugas yang melibatkan pemahaman bacaan dan ekstraksi pengetahuan dari kumpulan dokumen. Dengan melatih model dengan dokumen “oracle” (yang mengandung jawaban) dan dokumen “distractor” (yang tidak), model belajar untuk membedakan dan memanfaatkan informasi yang relevan lebih efektif.

Persiapan Data Pelatihan

Proses pelatihan di bawah RAFT melibatkan proporsi data yang mengandung dokumen “oracle” yang secara langsung terkait dengan jawaban, sementara data yang tersisa terdiri hanya dari dokumen “distractor”. Fine-tuning mendorong model untuk belajar kapan harus mengandalkan pengetahuan internal (seperti memorisasi) dan kapan harus mengekstrak informasi dari konteks yang disediakan.

Regimen pelatihan RAFT juga menekankan pada generasi proses berpikir, yang tidak hanya membantu dalam membentuk jawaban tetapi juga mengutip sumber, mirip dengan cara manusia membenarkan respons mereka dengan merujuk pada materi yang telah dibaca. Pendekatan ini tidak hanya mempersiapkan model untuk pengaturan RAG (Retrieval Augmented Generation) di mana model harus mempertimbangkan dokumen yang diambil teratas, tetapi juga memastikan bahwa pelatihan model independen dari pengambil yang digunakan, memungkinkan aplikasi yang fleksibel di berbagai sistem pengambilan.

Pendekatan ini memiliki beberapa tujuan:

1. Mengajarkan model untuk mengidentifikasi dan memanfaatkan informasi yang relevan dari konteks yang disediakan, meniru pengaturan ujian buku terbuka.
2. Meningkatkan kemampuan model untuk mengabaikan informasi yang tidak relevan, keterampilan kritis untuk RAG yang efektif.
3. Menghadapkan model pada skenario di mana jawaban tidak hadir dalam konteks, mendorong model untuk mengandalkan pengetahuan internalnya ketika diperlukan.

Aspek kunci lain dari RAFT adalah integrasi rantai pemikiran ke dalam proses pelatihan. Alih-alih hanya menyediakan pasangan pertanyaan dan jawaban, RAFT menghasilkan penjelasan alasan yang rinci yang mencakup kutipan verbatim dari dokumen yang relevan. Penjelasan ini, disajikan dalam format rantai pemikiran, membimbing model melalui langkah logis yang diperlukan untuk mencapai jawaban yang benar.

Dengan melatih model pada rantai pemikiran ini, RAFT mendorong pengembangan kemampuan berpikir yang kuat dan meningkatkan pemahaman model tentang bagaimana memanfaatkan sumber pengetahuan eksternal secara efektif.

Evaluasi dan Hasil

Penulis makalah RAFT melakukan evaluasi ekstensif pada berbagai dataset, termasuk PubMed (penelitian biomedis), HotpotQA (jawaban pertanyaan domain terbuka), dan Gorilla APIBench (generasi kode). Hasil mereka menunjukkan bahwa RAFT secara konsisten outperform baseline, seperti fine-tuning spesifik domain dengan dan tanpa RAG, serta model yang lebih besar seperti GPT-3.5 dengan RAG.

RAFT improves RAG performance

Misalnya, pada dataset HuggingFace, RAFT mencapai akurasi 74%, perbaikan yang signifikan sebesar 31,41% dibandingkan dengan fine-tuning spesifik domain (DSF) dan 44,92% dibandingkan dengan GPT-3.5 dengan RAG. Serupa, pada dataset HotpotQA, RAFT menunjukkan perbaikan akurasi sebesar 28,9% dibandingkan dengan DSF.

Salah satu kelebihan utama RAFT adalah ketahanannya terhadap kekurangan pengambilan. Dengan melatih model dengan campuran dokumen yang relevan dan tidak relevan, RAFT meningkatkan kemampuan model untuk membedakan dan memprioritaskan informasi yang relevan, bahkan ketika modul pengambilan mengembalikan hasil yang suboptimal.

Penulis menunjukkan bahwa fine-tuning dengan hanya dokumen “oracle” seringkali menghasilkan kinerja yang lebih rendah dibandingkan dengan konfigurasi yang mencakup dokumen “distractor”. Temuan ini menekankan pentingnya menghadapkan model pada skenario pengambilan yang bervariasi selama pelatihan, memastikan kesiapan model untuk aplikasi dunia nyata.

Aplikasi Praktis dan Arah Masa Depan

Teknik RAFT memiliki implikasi yang signifikan untuk berbagai aplikasi praktis, termasuk:

1. Sistem Jawaban Pertanyaan: RAFT dapat digunakan untuk membangun sistem jawaban pertanyaan yang sangat akurat dan spesifik domain, memanfaatkan baik pengetahuan yang dipelajari model dan sumber pengetahuan eksternal.
2. Manajemen Pengetahuan Perusahaan: Organisasi dengan basis pengetahuan yang besar dapat memanfaatkan RAFT untuk mengembangkan sistem jawaban pertanyaan yang disesuaikan, memungkinkan karyawan untuk mengakses dan memanfaatkan informasi yang relevan dengan cepat.
3. Penelitian Medis dan Ilmiah: RAFT dapat sangat berharga dalam domain seperti penelitian biomedis, di mana akses ke temuan dan literatur terbaru sangat penting untuk memajukan pemahaman ilmiah.
4. Jasa Hukum dan Keuangan: RAFT dapat membantu profesional dalam bidang ini dengan menyediakan respons yang akurat dan sadar konteks berdasarkan dokumen hukum atau laporan keuangan yang relevan.

Seiring dengan kelanjutan penelitian dalam bidang ini, kita dapat mengharapkan kemajuan dan penyempurnaan lebih lanjut pada teknik RAFT. Arah masa depan yang potensial termasuk:

1. Eksplorasi modul pengambilan yang lebih efisien dan efektif, disesuaikan untuk domain atau struktur dokumen tertentu.
2. Integrasi informasi multi-modal, seperti gambar atau tabel, ke dalam kerangka RAFT untuk pemahaman konteks yang ditingkatkan.
3. Pengembangan arsitektur berpikir khusus yang dapat lebih baik memanfaatkan penjelasan rantai pemikiran yang dihasilkan selama pelatihan.
4. Adaptasi RAFT untuk tugas bahasa alami lainnya di luar jawaban pertanyaan, seperti ringkasan, terjemahan, atau sistem dialog.

Kesimpulan

RAFT mewakili lompatan besar dalam bidang jawaban pertanyaan spesifik domain dengan model bahasa. Dengan menggabungkan kekuatan retrieval-augmented generation dan fine-tuning, RAFT memungkinkan LLM untuk secara efektif memanfaatkan sumber pengetahuan eksternal sambil juga menyelaraskan outputnya dengan pola dan preferensi domain spesifik.

Melalui kurasi data pelatihan inovatif, integrasi rantai pemikiran, dan ketahanan terhadap kekurangan pengambilan, RAFT menawarkan solusi yang kuat untuk organisasi dan peneliti yang mencari untuk membuka potensi penuh LLM dalam domain khusus.

Seiring dengan meningkatnya permintaan akan kemampuan pemrosesan bahasa alami spesifik domain, teknik seperti RAFT akan memainkan peran penting dalam memungkinkan model bahasa yang lebih akurat, sadar konteks, dan adaptif, membuka jalan bagi masa depan di mana komunikasi manusia-mesin menjadi benar-benar tanpa hambatan dan domain-agnostik.