Meningkatkan Model Bahasa Retrieval-Augmented: Self-Reasoning dan Augmentasi Adaptif untuk Sistem Konversational

Dua pendekatan baru yang telah muncul dalam bidang ini adalah kerangka kerja self-reasoning dan generasi retrieval-augmented adaptif untuk sistem konversational. Dalam artikel ini, kita akan membahas kedua teknik inovatif ini dan menjelajahi bagaimana mereka memperluas batas kemampuan model bahasa.

Janji dan Jebakan Model Bahasa Retrieval-Augmented

Mari kita memahami konsep Model Bahasa Retrieval-Augmented (RALM). Ide utama di balik RALM adalah menggabungkan pengetahuan dan kemampuan pemahaman bahasa model bahasa pra-terlatih dengan kemampuan untuk mengakses dan mengintegrasikan informasi eksternal yang terkini selama inferensi.

Berikut adalah ilustrasi sederhana tentang bagaimana RALM dasar mungkin bekerja:

1. Pengguna mengajukan pertanyaan: “Apa hasil Olimpiade 2024?”
2. Sistem mengambil dokumen yang relevan dari basis pengetahuan eksternal.
3. LLM memproses pertanyaan bersama dengan informasi yang diperoleh.
4. Model menghasilkan respons berdasarkan pengetahuan internal dan data eksternal.

Pendekatan ini telah menunjukkan janji besar dalam meningkatkan akurasi dan relevansi output LLM, terutama untuk tugas-tugas yang memerlukan akses ke informasi terkini atau pengetahuan domain-spesifik. Namun, RALM tidak tanpa tantangan. Dua masalah kunci yang para peneliti hadapi adalah:

1. Keandalan: Bagaimana kita dapat memastikan bahwa informasi yang diperoleh relevan dan bermanfaat?
2. Kejelasan: Bagaimana kita dapat membuat proses penalaran model lebih transparan dan dapat diverifikasi?

Penelitian terbaru telah mengusulkan solusi inovatif untuk tantangan-tantangan ini, yang akan kita jelajahi lebih dalam.

Self-Reasoning: Meningkatkan RALM dengan Trajeksi Penalaran Eksplisit

Ini adalah arsitektur dan proses di balik model bahasa retrieval-augmented, dengan fokus pada kerangka kerja yang disebut Self-Reasoning. Pendekatan ini menggunakan trajeksi untuk meningkatkan kemampuan model dalam menalar atas dokumen yang diperoleh.

Ketika pertanyaan diajukan, dokumen yang relevan diperoleh dan diproses melalui serangkaian langkah penalaran. Mekanisme Self-Reasoning menerapkan proses yang sadar akan bukti dan analisis trajeksi untuk menyaring dan mensintesis informasi sebelum menghasilkan jawaban akhir. Metode ini tidak hanya meningkatkan akurasi output tetapi juga memastikan bahwa penalaran di balik jawaban tersebut transparan dan dapat diverifikasi.

Contoh di atas, seperti menentukan tanggal rilis film “Catch Me If You Can” atau mengidentifikasi seniman yang melukis langit-langit Katedral Florence, model tersebut efektif menyaring dokumen yang diperoleh untuk menghasilkan jawaban yang akurat dan didukung oleh konteks.

Tabel ini menyajikan analisis komparatif dari berbagai varian LLM, termasuk model LLaMA2 dan model retrieval-augmented lainnya di berbagai tugas seperti NaturalQuestions, PopQA, FEVER, dan ASQA. Hasilnya dibagi antara baseline tanpa retrieval dan yang ditingkatkan dengan kemampuan retrieval.

Gambar ini menyajikan skenario di mana LLM diminta untuk memberikan saran berdasarkan kueri pengguna, menunjukkan bagaimana penggunaan pengetahuan eksternal dapat mempengaruhi kualitas dan relevansi respons. Diagram tersebut menyoroti dua pendekatan: satu di mana model menggunakan potongan pengetahuan dan satu di mana tidak. Perbandingan tersebut menekankan bagaimana mengintegrasikan informasi spesifik dapat membuat respons lebih sesuai dengan kebutuhan pengguna, memberikan kedalaman dan akurasi yang mungkin tidak ada dalam model generatif murni.

Salah satu pendekatan revolusioner untuk meningkatkan RALM adalah pengenalan kerangka kerja self-reasoning. Ide utama di balik metode ini adalah memanfaatkan kemampuan model bahasa untuk menghasilkan trajeksi penalaran eksplisit, yang kemudian dapat digunakan untuk meningkatkan kualitas dan keandalan outputnya.

Mari kita pecah komponen-komponen utama dari kerangka kerja self-reasoning:

1. Proses yang Sadar akan Relevansi (RAP)
2. Proses Selektif yang Sadar akan Bukti (EAP)
3. Proses Analisis Trajeksi (TAP)

Proses yang Sadar akan Relevansi (RAP)

RAP dirancang untuk mengatasi salah satu tantangan utama RALM: menentukan apakah dokumen yang diperoleh relevan dengan pertanyaan yang diberikan. Berikut adalah cara kerjanya:

1. Sistem mengambil sekumpulan dokumen yang potensial relevan menggunakan model retrieval (misalnya, DPR atau Contriever).
2. Model bahasa kemudian diinstruksikan untuk menilai relevansi dokumen-dokumen tersebut terhadap pertanyaan.
3. Model secara eksplisit menghasilkan alasan yang menjelaskan mengapa dokumen-dokumen tersebut dianggap relevan atau tidak relevan.

Misalnya, diberikan pertanyaan “Kapan Menara Eiffel dibangun?”, RAP mungkin menghasilkan output seperti ini:

Proses ini membantu menyaring informasi yang tidak relevan lebih awal dalam pipa, meningkatkan kualitas respons model secara keseluruhan.

Proses Selektif yang Sadar akan Bukti (EAP)

EAP mengambil penilaian relevansi lebih jauh dengan menginstruksikan model untuk mengidentifikasi dan mengutip potongan-potongan bukti spesifik dari dokumen yang relevan. Proses ini meniru bagaimana manusia mungkin mendekati tugas penelitian, memilih kalimat-kalimat kunci dan menjelaskan relevansinya. Berikut adalah contoh output EAP:

Dengan mengutip sumber dan menjelaskan relevansi setiap potongan bukti, EAP meningkatkan kejelasan dan interpretabilitas output model.

Proses Analisis Trajeksi (TAP)

TAP adalah tahap akhir dari kerangka kerja self-reasoning, di mana model mengkonsolidasikan semua trajeksi penalaran yang dihasilkan dalam langkah-langkah sebelumnya. TAP menganalisis trajeksi-trajeksi ini dan menghasilkan ringkasan singkat bersama dengan jawaban akhir. Output TAP mungkin terlihat seperti ini:

Proses ini memungkinkan model untuk menyediakan baik penjelasan rinci tentang penalarannya dan jawaban singkat, memenuhi kebutuhan pengguna yang berbeda.

Mengimplementasikan Self-Reasoning dalam Praktik

Untuk mengimplementasikan kerangka kerja self-reasoning, para peneliti telah menjelajahi berbagai pendekatan, termasuk:

1. Menggunakan model bahasa pra-terlatih dengan prompt yang dirancang dengan hati-hati
2. Fine-tuning model bahasa menggunakan teknik parameter-efisien seperti QLoRA
3. Mengembangkan arsitektur neural khusus, seperti model perhatian multi-kepala

Setiap pendekatan memiliki kelebihan dan kekurangan. Misalnya, pendekatan prompting relatif sederhana untuk diimplementasikan tetapi mungkin tidak selalu menghasilkan hasil yang konsisten. Fine-tuning menawarkan keseimbangan antara kinerja dan efisiensi, sementara arsitektur khusus mungkin menyediakan kinerja terbaik tetapi memerlukan lebih banyak sumber daya komputasi untuk dilatih.

Berikut adalah contoh sederhana tentang bagaimana Anda mungkin mengimplementasikan RAP menggunakan pendekatan prompting dengan model bahasa seperti GPT-3:

import openai

<p>def proses_yang_sadar_will_relevansi(pertanyaan, dokumen):
prompt = f"""
Pertanyaan: {pertanyaan}

Dokumen yang diperoleh:
{dokumen}

Tugas: Tentukan apakah dokumen yang diperoleh relevan untuk menjawab pertanyaan.
Format output:
Relevan: [True/False]
Alasan Relevan: [Penjelasan]

Analisis Anda:
"""

respons = openai.Completion.create(
engine="text-davinci-002",
prompt=prompt,
max_tokens=150
)

return respons.choices[0].text.strip()

<p># Contoh penggunaan
pertanyaan = "Kapan Menara Eiffel dibangun?"
dokumen = "Menara Eiffel adalah menara kisi besi di Champ de Mars di Paris, Prancis. Ini dinamai menurut insinyur Gustave Eiffel, perusahaan yang merancang dan membangun menara. Dibangun dari 1887 hingga 1889 sebagai lengkungan pintu masuk ke Pameran Dunia 1889, awalnya dikritik oleh beberapa seniman dan intelektual Prancis terkemuka karena desainnya, tetapi telah menjadi ikon budaya global Prancis."

hasil = proses_yang_sadar_will_relevansi(pertanyaan, dokumen)
print(hasil)

Generasi Retrieval-Augmented Adaptif untuk Sistem Konversational

Sementara kerangka kerja self-reasoning berfokus pada meningkatkan kualitas dan interpretabilitas respons individu, penelitian lain telah menjelajahi bagaimana membuat generasi retrieval-augmented lebih adaptif dalam konteks sistem konversational. Pendekatan ini, yang dikenal sebagai generasi retrieval-augmented adaptif, bertujuan untuk menentukan kapan pengetahuan eksternal harus digunakan dalam percakapan dan bagaimana mengintegrasikannya secara efektif.

Wawasan kunci di balik pendekatan ini adalah bahwa tidak setiap putaran dalam percakapan memerlukan peningkatan pengetahuan eksternal. Dalam beberapa kasus, mengandalkan terlalu banyak pada informasi yang diperoleh dapat menghasilkan respons yang tidak alami atau terlalu panjang. Tantangan, maka, adalah mengembangkan sistem yang dapat secara dinamis memutuskan kapan menggunakan pengetahuan eksternal dan kapan mengandalkan kemampuan model itu sendiri.

Komponen Generasi Retrieval-Augmented Adaptif

Untuk mengatasi tantangan ini, para peneliti telah mengusulkan kerangka kerja yang disebut RAGate, yang terdiri dari beberapa komponen kunci:

1. Mekanisme gerbang pengetahuan biner
2. Proses yang sadar akan relevansi
3. Proses selektif yang sadar akan bukti
4. Proses analisis trajeksi

Mekanisme Gerbang Pengetahuan Biner

Inti dari sistem RAGate adalah gerbang pengetahuan biner yang memutuskan apakah menggunakan pengetahuan eksternal untuk putaran percakapan tertentu. Gerbang ini mempertimbangkan konteks percakapan dan, secara opsional, potongan pengetahuan yang diperoleh untuk membuat keputusannya.

Berikut adalah ilustrasi sederhana tentang bagaimana gerbang pengetahuan biner mungkin bekerja:

def gerbang_pengetahuan(konteks, pengetahuan_diperoleh=None):
# Analisis konteks dan pengetahuan yang diperoleh
# Kembalikan True jika pengetahuan eksternal harus digunakan, False sebaliknya
pass

<p>def generate_respons(konteks, pengetahuan=None):
if gerbang_pengetahuan(konteks, pengetahuan):
# Gunakan generasi retrieval-augmented
return generate_dengan_pengetahuan(konteks, pengetahuan)
else:
# Gunakan generasi model bahasa standar
return generate_tanpa_pengetahuan(konteks)

Mekanisme gerbang ini memungkinkan sistem untuk lebih fleksibel dan sadar konteks dalam penggunaan pengetahuan eksternal.

Mengimplementasikan RAGate

Gambar ini mengilustrasikan kerangka kerja RAGate, sistem canggih yang dirancang untuk mengintegrasikan pengetahuan eksternal ke dalam model bahasa untuk meningkatkan generasi respons. Arsitektur ini menunjukkan bagaimana model bahasa dasar dapat diperkuat dengan konteks atau pengetahuan, baik melalui input langsung atau dengan mengintegrasikan basis data eksternal selama proses generasi. Pendekatan hybrid ini—menggunakan kemampuan model internal dan data eksternal—memungkinkan model bahasa untuk memberikan respons yang lebih akurat dan relevan dengan konteks.

Gambar ini menampilkan metrik kinerja untuk berbagai varian model di bawah kerangka kerja RAGate, yang berfokus pada integrasi retrieval dengan fine-tuning parameter-efisien (PEFT). Hasilnya menyoroti superioritas model yang terintegrasi dengan konteks, terutama yang menggunakan ner-know dan ner-source embeddings.

Model RAGate-PEFT dan RAGate-MHA menunjukkan perbaikan signifikan dalam presisi, recall, dan skor F1, menekankan manfaat dari mengintegrasikan baik konteks dan input pengetahuan. Strategi fine-tuning ini memungkinkan model untuk berkinerja lebih efektif pada tugas-tugas yang intensif pengetahuan, menyediakan solusi yang lebih kuat dan skalabel untuk aplikasi dunia nyata.

Untuk mengimplementasikan RAGate, para peneliti telah menjelajahi beberapa pendekatan, termasuk:

1. Menggunakan model bahasa besar dengan prompt yang dirancang dengan hati-hati
2. Fine-tuning model bahasa menggunakan teknik parameter-efisien
3. Mengembangkan arsitektur neural khusus, seperti model perhatian multi-kepala

Setiap pendekatan memiliki kekuatan dan kelemahan. Misalnya, pendekatan prompting relatif sederhana untuk diimplementasikan tetapi mungkin tidak selalu menghasilkan hasil yang konsisten. Fine-tuning menawarkan keseimbangan antara kinerja dan efisiensi, sementara arsitektur khusus mungkin menyediakan kinerja terbaik tetapi memerlukan lebih banyak sumber daya komputasi untuk dilatih.

Berikut adalah contoh sederhana tentang bagaimana Anda mungkin mengimplementasikan sistem RAGate-like menggunakan model bahasa yang diperhalus:

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

<p>class RAGate:
def __init__(self, nama_model):
self.tokenizer = AutoTokenizer.from_pretrained(nama_model)
self.model = AutoModelForSequenceClassification.from_pretrained(nama_model)</p>

<p>def harus_menggunakan_pengetahuan(self, konteks, pengetahuan=None):
inputan = self.tokenizer(konteks, pengetahuan or "", return_tensors="pt", truncation=True, max_length=512)
dengan torch.no_grad():
output = self.model(**inputan)
probabilitas = torch.softmax(output.logits, dim=1)
return probabilitas[0][1].item() &gt; 0.5 # Menganggap klasifikasi biner (0: tidak menggunakan pengetahuan, 1: menggunakan pengetahuan)</p>

<p>class SistemKonversasi:
def __init__(self, ragate, lm, pengambil):
self.ragate = ragate
self.lm = lm
self.pengambil = pengambil</p>

<p>def generate_respons(self, konteks):
pengetahuan = self.pengambil.ambil(konteks)
if self.ragate.harus_menggunakan_pengetahuan(konteks, pengetahuan):
return self.lm.generate_dengan_pengetahuan(konteks, pengetahuan)
else:
return self.lm.generate_tanpa_pengetahuan(konteks)</p>

<p># Contoh penggunaan
ragate = RAGate("path/to/model/diperhalus")
lm = ModelBahasa() # Model bahasa yang dipilih
pengambil = PengambilPengetahuan() # Sistem pengambilan pengetahuan</p>

<p>sistem_konversasi = SistemKonversasi(ragate, lm, pengambil)</p>

<p>konteks = "Pengguna: Apa ibu kota Prancis?\nSistem: Ibu kota Prancis adalah Paris.\nPengguna: Beritahu saya lebih lanjut tentang landmark terkenalnya."
respon = sistem_konversasi.generate_respons(konteks)
print(respon)</p>

Tantangan dan Arah Masa Depan

Sementara kerangka kerja self-reasoning dan generasi retrieval-augmented adaptif menunjukkan janji besar, masih ada beberapa tantangan yang para peneliti sedang upayakan untuk diatasi:

1. Efisiensi Komputasi: Kedua pendekatan dapat memerlukan komputasi yang intensif, terutama ketika menangani sejumlah besar informasi yang diperoleh atau menghasilkan trajeksi penalaran yang panjang. Mengoptimalkan proses-proses ini untuk aplikasi waktu nyata tetap menjadi area penelitian yang aktif.
2. Keandalan: Memastikan bahwa sistem-sistem ini berkinerja konsisten di berbagai topik dan jenis pertanyaan sangat penting. Ini termasuk menangani kasus-kasus ujung dan input yang dapat membingungkan mekanisme penilaian relevansi atau gerbang.
3. Dukungan Multibahasa dan Cross-Lingual: Mengembangkan pendekatan-pendekatan ini untuk bekerja efektif di berbagai bahasa dan menangani pengambilan dan penalaran pengetahuan cross-lingual adalah arah penting untuk penelitian masa depan.
4. Integrasi dengan Teknologi AI Lain: Menjelajahi bagaimana pendekatan-pendekatan ini dapat digabungkan dengan teknologi AI lain, seperti model multimodal atau pembelajaran penguatan, dapat menghasilkan sistem yang lebih kuat dan fleksibel.

Kesimpulan

Pengembangan kerangka kerja self-reasoning dan generasi retrieval-augmented adaptif mewakili langkah maju signifikan dalam bidang pemrosesan bahasa alami. Dengan memungkinkan model bahasa untuk menalar secara eksplisit tentang informasi yang mereka gunakan dan untuk menyesuaikan strategi peningkatan pengetahuan mereka secara dinamis, pendekatan-pendekatan ini berjanji untuk membuat sistem AI lebih andal, dapat diinterpretasikan, dan sadar konteks.

Ketika penelitian dalam area ini terus berkembang, kita dapat mengharapkan untuk melihat teknik-teknik ini diperhalus dan diintegrasikan ke dalam berbagai aplikasi, dari sistem jawaban pertanyaan dan asisten virtual hingga alat pendidikan dan bantuan penelitian. Kemampuan untuk menggabungkan pengetahuan yang luas yang dikodekan dalam model bahasa besar dengan informasi yang diperoleh secara dinamis dan terkini memiliki potensi untuk merevolusi cara kita berinteraksi dengan sistem AI dan mengakses informasi.