LLM-as-a-Judge: Solusi Skalabel untuk Mengevaluasi Model Bahasa Menggunakan Model Bahasa

Kerangka kerja LLM-as-a-Judge adalah alternatif otomatis yang skalabel untuk evaluasi manusia, yang sering kali mahal, lambat, dan terbatas oleh volume respons yang dapat dinilai. Dengan menggunakan LLM untuk menilai output LLM lain, tim dapat secara efisien melacak akurasi, relevansi, nada, dan kepatuhan terhadap pedoman tertentu secara konsisten dan dapat diulang.

Mengevaluasi teks yang dihasilkan menciptakan tantangan unik yang melampaui metrik akurasi tradisional. Satu prompt dapat menghasilkan beberapa respons yang benar yang berbeda dalam gaya, nada, atau frasa, membuatnya sulit untuk memantau kualitas menggunakan metrik kuantitatif sederhana.

Di sini, pendekatan LLM-as-a-Judge menonjol: itu memungkinkan evaluasi yang halus pada kualitas kompleks seperti nada, bantuan, dan koherensi percakapan. Baik digunakan untuk membandingkan versi model atau menilai output waktu nyata, LLM sebagai hakim menawarkan cara yang fleksibel untuk mendekati penilaian manusia, membuatnya menjadi solusi ideal untuk menskalakan upaya evaluasi di seluruh dataset besar dan interaksi langsung.

Panduan ini akan menjelajahi bagaimana LLM-as-a-Judge bekerja, jenis evaluasi yang berbeda, dan langkah-langkah praktis untuk menerapkannya secara efektif dalam berbagai konteks. Kami akan membahas bagaimana menetapkan kriteria, merancang prompt evaluasi, dan membangun loop umpan balik untuk perbaikan berkelanjutan.

Konsep LLM-as-a-Judge

LLM-as-a-Judge menggunakan LLM untuk menilai output teks dari sistem AI lain. Bertindak sebagai penilai yang tidak memihak, LLM dapat menilai teks yang dihasilkan berdasarkan kriteria kustom, seperti relevansi, kekompakan, dan nada. Proses evaluasi ini mirip dengan memiliki evaluator virtual yang meninjau setiap output sesuai dengan pedoman tertentu yang diberikan dalam prompt. Ini adalah kerangka kerja yang sangat berguna untuk aplikasi yang sarat konten, di mana tinjauan manusia tidak praktis karena volume atau kendala waktu.

Bagaimana Cara Kerjanya

LLM-as-a-Judge dirancang untuk menilai respons teks berdasarkan instruksi dalam prompt evaluasi. Prompt biasanya mendefinisikan kualitas seperti bantuan, relevansi, atau kejelasan yang harus dipertimbangkan LLM saat menilai output. Misalnya, prompt mungkin meminta LLM untuk memutuskan apakah respons chatbot adalah “bermanfaat” atau “tidak bermanfaat”, dengan pedoman tentang apa yang dimaksud dengan setiap label.

LLM menggunakan pengetahuan internal dan pola bahasa yang dipelajari untuk menilai teks yang diberikan, mencocokkan kriteria prompt dengan kualitas respons. Dengan menetapkan harapan yang jelas, evaluator dapat menyesuaikan fokus LLM untuk menangkap kualitas yang halus seperti kesopanan atau spesifisitas yang mungkin sulit diukur. Tidak seperti metrik evaluasi tradisional, LLM-as-a-Judge menyediakan pendekatan yang fleksibel dan tingkat tinggi untuk mendekati penilaian manusia yang dapat disesuaikan dengan berbagai jenis konten dan kebutuhan evaluasi.

Jenis Evaluasi

1. Perbandingan Berpasangan: Dalam metode ini, LLM diberikan dua respons terhadap prompt yang sama dan diminta untuk memilih respons yang “lebih baik” berdasarkan kriteria seperti relevansi atau akurasi. Jenis evaluasi ini sering digunakan dalam pengujian A/B, di mana pengembang membandingkan versi model atau konfigurasi prompt yang berbeda. Dengan meminta LLM untuk menilai respons mana yang berkinerja lebih baik menurut kriteria tertentu, perbandingan berpasangan menawarkan cara langsung untuk menentukan preferensi dalam output model.
2. Penilaian Langsung: Penilaian langsung adalah evaluasi referensi-bebas di mana LLM menilai satu output berdasarkan kualitas pra-definisi seperti kesopanan, nada, atau kejelasan. Penilaian langsung bekerja dengan baik dalam evaluasi offline dan online, menyediakan cara untuk terus memantau kualitas di seluruh interaksi. Metode ini bermanfaat untuk melacak kualitas konsisten dari waktu ke waktu dan sering digunakan untuk memantau respons waktu nyata dalam produksi.
3. Evaluasi Berbasis Referensi: Metode ini memperkenalkan konteks tambahan, seperti jawaban referensi atau bahan pendukung, terhadap mana respons yang dihasilkan dinilai. Ini umum digunakan dalam Retrieval-Augmented Generation (RAG) setup, di mana respons harus selaras erat dengan pengetahuan yang diperoleh. Dengan membandingkan output dengan dokumen referensi, pendekatan ini membantu menilai akurasi faktual dan kepatuhan terhadap konten spesifik, seperti memeriksa halusinasi dalam teks yang dihasilkan.

Kasus Penggunaan

LLM-as-a-Judge dapat disesuaikan dengan berbagai aplikasi:

• Chatbot: Menilai respons berdasarkan kriteria seperti relevansi, nada, dan bantuan untuk memastikan kualitas konsisten.
• Rangkuman: Menilai rangkuman untuk kekompakan, kejelasan, dan keselarasan dengan dokumen sumber untuk mempertahankan keaslian.
• Pengembangan Kode: Meninjau potongan kode untuk kebenaran, keterbacaan, dan kepatuhan terhadap instruksi atau praktik terbaik yang diberikan.

Metode ini dapat berfungsi sebagai evaluator otomatis untuk meningkatkan aplikasi ini dengan terus memantau dan meningkatkan kinerja model tanpa tinjauan manusia yang menyeluruh.

Membangun LLM Judge Anda – Panduan Langkah demi Langkah

Membuat setup evaluasi LLM-based memerlukan perencanaan yang cermat dan pedoman yang jelas. Ikuti langkah-langkah ini untuk membangun sistem evaluasi LLM-as-a-Judge yang kuat:

Langkah 1: Mendefinisikan Kriteria Evaluasi

Mulailah dengan mendefinisikan kualitas spesifik yang ingin Anda nilai. Kriteria evaluasi Anda mungkin termasuk faktor seperti:

• Relevansi: Apakah respons langsung menjawab pertanyaan atau prompt?
• Nada: Apakah nada sesuai dengan konteks (misalnya, profesional, ramah, singkat)?
• Akurasi: Apakah informasi yang diberikan faktual benar, terutama dalam respons berbasis pengetahuan?

Misalnya, jika menilai chatbot, Anda mungkin memprioritaskan relevansi dan bantuan untuk memastikan bahwa itu memberikan respons yang berguna dan on-topik. Setiap kriteria harus didefinisikan dengan jelas, karena pedoman yang samar dapat menyebabkan evaluasi yang tidak konsisten. Mendefinisikan kriteria sederhana biner atau skala (seperti “relevan” vs. “tidak relevan” atau skala Likert untuk bantuan) dapat meningkatkan konsistensi.

Langkah 2: Menyiapkan Dataset Evaluasi

Untuk mengkalibrasi dan menguji LLM judge, Anda memerlukan dataset yang representatif dengan contoh yang diberi label. Ada dua pendekatan utama untuk menyiapkan dataset ini:

1. Data Produksi: Gunakan data dari output aplikasi historis. Pilih contoh yang mewakili respons kualitas yang berbeda untuk setiap kriteria.
2. Data Sintetis: Jika data produksi terbatas, Anda dapat membuat contoh sintetis. Contoh ini harus meniru karakteristik respons yang diharapkan dan mencakup kasus ujung untuk pengujian yang lebih komprehensif.

Setelah Anda memiliki dataset, labelnya secara manual sesuai dengan kriteria evaluasi Anda. Dataset yang diberi label ini akan berfungsi sebagai kebenaran dasar Anda, memungkinkan Anda untuk mengukur konsistensi dan akurasi LLM judge.

Langkah 3: Membuat Prompt yang Efektif

Teknik prompt sangat penting untuk memandu LLM judge secara efektif. Setiap prompt harus jelas, spesifik, dan selaras dengan kriteria evaluasi Anda. Berikut adalah contoh untuk setiap jenis evaluasi:

Prompt Perbandingan Berpasangan

Anda akan diberikan dua respons terhadap pertanyaan yang sama. Pilih respons yang lebih bermanfaat, relevan, dan detail. Jika kedua respons sama-sama baik, tandai mereka sebagai seri.

<p>Pertanyaan: [Masukkan pertanyaan di sini]
Respons A: [Masukkan Respons A]
Respons B: [Masukkan Respons B]</p>

<p>Output: "Respons Lebih Baik: A" atau "Respons Lebih Baik: B" atau "Seri"</p>

Prompt Penilaian Langsung

Nilai respons berikut untuk kesopanan. Respons yang sopan adalah hormat, considerate, dan menghindari bahasa kasar. Kembalikan "Sopan" atau "Tidak Sopan."

Respons: [Masukkan respons di sini]

<p>Output: "Sopan" atau "Tidak Sopan"</p>

Prompt Evaluasi Berbasis Referensi

Bandikan respons berikut dengan jawaban referensi yang diberikan. Nilai apakah respons tersebut faktual benar dan mengungkapkan makna yang sama. Label sebagai "Benar" atau "Tidak Benar."

Jawaban Referensi: [Masukkan jawaban referensi di sini]
Respons yang Dihasilkan: [Masukkan respons yang dihasilkan di sini]

<p>Output: "Benar" atau "Tidak Benar"</p>

Membuat prompt dengan cara ini mengurangi ambiguitas dan memungkinkan LLM judge untuk memahami dengan tepat bagaimana menilai setiap respons. Untuk lebih meningkatkan kejelasan prompt, batasi ruang lingkup setiap evaluasi untuk satu atau dua kualitas (misalnya, relevansi dan detail) alih-alih mencampur beberapa faktor dalam satu prompt.

Langkah 4: Pengujian dan Iterasi

Setelah membuat prompt dan dataset, evaluasi LLM judge dengan menjalankannya pada dataset yang diberi label Anda. Bandingkan output LLM dengan label kebenaran dasar yang Anda tetapkan untuk memeriksa konsistensi dan akurasi. Metrik kunci untuk evaluasi termasuk:

• Presisi: Persentase evaluasi positif yang benar.
• Pengingatan: Persentase positif kebenaran dasar yang benar diidentifikasi oleh LLM.
• Akurasi: Persentase evaluasi yang benar secara keseluruhan.

Pengujian membantu mengidentifikasi inkonsistensi dalam kinerja LLM judge. Misalnya, jika hakim LLM sering salah menandai respons bermanfaat sebagai tidak bermanfaat, Anda mungkin perlu memperbarui prompt evaluasi. Mulailah dengan sampel kecil, lalu tingkatkan ukuran dataset saat Anda mengulangi.

Dalam tahap ini, pertimbangkan untuk bereksperimen dengan struktur prompt yang berbeda atau menggunakan beberapa LLM untuk validasi silang. Misalnya, jika satu model cenderung bersifat verbos, coba mengujinya dengan model LLM yang lebih ringkas untuk melihat apakah hasilnya lebih sejalan dengan kebenaran dasar Anda. Revisi prompt mungkin melibatkan penyesuaian label, penyederhanaan bahasa, atau bahkan memecah prompt kompleks menjadi prompt yang lebih kecil dan lebih mudah dikelola.

import pandas as pd
from huggingface_hub import InferenceClient

<p># Inisialisasi klien LLM dengan repositori model tertentu
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># Muat dataset contoh (ganti dengan dataset Anda)
data = load_dataset("your_dataset_id")["train"]</p>

<p># Ekstrak bidang yang relevan untuk evaluasi
df = pd.DataFrame({
'pertanyaan': data['question_field'],
'jawaban': data['answer_field']
})
df.head()</p>

def evaluate_answer(pertanyaan, jawaban):
# Buat prompt untuk menilai relevansi dan akurasi
prompt = f"Nilai respons berikut untuk relevansi dan akurasi:\nPertanyaan: {pertanyaan}\nJawaban: {jawaban}"
hasil = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return hasil

<p># Uji fungsi dengan contoh
pertanyaan = "Bagaimana tindakan FED mempengaruhi inflasi?"
jawaban = "Ketika FED membeli obligasi, itu dapat menyebabkan..."
evaluasi = evaluate_answer(pertanyaan, jawaban)
print("Evaluasi LLM:", evaluasi)</p>

def evaluate_pairwise(pertanyaan, jawaban_a, jawaban_b):
# Buat prompt untuk perbandingan berpasangan
prompt = (
f"Untuk pertanyaan berikut, tentukan respons mana yang lebih relevan dan detail.\n\n"
f"Pertanyaan: {pertanyaan}\n\n"
f"Respons A: {jawaban_a}\n\n"
f"Respons B: {jawaban_b}\n\n"
"Pilih respons yang lebih baik: A atau B."
)
hasil = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return hasil

<p># Contoh perbandingan berpasangan
pertanyaan = "Apa dampak tindakan FED terhadap obligasi?"
jawaban_a = "Tindakan FED dapat meningkatkan pasokan uang."
jawaban_b = "Pembelian obligasi FED umumnya meningkatkan inflasi."
perbandingan = evaluate_pairwise(pertanyaan, jawaban_a, jawaban_b)
print("Respons Lebih Baik:", perbandingan)</p>