Mengevaluasi Model Bahasa Besar: Panduan Teknis

Model bahasa besar (LLM) seperti GPT-4, Claude, dan LLaMA telah meledak dalam popularitas. Berkat kemampuan mereka untuk menghasilkan teks yang sangat mirip dengan manusia, sistem AI ini sekarang digunakan untuk segala hal, dari pembuatan konten hingga chatbot layanan pelanggan.

Tapi bagaimana kita tahu apakah model-model ini benar-benar baik? Dengan LLM baru yang diumumkan terus-menerus, semua mengklaim lebih besar dan lebih baik, bagaimana kita mengevaluasi dan membandingkan kinerja mereka?

Dalam panduan komprehensif ini, kita akan menjelajahi teknik-teknik terbaik untuk mengevaluasi model bahasa besar. Kita akan melihat kelebihan dan kekurangan dari setiap pendekatan, kapan mereka paling baik diterapkan, dan bagaimana Anda dapat memanfaatkannya dalam pengujian LLM Anda sendiri.

Metriks Spesifik Tugas

Salah satu cara paling langsung untuk mengevaluasi LLM adalah dengan menguji mereka pada tugas NLP yang sudah mapan menggunakan metriks yang telah distandarkan. Misalnya:

Rangkuman

Untuk tugas rangkuman, metriks seperti ROUGE (Recall-Oriented Understudy for Gisting Evaluation) umum digunakan. ROUGE membandingkan ringkasan yang dihasilkan model dengan ringkasan “referensi” yang ditulis oleh manusia, dengan menghitung tumpang tindih kata atau frasa.

Ada beberapa varian ROUGE, masing-masing dengan kelebihan dan kekurangan:

• ROUGE-N: Membandingkan tumpang tindih n-gram (urutan N kata). ROUGE-1 menggunakan unigram (kata tunggal), ROUGE-2 menggunakan bigram, dan seterusnya. Kelebihannya adalah dapat menangkap urutan kata, tetapi dapat terlalu ketat.
• ROUGE-L: Berdasarkan pada urutan tumpang tindih terpanjang (LCS). Lebih fleksibel dalam urutan kata tetapi fokus pada poin utama.
• ROUGE-W: Memberi bobot pada tumpang tindih LCS. Mencoba untuk meningkatkan ROUGE-L.

Secara umum, metriks ROUGE cepat, otomatis, dan bekerja dengan baik untuk peringkat sistem ringkasan. Namun, mereka tidak mengukur kohesi atau makna. Sebuah ringkasan bisa mendapatkan skor ROUGE yang tinggi dan masih tidak masuk akal.

Rumus untuk ROUGE-N adalah:

ROUGE-N=∑∈{Reference Summaries}∑∑�∈{Reference Summaries}∑ROUGE-N=∑s∈{Reference Summaries}​∑gramn​∈s​Count(gramn​)∑s∈{Reference Summaries}​∑gramn​∈s​Countmatch​(gramn​)​

Di mana:

• Count_{match}(gram_n) adalah hitungan n-gram dalam ringkasan yang dihasilkan dan ringkasan referensi.
• Count(gram_n) adalah hitungan n-gram dalam ringkasan referensi.

Untuk contoh ROUGE-1 (unigram):

• Ringkasan yang dihasilkan: “Kucing duduk.”
• Ringkasan referensi: “Kucing duduk di atas tikar.”
• Unigram tumpang tindih: “Kucing”, “duduk”
• Skor ROUGE-1 = 3/5 = 0,6

ROUGE-L menggunakan urutan tumpang tindih terpanjang (LCS). Ini lebih fleksibel dalam urutan kata. Rumusnya adalah:

ROUGE-L=���(generated,reference)max(length(generated), length(reference))ROUGE-L=max(length(generated), length(reference))LCS(generated,reference)​

Di mana LCS adalah panjang urutan tumpang tindih terpanjang.

ROUGE-W memberi bobot pada tumpang tindih LCS. Ini mempertimbangkan signifikansi dari setiap tumpang tindih dalam LCS.

Terjemahan

Untuk tugas terjemahan, BLEU (Bilingual Evaluation Understudy) adalah metrik yang populer. BLEU mengukur kesamaan antara output terjemahan model dan terjemahan profesional manusia, menggunakan presisi n-gram dan hukuman kependekan.

Aspek kunci dari cara BLEU bekerja:

• Membandingkan tumpang tindih n-gram untuk n hingga 4 (unigram, bigram, trigram, 4-gram).
• Menghitung rata-rata geometrik dari presisi n-gram.
• Menggunakan hukuman kependekan jika terjemahan terlalu pendek dibandingkan referensi.
• Umumnya berkisar dari 0 hingga 1, dengan 1 menjadi kesamaan sempurna dengan referensi.

BLEU berkorelasi dengan baik dengan penilaian kualitas terjemahan manusia. Namun, masih memiliki keterbatasan:

• Hanya mengukur presisi terhadap referensi, bukan recall atau F1.
• Mengalami kesulitan dengan terjemahan kreatif yang menggunakan kata-kata berbeda.
• Rentan terhadap “penipuan” dengan trik terjemahan.

Metrik terjemahan lain seperti METEOR dan TER mencoba untuk meningkatkan kelemahan BLEU. Namun, secara umum, metrik otomatis tidak sepenuhnya menangkap kualitas terjemahan.

Tugas Lain

Selain rangkuman dan terjemahan, metrik seperti F1, akurasi, MSE, dan lain-lain dapat digunakan untuk mengevaluasi kinerja LLM pada tugas seperti:

• Klasifikasi teks
• Ekstraksi informasi
• Pertanyaan jawaban
• Analisis sentimen
• Deteksi kesalahan tata bahasa

Kelebihan dari metrik spesifik tugas adalah bahwa evaluasi dapat sepenuhnya otomatis menggunakan dataset standar seperti SQuAD untuk QA dan GLUE benchmark untuk berbagai tugas. Hasil dapat dengan mudah dilacak seiring waktu saat model meningkat.

Namun, metrik ini memiliki fokus yang sempit dan tidak dapat mengukur kualitas bahasa secara keseluruhan. LLM yang berkinerja baik pada metrik untuk satu tugas mungkin gagal dalam menghasilkan teks yang kohesif, logis, dan bermanfaat secara umum.

Benchmark Penelitian

Cara populer untuk mengevaluasi LLM adalah dengan menguji mereka terhadap benchmark penelitian yang luas dan beragam, yang mencakup topik dan keterampilan yang berbeda. Benchmark ini memungkinkan model untuk diuji dengan cepat dan dalam skala besar.

Beberapa benchmark yang terkenal termasuk:

• SuperGLUE – Set tugas bahasa yang menantang dan beragam.
• GLUE – Kumpulan tugas pemahaman kalimat. Lebih sederhana daripada SuperGLUE.
• MMLU – 57 tugas yang berbeda dalam bidang STEM, ilmu sosial, dan humaniora. Menguji pengetahuan dan kemampuan penalaran.
• Winograd Schema Challenge – Masalah resolusi pronoun yang memerlukan penalaran umum.
• ARC – Tugas penalaran bahasa alami yang menantang.
• Hellaswag – Penalaran umum tentang situasi.
• PIQA – Pertanyaan fisika yang memerlukan diagram.

Dengan mengevaluasi benchmark seperti ini, peneliti dapat dengan cepat menguji model pada kemampuan mereka untuk melakukan matematika, logika, penalaran, pengkodean, penalaran umum, dan banyak lagi. Persentase pertanyaan yang dijawab dengan benar menjadi metrik benchmark untuk membandingkan model.

Namun, masalah besar dengan benchmark adalah kontaminasi data pelatihan. Banyak benchmark mengandung contoh yang sudah dilihat oleh model selama pra-pelatihan. Ini memungkinkan model untuk “mengingat” jawaban untuk pertanyaan tertentu dan berkinerja lebih baik daripada kemampuan sebenarnya.

Upaya dilakukan untuk “membersihkan” benchmark dengan menghapus contoh yang tumpang tindih. Namun, ini sulit dilakukan secara komprehensif, terutama ketika model mungkin telah melihat versi paraphrased atau diterjemahkan dari pertanyaan.

Jadi, sementara benchmark dapat menguji keterampilan yang luas dengan efisien, mereka tidak dapat secara andal mengukur kemampuan penalaran sebenarnya atau menghindari inflasi skor karena kontaminasi. Metode evaluasi komplementer diperlukan.

Evaluasi Diri LLM

Pendekatan yang menarik adalah memiliki LLM untuk mengevaluasi output LLM lain. Ide ini adalah untuk memanfaatkan konsep tugas yang “lebih mudah”:

• Menghasilkan output berkualitas tinggi mungkin sulit untuk LLM.
• Namun, menentukan apakah output yang diberikan berkualitas tinggi dapat menjadi tugas yang lebih mudah.

Misalnya, sementara LLM mungkin bergelut untuk menghasilkan paragraf faktual, kohesif dari awal, itu dapat lebih mudah menilai apakah paragraf yang diberikan masuk akal dan sesuai dengan konteks.

Jadi, prosesnya adalah:

1. Lulus prompt input ke LLM pertama untuk menghasilkan output.
2. Lulus prompt input + output yang dihasilkan ke LLM “evaluator” kedua.
3. Tanyakan pada evaluator LLM pertanyaan untuk menilai kualitas output. Misalnya, “Apakah respons di atas masuk akal?”

Pendekatan ini cepat untuk diimplementasikan dan mengotomatisasi evaluasi LLM. Namun, ada beberapa tantangan:

• Kinerja sangat bergantung pada pilihan LLM evaluator dan kata-kata prompt.
• Terbatas oleh kesulitan tugas asli. Menilai penalaran yang kompleks masih sulit untuk LLM.
• Dapat menjadi mahal secara komputasi jika menggunakan LLM berbasis API.

Evaluasi diri sangat menjanjikan untuk menilai informasi yang diperoleh dalam sistem RAG (retrieval-augmented generation). Pertanyaan LLM tambahan dapat memvalidasi apakah konteks yang diperoleh digunakan secara tepat.

Secara keseluruhan, evaluasi diri menunjukkan potensi tetapi memerlukan perhatian dalam implementasi. Ini melengkapi, bukan menggantikan, evaluasi manusia.

Evaluasi Manusia

Mengingat keterbatasan metrik otomatis dan benchmark, evaluasi manusia masih menjadi standar emas untuk menilai kualitas LLM dengan ketat.

Ahli dapat memberikan penilaian kualitatif yang terperinci tentang:

• Akurasi dan kesahihan faktual
• Logika, penalaran, dan penalaran umum
• Kohesi, konsistensi, dan keterbacaan
• Kelayakan nada, gaya, dan suara
• Ketepatan tata bahasa dan kelancaran
• Kreativitas dan nuansa

Untuk menilai model, manusia diberikan set prompt input dan respons LLM yang dihasilkan. Mereka menilai kualitas respons, sering menggunakan skala penilaian dan rubrik.

Kelemahan dari evaluasi manusia adalah bahwa ini mahal, lambat, dan sulit untuk diskalakan. Ini juga memerlukan pengembangan kriteria standar dan pelatihan penilai untuk menerapkan kriteria tersebut secara konsisten.

Beberapa peneliti telah menjelajahi cara kreatif untuk mengumpulkan evaluasi LLM manusia menggunakan sistem turnamen di mana orang bertaruh dan menilai pertandingan antara model. Namun, cakupan masih terbatas dibandingkan dengan evaluasi manual penuh.

Untuk kasus penggunaan bisnis di mana kualitas lebih penting daripada skala, evaluasi manusia ahli tetap menjadi standar emas meskipun biayanya. Ini terutama benar untuk aplikasi LLM yang lebih berisiko.

Kesimpulan

Mengevaluasi model bahasa besar secara menyeluruh memerlukan menggunakan berbagai metode komplementer, bukan hanya mengandalkan satu teknik.

Dengan menggabungkan pendekatan otomatis untuk kecepatan dengan pengawasan manusia yang ketat untuk akurasi, kita dapat mengembangkan metode pengujian yang dapat dipercaya untuk model bahasa besar. Dengan evaluasi yang kuat, kita dapat membuka potensi besar dari LLM sambil mengelola risikonya dengan bertanggung jawab.