LLM-as-a-Judge: วิธีการประเมินแบบปรับขนาดสำหรับการประเมินผลลัพธ์ของโมเดลภาษาโดยใช้โมเดลภาษา

เฟรมเวิร์ก LLM-as-a-Judge เป็นวิธีการอัตโนมัติแบบปรับขนาดที่เป็นทางเลือกสำหรับการประเมินของมนุษย์ ซึ่งมักจะมีค่าใช้จ่ายสูง ช้า และจำกัดโดยปริมาณการตอบสนองที่สามารถประเมินได้ โดยใช้ LLM เพื่อประเมินผลลัพธ์ของ LLM อีกตัวหนึ่ง ทีมสามารถติดตามความแม่นยำ ความเกี่ยวข้อง โทน และการปฏิบัติตามแนวทางที่เฉพาะเจาะจงได้อย่างมีประสิทธิภาพและสามารถทำซ้ำได้

การประเมินข้อความที่สร้างขึ้นจะสร้างความท้าทายที่ไม่เหมือนใครซึ่งไปไกลกว่ามาตรการความแม่นยำแบบดั้งเดิม ข้อความที่สร้างขึ้นจากคำสั่งเดียวสามารถให้คำตอบที่ถูกต้องหลายคำตอบที่แตกต่างกันในด้านรูปแบบ โทน หรือการเขียน ทำให้ยากต่อการประเมินคุณภาพโดยใช้มาตรการเชิงปริมาณแบบง่าย

ที่นี่ วิธีการ LLM-as-a-Judge มีความโดดเด่น: มันช่วยให้สามารถประเมินได้อย่างละเอียดในคุณสมบัติที่ซับซ้อน เช่น โทน ความเป็นประโยชน์ และความสอดคล้องในการสนทนา ไม่ว่าจะใช้เพื่อเปรียบเทียบเวอร์ชันของโมเดลหรือประเมินผลลัพธ์ในเวลาจริง LLM ในฐานะผู้ตัดสินจะให้วิธีการที่ยืดหยุ่นในการประมาณการการตัดสินของมนุษย์ ทำให้พวกมันเป็นวิธีแก้ปัญหาที่เหมาะสำหรับการขยายความพยายามในการประเมินข้ามชุดข้อมูลขนาดใหญ่และปฏิสัมพันธ์แบบเรียลไทม์

คู่มือนี้จะสำรวจว่า LLM-as-a-Judge ทำงานอย่างไร ประเภทการประเมินที่แตกต่างกัน และขั้นตอนที่เป็นไปได้ในการนำไปใช้อย่างมีประสิทธิภาพในบริบทต่างๆ เราจะครอบคลุมวิธีการตั้งค่าเกณฑ์ การออกแบบคำสั่งการประเมิน และการสร้างวงจรการให้ข้อมูลย้อนกลับสำหรับการปรับปรุงอย่างต่อเนื่อง

แนวคิดของ LLM-as-a-Judge

LLM-as-a-Judge ใช้ LLM เพื่อประเมินผลลัพธ์ข้อความจากระบบ AI อื่น ๆ โดยทำหน้าที่เป็นผู้ประเมินที่เป็นกลาง LLM สามารถให้คะแนนข้อความที่สร้างขึ้นตามเกณฑ์ที่กำหนดเอง เช่น ความเกี่ยวข้อง ความกระชับ และโทน การประเมินนี้คล้ายกับการมีผู้ประเมินเสมือนจริงที่ตรวจสอบผลลัพธ์แต่ละรายการตามแนวทางที่เฉพาะเจาะจงซึ่งให้ไว้ใน คำสั่ง นี่เป็นเฟรมเวิร์กที่มีประโยชน์อย่างยิ่งสำหรับการใช้งานที่มีเนื้อหามากๆ โดยที่การตรวจสอบของมนุษย์นั้นไม่เหมาะสมเนื่องจากปริมาณหรือข้อจำกัดด้านเวลา

วิธีการทำงาน

LLM-as-a-Judge ได้รับการออกแบบมาเพื่อประเมินผลลัพธ์ข้อความตามคำสั่งการประเมินภายใน คำสั่งการประเมินนี้กำหนดคุณสมบัติ เช่น ความเป็นประโยชน์ ความเกี่ยวข้อง หรือความชัดเจน ที่ LLM ควรพิจารณาเมื่อประเมินผลลัพธ์ ตัวอย่างเช่น คำสั่งอาจขอให้ LLM ตัดสินว่าการตอบสนองของแชทบอทนั้น “มีประโยชน์” หรือ “ไม่มีประโยชน์” พร้อมคำแนะนำเกี่ยวกับสิ่งที่แต่ละฉลากหมายถึง

LLM ใช้ความรู้ภายในและรูปแบบภาษาที่ได้เรียนรู้เพื่อประเมินข้อความที่ให้มา โดยจับคู่คำสั่งการประเมินกับคุณสมบัติของการตอบสนอง โดยการตั้งค่าคาดหวังที่ชัดเจน ผู้ประเมินสามารถปรับโฟกัสของ LLM ให้เหมาะสมกับคุณสมบัติที่ละเอียดอ่อน เช่น ความสุภาพหรือความเฉพาะเจาะจง ซึ่งอาจยากที่จะวัดได้ ไม่เหมือนกับมาตรการการประเมินแบบดั้งเดิม LLM-as-a-Judge ให้การประมาณการการตัดสินของมนุษย์ที่ยืดหยุ่นและปรับให้เหมาะกับประเภทเนื้อหาที่แตกต่างกันและความต้องการการประเมิน

ประเภทการประเมิน

1. การเปรียบเทียบแบบคู่: ในวิธีนี้ LLM จะได้รับผลลัพธ์สองรายการสำหรับคำสั่งเดียวกันและขอให้เลือก “ที่ดีกว่า” ตามเกณฑ์ เช่น ความเกี่ยวข้องหรือความแม่นยำ การประเมินประเภทนี้มักใช้ในการทดสอบ A/B โดยที่นักพัฒนากำลังเปรียบเทียบเวอร์ชันต่างๆ ของโมเดลหรือการกำหนดค่าคำสั่ง โดยการขอให้ LLM ตัดสินว่าผลลัพธ์ใดทำงานได้ดีกว่าตามเกณฑ์ที่กำหนด การเปรียบเทียบแบบคู่ให้วิธีการโดยตรงในการกำหนดความชอบในผลลัพธ์ของโมเดล
2. การให้คะแนนโดยตรง: การให้คะแนนโดยตรงเป็นการประเมินอ้างอิงที่ไม่มีจุดอ้างอิง โดยที่ LLM จะให้คะแนนผลลัพธ์เดียวตามคุณสมบัติที่กำหนดไว้ล่วงหน้า เช่น ความสุภาพ โทน หรือความชัดเจน การให้คะแนนโดยตรงทำงานได้ดีในการประเมินแบบออฟไลน์และออนไลน์ โดยให้วิธีการในการติดตามคุณภาพอย่างต่อเนื่องในการโต้ตอบต่างๆ วิธีนี้มีประโยชน์ในการติดตามคุณสมบัติที่สม่ำเสมอในช่วงเวลาและใช้บ่อยในการติดตามการตอบสนองแบบเรียลไทม์ในการผลิต
3. การประเมินอ้างอิง: วิธีนี้แนะนำบริบทเพิ่มเติม เช่น คำตอบอ้างอิงหรือวัสดุสนับสนุน ซึ่งผลลัพธ์ที่สร้างขึ้นจะถูกประเมิน นี่มักใช้ใน การสร้างแบบเสริมด้วยการค้นหา (RAG) โดยที่การตอบสนองจะต้องสอดคล้องกับความรู้ที่ค้นหาได้อย่างใกล้ชิด โดยการเปรียบเทียบผลลัพธ์กับเอกสารอ้างอิง วิธีนี้ช่วยประเมินความแม่นยำของข้อเท็จจริงและความสอดคล้องกับเนื้อหาที่เฉพาะเจาะจง เช่น ตรวจสอบการหลอกลวงในข้อความที่สร้างขึ้น

กรณีการใช้งาน

LLM-as-a-Judge สามารถปรับใช้ได้ในหลาย ๆ แอปพลิเคชัน:

• แชทบอท: การประเมินการตอบสนองตามเกณฑ์ เช่น ความเกี่ยวข้อง โทน และความเป็นประโยชน์ เพื่อให้มีคุณภาพที่สม่ำเสมอ
• การสรุป: การให้คะแนนสรุปสำหรับความกระชับ ความชัดเจน และการยึดเหนี่ยวเอกสารต้นฉบับเพื่อรักษาความถูกต้อง
• การสร้างโค้ด: การตรวจสอบโค้ดสำหรับความถูกต้อง ความอ่านง่าย และการปฏิบัติตามคำสั่งหรือแนวปฏิบัติที่ดีที่สุด

วิธีนี้สามารถใช้เป็นตัวประเมินอัตโนมัติเพื่อปรับปรุงแอปพลิเคชันเหล่านี้โดยการติดตามและปรับปรุงประสิทธิภาพของโมเดลอย่างต่อเนื่องโดยไม่ต้องมีการทบทวนของมนุษย์ที่ใช้เวลานาน

การสร้าง LLM Judge ของคุณ – คู่มือแบบขั้นตอน

การสร้างระบบการประเมิน LLM ต้องใช้การวางแผนอย่างรอบคอบและแนวทางที่ชัดเจน ติดตามขั้นตอนเหล่านี้เพื่อสร้างระบบการประเมิน LLM-as-a-Judge ที่แข็งแกร่ง:

ขั้นตอนที่ 1: การกำหนดเกณฑ์การประเมิน

เริ่มต้นด้วยการกำหนดคุณสมบัติที่เฉพาะเจาะจงที่คุณต้องการให้ LLM ประเมิน เกณฑ์การประเมินของคุณอาจรวมถึงปัจจัยดังต่อไปนี้:

• ความเกี่ยวข้อง: การตอบสนองนั้นกล่าวถึงคำถามหรือคำสั่งโดยตรงหรือไม่?
• โทน: โทนเหมาะสมสำหรับบริบท (เช่น เป็นมืออาชีพ เป็นมิตร สั้น)
• ความแม่นยำ: ข้อมูลที่ให้มานั้นถูกต้องตามข้อเท็จจริง โดยเฉพาะอย่างยิ่งในการตอบสนองที่อาศัยความรู้?

ตัวอย่างเช่น หากคุณกำลังประเมินแชทบอท คุณอาจจัดลำดับความสำคัญของความเกี่ยวข้องและความเป็นประโยชน์ เพื่อให้แน่ใจว่ามีการให้คำตอบที่มีประโยชน์และเกี่ยวข้องในหัวข้อ ควรกำหนดเกณฑ์แต่ละข้อให้ชัดเจน เนื่องจากแนวทางที่คลุมเครืออาจนำไปสู่การประเมินที่ไม่สอดคล้องกัน การกำหนดเกณฑ์ที่ง่ายๆ เช่น คุณสมบัติแบบไบนารี (เช่น “เกี่ยวข้อง” เทียบกับ “ไม่เกี่ยวข้อง”) หรือสเกล Likert สำหรับความเป็นประโยชน์สามารถปรับปรุงความสอดคล้อง

ขั้นตอนที่ 2: การเตรียมชุดข้อมูลการประเมิน

เพื่อปรับและทดสอบ LLM Judge คุณจะต้องมีชุดข้อมูลที่มีตัวอย่างที่มีฉลาก มีสองวิธีหลักในการเตรียมชุดข้อมูลนี้:

1. ข้อมูลการผลิต: ใช้ข้อมูลจากผลลัพธ์ทางประวัติศาสตร์ของแอปพลิเคชันของคุณ เลือกตัวอย่างที่แสดงถึงการตอบสนองทั่วไป โดยครอบคลุมช่วงคุณภาพสำหรับเกณฑ์แต่ละข้อ
2. ข้อมูลสังเคราะห์: หากข้อมูลการผลิตมีจำกัด คุณสามารถสร้างตัวอย่างสังเคราะห์ได้ ตัวอย่างเหล่านี้ควรเลียนแบบลักษณะการตอบสนองที่คาดหวัง และครอบคลุมกรณีเชิงกำลังสำหรับการทดสอบที่ครอบคลุมมากขึ้น

เมื่อคุณมีชุดข้อมูลแล้ว ให้ทำการฉลากมันโดยมือตามเกณฑ์การประเมินของคุณ ชุดข้อมูลที่มีฉลากนี้จะทำหน้าที่เป็นข้อเท็จจริงที่เป็นรากฐานของคุณ ช่วยให้คุณวัดความสอดคล้องและความแม่นยำของ LLM Judge

ขั้นตอนที่ 3: การออกแบบคำสั่งที่มีประสิทธิภาพ

วิศวกรรมคำสั่ง มีความสำคัญต่อการนำทาง LLM Judge อย่างมีประสิทธิภาพ แต่ละคำสั่งควรชัดเจน เฉพาะเจาะจง และสอดคล้องกับเกณฑ์การประเมินของคุณ ต่อไปนี้คือตัวอย่างสำหรับการประเมินแต่ละประเภท:

คำสั่งการเปรียบเทียบแบบคู่

คุณจะเห็นการตอบสนองสองรายการสำหรับคำถามเดียวกัน เลือกการตอบสนองที่มีประโยชน์ เกี่ยวข้อง และมีรายละเอียดมากขึ้น หากทั้งสองการตอบสนองมีคุณภาพเท่ากัน ให้ทำเครื่องหมายว่าเป็น "เสมอกัน"

<p>คำถาม: [ใส่คำถามที่นี่]
การตอบสนอง A: [ใส่การตอบสนอง A ที่นี่]
การตอบสนอง B: [ใส่การตอบสนอง B ที่นี่]</p>

<p>ผลลัพธ์: "การตอบสนองที่ดีกว่า: A" หรือ "การตอบสนองที่ดีกว่า: B" หรือ "เสมอกัน"</p>

คำสั่งการให้คะแนนโดยตรง

ประเมินการตอบสนองต่อไปนี้สำหรับการให้คะแนนความสุภาพ การตอบสนองที่สุภาพคือการให้ความเคารพ สุภาพ และหลีกเลี่ยงภาษาที่รุนแรง ให้คะแนน "สุภาพ" หรือ "ไม่สุภาพ"

<p>การตอบสนอง: [ใส่การตอบสนองที่นี่]</p>

<p>ผลลัพธ์: "สุภาพ" หรือ "ไม่สุภาพ"</p>

คำสั่งการประเมินอ้างอิง

เปรียบเทียบการตอบสนองต่อไปนี้กับคำตอบอ้างอิงที่ให้มา ประเมินว่าการตอบสนองนั้นถูกต้องตามข้อเท็จจริงและถ่ายทอดความหมายเดียวกันกับคำตอบอ้างอิงหรือไม่ ให้ฉลากว่า "ถูกต้อง" หรือ "ไม่ถูกต้อง"

<p>คำตอบอ้างอิง: [ใส่คำตอบอ้างอิงที่นี่]
การตอบสนองที่สร้างขึ้น: [ใส่การตอบสนองที่สร้างขึ้นที่นี่]</p>

<p>ผลลัพธ์: "ถูกต้อง" หรือ "ไม่ถูกต้อง"</p>

การออกแบบคำสั่งในลักษณะนี้จะลดความคลุมเครือและช่วยให้ LLM Judge เข้าใจวิธีการประเมินแต่ละการตอบสนองอย่างไร

ขั้นตอนที่ 4: การทดสอบและการปรับปรุง

หลังจากสร้างคำสั่งและชุดข้อมูลแล้ว ให้ประเมิน LLM Judge โดยการรันบนชุดข้อมูลที่มีฉลากของคุณ เปรียบเทียบผลลัพธ์ของ LLM กับฉลากข้อเท็จจริงที่คุณกำหนดเพื่อตรวจสอบความสอดคล้องและความแม่นยำ มาตรการสำคัญสำหรับการประเมินนี้รวมถึง:

• ความแม่นยำ: เปอร์เซ็นต์ของการประเมินที่ถูกต้อง
• การเรียกคืน: เปอร์เซ็นต์ของข้อเท็จจริงที่เป็นบวกที่ถูกต้องซึ่งได้รับการระบุโดย LLM
• ความแม่นยำ: เปอร์เซ็นต์โดยรวมของการประเมินที่ถูกต้อง

การทดสอบช่วยระบุความไม่สอดคล้องใดๆ ในประสิทธิภาพของ LLM Judge ตัวอย่างเช่น หาก LLM Judge มักจะทำเครื่องหมายการตอบสนองที่มีประโยชน์เป็น “ไม่มีประโยชน์” คุณอาจต้องปรับคำสั่งการประเมินใหม่ เริ่มต้นด้วยตัวอย่างขนาดเล็ก จากนั้นเพิ่มขนาดชุดข้อมูลเมื่อคุณดำเนินการ

ในขั้นตอนนี้ ให้พิจารณาทดลองใช้โครงสร้างคำสั่งที่แตกต่างกันหรือใช้ LLM หลายตัวสำหรับการตรวจสอบข้าม ตัวอย่างเช่น หากโมเดลหนึ่งมีแนวโน้มที่จะใช้ภาษาเชิงอธิบายมากเกินไป ลองทดสอบด้วยโมเดล LLM ที่สั้นกว่าเพื่อดูว่าผลลัพธ์ใกล้เคียงกับข้อเท็จจริงของคุณหรือไม่ การแก้ไขคำสั่งอาจเกี่ยวข้องกับการปรับฉลาก การทำให้ภาษาง่ายขึ้น หรือแม้แต่การแบ่งคำสั่งที่ซับซ้อนออกเป็นคำสั่งที่จัดการได้ง่ายกว่า

import pandas as pd
from huggingface_hub import InferenceClient

<p># เริ่มต้น LLM Client ด้วยโมเดลที่เฉพาะเจาะจง
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># โหลดชุดข้อมูลตัวอย่าง (แทนที่ด้วยชุดข้อมูลของคุณ)
data = load_dataset("your_dataset_id")["train"]</p>

<p># นำฟิลด์ที่เกี่ยวข้องออกมาเพื่อการประเมิน
df = pd.DataFrame({
'question': data['question_field'],
'answer': data['answer_field']
})
df.head()</p>

def evaluate_answer(question, answer):
# สร้างคำสั่งเพื่อประเมินความเกี่ยวข้องและความแม่นยำ
prompt = f"ประเมินการตอบสนองต่อไปนี้สำหรับความเกี่ยวข้องและความแม่นยำ:\nคำถาม: {question}\nคำตอบ: {answer}"
result = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return result

<p># ทดสอบฟังก์ชันด้วยตัวอย่าง
question = "การกระทำของ FED มีผลกระทบต่ออัตราเงินเฟ้ออย่างไร?"
answer = "เมื่อ FED ซื้อพันธบัตร มันสามารถนำไปสู่..."
evaluation = evaluate_answer(question, answer)
print("การประเมินของ LLM:", evaluation)</p>

def evaluate_pairwise(question, answer_a, answer_b):
# สร้างคำสั่งสำหรับการเปรียบเทียบแบบคู่
prompt = (
f"สำหรับคำถามต่อไปนี้ ระบุว่าคำตอบใดมีความเกี่ยวข้องและรายละเอียดมากขึ้น.\n\n"
f"คำถาม: {question}\n\n"
f"คำตอบ A: {answer_a}\n\n"
f"คำตอบ B: {answer_b}\n\n"
"เลือกคำตอบที่ดีกว่า: A หรือ B."
)
result = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return result

<p># ตัวอย่างการเปรียบเทียบแบบคู่
question = "ผลกระทบของการซื้อพันธบัตรของ FED คืออะไร?"
answer_a = "การกระทำของ FED สามารถเพิ่มปริมาณเงินได้."
answer_b = "การซื้อพันธบัตรของ FED โดยทั่วไปจะเพิ่มอัตราเงินเฟ้อ."
comparison = evaluate_pairwise(question, answer_a, answer_b)
print("คำตอบที่ดีกว่า:", comparison)</p>