ผู้นำทางความคิด

สร้าง RAG ที่เชื่อถือได้: เจาะลึกจุดล้มเหลว 7 จุดและเฟรมเวิร์กการประเมิน

Kuriko IWAI
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญDeepEval ถูกผนวกเข้ากับไปปไลน์ CI/CD เพื่อตรวจจับความถดถอยของ RAG ก่อนการนำไปใช้งานจริง
ดูเพิ่มเติม
  • DeepEval ถูกผนวกเข้ากับไปปไลน์ CI/CD เพื่อตรวจจับความถดถอยของ RAG ก่อนการนำไปใช้งานจริง
  • RAGAS สร้างชุดทดสอบสังเคราะห์เพื่อวิเคราะห์ข้อผิดพลาดระหว่างการค้นคืนและการสร้างข้อความโดยไม่ต้องใช้ข้อมูลมนุษย์
  • Arize Phoenix แสดงภาพกลุ่มของเอมเบดดิ้งเพื่อเผยให้เห็นช่องว่างในความครอบคลุมความรู้ของฐานข้อมูลเวกเตอร์

การสร้างเนื้อหาโดยเสริมการค้นคืนข้อมูล (RAG) มีความสำคัญอย่างมากสำหรับสถาปัตยกรรม AI ในยุคปัจจุบัน โดยทำหน้าที่เป็นเฟรมเวิร์กที่จำเป็นสำหรับการสร้างตัวแทนการทำงานที่ตระหนักถึงบริบท

แต่การเปลี่ยนจากต้นแบบพื้นฐานไปสู่ระบบที่พร้อมใช้งานจริงนั้น ต้องเผชิญกับอุปสรรคที่สำคัญในด้านการดึงข้อมูล การรวมบริบท และการสร้างคำตอบ

บทความนี้ให้การสำรวจลึกเกี่ยวกับจุดล้มเหลวที่พบบ่อย 7 จุดของ RAG และเมตริกการประเมินที่มีการใช้งานจริงพร้อมตัวอย่างโค้ด

การวิเคราะห์ความล้มเหลวของ RAG – 7 จุดล้มเหลว (FPs)

จากการศึกษาของนักวิจัย Barnett และคณะ พบว่า ระบบ RAG ประสบกับจุดล้มเหลว (FPs) เฉพาะ 7 จุดตลอดทั้งกระบวนการ

แผนภาพด้านล่างแสดงถึงขั้นตอนเหล่านี้:

ภาพ A. กระบวนการสร้างดัชนีและประมวลผลคำค้นที่จำเป็นต่อการสร้างระบบ RAG การสร้างดัชนีเกิดขึ้นในช่วงพัฒนา ส่วนการประมวลผลคำค้นเกิดขึ้นขณะระบบทำงาน จุดล้มเหลวที่ระบุในการศึกษานี้แสดงในกรอบสีแดง (แหล่งที่มา)

ภาพ A. กระบวนการสร้างดัชนีและประมวลผลคำค้นที่จำเป็นต่อการสร้างระบบ RAG การสร้างดัชนีเกิดขึ้นในช่วงพัฒนา ส่วนการประมวลผลคำค้นเกิดขึ้นขณะระบบทำงาน จุดล้มเหลวที่ระบุในการศึกษานี้แสดงในกรอบสีแดง (แหล่งที่มา)

มาทำความเข้าใจกับแต่ละจุดล้มเหลวที่จัดเรียงตามลำดับของกระบวนการ โดยเริ่มจากด้านบนซ้ายไปด้านล่างขวาใน ภาพ A

FP1. ข้อมูลที่หายไป

ข้อมูลที่หายไปเกิดขึ้นเมื่อระบบถูกถามคำถามที่ไม่สามารถตอบได้ เนื่องจากข้อมูลที่เกี่ยวข้องไม่มีอยู่ในแหล่งจัดเก็บเวกเตอร์ที่มีอยู่ในตอนแรก

จุดล้มเหลวนี้เกิดขึ้นเมื่อ LLM ให้คำตอบที่ดูเป็นไปได้แต่ไม่ถูกต้อง แทนที่จะบอกว่า ไม่รู้

FP2. ไม่พบเอกสารอันดับต้นๆ

สถานการณ์นี้เกิดขึ้นเมื่อเอกสารที่ถูกต้องมีอยู่ในแหล่งจัดเก็บเวกเตอร์ แต่ระบบการค้นหาล้มเหลวในการจัดอันดับให้เอกสารนั้นอยู่ในเอกสาร top-k ที่ส่งให้ LLM เป็นบริบท

ดังนั้น ข้อมูลที่ถูกต้องจึงไม่ถึง LLM

FP3. ไม่อยู่ในบริบท (ข้อจำกัดของกลยุทธ์การรวม)

สถานการณ์นี้เกิดขึ้นเมื่อเอกสารที่ถูกต้องมีอยู่และถูกดึงออกมาจากแหล่งจัดเก็บเวกเตอร์ แต่ถูกตัดออกไประหว่างกระบวนการรวม

สิ่งนี้เกิดขึ้นเมื่อมีเอกสารที่ถูกดึงออกมามากเกินไป และระบบต้องกรองให้เหลือเพียงบางส่วนเพื่อให้เข้าได้ภายในหน้าต่างบริบทของ LLM หรือข้อจำกัดของโทเค็นหรืออัตราการใช้งาน

FP4. ไม่ได้นำออกมา

สถานการณ์นี้เกิดขึ้นเมื่อ LLM ล้มเหลวในการระบุข้อมูลที่ถูกต้องในบริบท แม้ว่าข้อมูลที่ถูกต้องจะอยู่ในแหล่งจัดเก็บเวกเตอร์และถูกดึงออกมา/รวมเข้าด้วยกันแล้วก็ตาม

สิ่งนี้เกิดขึ้นเมื่อบริบทมีสัญญาณรบกวนมากเกินไปหรือมีข้อมูลที่ขัดแย้งกันซึ่งทำให้ LLM สับสน

FP5. รูปแบบที่ไม่ถูกต้อง

สถานการณ์นี้เกิดขึ้นเมื่อการเก็บข้อมูล การค้นคืน การรวม และการวิเคราะห์ของ LLM ถูกจัดการได้สำเร็จ แต่ LLM ล้มเหลวในการปฏิบัติตามคำสั่งรูปแบบเฉพาะที่ให้ไว้ในพรอมป์ต์ เช่น ตาราง รายการแบบจุด หรือสเคม่า JSON

FP6. ความเฉพาะเจาะจงที่ไม่ถูกต้อง

LLM สร้างผลลัพธ์ออกมาแล้ว แต่ ผลลัพธ์นั้นกว้างเกินไปหรือซับซ้อนเกินไปเมื่อเทียบกับความต้องการของผู้ใช้

ตัวอย่างเช่น LLM สร้างคำตอบง่ายๆ สำหรับคำถามที่มีเป้าหมายทางวิชาชีพที่ซับซ้อน

FP7. คำตอบที่ไม่สมบูรณ์

สถานการณ์นี้เกิดขึ้นเมื่อ LLM สร้างคำตอบที่ไม่จำเป็นต้องผิด แต่ขาดชิ้นส่วนที่สำคัญของข้อมูลที่มีอยู่ในบริบท

ตัวอย่างเช่น เมื่อผู้ใช้ถามคำถามที่ซับซ้อน เช่น “จุดสำคัญในเอกสาร A, B และ C คืออะไร?” LLM ตอบเพียงหนึ่งหรือสองแหล่งเท่านั้น

จุดล้มเหลวลดประสิทธิภาพของกระบวนการ RAG อย่างไร

จุดล้มเหลวแต่ละจุดมีผลกระทบต่อประสิทธิภาพของ RAG Pipeline:

ความล้มเหลวด้านความสมบูรณ์ของข้อมูลและความไว้วางใจ

เมื่อมีข้อมูลที่หายไปหรือไม่ถูกต้อง ระบบจะไม่น่าเชื่อถืออีกต่อไป จุดล้มเหลวหลักๆ ได้แก่:

  • FP1 (ข้อมูลที่หายไป): คำตอบไม่มีอยู่ในเอกสารตั้งแต่แรก
  • FP4 (ไม่ได้นำออกมา): LLM ตัดสินใจที่จะเพิกเฉยต่อคำตอบที่ถูกต้องในเอกสาร
  • FP7 (ไม่สมบูรณ์): LLM ให้ความจริงเพียงบางส่วน โดยละข้อมูลสำคัญไป

คอขวดด้านการค้นคืนและประสิทธิภาพ

กระบวนการ RAG อาจไม่มีประสิทธิภาพเมื่อพลาดข้อมูลสำคัญในขั้นตอนการค้นหาและรวม จุดล้มเหลวหลักๆ ได้แก่:

  • FP2 (ไม่พบเอกสารอันดับต้นๆ): โมเดล embedding ไม่สามารถเลือกเวกเตอร์ embedding แบบ top-k ได้
  • FP3 (การรวม): สคริปต์ที่ตัดเอกสารให้พอดีกับข้อจำกัดของ LLM ลบส่วนที่สำคัญที่สุดออกไป

ความผิดพลาดด้านประสบการณ์ของผู้ใช้และการแสดงผล

แม้ว่าคำตอบจะถูกต้อง แต่การแสดงผลที่มีความอ่านยากหรือไม่ถูกต้องสามารถทำให้ผู้ใช้ไม่พอใจ จุดล้มเหลวหลักๆ ได้แก่:

  • FP5 (รูปแบบที่ไม่ถูกต้อง): LLM ล้มเหลวในการปฏิบัติตามรูปแบบการแสดงผลที่เฉพาะเจาะจง เช่น JSON
  • FP6 (ความเฉพาะเจาะจงที่ไม่ถูกต้อง): LLM สร้างคำตอบที่ยาวเกินไปสำหรับคำถามแบบใช่/ไม่ใช่ หรือสั้นเกินไปสำหรับคำถามที่ซับซ้อน

สแต็คการประเมิน: เฟรมเวิร์กในการบรรเทา FPs

เมตริกการประเมินถูกออกแบบมาเพื่อลดจุดล้มเหลวเหล่านี้
ส่วนนี้จะสำรวจเมตริกการประเมินที่สำคัญๆ พร้อมตัวอย่างการใช้งานจริง

เมตริกการประเมิน RAG ที่สำคัญ:

  • DeepEval
  • RAGAS
  • TruLens
  • Arize Phoenix
  • Braintrust

DeepEval – การทดสอบหน่วยก่อนการนำไปใช้

DeepEval คำนวณคะแนนถ่วงน้ำหนักตามเกณฑ์ที่กำหนด

LLM ในฐานะผู้ตัดสิน (เช่น GPT-4o) ประเมินผลลัพธ์ของ LLM ตามแต่ละเกณฑ์:

DeepEval ใช้ G-eval ซึ่งเป็นเฟรมเวิร์ก การคิดเป็นลำดับขั้น (CoT) ที่ใช้การประเมินแบบหลายขั้นตอน:

  1. กำหนดเกณฑ์ ที่จะวัด (เช่น “ความสอดคล้อง” “ความคล่องแคล่ว” หรือ “ความเกี่ยวข้อง”)
  2. สร้าง ขั้นตอนการประเมิน (โดยใช้ LLM ตัดสิน)
  3. ปฏิบัติตามขั้นตอนการประเมินและวิเคราะห์ข้อมูลเข้าและผลลัพธ์ของ LLM
  4. คำนวณ ค่าคาดหมายของผลรวมถ่วงน้ำหนัก ของคะแนนแต่ละเกณฑ์

สถานการณ์ทั่วไปในทางปฏิบัติ

  • สถานการณ์: ผู้ช่วยด้านเอกสารทางเทคนิค (บอต)สำหรับผลิตภัณฑ์ซอฟต์แวร์ที่ซับซ้อนดูเหมือนจะทำงานทุกครั้งที่ทีมวิศวกรอัปเดตโค้ดเบส
  • ปัญหา: ไม่มีหลักฐานเชิงปริมาณว่าบอตยังสามารถตอบคำถามของผู้ใช้ได้ (คุณแค่ “คิด” ว่ามันทำงาน…)
  • วิธีแก้ปัญหา: รวมฟังก์ชัน PyTest เป็นชุดทดสอบการถดถอยใน CI/CD บน GitHub Actions โดยที่ DeepEval ใช้ G-Eval และเมตริกอื่นๆ กับกรณีทดสอบ:
  • ผลลัพธ์ที่คาดหวัง: หากคะแนนของเมตริกใดๆ ต่ำกว่าเกณฑ์ (0.85) PyTest จะแสดง AssertionError – ทำให้การบิลด์ CI ล้มเหลวทันที และป้องกันการถดถอยที่ไม่สังเกตเห็นจากการเข้าสู่ระบบใช้งานจริง

ข้อดีและข้อเสีย

  • มีเมตริกหลากหลาย (50+) รวมถึงการตรวจสอบอคติและเนื้อหาที่เป็นพิษโดยเฉพาะ
  • รวมเข้ากับชุด CI/CD ที่มีอยู่ได้อย่างราบรื่น
  • ไม่จำเป็นต้องมีคำตอบอ้างอิง คุณสามารถประเมินผลลัพธ์ตามคำสั่งและบริบทที่ให้มาเท่านั้น
  • คุณภาพของการประเมินขึ้นอยู่กับความสามารถของ LLM ตัดสิน
  • มีต้นทุนการคำนวณสูงเมื่อ LLM ตัดสินเป็นโมเดลระดับสูง

หมายเหตุสำหรับนักพัฒนา – กรณีทดสอบสำหรับ DeepEval
ชุดของ LLMTestCase นิยามกรณีทดสอบที่ DeepEval ใช้

ในทางปฏิบัติ กรณีทดสอบนี้ควรประกอบด้วยคำถามของผู้ใช้ที่สำคัญที่สุดและผลลัพธ์ที่มีฉลากพร้อมด้วยบริบทที่ดึงออกมา

สิ่งเหล่านี้สามารถดึงมาจากไฟล์ JSON หรือ CSV ได้

RAGAS – ผู้เชี่ยวชาญในการค้นหาในกองฟาง

Retrieval Augmented Generation Assessment (Ragas) มีจุดมุ่งหมายเพื่อประเมิน RAG โดยไม่ต้องใช้ชุดข้อมูลที่มีการทำเครื่องหมายโดยมนุษย์ โดยการสร้างชุดทดสอบสังเคราะห์

จากนั้นจึงคำนวณเมตริกหลัก:

ภาพ B. รูปสามเหลี่ยมการประเมิน RAGAS ที่เชื่อมต่อคำถาม บริบท และคำตอบผ่านเมตริกความแม่นยำ ความครอบคลุม ความสอดคล้องกับแหล่งข้อมูล และความเกี่ยวข้อง (สร้างโดย Kuriko IWAI)

ภาพ B. รูปสามเหลี่ยมการประเมิน RAGAS ที่เชื่อมต่อคำถาม บริบท และคำตอบผ่านเมตริกความแม่นยำ ความครอบคลุม ความสอดคล้องกับแหล่งข้อมูล และความเกี่ยวข้อง (สร้างโดย Kuriko IWAI)

เมตริกหลักเหล่านี้แบ่งออกเป็นสามกลุ่ม:

  • การค้นหาข้อมูล (เส้นตรง สีดำ ภาพ B): ความแม่นยำของบริบท ความครอบคลุมของบริบท
  • การสร้าง (เส้นประ สีดำ ภาพ B): ความสอดคล้องกับแหล่งข้อมูล ความเกี่ยวข้องของคำตอบ
  • ข้อมูลคำตอบอ้างอิง (กล่องสีแดง ภาพ B): ความคล้ายคลึงเชิงความหมายของคำตอบ ความถูกต้องของคำตอบ

สถานการณ์ทั่วไปในทางปฏิบัติ

  • สถานการณ์: ระบบ RAG สำหรับสัญญาทางกฎหมายขาดข้อกำหนดสำคัญ คุณไม่แน่ใจว่าปัญหาอยู่ที่การค้นหา (ผู้ค้นหา) หรือการอ่าน (ผู้สร้าง)
  • ปัญหา: ไม่มีแนวคิดเกี่ยวกับจำนวนชิ้นส่วนที่ดึงออกมาที่เหมาะสม (top-k)
  • วิธีแก้ปัญหา: ใช้ RAGAS เพื่อสร้างชุดทดสอบสังเคราะห์พร้อมกับ 100 คู่ของคำถามและหลักฐาน จากนั้นจึงใช้ RAG Pipeline กับชุดทดสอบเพื่อคำนวณความครอบคลุมของบริบทและความแม่นยำของบริบท:
  • ผลลัพธ์ที่คาดหวัง: ขึ้นอยู่กับผลลัพธ์ของเมตริก คุณสามารถวางแผนการดำเนินการต่อไปได้ดังนี้:
เมตริก คะแนน การวินิจฉัย แผนการดำเนินการ
ความครอบคลุมของบริบท ต่ำ ผู้ค้นหาพลาดข้อมูลที่ถูกต้อง – เพิ่ม top-k
– ลองใช้ การค้นหาที่ผสมผสาน (BM25 + Vector)
ความแม่นยำของบริบท ต่ำ ชิ้นส่วนที่ดึงออกมาอันดับต้นๆ มีเนื้อหาส่วนเกินและสัญญาณรบกวนมากเกินไป – ทำให้ LLM สับสน – ลด top-k
– ใช้ Reranker (เช่น Cohere)
ความสอดคล้องกับแหล่งข้อมูล ต่ำ ตัวสร้างคำตอบกำลังหลอนข้อมูล ทั้งที่มีข้อมูลให้ใช้อยู่แล้ว – ปรับเปลี่ยนคำสั่งระบบ
– ตรวจสอบข้อจำกัดของหน้าต่างบริบท

ตาราง 1. แผนการดำเนินการ RAGAS – การแมปคะแนนไปสู่การปรับเปลี่ยนระบบ

ข้อดีและข้อเสีย

  • เหมาะสำหรับโครงการระยะเริ่มต้นที่ไม่มีชุดข้อมูลคำตอบอ้างอิง (เช่นเดียวกับที่เราเห็นในตัวอย่างโค้ด RAGAS สามารถสร้างชุดทดสอบสังเคราะห์ได้)
  • ชุดทดสอบสังเคราะห์อาจพลาดข้อผิดพลาดทางข้อเท็จจริงที่ละเอียดอ่อน
  • ต้องใช้โมเดลสกัดข้อมูลที่มีประสิทธิภาพเพื่อแยกคำตอบออกเป็นข้อกล่าวอ้างแต่ละข้อ (ในตัวอย่าง ฉันใช้ gpt-4o)

TruLens – ผู้เชี่ยวชาญด้านวงจรป้อนกลับ

TruLens มุ่งเน้นไปที่กลไกภายในของกระบวนการ RAG มากกว่าแค่ผลลัพธ์สุดท้าย โดยใช้ ฟังก์ชันป้อนกลับ

มันใช้คะแนนของ LLM ที่สะท้อนถึงว่าคำตอบตอบสนองความตั้งใจของคำถามได้ดีเพียงใด โดยใช้มาตราส่วน Likert 4 จุด (0-3) ทำให้มีความเหนือกว่าในการ จัดอันดับคุณภาพ ของผลลัพธ์การค้นหาที่แตกต่างกัน

สถานการณ์ทั่วไปในทางปฏิบัติ

  • สถานการณ์: หุ่นยนต์ให้คำปรึกษาทางการแพทย์ตอบคำถามของผู้ใช้อย่างถูกต้อง แต่เพิ่มคำแนะนำที่ไม่ได้อยู่ในฐานข้อมูล PDF ที่ตรวจสอบแล้ว
  • ปัญหา: คำแนะนำที่เพิ่มอาจมีประโยชน์ แต่ไม่มีข้อมูลในเอกสารอ้างอิงรองรับ
  • วิธีแก้ปัญหา: ใช้ TruLens เพื่อใช้ฟังก์ชันป้อนกลับที่ประเมินการมีหลักฐานรองรับจากแหล่งข้อมูล โดยมีเกณฑ์ เช่น score > 0.8
  • ผลลัพธ์ที่คาดหวัง: เมื่อ LLM สร้างคำตอบที่มีข้อมูลที่ไม่มีอยู่ในเอกสารที่ดึงออกมา TruLens ระบุบันทึกในแดชบอร์ดของคุณ

ข้อดีและข้อเสีย

  • แสดงให้เห็นถึงสายการให้เหตุผลเพื่อระบุได้อย่างแน่ชัดว่าเอเจนต์หลุดออกจากเส้นทางที่ไหน
  • มีความสามารถในตัวสำหรับตรวจสอบหลักฐานรองรับจากแหล่งข้อมูลและจับการหลอนข้อมูลแบบเรียลไทม์
  • มีการเรียนรู้ที่ต้องใช้สำหรับการกำหนดฟังก์ชันป้อนกลับแบบกำหนดเอง
  • แดชบอร์ดอาจรู้สึกหนักสำหรับสคริปต์แบบง่ายๆ

Arize Phoenix – แผนที่การล้มเหลวเงียบๆ

Arize Phoenix เป็นเครื่องมือโอเพนซอร์สด้านการสังเกตการณ์และการประเมินสำหรับการประเมินผลลัพธ์ของ LLM รวมถึงระบบ RAG ที่ซับซ้อน

สร้างขึ้นบน OpenTelemetry โดย Arize AI มุ่งเน้นไปที่การตรวจสอบโดยถือว่าการประเมิน LLM เป็นส่วนหนึ่งของ MLOps

ในบริบทของการประเมิน RAG Phoenix มีความโดดเด่นในด้าน การวิเคราะห์การฝังตัว โดยใช้ Uniform Manifold Approximation and Projection (UMAP) เพื่อลดการฝังตัวแบบเวกเตอร์สูงมิติลงเป็นพื้นที่ 2D/3D

การวิเคราะห์การฝังตัวนี้เปิดเผยโดยการคำนวณว่าคำถามที่ล้มเหลวถูกจัดกลุ่มเข้าด้วยกันทางพื้นที่เชิงความหมาย ซึ่งบ่งชี้ถึงช่องว่างในฐานข้อมูลเวกเตอร์

สถานการณ์ทั่วไปในทางปฏิบัติ

  • สถานการณ์: หุ่นยนต์สนับสนุนลูกค้าทำงานได้ดีสำหรับการคืนเงิน แต่ให้คำตอบที่ไม่มีเหตุผลสำหรับการร้องเรียนการรับประกัน
  • ปัญหา: ช่องว่างในฐานข้อมูลเวกเตอร์ (ไม่สามารถพบในบันทึก)
  • วิธีแก้ปัญหา: ใช้ Arize Phoenix เพื่อสร้างการแสดงภาพ Umap Embedding (UEV) ซึ่งเป็นแผนที่ 3 มิติสำหรับฐานข้อมูลเวกเตอร์ – เพื่อซ้อนทับคำถามของผู้ใช้บนเอกสารชิ้นส่วน
  • ผลลัพธ์ที่คาดหวัง: มองเห็นภาพรวมของคำถามของผู้ใช้ที่ลงจอดในพื้นที่ที่ไม่มีเอกสาร ซึ่งบ่งชี้ว่าเอกสารบางส่วนถูกละเว้นไม่ถูกอัปโหลดเข้าสู่ฐานข้อมูลเวกเตอร์

ข้อดีและข้อเสีย

  • ออกแบบมาสำหรับ OpenTelemetry โดยตรง และเชื่อมต่อกับระบบติดตามขององค์กรที่มีอยู่ได้
  • เป็นเครื่องมือที่ดีที่สุดสำหรับการแสดงจุดบอดของฐานข้อมูลเวกเตอร์
  • มุ่งเน้นไปที่การตรวจสอบมากกว่าการให้คะแนน
  • อาจมีความเกินขนาดสำหรับการใช้งานขนาดเล็กหรือเครื่องมือที่มีเอเจนต์เดียว

Braintrust – ตาข่ายความปลอดภัยสำหรับการถดถอยของคำสั่ง

Braintrust ได้รับการออกแบบสำหรับวงจรการวนซ้ำที่มีความถี่สูงโดยใช้ การเปรียบเทียบแบบข้ามโมเดล

สถานการณ์ทั่วไปในทางปฏิบัติ

  • สถานการณ์: ทีมวิศวกรอัปเกรดคำสั่งจาก “ตอบคำถาม” (กรณี A) เป็นคำสั่งระบบที่ซับซ้อน 500 คำ (กรณี B)
  • ปัญหา: การปรับปรุงคำสั่งสำหรับกรณี B อาจทำให้กรณี A ล้มเหลวโดยไม่ตั้งใจ
  • วิธีแก้ปัญหา: ใช้ Braintrust เพื่อสร้างชุดข้อมูลอ้างอิงที่มีตัวอย่างสมบูรณ์แบบจำนวน N รายการ (เช่น N = 50) ให้ Braintrust ทำการเปรียบเทียบแบบข้างต่อข้าง (SxS) ทุกครั้งที่ทีมแก้ไขคำในพรอมป์ต์แม้เพียงคำเดียว:
  • ผลลัพธ์ที่คาดหวัง: รายงานความแตกต่างที่แสดงให้เห็นว่ากรณีใดดีขึ้นหรือเลวลงสำหรับชุดข้อมูลอ้างอิง (N = 50)

ข้อดีและข้อเสีย

  • เร็วมากในการทดสอบก่อนการนำไปใช้
  • มี UI ที่ดีสำหรับผู้มีส่วนได้ส่วนเสียที่ไม่ใช่คนเทคนิคในการทบทวนและจัดอันดับผลลัพธ์
  • เป็นซอฟต์แวร์กรรมสิทธิ์และเน้น SaaS แม้จะมีส่วนประกอบโอเพนซอร์ส
  • มีเมตริกเชิงเทคนิคลึกที่มีมาในตัวน้อยกว่าเมื่อเทียบกับ DeepEval หรือ Ragas

สรุป

เมื่อจัดการด้วยเฟรมเวิร์กการประเมินที่เหมาะสม RAG สามารถเป็นเครื่องมือที่มีศักยภาพในการแข่งขันเพื่อให้ LLM ได้รับบริบทที่เกี่ยวข้องกับคำถามของผู้ใช้มากที่สุด

ยุทธวิธีการนำไปใช้: การแมปเมตริกไปสู่จุดล้มเหลว

แม้ว่าจะไม่มีวิธีแก้ปัญหาแบบ “ใช้ได้ทุกกรณี” แต่ ตาราง 2 แสดงให้เห็นว่าควรใช้เมตริกการประเมินใดบ้างสำหรับแต่ละจุดล้มเหลวที่กล่าวถึงในบทความนี้:

จุดล้มเหลว แนวคิดการประเมิน คุณลักษณะที่จะใช้
FP1: ข้อมูลที่หายไป RAGAS ความสอดคล้องกับแหล่งข้อมูล / ความถูกต้องของคำตอบ
FP2: ไม่พบเอกสารอันดับต้นๆ TruLens ความครอบคลุมของบริบท / ความแม่นยำ
FP3: การรวม Arize Phoenix การตรวจสอบการค้นหา & การวิเคราะห์ความล่าช้า
FP4: ไม่ได้นำออกมา DeepEval ความสอดคล้องกับแหล่งข้อมูล / ความครอบคลุมของบริบท
FP5: รูปแบบที่ไม่ถูกต้อง DeepEval G-Eval (เกณฑ์การประเมินแบบกำหนดเอง)
FP6: ความเฉพาะเจาะจงที่ไม่ถูกต้อง Braintrust การให้คะแนนโดยมนุษย์ & การประเมินแบบข้างต่อข้าง
FP7: ไม่สมบูรณ์ RAGAS ความเกี่ยวข้องของคำตอบ

ตาราง 2. เมตริกซ์การบรรเทาจุดล้มเหลว – เครื่องมือใดแก้ปัญหาใด

DeepEval และ RAGAS สามารถใช้เมตริกความสอดคล้องกับแหล่งข้อมูลเพื่อวัดความล้มเหลวของความสมบูรณ์ของข้อมูล (FP1, FP4, FP7)

TruLens ใช้ความแม่นยำและความครอบคลุมของบริบทในการวัดความเกี่ยวข้องของบริบทกับผลลัพธ์ – ประเมิน FP2 ได้อย่างมีประสิทธิภาพ

Arize Phoenix ให้การแสดงภาพของกระบวนการค้นหา ทำให้เห็นได้ง่ายว่าเอกสารที่ค้นคืนมาแล้วถูกตัดออกระหว่างการรวมบริบท (FP3)

สำหรับความล้มเหลวของ UX DeepEval สร้างเมตริกแบบกำหนดเองเพื่อประเมินความล้มเหลวของ UX ในขณะที่ Braintrust มีความโดดเด่นในการเปรียบเทียบชุดข้อมูลที่มีมาตรฐาน

Kuriko IWAI เป็นวิศวกรด้านการเรียนรู้ของเครื่องที่ Kernel Labs ซึ่งเป็นศูนย์กลางด้านการวิจัยและวิศวกรรมที่เชี่ยวชาญในการนำงานวิจัยด้าน ML ไปพัฒนาเป็นไปป์ไลน์อัตโนมัติที่พร้อมใช้งานจริง

เธอเชี่ยวชาญด้านการพัฒนาระบบ ML โดยมุ่งเน้นสถาปัตยกรรม AI เชิงสร้างสรรค์ การติดตามที่มาของ ML และการปรับแต่ง LLM
ด้วยประสบการณ์มากมายด้านการเป็นเจ้าของผลิตภัณฑ์ทั่วเอเชียตะวันออกเฉียงใต้ Kuriko โดดเด่นในการเชื่อมโยงการทดลองทางเทคนิคเข้ากับคุณค่าทางธุรกิจ