สาเหตุจริงที่ทำให้ RAG Pipeline ของคุณเกิด Hallucination

คุณรู้จักพิธีการนี้ การประมวลผลข้อมูลใน RAG Pipeline เกิด Hallucination ขึ้นเมื่ออยู่ต่อหน้าลูกค้า ดังนั้นคุณจึงเปลี่ยนโมเดลการฝังตัว จากนั้นจึงอัปเกรด LLM และเพิ่มคำสั่งระบบที่บอกว่า “ใช้เฉพาะบริบทที่ให้มาเท่านั้น” และเมื่อเช้านี้มันกล่าวถึงเอกสารนโยบายที่ไม่มีอยู่จริงอย่างมั่นใจ

คุณอยู่ในบริษัทที่ดี เมื่อนักวิจัยจาก RegLab และ HAI ของ Stanford ตรวจสอบเครื่องมือวิจัยทางกฎหมาย AI ที่ขายโดย LexisNexis และ Thomson Reuters (TRI ) ผลิตภัณฑ์ที่ตลาดว่า “ไม่มี Hallucination” เนื่องจากมีการสร้างแบบจำลองการค้นหาที่ดีขึ้น พวกเขาพบ อัตราการเกิด Hallucination ระหว่าง 17% ถึง 34% ในคำถามทางกฎหมายที่ได้รับการลงทะเบียนล่วงหน้า RAG ช่วยลดการเกิด Hallucination จริงๆ แต่ช่องว่างระหว่าง “ลดลง” และ “ถูกกำจัด” คือที่ที่ระบบการผลิตอาศัยอยู่ และช่องว่างนั้นมีโครงสร้าง

การเกิด Hallucination ใน RAG Pipeline ไม่ใช่ความล้มเหลวเพียงอย่างเดียว แต่เป็นสามอย่างที่สมรู้ร่วมคิด: การค้นหาข้อมูลล้มเหลวอย่างเงียบๆ โมเดลถูกฝึกให้ตอบคำถามอย่างไรก็ตาม และไม่มีสิ่งใดในระบบที่วัดช่องว่างระหว่างสองข้อเท็จจริงเหล่านั้น การเปลี่ยนโมเดลไม่ได้กล่าวถึงเรื่องเหล่านั้น

ผู้สมรู้ร่วมคิดที่หนึ่ง: การค้นหาข้อมูลล้มเหลวบ่อยกว่าที่คุณคิด

หลักฐานล่าสุดในเรื่องนี้ยังเป็นเรื่องที่ไม่สบายใจที่สุด ในเดือนพฤศจิกายน 2025 ทีมที่ประกอบด้วยผู้เชี่ยวชาญด้านการแพทย์ 18 คนได้สร้าง 80,502 การทำเครื่องหมายข้าม 800 RAG outputs ในคำถามจริงและคำถามแบบ USMLE สำหรับการค้นหาข้อมูล RAG ทั่วไปไม่เพียงแต่ไม่ได้ผลเท่านั้น แต่ยังลดคุณสมบัติของข้อเท็จจริงลง 6% และความสมบูรณ์ 5% เมื่อเทียบกับโมเดลเดียวกันที่ทำงานโดยไม่มีการค้นหาข้อมูล สาเหตุของปัญหาอยู่ที่การค้นหาข้อมูลทั้งหมด: เฉพาะ 22% ของการค้นหาข้อมูลที่เกี่ยวข้องกับคำถามเท่านั้นที่ถูกจัดให้อยู่ในอันดับที่ 16

ก่อนที่คุณจะพิจารณาว่านี่เป็นปัญหาในโดเมนที่ยาก Anthropic วัดความล้มเหลวในการค้นหาข้อมูลในคอร์ปัสที่สะอาดและจัดระเบียบไว้ขณะพัฒนาวิธีการค้นหาข้อมูลตามบริบท และพบว่าการค้นหาข้อมูลแบบฝังตัวมาตรฐาน ล้มเหลวในการค้นหาส่วนข้อมูลที่ต้องการใน 20 ผลลัพธ์แรก 5.7% ของเวลา หนึ่งคำถามใน 18 คำถาม โดยมีข้อมูลที่ดูแลอย่างดี ไม่มีสิ่งใดที่ไม่ปกติเกิดขึ้น

สิ่งนี้ทำให้ภาษีทางวิศวกรรมแบบคลาสสิกของการล้มเหลวของ RAG, Barnett et al.’s seven failure points มีความสำคัญมาก: สามในเจ็ดจุด (เนื้อหาที่หายไป, เอกสารอันดับต้นๆ ที่พลาดไป และความล้มเหลวในการรวมบริบท) เกิดขึ้นก่อนที่โมเดลภาษาจะสร้างโทเค็นเพียงตัวเดียว Unite.AI ได้ตีพิมพ์ การเดินผ่านภาษีและโครงสร้างการประเมินที่สอดคล้องกัน ดังนั้นฉันจะไม่สร้างมันขึ้นมาใหม่ที่นี่ จุดสำคัญที่บทความนี้เพิ่มคือเรื่องของแรงจูงใจ: ความคล้ายคลึงกันของการฝังตัวเป็นเพียงตัวแทนของความเกี่ยวข้อง ไม่ใช่การรับประกัน และงานทฤษฎีล่าสุดจาก Google DeepMind บ่งชี้ว่าการฝังตัวแบบเวกเตอร์เดียวมีข้อจำกัดทางคณิตศาสตร์ที่เข้มงวดเกี่ยวกับชุดเอกสารที่เกี่ยวข้องที่สามารถแสดงได้ทั้งหมด ตัวค้นหาที่ส่งส่วนข้อมูลที่น่าเชื่อถือแต่ไม่ถูกต้องกำลังทำสิ่งที่ความคล้ายคลึงกันของโคไซน์ทำ

ผู้สมรู้ร่วมคิดที่สอง: โมเดลถูกฝึกให้เดา

ตอนนี้ให้ส่งบริบทที่มีข้อบกพร่องนั้นไปยังโมเดลภาษา และถามว่าโมเดลได้รับการฝึกให้ทำอะไรเมื่อมีช่องว่าง

OpenAI ตอบคำถามนี้โดยตรงในการตีพิมพ์เมื่อเดือนกันยายน 2025 ทำไมโมเดลภาษาจึงเกิด Hallucination: การฝึกและการประเมินมาตรฐานรางวัลการเดาเหนือการยอมรับความไม่แน่นอน การทดสอบแบบไบนารี่ให้คะแนนความถูกต้อง, การยอมรับการไม่แน่นอนให้คะแนนศูนย์ และดังนั้น โมเดลจึงเรียนรู้ว่าการเดาเชิงมั่นใจชนะการไม่แน่นอน เช่นเดียวกับนักเรียนที่เผชิญกับการทดสอบแบบหลายตัวเลือก

การประเมิน RAG แสดงให้เห็นว่าแรงจูงใจนั้นทำอะไรภายในระบบท่อ The RGB benchmark ทดสอบว่าโมเดลปฏิเสธที่จะตอบเมื่อมีเอกสารที่ไม่เกี่ยวข้องเท่านั้น อัตราการปฏิเสธลบสูงสุดในการทดสอบโมเดลทั้งหมดคือ 45% หมายความว่าแม้แต่โมเดลที่ดีที่สุด เมื่อมีเอกสารที่ไม่เกี่ยวข้องเท่านั้น ก็ตอบคำถามอย่างไรก็ตามมากกว่าครึ่งหนึ่ง ClashEval พบความล้มเหลวที่เป็นภาพสะท้อน: เมื่อเนื้อหาที่ค้นหามาขัดแย้งกับความรู้ที่โมเดลมีอยู่แล้ว โมเดลละทิ้งคำตอบที่ถูกต้องของตนเองเพื่อเลือกบริบทที่ไม่ถูกต้องมากกว่า 60% ของเวลา ความภักดีในการปฏิบัติหน้าที่ล้มเหลวในทั้งสองทิศทาง และ Salesforce’s FaithEval เพิ่มการสรุปที่ไม่สบายใจที่ว่าโมเดลที่ใหญ่กว่าไม่จำเป็นต้องมีความภักดีในการปฏิบัติหน้าที่ที่ดีกว่า

ทีมความเข้าใจได้ของ Anthropic ยัง ติดตามกลไก ในการวิเคราะห์ของพวกเขา การปฏิเสธคือวงจรเริ่มต้นของโมเดล; คุณลักษณะ “หน่วยงานที่ทราบ” จะระงับการปฏิเสธเมื่อโมเดลรู้จักสิ่งใดสิ่งหนึ่ง Hallucination เกิดขึ้นเมื่อคุณลักษณะนั้นไม่ทำงาน เมื่อโมเดลรู้จักรูปร่างของคำถามของคุณ แต่ไม่มีสาระ และสร้างเรื่องราวที่มีสาระเข้าไปในช่องว่าง

และถ้าคุณหวังว่าแนวหน้าจะเติบโตออกไปจากสิ่งนี้: ตารางคะแนน Hallucination ของ Vectara วัดบางสิ่งที่ง่ายกว่า RAG มาก ซึ่งก็คือการสรุปเอกสารเดียวที่วางไว้ตรงหน้าโมเดล และ ณ การอัปเดตเดือนพฤษภาคม 2026 GPT-4o ยังคงสร้างเรื่องราวที่ไม่มีอยู่จริงใน 9.6% ของการสรุป และ Claude Opus 4 ใน 12% แม้ว่าการค้นหาจะถูกต้องแล้ว การสร้างเรื่องราวก็ยังคงรั่วไหล

การแก้ไขที่สัญจรทำให้แย่ลง

เมื่อเผชิญกับทั้งหมดนี้ ทีมส่วนใหญ่จะหันไปใช้ปริมาณ มีการค้นหาข้อมูลเพิ่มขึ้น ซื้อหน้าต่างบริบทที่ใหญ่ขึ้น ใส่ทุกสิ่งที่อาจช่วยได้และปล่อยให้โมเดลจัดเรียงสิ่งต่างๆ

หลักฐานแสดงให้เห็นว่าตรงกันข้าม Chroma’s การวิจัยการเน่าของบริบท ทดสอบ 18 โมเดล รวมทั้ง GPT-4.1, Claude 4 และ Gemini 2.5 และพบว่าประสิทธิภาพเพิ่มขึ้น “ไม่น่าเชื่อถือมากขึ้นเมื่อความยาวของข้อมูลเข้าเพิ่มขึ้น” โดยมีเอกสารที่ทำให้เข้าใจผิดเพียงหนึ่งเอกสารที่ตัดคะแนนความถูกต้องได้ และเอกสารที่ทำให้เข้าใจผิดสี่เอกสารที่ตัดคะแนนความถูกต้องอย่างมีนัยสำคัญ การวิจัย Lost in the Middle ในช่วงก่อนหน้านี้พบว่า U-curve ที่มีชื่อเสียง: ข้อมูลที่ฝังอยู่ตรงกลางบริบทถูกเพิกเฉยแม้แต่โดยโมเดลที่มีบริบทยาว และการตรวจสอบทางการแพทย์ข้างต้นคือสิ่งที่พลวัตเหล่านั้นดูเหมือนเมื่อจบ: ระบบที่ค้นหาข้อมูล 16 ส่วน โดย 12 ส่วนขึ้นไปไม่เกี่ยวข้อง จากนั้นส่งกองนั้นไปยังโมเดลที่ฝึกให้ไม่เคยพูดว่า “ฉันไม่รู้”

การค้นหาข้อมูลเพิ่มเติมโดยไม่มีความแม่นยำเพิ่มขึ้นเพียงแค่สร้างสิ่งที่ทำให้เข้าใจผิด Precision ชนะ Recall ในการสร้างที่มีเหตุผล และมันไม่ได้ใกล้เคียงกัน

ผู้สมรู้ร่วมคิดที่สาม: ไม่มีใครวัดช่องว่าง

Barnett et al. วางความจริงในการปฏิบัติไว้ในหนึ่งบรรทัด: “การตรวจสอบระบบ RAG เป็นไปได้เฉพาะระหว่างการดำเนินงานเท่านั้น” คุณไม่สามารถอนุมัติระบบ RAG Pipeline ในขั้นตอนการเตรียมการเพราะโหมดการล้มเหลวเป็นคุณสมบัติร่วมของคอร์ปัส คิวรี่ และผู้ใช้ของคุณ ซึ่งไม่มีอะไรคงที่

แต่ระบบการผลิตส่วนใหญ่ตาม dõiคุณภาพคำตอบแบบต่อท้ายเท่านั้น ซึ่งรวมผู้สมรู้ร่วมคิดทั้งสองข้างต้นเข้าด้วยกันเป็นตัวเลขที่ไม่สามารถอธิบายได้ การแยกที่เรียกว่า RAG Triad แยกความเกี่ยวข้องของบริบท (การค้นหาข้อมูลพบวัสดุถูกต้องหรือไม่?), การยึดติดกับบริบท (คำตอบยึดติดกับวัสดุหรือไม่?) และความเกี่ยวข้องของคำตอบ (คำตอบตอบคำถามหรือไม่?) โครงสร้างเช่น RAGAS และ TruLens นำไปใช้ ฉันจะซื่อสัตย์ว่าไม่มีการสำรวจอย่างเข้มงวดเกี่ยวกับจำนวนกลุ่มการผลิตที่ใช้การประเมินเหล่านี้; สิ่งที่มีอยู่คือบันทึกของนักปฏิบัติงาน และส่วนใหญ่จะอธิบายการประเมินโดยความรู้สึก หากทีมของคุณไม่มีแผงควบคุมที่แยกความล้มเหลวในการค้นหาข้อมูลออกจากความล้มเหลวในการยึดติดกับบริบท ทุกการเกิด Hallucination จะยังคงมองดูเหมือนเป็นปัญหาโมเดล และคุณจะยังคงซื้อการแก้ไขที่มีรูปร่างเหมือนโมเดล

สิ่งที่ทำงานจริงๆ ตามลำดับ

วัดผลการค้นหาข้อมูลแยกจากผลการสร้าง การแก้ไขที่ไม่น่าดึงดูดที่ทุกคนพลาดไป และในมุมมองของฉัน คือสิ่งที่มีประโยชน์สูงสุดในรายการนี้ เพราะมันเปลี่ยนการโต้แย้งเรื่องโมเดลอะไรที่จะซื้อเป็นการวินิจฉัย หากความเกี่ยวข้องของบริบทไม่ดี ไม่มีการสร้างที่สามารถช่วยคุณได้ หากการยึดติดกับบริบทไม่ดีแม้จะมีบริบทที่ดี ไม่มีการค้นหาที่สามารถช่วยคุณได้

สร้างสแต็คความแม่นยำ ตัวเลขที่เผยแพร่ของ Anthropic เป็นตัวอย่างที่ชัดเจนที่สุดของการแก้ไขการค้นหาที่ซ้อนกัน: การฝังตัวแบบชิ้นเนื้อหาที่มีบริบทลดความล้มเหลวในการค้นหาข้อมูลใน 20 อันดับแรกจาก 5.7% เป็น 3.7% การเพิ่มการค้นหาด้วย BM25 (การค้นหาคำสำคัญแบบคลาสสิกพร้อมกับการค้นหาด้วยเวกเตอร์) ลดความล้มเหลวลงเหลือ 2.9% และการเพิ่มการให้คะแนนซ้ำ (โมเดลที่สองที่ให้คะแนนชิ้นข้อมูลที่เป็นไปได้สำหรับความเกี่ยวข้องที่แท้จริง) ไปถึง 1.9% ซึ่งเป็นการลดลงรวม 67% Unite.AI ได้กล่าวถึง เหตุผลที่การค้นหาที่มีสองขั้นตอนมีประสิทธิภาพเหนือกว่า ในรายละเอียด

ให้รางวัลการยอมรับ OpenAI แนะนำให้ลงโทษข้อผิดพลาดที่มั่นใจมากกว่าการแสดงความไม่แน่นอน และคุณสามารถนำไปใช้ได้ทันที: ขอให้และประเมินคำตอบ “ฉันไม่รู้” และเพิ่มการตรวจสอบการยึดติดกับบริบท (โมเดลการอนุมานเชิงตรรกะ) ที่ตรวจสอบการกล่าวอ้างที่สร้างขึ้นแต่ละครั้งว่าได้รับการสนับสนุนจากข้อความที่ค้นหามาแล้วก่อนที่จะส่งคำตอบ งาน RAGTruth แสดงให้เห็นว่าตัวตรวจจับขนาดเล็กที่ปรับให้เหมาะสมสามารถจับคู่กับการเรียก GPT-4 ได้ในการจับคำกล่าวที่ไม่ได้รับการสนับสนุน

เขียนคำถามใหม่และกรองหลักฐาน ในการตรวจสอบทางการแพทย์ การเขียนคำถามใหม่และกรองหลักฐานกู้คืนข้อเท็จจริงได้มากถึง 12 คะแนน ความจริงที่ง่ายๆ มีประสิทธิภาพ

พิจารณาการค้นหาที่มีเจตนาเป็นคนสุดท้าย การค้นหาที่มีหลายขั้นตอนที่ให้เหตุผลเกี่ยวกับสิ่งที่จะค้นหาต่อไป (บทนำที่นี่) ช่วยจริงๆ ในคำถามที่ยากหลายขั้นตอน แต่ก็เพิ่มความล่าช้า ต้นทุน และโหมดการล้มเหลวใหม่ๆ มันเป็นหินอ่อน ไม่ใช่พื้นฐาน

โมเดลเป็นส่วนที่ไม่เสียหายที่สุด

มองย้อนกลับไปที่พิธีการที่เปิดบท การกระทำทุกอย่างของมัน การเปลี่ยนการฝังตัว การอัปเกรดโมเดล คำสั่งระบบที่ตะโกน การปฏิบัติต่อ Hallucination เหมือนข้อบกพร่องของตัวสร้าง การหลักฐานบอกว่าตัวสร้างทำสิ่งที่การฝึกของมันให้รางวัล โดยใช้วัสดุที่ตัวค้นหาของคุณส่งมา ไม่ได้รับการสังเกตโดยเมตริกใดๆ ที่สามารถบอกได้ว่าข้อใดข้อหนึ่งล้มเหลว

ระบบ RAG Pipeline ของคุณไม่เสียหาย มันเชื่อฟัง มันทำสิ่งที่แรงจูงใจให้รางวัล และจนกว่าคุณจะวัดผลการค้นหาข้อมูลและผลการสร้างแยกจากกันและทำให้ “ฉันไม่รู้” เป็นหมวดการให้คะแนนแทนความล้มเหลว แรงจูงใจเหล่านั้นบอกว่า: เดา