ทำไม RAG ชีวเวชของท่านซ่อนข้อขัดแย้งจากท่าน

การแก้ไขปัญหาของ RAG ชีวเวชมาตรฐานจะแก้ไขข้อขัดแย้งระหว่างหลักฐานอย่างเงียบๆ ในประมาณสามใน bốnคำถามที่ถาม การแก้ไขปัญหานี้ไม่ใช่เรื่องของข้อมูล แต่เป็นเรื่องของโครงสร้าง — และความซับซ้อนของระบบส่วนใหญ่ที่ทีมเพิ่มเข้ามาไม่ได้ช่วยอะไร

ถามคำถามง่ายๆ ให้กับระบบช่วยเหลือทางคลินิกที่ใช้การค้นหาที่เพิ่มประสิทธิภาพ — เช่น เมลาโทนินช่วยลดการเจ็ทแล็กหรือไม่ — และเอกสารที่ระบบค้นหานั้นจะไม่เห็นด้วยกับตัวมันเอง

การตรวจสอบของ Cochrane สรุปว่าเมลาโทนินมีประสิทธิภาพมาก โดยมีแปดใน十分ของการทดลองที่รวมไว้แสดงให้เห็นว่าการเจ็ทแล็กลดลงในการบินข้ามห้าหรือมากกว่าเขตเวลา การทดลอง แบบสุ่ม มีกลุ่มควบคุม ของแพทย์ 257 คนจากนอร์เวย์ใน American Journal of Psychiatry พบว่าไม่มีประโยชน์จากเมลาโทนินในสามสูตร

ทั้งสองเอกสารเป็นเอกสารจริง ทั้งสองมีวิธีการที่มีเหตุผล ในทางคลินิกที่ต้องตัดสินใจว่าจะแนะนำอะไรให้กับผู้ป่วยต้องทราบว่าเอกสารเหล่านั้นไม่เห็นด้วยกัน

ในการทดสอบที่ควบคุม การสังเคราะห์โดยทั่วไปไม่ได้บอกว่ามีข้อขัดแย้งอยู่ การผลิต 段落ที่มีการอ้างอิงที่ถูกต้องและไม่แสดงให้เห็นว่ามีข้อขัดแย้งอื่น

นั่นคือการไม่เห็นข้อขัดแย้ง ในการทดสอบแบบจับคู่ข้อขัดแย้งทางชีวเวช การไม่เห็นข้อขัดแย้งเกิดขึ้นใน 72.6 เปอร์เซ็นต์ของคำถาม (95% CI 0.697–0.755) ออกพุตอ่านปกติ การอ้างอิงถูกต้อง การตรวจสอบคุณภาพมาตรฐานผ่านไปได้ แต่ข้อขัดแย้งนั้นหายไป

การล้มเหลวที่ดูเหมือนสำเร็จ

ในขณะที่ไม่มีการรวมกันโดยตรงในหลักฐานที่เกี่ยวข้องกับชีวเวช การศึกษาบางอย่างแสดงให้เห็นว่ามีผลลัพธ์ที่ขัดแย้งกันระหว่างการใช้การศึกษาที่สังเกตการณ์เทียบกับการทดลองแบบสุ่มและมีกลุ่มควบคุม และวิธีการที่แตกต่างกันสำหรับประชากรผู้ป่วยที่แตกต่างกัน อย่างไรก็ตาม การศึกษาอาจรวมทั้งวิธีการที่แข็งแกร่งและอ่อนแอ ซึ่งดูเหมือนว่าจะมีน้ำหนักเท่ากัน

นี่ไม่ใช่กรณีศึกษาที่ไม่เหมือนใคร การวิเคราะห์ของ Ioannidis เกี่ยวกับการวิจัยทางคลินิกที่มีการอ้างอิงสูงพบว่า 16 เปอร์เซ็นต์ของการศึกษาที่มีการอ้างอิงสูงสุดถูกขัดแย้งโดยตรง และการศึกษาที่สังเกตการณ์มีแนวโน้มที่จะถูกขัดแย้งหรือมีผลกระทบต่ำกว่าการศึกษาที่มีกลุ่มควบคุม — ห้าในหกต่อเก้าในสามสิบเก้า ดังนั้น ปัญหาไม่ใช่แค่การไม่เห็นด้วยระหว่างการศึกษา แต่เป็นส่วนหนึ่งของวรรณกรรมเอง

ดังนั้น ในฐานะหน้าที่ที่สำคัญของระบบ การสร้างข้อความที่เพิ่มประสิทธิภาพ ทางชีวเวช การสร้างหลักฐานเกี่ยวกับการไม่เห็นด้วยระหว่างการศึกษาควรเป็นเป้าหมายหลัก อย่างไรก็ตาม ระบบส่วนใหญ่ล้มเหลวในการทำสิ่งนี้ โดยใช้ HealthContradict ที่มี 920 ตัวอย่างที่จับคู่ข้อขัดแย้ง ระบบการสร้างข้อความที่เพิ่มประสิทธิภาพมาตรฐานล้มเหลวในการสร้างข้อไม่เห็นด้วยในประมาณ 73 เปอร์เซ็นต์ของคู่ที่ทดสอบ ปัญหาไม่ใช่การค้นหา ระบบค้นหาได้ทั้งสองด้าน แล้วจึงแก้ไขข้อขัดแย้งอย่างเงียบๆ โดยเลือกข้างหนึ่ง

การตรวจสอบด้วยมือของ 50 กรณีที่ล้มเหลวที่ถูกแบ่งออกเป็นกลุ่มสร้างรูปแบบที่ฉันเรียกว่า การทำให้ความรู้เท่าเทียม ทั้งสองเอกสารถูกอ้างอิงโดยระบบ และการแสดงข้อขัดแย้งเป็นคำอธิบายในแง่ของความมั่นใจ (“หลักฐานเชิงอ้างอิง … การศึกษาทางวิทยาศาสตร์แสดง…”) เหมือนกับว่าไม่มีข้อขัดแย้ง อีกน้อยกว่า 5 เปอร์เซ็นต์ของกรณีที่ล้มเหลวใช้คำว่า “ข้อขัดแย้ง” “ข้อขัดแย้ง” หรือ “ความไม่เห็นด้วย” เลย การสร้างข้อความที่มีการอ้างอิงถูกต้อง .99 นั่นคือจุดสำคัญ: การอ้างอิงที่ถูกต้องไม่ได้หมายความว่าจะเห็นข้อขัดแย้ง ระบบสามารถอ้างอิงประโยคทุกประโยคได้อย่างสมบูรณ์แบบและยังคงบอกผู้ป่วยสิ่งที่ฐานหลักฐานไม่รองรับ

สามคุณลักษณะของการสร้างข้อความที่เพิ่มประสิทธิภาพของ RAG สร้างสภาพแวดล้อมทางคลินิกที่อันตราย

การพลิกกลับของมูลค่า วัตถุประสงค์ของ RAG คือการแสดงหลักฐานที่เกี่ยวข้องกับผู้ป่วย ดังนั้นโดยการเอาองค์ประกอบของหลักฐานที่สำคัญที่สุดสำหรับผู้ป่วยออกไป ระบบจึงทำสิ่งที่ตรงกันข้าม

การสร้างความไม่มองเห็น เนื่องจากไม่มีการหักหรือตัดทอนหรือรูปแบบอื่นๆ การสร้างข้อความที่ “แบน” จะไม่แตกต่างจากการสังเคราะห์ที่ซื่อสัตย์บนหน้าจอ

การเพิ่มขึ้นอย่างเงียบๆ ในระดับใหญ่ ไม่มีสิ่งใดในชุดประเมินมาตรฐานที่ระบุว่ามันทำงานอยู่ ดังนั้นระบบสามารถทำงานในโหมดการผลิตเป็นเวลาหลายเดือนโดยที่คำถามที่ขัดแย้งกันจะถูกแก้ไขอย่างเงียบๆ ในทิศทางเดียว

ข้อมูลไม่ใช่คันบังคับ

วิธีแก้ปัญหาที่ชัดเจนสำหรับปัญหานี้คือการให้ข้อมูลแก่โมเดล หากความล้มเหลวคือโมเดลไม่ระบุว่าเอกสารสองฉบับขัดแย้งกัน คุณสามารถเพิ่มฉลากที่ชี้ถึง “SUPPORT” หรือ “CONTRADICT” ในเอกสารที่ค้นหาได้ ซึ่งควรปรับปรุงประสิทธิภาพของโมเดล แต่ไม่ได้ทำ

ใน实验ที่เราเพิ่มฉลากที่ชี้ถึง (โดยการทำเครื่องหมาย) เพื่อให้ข้อมูลแก่โมเดลว่าเอกสารสองฉบับขัดแย้งกัน เราพบว่าการทำเครื่องหมายที่ชี้ถึงอย่างชัดเจนย้ายการไม่เห็นข้อขัดแย้งจาก 93.8 เปอร์เซ็นต์ในกลุ่มควบคุมที่ไม่ได้ทำเครื่องหมายเป็น 91.4 เปอร์เซ็นต์ — ความแตกต่างที่มีช่วงความเชื่อมั่นที่ทับซ้อนกันและไม่มีนัยสำคัญทางปฏิบัติ แม้ว่าโมเดลจะได้รับข้อมูลที่เอกสารสองฉบับขัดแย้งกัน แต่การกระจายตัวของการตอบสนองโดยปริยายยังคงไม่เปลี่ยนแปลง

การทำความเข้าใจกลไกมีประโยชน์ในการทำความเข้าใจข้อมูลที่เพิ่มเข้ามาในคำสั่งไม่เปลี่ยนการกระจายตัวของการตอบสนองโดยปริยายของโมเดล สำหรับคำถามทางชีวเวชที่มีข้อขัดแย้ง การกระจายตัวนั้นชื่นชอบตำแหน่งที่รวมกันอย่างหนึ่ง การทำเครื่องหมายที่ชี้ถึงกลายเป็นโทเค็นเพิ่มเติม — บ่อยครั้งถูกนำมาใช้ในหัวข้อ — ในขณะที่ข้อความยังคงเหมือนเดิม

โครงสร้างคือคันบังคับ

สิ่งที่ได้ผลคือโครงสร้าง ไม่ใช่สิ่งที่ถูกต้องหรือไม่ถูกต้องเกี่ยวกับเอกสาร แต่เป็นการเปลี่ยนแปลงโครงสร้างที่ต้องการให้โมเดลสร้างข้อความที่มีคำอธิบายที่เป็นไปได้เกี่ยวกับการไม่เห็นด้วย (ความเห็นด้วย ความไม่เห็นด้วย คุณภาพหลักฐาน สรุป) โครงสร้างที่กำหนดให้โมเดลต้องมีบางส่วนของพื้นที่ในการสร้างข้อความสำหรับการไม่เห็นด้วย

มีการลดลงประมาณ สิบเก้าเท่า — จาก 93.8 เปอร์เซ็นต์เป็น 4.9 เปอร์เซ็นต์ — ในการไม่เห็นข้อขัดแย้งโดยไม่ต้องฝึกอบรมใหม่ ไม่ต้องเปลี่ยนแปลงพายพайป์ ไม่ต้องเพิ่มความล่าช้า และไม่ต้องเพิ่มต้นทุนต่อคำถาม

นี่ไม่ใช่การให้เหตุผลที่ดีขึ้น นี่เป็นการกำหนดการกระจายตัวของผลลัพธ์เท่านั้น เมื่อโมเดลต้องให้ข้อมูลเกี่ยวกับการไม่เห็นด้วย มันจะกลับไปที่เอกสารที่ค้นหาได้เพื่อหาสิ่งที่จะรวมไว้ในส่วนนั้น

การไม่เห็นข้อขัดแย้งภายใต้สามสภาพของการสร้างข้อความที่ควบคุม การเพิ่มฉลากที่ชี้ถึงย้ายอัตราไป 2.4 จุด การเปลี่ยนโครงสร้างที่ต้องการให้ผลลัพธ์ย้ายไป 86.5

การสร้างคำสั่งที่มีโครงสร้างคือเรื่องของการควบคุมการสร้างข้อความของโมเดล มันบังคับให้โมเดลใช้พื้นที่ในการสร้างข้อความบางส่วนสำหรับการไม่เห็นด้วย (ความแตกต่างระหว่างข้อมูลที่มีอยู่และข้อมูลที่ต้องปรากฏขึ้นเพื่อให้ตรงตามข้อกำหนด)

สิ่งนี้เปลี่ยนสมมติฐานทางสถาปัตยกรรมที่พบบ่อย การปรับปรุง RAG ที่เสนอส่วนใหญ่เพิ่มข้อมูลเข้าไปในบริบท: เอกสารเพิ่มเติม คะแนนการค้นหา เมตาดาต้าที่มีรายละเอียดมากขึ้น หากคำสั่งการสร้างข้อความไม่มีข้อกำหนดเฉพาะสำหรับข้อมูลนั้นในการกำหนดโครงสร้างผลลัพธ์ ส่วนใหญ่จะไม่เปลี่ยนพฤติกรรมของโมเดล การเปลี่ยนข้อมูลเข้าจะเปลี่ยนมวลที่ขอบ; การเปลี่ยนโครงสร้างที่ต้องการให้ผลลัพธ์จะเปลี่ยนการกระจายตัวโดยตรง

ทำไมผู้ช่วยที่คาดหวังจึงไม่ช่วย

สององค์ประกอบที่มักถูกมองว่าเป็นสิ่งจำเป็นสำหรับการสร้างข้อความที่เพิ่มประสิทธิภาพทางชีวเวชที่ตระหนักถึงข้อขัดแย้งไม่ได้ให้ผลลัพธ์ที่น่าพอใจเมื่อทดสอบด้วยการลบออกอย่างควบคุม

1) การแยก PICO PICO (ประชากร การแทรกแซง การเปรียบเทียบ ผลลัพธ์) เป็นวิธีการจัดระเบียบคำถามทางคลินิกให้เป็นส่วนประกอบสำหรับการใช้ในหลักฐานทางวิทยาศาสตร์ สมมติฐานคือการแยกคำถามออกเป็นส่วน PICO จะจำกัดการเปลี่ยนแปลงของขอบเขตและปรับปรุงการตรวจจับข้อขัดแย้งระหว่างหลักฐานที่หลากหลาย การลบระดับนี้ออกทำให้ผลลัพธ์ไม่แตกต่างจากที่ระบบสมบูรณ์สร้างขึ้น ในขณะที่ PICO มีประโยชน์สำหรับการจัดระเบียบความคิดในการตัดสินใจทางคลินิก การแยกออกเป็น PICO ในช่วงการวิเคราะห์ไม่มีส่วนช่วยในการตรวจจับข้อขัดแย้ง

2) การจัดประเภทที่ชี้ถึงอย่างชัดเจน ในทางตรงกันข้ามกับการลบ PICO การจัดประเภทที่ชี้ถึงอย่างชัดเจนไม่ได้ผลลัพธ์ที่ดีแต่ต่างกัน บนองค์ประกอบทางวิชาการที่สะอาด มันให้ผลลัพธ์ที่ดีเล็กน้อยในบางมาตรการ แต่เมื่อวิเคราะห์ข้อความที่ไม่สะอาดบนเว็บ — ซึ่งเป็นวิธีที่แอปสุขภาพสำหรับผู้บริโภคสามารถเข้าถึงข้อมูลได้ — ตัวจำแนกประเภทส่วนใหญ่กลายเป็น NOT_ENOUGH_INFO สำหรับเอกสารส่วนใหญ่ เนื่องจากผู้เขียนเนื้อหาสุขภาพสำหรับผู้บริโภคไม่เคยประกาศที่ตั้งโดยใช้ภาษาที่ตัวจำแนกประเภทคาดหวัง ดังนั้นฉลากเหล่านั้นจึงถูกนำไปใช้ในบริบทการสร้างข้อความเป็นเสียง

ข้อติดขัดที่แท้จริงอยู่ที่คุณภาพสัญญาณขั้นแรก

ข้อสรุปที่สำคัญที่สุดของการศึกษานี้คือความสามารถในการตระหนักถึงข้อขัดแย้งในเอกสารขึ้นอยู่กับความถูกต้องของข้อมูล (ข้อมูล) เกี่ยวกับเอกสารเหล่านั้นมากกว่าการสร้างหรือโครงสร้าง

การใช้หลักฐานที่มีคุณภาพ — อัตราส่วนของกรณีที่การสังเคราะห์ให้ความสำคัญกับแหล่งที่มีคุณภาพสูงเมื่อทั้งสองอยู่ — คือ 0.83 ในบทคัดย่อทางวิทยาศาสตร์ที่สะอาดและต่ำกว่า 0.15 ในการค้นหาเว็บที่ไม่สะอาด ความถูกต้องของการอ้างอิงเชิงวิภาษวิธีตามรูปแบบเดียวกัน จาก 0.66 ในบทคัดย่อถึง 0.45 ในเนื้อหาสุขภาพสำหรับผู้บริโภค

ระบบที่เหมือนกัน คอร์ปัสที่แตกต่างกัน การจัดการข้อขัดแย้งถูกจำกัดโดยความชัดเจนของสัญญาณในเอกสารต้นฉบับ

มีเหตุผลเชิงโครงสร้างสำหรับสิ่งนี้ เอกสารที่ค้นหาได้จริงๆ บ่อยครั้งไม่มีสัญญาณที่ตัวจำแนกประเภทหรือกลไกการชั่งน้ำหนักอาศัยพึ่ง: เมตาดาต้าประเภทการเผยแพร่ คำชี้แจงที่ชี้ถึงอย่างชัดเจง คำอธิบายวิธีการ บทคัดย่อของบทความที่ผ่านการรีวิวโดยผู้ทรงคุณวุฒิอธิบายการกล่าวอ้างอย่างชัดเจนเกี่ยวกับประชากรที่เฉพาะเจาะจง วิธีการและผลลัพธ์ ในทางกลับกัน การกล่าวอ้างเดียวกันถูกทำในภาษาที่มีการชักชวน การบอกเล่าและลังเลในบทความสุขภาพสำหรับผู้บริโภค ดังนั้น ระบบที่เหมือนกันจึงมีพฤติกรรมที่แตกต่างกันอย่างมากขึ้นอยู่กับสิ่งที่ได้รับเป็นข้อมูล

สิ่งนี้ยังได้รับการสนับสนุนจากการประเมินผู้เชี่ยวชาญทางการแพทย์ที่ใหญ่ที่สุดเกี่ยวกับ RAG ที่เผยแพร่ ซึ่ง ผู้เชี่ยวชาญทางการแพทย์ 18 คนให้การเขียนข้อความ 80,502 รายการ ใน 800 ออกพุตของโมเดล เพียง 22 เปอร์เซ็นต์ของส่วนผสมที่ดีที่สุดคือสิ่งที่เกี่ยวข้อง RAG มาตรฐานทำให้ความถูกต้องและความสมบูรณ์ของข้อเท็จจริงลดลงเมื่อเทียบกับบรรทัดฐานที่ไม่ใช่ RAG การค้นหาและการเลือกหลักฐาน ไม่ใช่การสร้างข้อความ คือจุดล้มเหลวที่โดดเด่น — ซึ่งเป็นการสะท้อนกลับไปที่ งานที่เป็นรากฐานเกี่ยวกับ RAG ทางการแพทย์ ที่ได้รายงานมาเป็นเวลาสองปีแล้ว

แม้ว่าจะมีการใช้งานที่จำกัดในแง่ของการประยุกต์ แต่ก็สามารถสรุปได้ว่าความสามารถของระบบในการจัดการข้อขัดแย้งเมื่อค้นหาจากบทคัดย่อ PubMed ไม่สามารถถ่ายโอนไปยังเว็บไซต์สำหรับผู้บริโภคได้ ไม่ว่าระบบอื่นๆ จะมีความทันสมัยเพียงใด

จุดบอดของการประเมิน

การวัดการจัดการข้อขัดแย้งมีความยากกว่าที่คิด และแม้วิธีการมาตรฐานในการวัดการจัดการข้อขัดแย้งก็มีปัญหาเป็นของตัวเอง

การให้คะแนน LLM-judge เป็นตัวแทนของวิธีที่พบบ่อยที่สุดในการให้คะแนนการสร้างข้อความที่เปิดกว้างของ RAG สำหรับการจัดการข้อขัดแย้ง และยังแตกต่างจากการทดสอบการยอมรับเชิงโครงสร้างในแง่ของวิธีการพัฒนา ยุทธวิธีการสั่งซื้อที่จัดระเบียบการสร้างข้อความให้เป็นส่วน PICO ได้รับการให้คะแนนที่สูงจากผู้พิพากษา LLM ในขณะที่ล้มเหลวในการทดสอบการยอมรับเชิงโครงสร้างอย่างเด่นชัด สิ่งนี้คาดหวังได้: ผู้พิพากษา LLM มีแนวโน้มที่จะชื่นชอบการตอบสนองที่ยาวขึ้นและซับซ้อนกว่า และจะเห็นข้อจำกัดที่ฝังอยู่ในส่วนผลลัพธ์ว่าเป็นการแสดงให้เห็นถึงความละเอียดถี่ถ้วนเมื่อไม่มีสิ่งใดในข้อความที่อ้างถึงข้อขัดแย้ง

ยุทธวิธีการค้นหานำไปสู่อุปสรรคที่สอง การค้นหาที่สุ่มทำให้อัตราการไม่เห็นข้อขัดแย้งเป็นศูนย์ — การสังเคราะห์ไม่สามารถไม่เห็นข้อขัดแย้งได้หากไม่มีข้อขัดแย้งในเซตที่ค้นหาได้ การค้นหาที่มีความเกี่ยวข้องสูงสุดแบบย่อให้ความถูกต้องของการอ้างอิงเชิงวิภาษวิธีลดลงเหลือ .11 ทั้งสองดูเหมือนจะผ่านการประเมินข้อขัดแย้งได้ แต่ล้มเหลวในการประเมินแบบคู่

ดังนั้นจึงควรรวมมาตรการเหล่านั้นเข้าด้วยกัน ทดสอบการสังเคราะห์ทุกครั้งด้วยการตรวจสอบโครงสร้างเชิงกำหนดสำหรับภาษาที่แสดงให้เห็นถึงข้อขัดแย้ง การให้คะแนน LLM-judge สำหรับความลึกและความสมดุล และการตรวจสอบการอ้างอิงเชิงวิภาษวิธีที่ยืนยันว่าเนื้อหาที่อ้างอิงตรงกับแหล่งที่มาของมัน แต่ละรายการระบุสิ่งที่รายการอื่นๆ ไม่ทำ ไม่มีสิ่งใดที่น่าเชื่อถือโดยตัวมันเองเป็นมาตรฐานสำหรับการจัดการข้อขัดแย้ง

สี่การกระทำสำหรับไตรมาสนี้

1. ทดสอบบรรทัดฐานของคุณ ทุกระบบ RAG ทางชีวเวชทางคลินิกที่ใช้งานจะต้องถูกทดสอบสำหรับการไม่เห็นข้อขัดแย้งก่อนที่จะใช้งานเพิ่มเติม เพื่อทดสอบ คุณต้องการชุดการทดสอบที่จับคู่ข้อขัดแย้งและตรวจสอบการผลิตที่แสดงถึงข้อขัดแย้งทางวัตถุ 72.6 เปอร์เซ็นต์เป็นเพียงการปัดเศษเท่านั้น
2. ใช้คำสั่งการสร้างข้อความที่มีโครงสร้าง สี่ส่วน (จำเป็น) — ความเห็นด้วย ความไม่เห็นด้วย คุณภาพหลักฐาน และสรุป — บังคับให้ผลลัพธ์ใช้พื้นที่ในการสร้างข้อความสำหรับการไม่เห็นด้วย ไม่ต้องมีโครงสร้างใหม่ ไม่ต้องฝึกอบรม ไม่ต้องเพิ่มความล่าช้า ไม่ต้องเพิ่มต้นทุนต่อคำถาม การเปลี่ยนแปลงหนึ่งรายการทำให้การไม่เห็นข้อขัดแย้งลดลง 19 เท่า
3. อย่าใช้การค้นหาที่มีความเกี่ยวข้องสูงสุดสำหรับคำถามที่มีความไวต่อข้อขัดแย้ง แม้ว่าการค้นหาที่มีความเกี่ยวข้องสูงสุดจะใช้เอกสารที่หลากหลายสำหรับการครอบคลุมหัวข้อ แต่ก็ไม่ได้ปรับให้เหมาะสมสำหรับการครอบคลุมที่ชี้ถึง — ซึ่งไม่ถูกต้องเมื่อวัตถุประสงค์คือการค้นหาเอกสารทั้งสองด้านของข้อขัดแย้ง ดังนั้น ควรใช้การค้นหาแบบ bm25 บวกการค้นหาแบบฝังตัวเป็นค่าเริ่มต้นแทน อย่างไรก็ตาม การกระจายตัวที่ตระหนักถึงที่ชี้ถึงจะเป็นทิศทางที่งานนี้ชี้นำ
4. จับคู่มาตรการประเมินของคุณ เลิกใช้คะแนนผู้พิพากษา LLM เดียว รวมเข้ากับการตรวจสอบโครงสร้างสำหรับเนื้อหาที่มีเนื้อหาสาระภายใต้หัวข้อการยอมรับ และการตรวจสอบการอ้างอิงเชิงวิภาษวิธีที่ยืนยันว่าหลักฐานที่อ้างอิงนั้นรองรับข้อกล่าวอ้างที่ระบุ

ประเด็นที่กว้างขึ้น

ความตั้งใจหลักในการพัฒนา RAG คือการเพิ่ม: ตัวค้นหาที่ดีกว่า ตัวจัดอันดับที่ดีกว่า เมตาดาต้าที่มีรายละเอียดมากขึ้น การพูดคุยในอุตสาหกรรมเกี่ยวกับ เหตุใด RAG จึงยังคงล้มเหลวในการผลิต มีรูปร่างเดียวกัน สำหรับการจัดการข้อขัดแย้ง การเคลื่อนไหวที่มีประสิทธิภาพคือการลบ — การจำกัดว่าระบบสามารถผลิตอะไรได้บ้าง ไม่ใช่การขยายสิ่งที่ระบบได้รับ มีการสั่งซื้อการสร้างข้อความที่มีโครงสร้างสี่ส่วนที่เหนือกว่าพายพายป์ที่มีห้าขั้นตอน มันทำได้โดยการเปลี่ยนสิ่งที่โมเดลต้องสร้าง ไม่ใช่สิ่งที่โมเดลสามารถมองเห็นได้

สิ่งนี้ไม่ได้ทำให้สถาปัตยกรรมไม่สำคัญ การค้นหาตั้งค่าเพดาน การค้นหาที่สุ่มทำให้การสังเคราะห์ไร้ความหมาย คุณภาพหลักฐานที่ไม่ดีจำกัดทุกสิ่งที่อยู่ด้านล่าง นี่คือเหตุผลที่ คำถามว่าระบบ RAG ช่วยแก้ปัญหาเรื่องความน่าเชื่อถือได้หรือไม่ ยังคงปรากฏขึ้นอย่างต่อเนื่อง อย่างไรก็ตาม สิ่งที่กำหนดว่าหลักฐานที่ขัดแย้งกันจะถูกนำเสนอเป็นข้อขัดแย้งหรือไม่นั้นอยู่ในจุดต่อไปของพายพายป์ และเปลี่ยนแปลงได้ง่ายกว่าส่วนประกอบอื่นๆ ซึ่งหมายความว่าการเปลี่ยนแปลงที่จำเป็นในการปรับปรุงความน่าเชื่อถือสามารถเกิดขึ้นก่อน

การทำงานที่มีราคา — ชุดข้อมูลที่ดีกว่าสำหรับการขัดแย้ง การฝึกอบรมที่ชี้ถึงข้อขัดแย้งอย่างชัดเจน การค้นหาที่ตระหนักถึงที่ชี้ถึง และมาตรฐานที่ตระหนักถึงข้อขัดแย้ง — ยังคงต้องทำ และจะใช้เวลานานกว่ามาก

ดังนั้น หากคุณต้องการทราบว่าระบบของคุณแสดงหลักฐานที่ขัดแย้งกันหรือไม่ คุณควรถามตัวเองคำถามที่ไม่สบายใจและหาคำตอบในสัปดาห์นี้: ระบบของคุณบอกผู้ใช้หรือไม่ว่าหลักฐานของมันขัดแย้งกัน?