น้อยกว่าคือมากกว่า: ทำไมการดึงเอกสารจำนวนน้อยลงสามารถปรับปรุงคำตอบของ AI ได้

การสร้างแบบจำลองข้อมูลที่เพิ่มขึ้น (RAG) เป็นวิธีการสร้างระบบ AI ที่รวมแบบจำลองภาษากับแหล่งข้อมูลภายนอก ในคำอธิบายง่ายๆ ระบบ AI จะค้นหาเอกสารที่เกี่ยวข้อง (เช่น บทความหรือเว็บเพจ) ที่เกี่ยวข้องกับคำถามของผู้ใช้ และจากนั้นใช้เอกสารเหล่านั้นเพื่อสร้างคำตอบที่แม่นยำยิ่งขึ้น วิธีการนี้ได้รับการยกย่องว่าเป็นประโยชน์ต่อ แบบจำลองภาษาขนาดใหญ่ (LLM) ในการรักษาความจริงและลดการหลอกลวงโดยการยึดคำตอบของพวกมันไว้กับข้อมูลจริง

โดย直觉 เราอาจคิดว่าเอกสารที่ AI ดึงมาหลายๆ เอกสารจะทำให้คำตอบของมันสมบูรณ์ยิ่งขึ้น แต่การวิจัยล่าสุดชี้ให้เห็นว่ามีเรื่องราวที่น่าประหลาดใจ: เมื่อเป็นเรื่องของการให้ข้อมูลแก่ AI บางครั้งการมีน้อยกว่าคือการมีมากกว่า

เอกสารจำนวนน้อยกว่า คำตอบที่ดีกว่า

การศึกษาใหม่โดยนักวิจัยจากมหาวิทยาลัยฮิบรูแห่งเยรูซาเล็มได้สำรวจว่าจำนวนเอกสารที่ให้กับระบบ RAG ส่งผลต่อประสิทธิภาพของระบบอย่างไร โดยที่พวกเขาได้กำหนดจำนวนข้อความทั้งหมดให้คงที่ – หมายความว่าหากเอกสารที่ให้มาน้อยกว่า เอกสารเหล่านั้นจะถูกขยายเล็กน้อยเพื่อเติมความยาวเท่ากับหลายเอกสาร ด้วยวิธีนี้ ความแตกต่างในการทำงานสามารถมอบหมายให้กับจำนวนเอกสารมากกว่าการมีเอกสารที่สั้นกว่า

นักวิจัยได้ใช้ฐานข้อมูลคำถามและคำตอบ (MuSiQue) ที่มีคำถามเกี่ยวกับเรื่องราวแต่ละคำถามที่จับคู่กับ 20 段落ของวิกิพีเดีย (เพียงไม่กี่ส่วนที่มีคำตอบจริงๆ และส่วนที่เหลือเป็นข้อมูลที่ไม่เกี่ยวข้อง) โดยการตัดจำนวนเอกสารจาก 20 เหลือเพียง 2-4 เอกสารที่เกี่ยวข้องจริงๆ – และเติมเอกสารเหล่านั้นด้วยบริบทเพิ่มเติมเล็กน้อยเพื่อรักษาความยาวให้คงที่ – พวกเขาสร้างสถานการณ์ที่ AI มีเอกสารที่จะพิจารณาน้อยกว่า แต่ยังคงมีจำนวนคำที่จะอ่านเท่าเดิม

ผลลัพธ์เป็นเรื่องที่น่าประหลาดใจ ในกรณีส่วนใหญ่ โมเดล AI ตอบคำถามได้แม่นยำยิ่งขึ้นเมื่อพวกมันได้รับเอกสารจำนวนน้อยกว่าแทนเอกสารทั้งหมด ประสิทธิภาพดีขึ้นอย่างมีนัยสำคัญ – ในบางกรณีเพิ่มขึ้น 10% ในด้านความแม่นยำ (คะแนน F1) เมื่อระบบใช้เอกสารที่เกี่ยวข้องเพียงไม่กี่เอกสารแทนการรวบรวมเอกสารจำนวนมาก การเพิ่มขึ้นนี้สังเกตได้ในหลายๆ โมเดลภาษาที่เปิดเผยต่อสาธารณะ รวมถึงรุ่นต่างๆ ของ Meta’s Llama และอื่นๆ ซึ่งบ่งชี้ว่าปรากฏการณ์นี้ไม่เกี่ยวข้องกับโมเดล AI เพียงตัวเดียว

โมเดลหนึ่ง (Qwen-2) เป็นกรณีพิเศษที่สามารถจัดการเอกสารหลายๆ เอกสารได้โดยไม่สูญเสียคะแนน แต่เกือบทุกๆ โมเดลที่ทดสอบทำงานได้ดีกว่าเมื่อมีเอกสารน้อยกว่าโดยรวม ในอีกคำหนึ่ง การเพิ่มเอกสารอ้างอิงมากกว่าที่จำเป็นจริงๆ มักจะทำให้ประสิทธิภาพลดลงมากกว่าที่จะช่วย

Source: Levy et al.

ทำไมเรื่องนี้จึงเป็นเรื่องที่น่าประหลาดใจ? โดยทั่วไป ระบบ RAG ได้รับการออกแบบภายใต้สมมติฐานที่ว่าการดึงเอกสารจำนวนมากขึ้นสามารถช่วย AI ได้ – หลังจากทั้งหมด หากคำตอบไม่ได้อยู่ในเอกสารแรกๆ มันอาจจะอยู่ในเอกสารที่ 10 หรือ 20

การศึกษานี้พลิกสคริปต์นี้ โดยแสดงให้เห็นว่าการเพิ่มเอกสารจำนวนมากโดยไม่เลือกสามารถกลับกลายเป็นผลเสียได้ แม้ว่าความยาวข้อความทั้งหมดจะถูกกำหนดให้คงที่ แต่การมีเอกสารหลายๆ เอกสาร (แต่ละเอกสารมีบริบทและลักษณะเฉพาะของตนเอง) ทำให้การทำงานของ AI ในการตอบคำถามยากขึ้น ดูเหมือนว่าเมื่อเกินจุดหนึ่ง เอกสารเพิ่มเติมแต่ละฉบับจะแนะนำสัญญาณรบกวนมากกว่าสัญญาณที่มีประโยชน์ ทำให้โมเดลสับสนและทำให้ความสามารถในการค้นหาคำตอบที่ถูกต้องลดลง

ทำไมการมีน้อยกว่าคือการมีมากกว่าใน RAG

ผลลัพธ์ “น้อยกว่าคือมากกว่า” นี้มีเหตุผลเมื่อเราพิจารณาว่าโมเดลภาษา AI จัดการข้อมูลอย่างไร เมื่อ AI ได้รับเอกสารที่เกี่ยวข้องมากที่สุด บริบทที่มันเห็นจะมีความชัดเจนและไม่มีการรบกวน มากเหมือนกับนักเรียนที่ได้รับเพียงหน้าที่ถูกต้องในการศึกษา

ในงานศึกษา โมเดลทำงานได้ดีกว่าเมื่อได้รับเอกสารที่เกี่ยวข้อง โดยที่สิ่งที่ไม่เกี่ยวข้องถูกลบออก บริบทที่เหลือไม่เพียงแต่สั้นลง แต่ยังมีความสะอาด – มันประกอบด้วยข้อเท็จจริงที่ชี้ไปที่คำตอบและไม่มีอะไรอื่น เมื่อมีเอกสารน้อยกว่าให้จัดการ โมเดลสามารถมุ่งความสนใจไปที่ข้อมูลที่เกี่ยวข้องได้เต็มที่ ทำให้มันน้อยกว่าที่จะถูกเบี่ยงเบนหรือสับสน

ในทางกลับกัน เมื่อมีเอกสารหลายๆ เอกสาร AI ต้องค้นหาข้อมูลที่เกี่ยวข้องและไม่เกี่ยวข้อง บ่อยครั้ง เอกสารเพิ่มเติมเหล่านี้เป็น “คล้ายกันแต่ไม่เกี่ยวข้อง” – มันอาจจะแบ่งปอหัวข้อหรือคำสำคัญกับคำถาม แต่ไม่ได้ประกอบด้วยคำตอบจริงๆ ข้อมูลประเภทนี้สามารถทำให้โมเดลสับสน AI อาจเสียเวลาในการเชื่อมโยงจุดต่างๆ ระหว่างเอกสารที่ไม่ได้นำไปสู่คำตอบที่ถูกต้อง หรือในกรณีที่เลวร้ายที่สุด มันอาจจะรวมข้อมูลจากหลายแหล่งที่ไม่ถูกต้อง ซึ่งเพิ่มความเสี่ยงของการหลอกลวง – ตัวอย่างเช่น AI สร้างคำตอบที่ดูสมเหตุสมผล แต่ไม่ได้มาจากแหล่งข้อมูลใดๆ

โดยสรุป การให้เอกสารจำนวนมากแก่โมเดลสามารถทำให้ข้อมูลที่มีประโยชน์เจือจางและแนะนำรายละเอียดที่ขัดแย้งกัน ทำให้ AI ยากต่อการตัดสินใจว่าอะไรคือความจริง

นอกจากนี้ นักวิจัยพบว่าหากเอกสารเพิ่มเติมที่ไม่เกี่ยวข้องอย่างชัดเจน (เช่น ข้อความที่ไม่เกี่ยวข้องโดยสิ้นเชิง) โมเดลสามารถเพิกเฉยต่อพวกมันได้ดีขึ้น ปัญหาจริงๆ มาจากข้อมูลที่รบกวนที่ดูเหมือนเกี่ยวข้อง: เมื่อเอกสารที่ดึงมาเกี่ยวข้องกับหัวข้อที่คล้ายกัน AI จะถือว่าควรใช้ทั้งหมด และอาจจะสับสนในการตัดสินใจว่ารายละเอียดใดที่สำคัญจริงๆ ซึ่งสอดคล้องกับการสังเกตของการศึกษาที่ว่า สัญญาณรบกวนแบบสุ่มทำให้เกิดความสับสนน้อยกว่าสัญญาณรบกวนที่ดูเหมือนจริง ในการป้อนข้อมูล AI สามารถกรองข้อมูลที่ไม่เกี่ยวข้องได้ แต่ข้อมูลที่ไม่เกี่ยวข้องที่ดูเหมือนจริงเป็นกับดักที่ลื่นไหล – มันเข้ามาโดยการปลอมตัวว่าเป็นข้อมูลที่เกี่ยวข้องและทำให้คำตอบหลุดออกไป โดยการลดจำนวนเอกสารให้เหลือเพียงเอกสารที่จำเป็นจริงๆ เราสามารถหลีกเลี่ยงกับดักเหล่านี้ได้ตั้งแต่แรก

มีประโยชน์เชิงปฏิบัติอีกด้วย: การดึงและประมวลผลเอกสารจำนวนน้อยกว่าทำให้ระบบ RAG มีภาระการคำนวณน้อยลง เอกสารทุกฉบับที่ดึงมาจะต้องถูกวิเคราะห์ (ฝัง, อ่าน และจดจำโดยโมเดล) ซึ่งใช้เวลาและทรัพยากรการประมวลผล การกำจัดเอกสารที่ไม่จำเป็นทำให้ระบบมีประสิทธิภาพมากขึ้น – มันสามารถหาคำตอบได้เร็วขึ้นและเสียค่าใช้จ่ายน้อยลง ในสถานการณ์ที่ความแม่นยำดีขึ้นโดยการมุ่งเน้นไปที่แหล่งข้อมูลที่เกี่ยวข้อง เราจะได้รับผลลัพธ์ที่ดีกว่า: คำตอบที่ดีกว่าและกระบวนการที่มีประสิทธิภาพและเร็วขึ้น

Source: Levy et al.

การคิดใหม่เกี่ยวกับ RAG: ทิศทางในอนาคต

หลักฐานใหม่นี้ที่คุณภาพมักจะชนะปริมาณในการดึงข้อมูลมีผลกระทบสำคัญต่ออนาคตของระบบ AI ที่พึ่งพาข้อมูลภายนอก มันชี้ให้เห็นว่านักออกแบบระบบ RAG ควรให้ความสำคัญกับการกรองและการจัดอันดับเอกสารที่ชาญฉลาดมากกว่าการดึงเอกสารจำนวนมาก แทนที่จะดึง 100 ส่วนผสมที่เป็นไปได้และหวังว่าคำตอบจะถูกฝังอยู่ที่ไหนสักแห่ง มันอาจจะฉลาดกว่าที่จะดึงเฉพาะเอกสารที่เกี่ยวข้องสูงสุดเพียงไม่กี่ฉบับ

ผู้เขียนการศึกษาตั้งใจให้การดึงข้อมูลต้อง “สร้างสมดุลระหว่างความเกี่ยวข้องและความหลากหลาย” ในข้อมูลที่ให้กับโมเดล ในอีกคำหนึ่ง เราต้องการให้ครอบคลุมหัวข้อเพียงพอที่จะตอบคำถาม แต่ไม่มากจนข้อเท็จจริงหลักถูกจมอยู่ในทะเลของข้อความที่ไม่เกี่ยวข้อง

ในอนาคต นักวิจัยมีแนวโน้มที่จะสำรวจเทคนิคที่ช่วยให้โมเดล AI จัดการเอกสารหลายๆ เอกสารได้อย่างมีประสิทธิภาพมากขึ้น วิธีการหนึ่งคือการพัฒนาระบบดึงข้อมูลหรือการจัดอันดับที่ดีกว่าเพื่อระบุเอกสารที่มีคุณค่าจริงๆ และเอกสารที่เพิ่มความสับสน อีกมุมมองหนึ่งคือการปรับปรุงโมเดลภาษาเอง: หากโมเดลหนึ่ง (เช่น Qwen-2) สามารถจัดการเอกสารหลายๆ เอกสารได้โดยไม่สูญเสียความแม่นยำ การศึกษาวิธีการฝึกหรือโครงสร้างของมันอาจให้คำแนะนำในการทำให้โมเดลอื่นๆ มีความทนทานมากขึ้น อาจเป็นไปได้ที่โมเดลภาษาขนาดใหญ่ในอนาคตจะรวมกลไกที่สามารถตระหนักได้ว่าแหล่งข้อมูลสองแหล่งกำลังพูดถึงสิ่งเดียวกัน (หรือขัดแย้งกัน) และมุ่งเน้นไปที่สิ่งนั้นเป็นหลัก เป้าหมายคือการทำให้โมเดลสามารถใช้แหล่งข้อมูลที่หลากหลายโดยไม่ตกอยู่ในความสับสน – โดยที่จะได้รับประโยชน์ที่ดีที่สุดจากทั้งสองโลก (ความกว้างของข้อมูลและความชัดเจนของการมุ่งเน้น)

นอกจากนี้ ยังควรทราบด้วยว่าเมื่อระบบ AI มีขนาดหน้าต่างบริบทที่ใหญ่ขึ้น (ความสามารถในการอ่านข้อความได้มากขึ้นในครั้งเดียว) การเพิ่มข้อมูลมากขึ้นลงในคำสั่งไม่ใช่กระสุนเงิน การมีขนาดหน้าต่างบริบทที่ใหญ่กว่าไม่ได้หมายความว่าจะมีการเข้าใจที่ดีกว่าเสมอ การศึกษานี้แสดงให้เห็นว่าแม้ว่า AI จะสามารถอ่าน 50 หน้าในครั้งเดียว แต่การให้ 50 หน้าของข้อมูลที่ผสมผสานคุณภาพอาจไม่ได้ผลลัพธ์ที่ดี โมเดลยังคงได้รับประโยชน์จากข้อมูลที่เกี่ยวข้องและถูกต้องในการทำงาน มากกว่าการถูกทิ้งลงในข้อมูลที่ไม่เลือกสรร ในความเป็นจริง การดึงข้อมูลที่ชาญฉลาดอาจกลายเป็นสิ่งสำคัญมากขึ้นในยุคของหน้าต่างบริบทขนาดยักษ์ – เพื่อให้แน่ใจว่าความสามารถเพิ่มเติมนั้นถูกใช้สำหรับความรู้ที่มีค่ามากกว่าเสียงรบกวน

ผลการวิจัยจาก “เอกสารเพิ่มเติม ความยาวเท่าเดิม” (ชื่อเรื่องที่เหมาะสม) ส่งเสริมให้เราทบทวนสมมติฐานของเราในการวิจัย AI บางครั้ง การให้ AI ทุกข้อมูลที่เรามีไม่ได้ผลลัพธ์ที่ดีที่สุดเท่าที่เราคิด โดยการมุ่งเน้นไปที่ชิ้นส่วนข้อมูลที่เกี่ยวข้องมากที่สุด เราไม่เพียงแต่ปรับปรุงความแม่นยำของคำตอบที่ AI สร้างขึ้นเท่านั้น แต่ยังทำให้ระบบมีประสิทธิภาพและเชื่อถือได้มากขึ้น มันเป็นบทเรียนที่ไม่คาดคิด แต่มีผลกระทบที่น่าตื่นเต้น: ระบบ RAG อนาคตอาจเป็นทั้งฉลาดและเพรียวบางโดยการดึงเอกสารที่ดีกว่าและน้อยกว่าอย่างรอบคอบ