RAFT – แนวทางการปรับแต่งและ RAG เพื่อการตอบคำถามเฉพาะโดเมน

เมื่อการประยุกต์ใช้แบบจำลองภาษาขนาดใหญ่ขยายไปสู่โดเมนเฉพาะทาง ความต้องการเทคนิคการปรับตัวที่มีประสิทธิภาพและประสิทธิผลจึงมีความสำคัญมากขึ้น เข้าสู่ RAFT (Retrieval Augmented Fine Tuning) ซึ่งเป็นแนวทางใหม่ที่ผสมผสานจุดแข็งของการสร้างการดึงข้อมูล (RAG) และการปรับแต่งอย่างละเอียด ซึ่งปรับแต่งมาโดยเฉพาะสำหรับงานตอบคำถามเฉพาะโดเมน

ความท้าทายในการปรับตัวโดเมน

แม้ว่า LLM จะได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับข้อมูลจำนวนมหาศาล แต่ความสามารถในการทำงานได้ดีในโดเมนเฉพาะด้าน เช่น การวิจัยทางการแพทย์ เอกสารทางกฎหมาย หรือฐานความรู้เฉพาะขององค์กร มักจะมีจำกัด ข้อจำกัดนี้เกิดขึ้นเนื่องจากข้อมูลก่อนการฝึกอบรมอาจไม่เพียงพอที่จะแสดงถึงความแตกต่างและความซับซ้อนของโดเมนเฉพาะทางเหล่านี้ เพื่อจัดการกับความท้าทายนี้ นักวิจัยได้ใช้เทคนิคหลักสองแบบ: การดึงข้อมูล-augmented generation (RAG) และการปรับแต่งแบบละเอียด

การดึงข้อมูล-Augmented Generation (RAG)

RAG

RAG เป็นเทคนิคที่ช่วยให้ ปริญญามหาบัณฑิต เพื่อเข้าถึงและใช้แหล่งความรู้ภายนอกในระหว่างการอนุมาน

ซึ่งบรรลุผลสำเร็จโดยการบูรณาการการดึงข้อมูลแบบเรียลไทม์เข้ากับกระบวนการกำเนิด ซึ่งทำให้ผลลัพธ์ของแบบจำลองมีความแม่นยำและทันสมัยมากขึ้น RAG ประกอบด้วยสามขั้นตอนหลัก ได้แก่ การดึงข้อมูล โดยรวบรวมเอกสารที่เกี่ยวข้อง การสร้าง โดยที่แบบจำลองสร้างเอาต์พุตตามข้อมูลที่ดึงมา และการเสริมซึ่งปรับแต่งเอาต์พุตให้ละเอียดยิ่งขึ้น

กระบวนการดึงข้อมูลใน RAG เริ่มต้นด้วยการสืบค้นของผู้ใช้ LLM วิเคราะห์การสืบค้นและดึงข้อมูลที่เกี่ยวข้องจากฐานข้อมูลภายนอก โดยนำเสนอกลุ่มข้อมูลที่แบบจำลองสามารถดึงออกมาเพื่อกำหนดคำตอบได้ ขั้นตอนการสร้างจะสังเคราะห์ข้อมูลที่ป้อนนี้ให้เป็นเรื่องเล่าหรือคำตอบที่สอดคล้องกัน ขั้นตอนการเสริมจะปรับแต่งการสร้างโดยการเพิ่มบริบทหรือปรับให้สอดคล้องกันและความเกี่ยวข้อง

โมเดล RAG สามารถประเมินได้โดยใช้ตัวชี้วัดที่หลากหลาย เพื่อประเมินความสามารถในการให้ข้อมูลที่ถูกต้อง เกี่ยวข้อง และทันสมัย

ปรับจูน

ดูแล-ปรับแต่ง

ปรับจูนในทางกลับกัน เกี่ยวข้องกับการปรับ LLM ที่ได้รับการฝึกอบรมล่วงหน้าให้เข้ากับงานหรือโดเมนเฉพาะโดยการฝึกอบรมเพิ่มเติมบนชุดข้อมูลเฉพาะงานที่มีขนาดเล็กลง แนวทางนี้ช่วยให้โมเดลเรียนรู้รูปแบบและจัดแนวผลลัพธ์ให้สอดคล้องกับงานหรือโดเมนที่ต้องการ แม้ว่าการปรับแต่งอย่างละเอียดสามารถปรับปรุงประสิทธิภาพของแบบจำลองได้ แต่ก็มักจะล้มเหลวในการรวมแหล่งความรู้ภายนอกอย่างมีประสิทธิภาพหรือคำนึงถึงความไม่สมบูรณ์ในการดึงข้อมูลในระหว่างการอนุมาน

แนวทางแพ

แพ

แพ ย่อมาจาก Retrieval-Aware Fine-Tuning เป็นวิธีการฝึกอบรมเชิงนวัตกรรมที่ออกแบบมาสำหรับโมเดลภาษาเพื่อเพิ่มประสิทธิภาพในงานเฉพาะโดเมน โดยเฉพาะอย่างยิ่งสำหรับการสอบแบบเปิดหนังสือ RAFT แตกต่างจากการปรับแต่งมาตรฐานโดยการเตรียมข้อมูลการฝึกอบรมที่รวมคำถามเข้ากับเอกสารที่เกี่ยวข้องและไม่เกี่ยวข้อง พร้อมด้วยคำตอบแบบลูกโซ่แห่งความคิดที่ได้มาจากข้อความที่เกี่ยวข้อง วิธีการนี้มีจุดมุ่งหมายเพื่อปรับปรุงความสามารถของแบบจำลองไม่เพียงแต่จำข้อมูลเท่านั้น แต่ยังให้เหตุผลและรับคำตอบจากเนื้อหาที่ให้ไว้ด้วย

โดยพื้นฐานแล้ว RAFT จะปรับแต่งโมเดลภาษาเพื่อให้มีความเชี่ยวชาญมากขึ้นในงานที่เกี่ยวข้องกับการอ่านเพื่อความเข้าใจและการดึงความรู้จากชุดเอกสาร ด้วยการฝึกอบรมทั้งเอกสาร "oracle" (ซึ่งมีคำตอบ) และเอกสาร "เบี่ยงเบนความสนใจ" (ซึ่งไม่มี) โมเดลจะเรียนรู้ที่จะแยกแยะและใช้ข้อมูลที่เกี่ยวข้องได้อย่างมีประสิทธิภาพมากขึ้น

การเตรียมข้อมูลการฝึกอบรม

กระบวนการฝึกอบรมภายใต้ RAFT เกี่ยวข้องกับสัดส่วนของข้อมูลที่มีเอกสาร oracle ที่เกี่ยวข้องโดยตรงกับคำตอบ ในขณะที่ข้อมูลที่เหลือประกอบด้วยเอกสารที่รบกวนเท่านั้น การปรับแต่งอย่างละเอียดช่วยกระตุ้นให้โมเดลเรียนรู้ว่าเมื่อใดควรอาศัยความรู้ภายใน (คล้ายกับการท่องจำ) และเมื่อใดควรดึงข้อมูลจากบริบทที่ให้ไว้

รูปแบบการฝึกอบรมของ RAFT ยังเน้นการสร้างกระบวนการให้เหตุผล ซึ่งไม่เพียงแต่ช่วยในการสร้างคำตอบ แต่ยังอ้างอิงแหล่งที่มา คล้ายกับวิธีที่มนุษย์จะพิสูจน์การตอบสนองของพวกเขาโดยการอ้างอิงเนื้อหาที่พวกเขาอ่าน แนวทางนี้ไม่เพียงแต่เตรียมโมเดลสำหรับการตั้งค่า RAG (Retrieval Augmented Generation) ที่ต้องพิจารณาเอกสารที่ดึงข้อมูลในระดับ top-k แต่ยังช่วยให้แน่ใจว่าการฝึกอบรมของโมเดลนั้นเป็นอิสระจากรีทรีฟเวอร์ที่ใช้ ทำให้สามารถประยุกต์ใช้งานได้อย่างยืดหยุ่นในระบบการดึงข้อมูลที่แตกต่างกัน

แนวทางนี้มีจุดประสงค์หลายประการ:

1. โดยจะฝึกโมเดลเพื่อระบุและใช้ข้อมูลที่เกี่ยวข้องจากบริบทที่ให้มา โดยเลียนแบบการตั้งค่าการสอบแบบ open-book
2. โดยจะช่วยเพิ่มความสามารถของโมเดลในการเพิกเฉยต่อข้อมูลที่ไม่เกี่ยวข้อง ซึ่งเป็นทักษะที่สำคัญสำหรับ RAG ที่มีประสิทธิภาพ
3. โดยจะเปิดเผยโมเดลต่อสถานการณ์ที่ไม่มีคำตอบอยู่ในบริบท และกระตุ้นให้โมเดลพึ่งพาความรู้ของตนเองเมื่อจำเป็น

สิ่งสำคัญอีกประการหนึ่งของ RAFT คือการบูรณาการการใช้เหตุผลแบบลูกโซ่แห่งความคิดในกระบวนการฝึกอบรม แทนที่จะเพียงแค่ให้คู่คำถามและคำตอบ RAFT จะสร้างคำอธิบายการให้เหตุผลโดยละเอียดซึ่งรวมถึงการอ้างอิงแบบคำต่อคำจากเอกสารที่เกี่ยวข้อง คำอธิบายเหล่านี้ นำเสนอในรูปแบบลูกโซ่แห่งความคิด แนะนำแบบจำลองผ่านขั้นตอนเชิงตรรกะที่จำเป็นเพื่อให้ได้คำตอบที่ถูกต้อง

ด้วยการฝึกอบรมแบบจำลองบนห่วงโซ่การให้เหตุผลเหล่านี้ RAFT จะส่งเสริมการพัฒนาความสามารถในการให้เหตุผลที่แข็งแกร่ง และเพิ่มความเข้าใจของแบบจำลองเกี่ยวกับวิธีการใช้ประโยชน์จากแหล่งความรู้ภายนอกอย่างมีประสิทธิภาพ

การประเมินผลและผลลัพธ์

ผู้เขียนรายงาน RAFT ได้ทำการประเมินชุดข้อมูลต่างๆ อย่างกว้างขวาง รวมถึง PubMed (การวิจัยทางชีวการแพทย์), HotpotQA (การตอบคำถามแบบโดเมนเปิด) และ Gorilla APIBench (การสร้างโค้ด) ผลลัพธ์ของพวกเขาแสดงให้เห็นว่า RAFT มีประสิทธิภาพเหนือกว่าเส้นฐานอย่างต่อเนื่อง เช่น การปรับแต่งเฉพาะโดเมนที่มีและไม่มี RAG รวมถึงรุ่นที่มีขนาดใหญ่กว่า เช่น GPT-3.5 ที่มี RAG

RAFT ปรับปรุงประสิทธิภาพของ RAG

ตัวอย่างเช่น ในชุดข้อมูล HuggingFace นั้น RAFT ได้รับความแม่นยำ 74% ซึ่งได้รับการปรับปรุงอย่างมีนัยสำคัญ 31.41% จากการปรับแต่งแบบละเอียดเฉพาะโดเมน (DSF) และ 44.92% เมื่อเทียบกับ GPT-3.5 ด้วย RAG ในทำนองเดียวกัน ในชุดข้อมูล HotpotQA นั้น RAFT มีความแม่นยำเพิ่มขึ้น 28.9% เมื่อเทียบกับ DSF

ข้อได้เปรียบที่สำคัญประการหนึ่งของ RAFT คือความแข็งแกร่งในการดึงข้อมูลข้อบกพร่อง ด้วยการฝึกแบบจำลองด้วยการผสมผสานเอกสารที่เกี่ยวข้องและไม่เกี่ยวข้อง RAFT จะช่วยเพิ่มความสามารถของแบบจำลองในการแยกแยะและจัดลำดับความสำคัญของข้อมูลที่เกี่ยวข้อง แม้ว่าโมดูลการดึงข้อมูลจะส่งกลับผลลัพธ์ที่ต่ำกว่ามาตรฐานก็ตาม

ผู้เขียนแสดงให้เห็นว่าการปรับแต่งอย่างละเอียดด้วยเอกสาร oracle เท่านั้นมักจะทำให้ประสิทธิภาพการทำงานด้อยลงเมื่อเปรียบเทียบกับการกำหนดค่าที่มีเอกสารที่รบกวนสมาธิ การค้นพบนี้เน้นย้ำถึงความสำคัญของการเปิดเผยโมเดลต่อสถานการณ์การดึงข้อมูลที่แตกต่างกันในระหว่างการฝึกอบรม เพื่อให้มั่นใจว่าโมเดลมีความพร้อมสำหรับการใช้งานในโลกแห่งความเป็นจริง

การประยุกต์เชิงปฏิบัติและทิศทางในอนาคต

เทคนิค RAFT มีความหมายที่สำคัญสำหรับการใช้งานจริงที่หลากหลาย รวมไปถึง:

1. ระบบตอบคำถาม: สามารถใช้ RAFT เพื่อสร้างระบบตอบคำถามเฉพาะโดเมนที่มีความแม่นยำสูง โดยใช้ประโยชน์จากทั้งความรู้ที่ได้รับจากแบบจำลองและแหล่งความรู้ภายนอก
2. การจัดการความรู้ระดับองค์กร: องค์กรที่มีฐานความรู้ขนาดใหญ่สามารถใช้ประโยชน์จาก RAFT เพื่อพัฒนาระบบการตอบคำถามที่กำหนดเองได้ ช่วยให้พนักงานสามารถเข้าถึงและใช้ข้อมูลที่เกี่ยวข้องได้อย่างรวดเร็ว
3. การวิจัยทางการแพทย์และวิทยาศาสตร์: RAFT สามารถมีคุณค่าอย่างยิ่งในขอบเขตต่างๆ เช่น การวิจัยทางชีวการแพทย์ ซึ่งการเข้าถึงผลการวิจัยและวรรณกรรมล่าสุดเป็นสิ่งสำคัญสำหรับการพัฒนาความเข้าใจทางวิทยาศาสตร์
4. บริการด้านกฎหมายและการเงิน: RAFT สามารถช่วยเหลือผู้เชี่ยวชาญในสาขาเหล่านี้โดยให้คำตอบที่ถูกต้องและคำนึงถึงบริบทตามเอกสารทางกฎหมายหรือรายงานทางการเงินที่เกี่ยวข้อง

ในขณะที่การวิจัยในพื้นที่นี้ดำเนินต่อไป เราสามารถคาดหวังความก้าวหน้าและการปรับแต่งเทคนิค RAFT เพิ่มเติมได้ ทิศทางที่เป็นไปได้ในอนาคต ได้แก่ :

1. การสำรวจโมดูลการดึงข้อมูลที่มีประสิทธิภาพและประสิทธิผลมากขึ้น ซึ่งปรับแต่งมาสำหรับโดเมนหรือโครงสร้างเอกสารเฉพาะ
2. การรวมข้อมูลหลายรูปแบบ เช่น รูปภาพหรือตาราง เข้ากับกรอบงาน RAFT เพื่อความเข้าใจบริบทที่ดีขึ้น
3. การพัฒนาสถาปัตยกรรมการให้เหตุผลเฉพาะทางที่สามารถใช้ประโยชน์จากคำอธิบายห่วงโซ่ความคิดที่เกิดขึ้นระหว่างการฝึกอบรมได้ดียิ่งขึ้น
4. การปรับ RAFT ให้เข้ากับงานภาษาธรรมชาติอื่นๆ นอกเหนือจากการตอบคำถาม เช่น ระบบการสรุป การแปล หรือการสนทนา

สรุป

RAFT แสดงถึงการก้าวกระโดดครั้งสำคัญในด้านการตอบคำถามเฉพาะโดเมนด้วยโมเดลภาษา ด้วยการผสมผสานจุดแข็งของการสร้างแบบดึงข้อมูลและการปรับแต่งแบบละเอียดอย่างกลมกลืน RAFT ช่วยให้ LLM มีความสามารถในการใช้ประโยชน์จากแหล่งความรู้ภายนอกได้อย่างมีประสิทธิภาพ ขณะเดียวกันก็ปรับผลลัพธ์ให้สอดคล้องกับรูปแบบและการกำหนดลักษณะเฉพาะของโดเมนด้วย

ด้วยการดูแลจัดการข้อมูลการฝึกอบรมที่เป็นนวัตกรรม การผสมผสานการให้เหตุผลแบบลูกโซ่ทางความคิด และความคงทนในการดึงข้อมูลข้อบกพร่อง RAFT นำเสนอโซลูชันที่ทรงพลังสำหรับองค์กรและนักวิจัยที่ต้องการปลดล็อกศักยภาพสูงสุดของ LLM ในโดเมนเฉพาะทาง

เนื่องจากความต้องการความสามารถในการประมวลผลภาษาธรรมชาติเฉพาะโดเมนยังคงเพิ่มขึ้น เทคนิคอย่าง RAFT จะมีบทบาทสำคัญในการเปิดใช้โมเดลภาษาที่แม่นยำ รับรู้บริบท และปรับตัวได้มากขึ้น ซึ่งปูทางไปสู่อนาคตที่การสื่อสารระหว่างมนุษย์กับเครื่องจักรกลายเป็นจริงอย่างแท้จริง ไร้รอยต่อและไม่เชื่อเรื่องพระเจ้าในโดเมน