การจัดการฮอลลูซิเนชันในโมเดลภาษาขนาดใหญ่: การสำรวจเทคนิคที่ทันสมัย

โมเดลภาษาขนาดใหญ่ (LLM) เช่น GPT-4, PaLM และ Llama ได้ปลดปล่อยความก้าวหน้าที่น่าประทับใจในความสามารถในการสร้างภาษาธรรมชาติ อย่างไรก็ตาม ความท้าทายที่ยังคงจำกัดความน่าเชื่อถือและความปลอดภัยในการใช้งานคือความโน้มเอียงที่จะฮอลลูซิเนต – การสร้างเนื้อหาที่ดูสอดคล้องกันแต่ไม่ถูกต้องหรือไม่มีพื้นฐานมาจากบริบทที่ให้มา

เมื่อ LLM ยังคงเติบโตและแพร่หลายไปทั่วการประยุกต์ใช้จริง การจัดการฮอลลูซิเนชันจึงกลายเป็นสิ่งจำเป็น บทความนี้ให้ภาพรวมที่ครอบคลุมเกี่ยวกับเทคนิคที่นักวิจัยได้นำมาใช้เพื่อตรวจจับ ควอนติฟาย และบรรเทาฮอลลูซิเนชันใน LLM

การทำความเข้าใจฮอลลูซิเนชันใน LLM

ฮอลลูซิเนชันหมายถึงข้อผิดพลาดหรือการสร้างเรื่องราวที่ไม่มีพื้นฐานมาจากความเป็นจริงหรือบริบทที่ให้มา ตัวอย่างเช่น

• การคิดค้นรายละเอียดชีวิตหรือเหตุการณ์ที่ไม่มีหลักฐานในแหล่งข้อมูลเมื่อสร้างข้อความเกี่ยวกับบุคคล
• การให้คำแนะนำทางการแพทย์ที่ไม่ถูกต้องโดยการสร้างผลข้างเคียงหรือวิธีการรักษา
• การสร้างข้อมูล การศึกษา หรือแหล่งข้อมูลที่ไม่มีอยู่จริงเพื่อสนับสนุนคำกล่าว

ปรากฏการณ์นี้เกิดขึ้นเนื่องจาก LLM ถูกฝึกอบรมจากข้อมูลข้อความขนาดใหญ่บนอินเทอร์เน็ต ซึ่งทำให้พวกมันสามารถสร้างภาษาที่เข้าใจได้ดี แต่ก็หมายความว่าพวกมันเรียนรู้ที่จะขยายข้อมูล สร้างความสัมพันธ์เชิงตรรกะ และเติมช่องว่างในลักษณะที่ดูเป็นไปได้แต่อาจไม่ถูกต้องหรือไม่ถูกต้อง

ปัจจัยบางประการที่ทำให้เกิดฮอลลูซิเนชัน ได้แก่

• การสร้างรูปแบบทั่วไป – LLM ระบุและขยายรูปแบบในข้อมูลการฝึกอบรม ซึ่งอาจไม่เหมาะสมกับการใช้งานจริง
• ความรู้ที่ล้าสมัย – การฝึกอบรมแบบคงที่ไม่อนุญาตให้บูรณาการข้อมูลใหม่
• ความคลุมเครือ – คำสั่งซื้อที่คลุมเครือทำให้เกิดการสรุปที่ไม่ถูกต้อง
• ความลำเอียง – โมเดลส่งเสริมและเพิ่มมุมมองที่เอียง
• การไม่มีพื้นฐาน – การขาดความเข้าใจและเหตุผลทำให้โมเดลสร้างเนื้อหาที่ไม่เข้าใจ

การแก้ไขฮอลลูซิเนชันจึงเป็นสิ่งจำเป็นสำหรับการใช้งานที่เชื่อถือได้ในโดเมนที่ละเอียดอ่อน เช่น การแพทย์ กฎหมาย การเงิน และการศึกษา ซึ่งการสร้างข้อมูลที่ไม่ถูกต้องอาจนำไปสู่อันตราย

การจำแนกประเภทของเทคนิคการบรรเทาฮอลลูซิเนชัน

นักวิจัยได้นำเทคนิคที่หลากหลายมาใช้เพื่อต่อต้านฮอลลูซิเนชันใน LLM ซึ่งสามารถแบ่งออกเป็น

1. การออกแบบคำสั่งซื้อ

สิ่งนี้เกี่ยวข้องกับการออกแบบคำสั่งซื้ออย่างรอบคอบเพื่อให้ LLM สร้างเนื้อหาที่ถูกต้องและเป็นรากฐาน

• การเพิ่มการค้นหา – การค้นหาพื้นฐานเพื่อให้เนื้อหามีพื้นฐาน
• วงจรการให้ข้อมูล – การให้ข้อมูลซ้ำๆ เพื่อปรับปรุงการตอบสนอง
• การปรับคำสั่งซื้อ – การปรับคำสั่งซื้อระหว่างการฝึกอบรมเพื่อให้ได้พฤติกรรมที่ต้องการ

2. การพัฒนาโมเดล

การสร้างโมเดลที่มีโครงสร้างที่เหมาะสมในการลดฮอลลูซิเนชัน

• ยุทธวิธีการถอดรหัส – การสร้างข้อความในลักษณะที่เพิ่มความน่าเชื่อถือ
• การให้ความรู้ – การบูรณาการฐานความรู้ภายนอก
• ฟังก์ชันการขาดทุนใหม่ – การปรับให้เหมาะสมสำหรับความน่าเชื่อถือระหว่างการฝึกอบรม
• การฝึกอบรมแบบมีการกำกับ – การใช้ข้อมูลที่มีการกำกับของมนุษย์เพื่อเพิ่มความถูกต้อง

ต่อไป เราจะสำรวจเทคนิคที่โดดเด่นภายใต้แต่ละแนวทาง

เทคนิคการบรรเทาฮอลลูซิเนชันที่โดดเด่น

การสร้างเนื้อหาที่มีการค้นหา

การสร้างเนื้อหาที่มีการค้นหาช่วยให้ LLM ดีขึ้นโดยการค้นหาและจัดเตรียมเอกสารหลักฐานภายนอกแทนการอาศัยความรู้ที่ซ่อนอยู่ในโมเดลเพียงอย่างเดียว สิ่งนี้ช่วยให้เนื้อหามีพื้นฐานและลดฮอลลูซิเนชัน

เทคนิคที่โดดเด่น ได้แก่

• RAG – ใช้โมดูลค้นหาเพื่อให้ข้อความที่เกี่ยวข้องสำหรับโมเดล seq2seq ในการสร้างข้อความ
• RARR – ใช้ LLM ในการวิจัยและแก้ไขข้อความที่ไม่ได้รับการยืนยันในข้อความที่สร้างขึ้นให้สอดคล้องกับหลักฐานที่ค้นหา
• การค้นหาความรู้ – ตรวจสอบการสร้างที่ไม่แน่นอนโดยใช้ความรู้ที่ค้นหา trướcที่จะสร้างข้อความ
• LLM-Augmenter – ค้นหาความรู้เพื่อสร้างห่วงโซ่หลักฐานสำหรับคำสั่งซื้อของ LLM

การให้ข้อมูลและการให้เหตุผล

การใช้ข้อมูลและการให้เหตุผลแบบวนซ้ำหรือการให้เหตุผลแบบตนเองช่วยให้ LLM ปรับปรุงและปรับแต่งผลลัพธ์เบื้องต้น ลดฮอลลูซิเนชัน

CoVe ใช้เทคนิคการตรวจสอบแบบห่วงโซ่ LLM สร้างข้อความตอบสนองต่อคำถามของผู้ใช้ จากนั้นสร้างคำถามการตรวจสอบที่อาจจะตรวจสอบข้อความนั้นตามความมั่นใจในข้อความที่ทำไว้ ตัวอย่างเช่น สำหรับคำตอบที่อธิบายการรักษาใหม่ CoVe อาจสร้างคำถามเช่น “อัตราประสิทธิภาพของการรักษาคืออะไร?” “ได้รับการอนุมัติจากหน่วยงานกำกับดูแลหรือไม่?” “ผลข้างเคียงที่อาจเกิดขึ้นคืออะไร?” สิ่งสำคัญคือ LLM พยายามตอบคำถามการตรวจสอบเหล่านั้นโดยไม่ถูกบิดเบือนจากคำตอบเดิม หากคำตอบคำถามการตรวจสอบขัดแย้งหรือไม่สามารถสนับสนุนคำกล่าวที่ทำไว้ในคำตอบเดิม ระบบจะระบุว่าอาจเป็นฮอลลูซิเนชันและปรับปรุงคำตอบก่อนที่จะนำเสนอ给ผู้ใช้

DRESS มุ่งเน้นในการปรับ LLM ให้สอดคล้องกับความชอบของผู้ใช้โดยใช้ข้อมูลภาษาธรรมชาติ ผู้ใช้ที่ไม่ใช่ผู้เชี่ยวชาญสามารถให้คำวิจารณ์แบบเสรีเกี่ยวกับการสร้างของโมเดล เช่น “ผลข้างเคียงที่กล่าวถึงดูเหมือนจะเกินจริง” หรือคำแนะนำในการปรับปรุง เช่น “โปรดพูดถึงประสิทธิภาพด้านต้นทุนด้วย” DRESS ใช้การเรียนรู้แบบเสริมแรงในการฝึกโมเดลให้สร้างการตอบสนองที่สอดคล้องกับคำวิจารณ์เหล่านั้น ซึ่งเพิ่มความสามารถในการโต้ตอบและลดข้อความที่ไม่สมจริงหรือไม่มีหลักฐาน

MixAlign จัดการกับสถานการณ์ที่ผู้ใช้ถามคำถามที่ไม่สอดคล้องกับข้อความหลักฐานที่ระบบค้นหาได้ ตัวอย่างเช่น ผู้ใช้อาจถาม “มลพิษจะเลวร้ายขึ้นในประเทศจีนหรือไม่” ในขณะที่ข้อความที่ค้นหาพูดถึงแนวโน้มมลพิษทั่วโลก เพื่อหลีกเลี่ยงการฮอลลูซิเนตโดยไม่มีบริบทที่เพียงพอ MixAlign จะขอความชัดเจนจากผู้ใช้เมื่อไม่แน่ใจว่าจะเชื่อมโยงคำถามกับข้อมูลที่ค้นหาได้อย่างไร สิ่งนี้ช่วยให้ได้รับข้อมูลร่วมกันเพื่อให้ได้ข้อความที่มีพื้นฐานและบริบทที่ถูกต้อง

เทคนิค การสะท้อนตนเอง ฝึก LLM ให้ประเมิน ให้ข้อมูล และปรับปรุงการตอบสนองของตนเองโดยใช้แนวทางแบบหลายงาน ตัวอย่างเช่น สำหรับคำตอบที่สร้างขึ้นสำหรับคำถามทางการแพทย์ โมเดลจะเรียนรู้ที่จะให้คะแนนความถูกต้องของข้อความ ระบุคำกล่าวที่ขัดแย้งหรือไม่มีหลักฐาน และแก้ไขโดยการค้นหาความรู้ที่เกี่ยวข้อง โดยการฝึก LLM ให้ทำวงจรการตรวจสอบและปรับปรุงตนเอง สิ่งนี้ช่วยลดฮอลลูซิเนชันที่ไม่มีการควบคุม

การปรับคำสั่งซื้อ

การปรับคำสั่งซื้อช่วยให้สามารถปรับคำสั่งซื้อที่ให้กับ LLM ระหว่างการฝึกอบรมเพื่อให้ได้พฤติกรรมที่ต้องการ

วิธีการ SynTra ใช้การสรุปแบบสังเคราะห์เพื่อลดฮอลลูซิเนชัน ก่อนที่จะถ่ายโอนโมเดลไปยังชุดข้อมูลการสรุปจริง วิธีการนี้ให้ข้อความและขอให้โมเดลสรุปโดยใช้การค้นหาเท่านั้น โดยไม่ต้องสร้างเนื้อหาที่ไม่มีอยู่จริง SynTra พิสูจน์แล้วว่าสามารถลดปัญหาฮอลลูซิเนชันเมื่อโมเดลถูกฝึกอบรมและใช้งานจริง

UPRISE ฝึกผู้ค้นหาแบบสากลที่ให้คำสั่งซื้อที่เหมาะสมที่สุดสำหรับการเรียนรู้แบบไม่มากนักบนงานที่ไม่เคยเห็นมาก่อน โดยการค้นหาและปรับคำสั่งซื้อที่มีประสิทธิภาพซึ่งปรับให้เหมาะสมสำหรับชุดงานที่หลากหลาย โมเดลจะเรียนรู้ที่จะทั่วไปและปรับตัวให้เข้ากับงานใหม่ที่ไม่มีตัวอย่างการฝึกอบรม สิ่งนี้ช่วยให้โมเดลมีประสิทธิภาพโดยไม่ต้องมีการปรับให้เหมาะสมเฉพาะงาน

โครงสร้างโมเดลใหม่

FLEEK เป็นระบบที่มุ่งเน้นในการช่วยเหลือผู้ตรวจสอบและผู้ตรวจสอบความถูกต้องโดยอัตโนมัติ ระบุคำกล่าวที่อาจตรวจสอบได้จากข้อความที่กำหนด และแปลงคำกล่าวเหล่านั้นเป็นคำถามเพื่อตรวจสอบความถูกต้อง โดยค้นหาหลักฐานที่เกี่ยวข้องจากฐานความรู้และให้ข้อมูลนั้นแก่ผู้ตรวจสอบเพื่อตรวจสอบความถูกต้องของเอกสารและความจำเป็นในการแก้ไข

วิธีการ CAD ลดฮอลลูซิเนชันในการสร้างภาษาโดยใช้การถอดรหัสที่ตระหนักบริบท โดยเฉพาะ CAD เพิ่มความแตกต่างระหว่างการกระจายตัวของ LLM เมื่อจัดเตรียมบริบทเทียบกับการสร้างโดยไม่มีบริบท สิ่งนี้ช่วยให้โมเดลหลีกเลี่ยงการขัดแย้งกับหลักฐานบริบทและชี้นำไปสู่การสร้างที่มีพื้นฐาน

DoLA ลดฮอลลูซิเนชันของข้อเท็จจริงโดยการเปรียบเทียบลอจิตจากชั้นต่างๆ ของเครือข่ายทรานส์ฟอร์เมอร์ เนื่องจากความรู้ที่เป็นข้อเท็จจริงมักจะอยู่ในชั้นกลางบางชั้น การเพิ่มสัญญาณจากชั้นนั้นผ่านการเปรียบเทียบลอจิตของ DoLA จึงช่วยลดการสร้างข้อเท็จจริงที่ไม่ถูกต้อง

โครงสร้าง THAM นำเทอมการปรับให้เหมาะสมระหว่างการฝึกอบรมเพื่อลดความสัมพันธ์เชิงร่วมระหว่างข้อมูลเข้าและผลลัพธ์ที่ฮอลลูซิเนต สิ่งนี้ช่วยให้โมเดลพึ่งพาข้อมูลเข้าที่ให้มามากกว่าการคิดค้นโดยไม่มีพื้นฐาน ลดฮอลลูซิเนชันที่ไม่มีการควบคุม

การให้ความรู้

การให้ความรู้การสร้างของ LLM ในความรู้ที่มีโครงสร้างช่วยป้องกันการคิดค้นโดยไม่มีพื้นฐาน

โมเดล RHO ระบุหน่วยในบริบทการสนทนาและเชื่อมโยงกับกราฟความรู้ (KG) ข้อเท็จจริงและความสัมพันธ์ที่เกี่ยวข้องเกี่ยวกับหน่วยเหล่านั้นจะถูกค้นหาจาก KG และรวมเข้ากับบริบทที่ให้กับ LLM สิ่งนี้ช่วยให้การสร้างเนื้อหามีพื้นฐานและลดฮอลลูซิเนชันในบทสนทนาโดยการรักษาให้คำตอบเชื่อมโยงกับข้อเท็จจริงที่มีพื้นฐานเกี่ยวกับหน่วย/เหตุการณ์ที่กล่าวถึง

HAR สร้างชุดข้อมูลการฝึกอบรมแบบสมมุติซึ่งมีการฮอลลูซิเนตที่สร้างโดยโมเดล เพื่อสอนโมเดลให้พึ่งพาข้อมูลจริงมากขึ้น เมื่อให้ข้อความที่เป็นข้อเท็จจริง โมเดลจะถูกส่งเสริมให้สร้างฮอลลูซิเนชันหรือการบิดเบือนข้อความโดยการสร้างเวอร์ชันสมมุติ การฝึกอบรมบนข้อมูลนี้บังคับให้โมเดลพึ่งพาข้อมูลจริงมากขึ้น ลดการคิดค้นโดยไม่มีพื้นฐาน

การฝึกอบรมแบบมีการกำกับ

• Coach – โครงสร้างแบบโต้ตอบที่ตอบคำถามของผู้ใช้และขอการแก้ไขเพื่อปรับปรุง
• R-Tuning – การปรับให้เหมาะสมที่ตระหนักการปฏิเสธซึ่งปฏิเสธคำถามที่ไม่มีหลักฐานที่ระบุไว้ในข้อมูลการฝึกอบรม
• TWEAK – วิธีการถอดรหัสที่จัดอันดับการสร้างตามความสอดคล้องกับข้อเท็จจริงที่ให้มา

ความท้าทายและข้อจำกัด

尽管มีความก้าวหน้าที่สัญญาว่าจะดี แต่ยังมีความท้าทายหลักๆ ที่เหลืออยู่ในการบรรเทาฮอลลูซิเนชัน

• เทคนิคมักจะแลกเปลี่ยนคุณภาพ ความสอดคล้อง และความสร้างสรรค์สำหรับความถูกต้อง
• ความยากในการประเมินอย่างเข้มงวดเกินกว่าโดเมนที่จำกัด ตัวชี้วัดไม่ได้ครอบคลุมความแตกต่างทั้งหมด
• หลายวิธีใช้การคำนวณที่มีราคาแพง ต้องใช้การค้นหาหรือการให้เหตุผลแบบตนเองอย่างกว้างขวาง
• ขึ้นอยู่กับคุณภาพของข้อมูลการฝึกอบรมและแหล่งข้อมูลภายนอก
• ยากที่จะรับประกันการนำไปใช้ทั่วไปในโดเมนและรูปแบบต่างๆ
• รากฐานของฮอลลูซิเนชัน เช่น การขยายความเกินจริง ยังคงไม่ได้รับการแก้ไข

การแก้ไขความท้าทายเหล่านี้อาจต้องการแนวทางแบบหลายชั้น โดยรวมถึงการปรับปรุงข้อมูลการฝึกอบรม การปรับปรุงโครงสร้างโมเดล การสูญเสียความถูกต้อง และเทคนิคในช่วงการอนุมาน

เส้นทางในอนาคต

การบรรเทาฮอลลูซิเนชันสำหรับ LLM ยังคงเป็นปัญหาที่เปิดกว้างและมีการพัฒนาอย่างต่อเนื่อง บางทิศทางที่สัญญาว่าจะดีในอนาคต ได้แก่

• เทคนิคแบบผสมผสาน – รวมเทคนิคที่เสริมกัน เช่น การค้นหา การให้ความรู้ และการให้ข้อมูล
• การสร้างแบบจำลองสาเหตุ – ปรับปรุงความเข้าใจและเหตุผล
• การบูรณาการความรู้ออนไลน์ – รักษาความรู้ของโลกให้ถูกต้องและทันสมัย
• การตรวจสอบอย่างเป็นทางการ – ให้การรับประกันทางคณิตศาสตร์เกี่ยวกับพฤติกรรมของโมเดล
• ความสามารถในการอธิบาย – สร้างความโปร่งใสให้กับเทคนิคการบรรเทา

เมื่อ LLM ยังคงแพร่หลายไปทั่วโดเมนที่มีความเสี่ยงสูง การพัฒนาวิธีแก้ปัญหาที่มั่นคงในการลดฮอลลูซิเนชันจะถือเป็นกุญแจสำคัญในการรับรองการนำไปใช้งานที่ปลอดภัย เชื่อถือได้ และมีจริยธรรม เทคนิคที่สำรวจในบทความนี้ให้ภาพรวมของเทคนิคที่ได้รับการเสนอจนถึงขณะนี้ แต่ยังมีความท้าทายที่เปิดกว้างในการวิจัยอยู่ การพัฒนาอย่างต่อเนื่องและการแก้ไขข้อจำกัดเหล่านี้จะช่วยให้ LLM ที่มีประสิทธิภาพและเชื่อถือได้สามารถเป็นจริงได้