การให้โมเดลภาษา ‘ดायल์ความจริง’

จริงหรือพูดมาก เลือกได้ วิธีการฝึกใหม่ทำให้ผู้ใช้บอก AI ชัตบอทได้ว่าควรจะเป็น ‘จริง’ เท่าไหร่ ทำให้ความแม่นยำเป็นดायल์ที่สามารถปรับได้ขึ้นหรือลง

การวิจัยร่วมระหว่างสหรัฐอเมริกาและจีนกำลังเสนอสิ่งที่ผู้ใช้ AI ชัตบอทเกือบทุกคนชื่นชอบ คือ ‘คอนโทรล’ 仮ที่บอกชัตบอทว่าควรจะเป็น ‘พูดมาก’ หรือ ‘จริง’

ระบบนี้ถูกสร้างขึ้นโดยการ ฝึกโมเดลภาษา Mistral-7B บน ข้อมูลสังเคราะห์ เพื่อให้สามารถบันทึกสเคม่า ‘ความจริง’ ลงในโมเดลได้ หลังจากการปรับปรุงนี้ โมเดล Mistral สามารถควบคุมจำนวนข้อเท็จจริงในคำตอบได้ และคำตอบที่สั้นกว่าจะมีความแม่นยำสูงกว่า

เมื่อตั้งค่าความจริงที่ต่ำกว่า คำตอบของชัตบอทจะกลายเป็น ‘ให้ข้อมูล’ มากขึ้น โดยจะให้คำตอบที่ยาวขึ้นและมีข้อเท็จจริงมากกว่า แต่บางข้อเท็จจริงอาจเป็น การหลอกลวง

ข้อมูลสังเคราะห์ที่ใช้ในการฝึกระบบนี้ใช้ วิกิพีเดีย เป็นข้อมูลอ้างอิงสำหรับโดเมนการทดสอบ คือข้อเท็จจริงชีวิตจริงเกี่ยวกับบุคคล ไม่ว่าคุณจะคิดว่าวิกิพีเดียควรเป็นแหล่งข้อมูลที่เชื่อถือได้หรือไม่ คุณค่าของงานนี้คือการออกแบบระบบใดๆ ที่สามารถจำกัดความสามารถของโมเดลภาษาในการให้คำตอบได้

ตัวอย่างจากโครงการ FactScore ซึ่งเป็นพลังงานในการคัดเลือกข้อมูลสำหรับเอกสารที่เรากำลังทบทวน โดยใช้วิกิพีเดียเป็นแหล่งข้อมูลอ้างอิงสำหรับรายละเอียดชีวิต แหล่งที่มา

ผู้เขียนสังเกตว่าบริบทที่ต้องการความมั่นใจสูง เช่น โดเมนการแพทย์และกฎหมาย ต้องการผลลัพธ์ที่มีความแม่นยำและเชื่อถือได้ ในขณะที่ผู้ใช้หลายคนต้องการผลลัพธ์ที่มีความยืดหยุ่นและสร้างสรรค์มากกว่า

พวกเขาสังเกตว่า*:

‘โมเดลภาษาปัจจุบันไม่มีกลไกในการควบคุมการแลกเปลี่ยนระหว่างความจริงและความแม่นยำ’

‘แม้ว่าผู้ใช้จะพยายามชี้นำพฤติกรรมของโมเดลด้วยคำสั่งเช่น “ให้ข้อมูลที่ถูกต้อง” แต่เราพบว่าโมเดลรุ่นใหม่ไม่ได้ปรับผลลัพธ์ของตนตามคำสั่งเหล่านี้’

‘ใน FactScore เราพบว่าโมเดลที่มีอยู่บ่อยครั้งไม่ผ่านแม้กระทั่งเกณฑ์ที่เข้มงวดปานกลาง’

ข้อเท็จจริง

เพื่อทำความเข้าใจเอกสารและวิธีแก้ปัญหาที่นำเสนอ จำเป็นต้องทบทวนคำจำกัดความของ ‘ข้อมูล’ อีกครั้ง ผู้เขียนระบุว่าการ量化ของ ‘ข้อมูล’ เท่ากับ ‘จำนวนข้อเท็จจริงที่รองรับในผลลัพธ์ เมื่อคำนวณจากจำนวนคำศัพท์ที่ตรวจสอบแล้วในผลลัพธ์’

ที่อื่นในเอกสารระบุว่าข้อมูลคือ ‘จำนวนข้อเท็จจริงทั้งหมดในผลลัพธ์ ไม่ว่าจะถูกต้องหรือไม่’

นอกจากนี้ ผู้วิจัยยังระบุด้วยว่าความสามารถของโมเดลภาษาในการให้คำตอบที่มีความแม่นยำและความจริงเป็นลักษณะที่คล้ายกับมนุษย์ และได้รับการบันทึกไว้โดยการศึกษาทางวิทยาศาสตร์ที่หลากหลาย*:

‘ความรู้ของโมเดลไม่น่าเชื่อถือเสมอไป บางคำสั่งเป็นที่เชื่อถืออย่างมาก ในขณะที่บางคำสั่งเป็นข้อสันนิษฐานที่ล้าสมัยหรือไม่แน่นอน การสร้างคำตอบจึงต้องตัดสินใจว่าจะพูดอะไรและพูดอย่างระมัดระวัง ซึ่งสร้างความตึงเครียดระหว่างความแม่นยำและข้อมูล’

‘มนุษย์ทำการเลือกที่คล้ายกัน โดยเริ่มต้นด้วยข้อเท็จจริงที่มีความน่าเชื่อถือสูงและ เพิ่มข้อมูลที่มีความไม่แน่นอน รายละเอียด ที่ไม่แน่นอน เมื่อถูกถาม

แม้ว่าการทดลองจะทำเฉพาะกับโมเดลขนาดกลาง Mistral แต่หลักการนี้ควรใช้ได้กับโมเดลขนาดใหญ่และแพลตฟอร์มต่างๆ เนื่องจากเกี่ยวข้องกับการ量化ข้อมูลใหม่และบันทึกสเคมาของโมเดลภาษา

เอกสารใหม่นี้มีชื่อว่า Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation และมาจากผู้วิจัยเจ็ดคนจากมหาวิทยาลัยโคลัมเบีย มหาวิทยาลัยนิวยอร์ก และ NYU Shanghai

วิธีการและข้อมูล

วิธีการใหม่ที่นำเสนอในเอกสารนี้เรียกว่า การสร้างคำตอบที่ควบคุมความจริง (FCG) และแนะนำ ‘ดायल์’ 仮ที่ผู้ใช้สามารถกำหนดความแม่นยำที่ต้องการสำหรับคำตอบของชัตบอทได้ ‘โดยหลักการ’ เอกสารระบุว่า ‘FCG ปรับปรุงโมเดลด้วย “คอนโทรล” ที่สามารถควบคุมความจริงได้’

โมเดลนี้รับคำถามจากผู้ใช้และระดับความจริงที่ต้องการ แล้วสร้างคำตอบที่รวมเฉพาะข้อมูลที่ถือว่ามีความน่าเชื่อถือเพียงพอ ในขณะเดียวกันก็พยายามให้คำตอบที่มีรายละเอียดมากที่สุดภายในข้อจำกัดของความมั่นใจ

โดยใช้ระบบ FactScore ที่กล่าวถึงข้างต้น ผลลัพธ์ของคำถามตัวอย่างจะถูกประเมินสำหรับความแม่นยำ ซึ่งถูกกำหนดเป็น การยึดมั่นในความจริง

กระบวนการฝึกอบรมสำหรับ FCG: โมเดลภาษาสร้างคำตอบเริ่มต้น หักออกเป็นข้อเท็จจริงแบบอะตอม จัดอันดับตามความมั่นใจ และทิ้งข้อเท็จจริงที่ไม่น่าเชื่อถือที่สุดจนกว่าจะถึงระดับความจริงที่ต้องการ แหล่งที่มา

เนื่องจากไม่มีชุดข้อมูลที่มีอยู่ที่ตรงกับความต้องการของ FCG ผู้เขียนจึงสร้างชุดข้อมูลสังเคราะห์โดยให้โมเดลภาษา GPT-4^† สร้างคำตอบที่ไม่มีข้อจำกัดก่อน แล้วลบข้อเท็จจริงที่มีความมั่นใจต่ำที่สุดออกจนกว่าจะถึงระดับความแม่นยำที่ต้องการ

งานก่อนหน้านี้แนะนำว่าการฝึกเพียงบน ข้อมูลที่ถูกต้อง อาจทำให้โมเดล มีความจริงน้อยลง โดยการขัดขวางไม่ให้พวกมันให้ข้อมูลเพิ่มเติมใดๆ

โดยการนำกระบวนการแก้ไขนี้ไปใช้กับระดับความมั่นใจที่ต้องการตั้งแต่ 10% ถึง 100% ชุดข้อมูลสังเคราะห์ถูกสร้างขึ้น โดยแต่ละคำถามจะถูกจับคู่กับคำตอบที่ผ่านการกรองหลายแบบ

ในแต่ละเวอร์ชัน จะเก็บเฉพาะข้อเท็จจริงที่โมเดลถือว่ามีความน่าเชื่อถือเพียงพอที่จะตอบสนองระดับความจริงที่ต้องการ และตัวอย่างเหล่านี้จะถูกใช้เป็นข้อมูลฝึกอบรมสำหรับการฝึกอบรมแบบกำกับ

ชุดข้อมูลสุดท้ายประกอบด้วย 3,302 (คำถาม, การควบคุม, คำตอบ) ทริปเปิลสำหรับการฝึกอบรม และ 396 สำหรับการ ตรวจสอบ ซึ่งสร้างจาก 500 เอนติตี้ที่แบ่งออกเป็น 450 สำหรับการฝึกอบรมและ 50 สำหรับการพัฒนา และใช้เอนติตี้ที่แตกต่างกัน 183 รายการสำหรับการทดสอบ

การฝึกอบรมและการทดสอบ

ผู้เขียนได้ฝึกโมเดล Mistral-7B-Instruct-v0.2 ที่ระดับการเรียนรู้ต่างๆ (3e-6, 1e-5, 3e-5) เพื่อให้ได้ระดับการเรียนรู้ที่เหมาะสม (ไม่ระบุ) สำหรับ 30 รอบการฝึก โดยมีขนาด แบตช์ 256 (หมายเหตุ อุปกรณ์ฝึกอบรมไม่ได้ระบุ)

FCG ถูกทดสอบกับสองบรรทัดฐานแรก คือ การควบคุมความจริงไม่มี (NFC) โดยที่โมเดลถูกส่งคำสั่งเช่น เล่าเรื่องราวชีวิตของ X โดยไม่มีการกล่าวถึงความแม่นยำหรือความมั่นใจ ซึ่งสะท้อนถึงพฤติกรรมเริ่มต้นของโมเดลภาษาโดยไม่มีกลไกในการกรองหรือจำกัด

วิธีที่สองเรียกว่า การอนุมานที่ควบคุมความจริง (FCI) โดยใช้คำสั่งระดับความมั่นใจที่เหมือนกันโดยไม่มีการฝึกอบรม เช่น โมเดลอาจถูกส่งคำสั่ง ให้ข้อมูลที่คุณมั่นใจ 90% ในกรณีนี้ คำสั่งจะเหมือนกับที่ใช้ในการฝึกอบรม แต่โมเดลไม่ได้รับการเปิดเผยต่อข้อจำกัดเหล่านี้มาก่อน

การเปรียบเทียบสามวิธีที่ถูกทดสอบ: บรรทัดฐานที่ไม่มีการควบคุม วิธีที่ใช้คำสั่งความจริงโดยไม่มีการฝึกอบรม และโมเดลที่ฝึกอบรมแล้วที่เรียนรู้ที่จะปฏิบัติตามการตั้งค่าความแม่นยำผ่านการเปิดเผยต่อข้อมูลที่ผ่านการกรอง

ในตอนแรก การทดสอบถูกทำสำหรับ การยึดมั่นในความจริง

ประสิทธิภาพที่ระดับความมั่นใจสามระดับ โมเดลที่ฝึกอบรมแล้วเป็นโมเดลเดียวที่สามารถสร้างผลลัพธ์ที่มีความจริง 100% และมีประสิทธิภาพมากกว่าบรรทัดฐานทั้งสองในระดับที่สูงกว่า

เมื่อทดสอบกับระดับความมั่นใจ 80%, 90% และ 100% โมเดลที่ฝึกอบรมแล้วเป็นโมเดลเดียวที่สามารถตอบสนองระดับความมั่นใจที่ต้องการได้อย่างต่อเนื่อง การเพิ่มคำสั่งความมั่นใจโดยไม่มีการฝึกอบรมไม่ได้ช่วย และในบางกรณีทำให้สถานการณ์เลวร้ายลง เช่น เมื่อใช้คำสั่ง ให้ข้อมูลที่คุณมั่นใจ 90% มีเพียง 3.8% ของผลลัพธ์ที่ตอบสนองระดับความมั่นใจ 90% เมื่อเทียบกับ 5.5% ของบรรทัดฐานที่ไม่มีการควบคุม

สิ่งนี้ชี้ให้เห็นว่าผู้เขียนระบุว่าโมเดล Mistral-7B ต้นแบบไม่สามารถตีความคำสั่งเช่น ให้ข้อมูลที่คุณมั่นใจ 90% ได้อย่างมีประโยชน์ และคำสั่งเพิ่มเติมอาจทำให้ผลลัพธ์เสียหาย

ในทางกลับกัน โมเดลที่ฝึกอบรมแล้วตอบสนองต่อสัญญาณควบคุมอย่างน่าเชื่อถือ โดยสร้างผลลัพธ์ที่มีความจริง 18.7% ที่ระดับความมั่นใจ 80%, 12.6% ที่ระดับความมั่นใจ 90% และ 23.6% ที่ระดับความมั่นใจ 100% และเป็นวิธีเดียวที่สามารถสร้างผลลัพธ์ที่มีความจริง 100% ได้

‘การปรับปรุงเหล่านี้แสดงให้เห็นว่าความสามารถในการควบคุมความจริงสามารถถูกฝึกอบรมได้จริงๆ โมเดล FCG ได้เรียนรู้ที่จะปรับเปลี่ยนเนื้อหาของตนและรวมเฉพาะข้อเท็จจริงที่มีความน่าเชื่อถือเท่านั้น ในขณะที่โมเดลที่ไม่ได้รับการฝึกอบรมไม่สามารถใช้สัญญาณควบคุมได้อย่างมีประสิทธิภาพ’

ในการทดสอบที่แยกออกมาเพื่อยืนยันว่าโมเดลได้เรียนรู้ที่จะตีความสัญญาณควบคุมหรือไม่ ผู้วิจัยตรวจสอบว่าความจริงโดยเฉลี่ยของผลลัพธ์จะเพิ่มขึ้นเมื่อระดับความมั่นใจที่ต้องการสูงขึ้นหรือไม่

ไม่มีรูปแบบที่ปรากฏขึ้นก่อนการฝึกอบรม แต่หลังจากการฝึกอบรมแล้ว ผลลัพธ์แสดงให้เห็นถึงแนวโน้มที่เพิ่มขึ้นอย่างต่อเนื่อง โดยระดับความมั่นใจที่สูงขึ้นทำให้เกิดผลลัพธ์ที่มีความจริงมากขึ้น

เมื่อระดับความมั่นใจที่ต้องการเพิ่มขึ้น โมเดลที่ฝึกอบรมแล้วสร้างผลลัพธ์ที่มีความจริงมากขึ้น ในขณะที่โมเดลบรรทัดฐานไม่แสดงการเปลี่ยนแปลงที่สม่ำเสมอในระดับที่สูงขึ้น

การแลกเปลี่ยนระหว่างความจริงและ ‘ความมีรายละเอียด’ ก็ถูกตรวจสอบด้วย ผลลัพธ์ถูกประเมินไม่เพียงแต่สำหรับความแม่นยำเท่านั้น แต่ยังรวมถึงจำนวนข้อมูลที่ยืนยันไว้ด้วย

การเปรียบเทียบความจริงและความมีรายละเอียดที่สามวิธี โมเดลที่ฝึกอบรมแล้วพบว่ามีความสมดุลที่ดีกว่าระหว่างความจริงและรายละเอียดมากกว่าบรรทัดฐานทั้งสอง ในระดับความมั่นใจที่สูงขึ้น มีข้อมูลที่มีความจริงมากขึ้นที่ถูกเก็บไว้ และในระดับที่สูงสุด เป็นวิธีเดียวที่สามารถสร้างผลลัพธ์ที่มีความจริง 100% ได้โดยไม่ทำให้ผลลัพธ์เป็นค่าว่าง

ที่ระดับความมั่นใจ 90% มีข้อมูลที่มีความจริงมากกว่าในโมเดล FCG มากกว่าวิธีอื่นๆ และในระดับความมั่นใจที่สูงขึ้น ไม่มีบรรทัดฐานใดที่สามารถสร้างผลลัพธ์ที่ดีกว่าได้

ความแตกต่างที่เห็นได้ชัดเจนที่สุดคือที่ระดับความมั่นใจที่สูงสุด โดยที่ FCG ยังคงสร้างผลลัพธ์ที่มีความมีรายละเอียด ในขณะที่บรรทัดฐานที่มีคำสั่งเพียงอย่างเดียวถูกบังคับให้ลบผลลัพธ์ทั้งหมดออกไป

ในทางกลับกัน โมเดลที่ฝึกอบรมแล้วสามารถปรับเปลี่ยนผลลัพธ์ของตนเพื่อรักษาเฉพาะข้อเท็จจริงที่มีความน่าเชื่อถือเท่านั้น และหลีกเลี่ยงการล่มสลายลงสู่ความเงียบซึ่งเกิดขึ้นกับโมเดลอื่นๆ

ความจริงถูกควบคุมโดยการตั้งค่าความมั่นใจ ในขณะที่ความมีรายละเอียดถูกเพิ่มสูงสุดโดยการรวมข้อมูลที่มีความน่าเชื่อถือมากที่สุดเท่าที่จะเป็นไปได้ ในระดับความมั่นใจที่สูงขึ้น มีเพียงข้อเท็จจริงที่เชื่อถือได้เท่านั้นที่ถูกเก็บไว้ ในขณะที่ในระดับที่ต่ำกว่า มีข้อมูลที่มีความไม่แน่นอนมากกว่าที่ถูกเพิ่มเข้ามา ทำให้ผลลัพธ์ยาวขึ้นแต่มีความแม่นยำน้อยลง

ผู้เขียนสรุปว่า:

‘เมื่อมีการตั้งค่าความมั่นใจที่สูง โมเดลจะให้ความสำคัญกับข้อเท็จจริงที่สามารถยืนยันได้ ในขณะเดียวกันก็รวมข้อมูลที่เกี่ยวข้องมากที่สุดเท่าที่จะเป็นไปได้ ในทางกลับกัน เมื่อมีการตั้งค่าความมั่นใจที่ต่ำ โมเดลมีความยืดหยุ่นในการรวมข้อมูลที่หลากหลาย รวมถึงข้อมูลที่มีความไม่แน่นอนหรือมีความเป็นไปได้มากขึ้น ซึ่งนำไปสู่ความมีรายละเอียดที่สูงขึ้น แต่ต้องแลกมาด้วยความแม่นยำบางส่วน’

‘พฤติกรรมนี้สอดคล้องกับการออกแบบข้อมูลฝึกอบรมของเรา เนื่องจากเราลบข้อเท็จจริงที่ไม่น่าเชื่อถือที่สุดออกเสมอ โมเดลจึงเรียนรู้ว่า “ถ้าคุณต้องมีความจริง x% ให้ลบข้อเท็จจริงที่ไม่น่าเชื่อถือที่สุดออก แต่เก็บทุกอย่างที่เหลือไว้” ‘

เอกสารนี้ปิดท้ายด้วยความหวังว่าวิธีการใหม่นี้จะถูกทดลองกับโมเดลขนาดใหญ่ขึ้นและนำไปใช้กับงานที่ซับซ้อนมากขึ้น

สรุป

วิธีแก้ปัญหาที่นำเสนอที่นี่จัดการกับปัญหาที่รุนแรงและเป็นที่รู้จักของโมเดลภาษาขนาดใหญ่หลายรุ่น คือ ความสามารถในการให้คำตอบที่มีความแม่นยำและความจริงที่ไม่สอดคล้องกัน โดยดูเหมือนว่า ‘พูดมาก’ เพื่อ ‘รักษาความสนทนา’ และนำเสนอข้อมูลที่ล้าสมัยหรือไม่ถูกต้องเป็นข้อเท็จจริง

สำหรับผู้ใช้ ChatGPT คำตอบที่มั่นใจใดๆ ที่ไม่ได้เริ่มต้นด้วยการปรากฏของ ‘การค้นหาทางเว็บ’ จะมาจากข้อมูลที่มีอยู่ในโมเดลหรืออาจเป็น ‘การหลอกลวง’ ได้

อย่างไรก็ตาม การค้นหาทางเว็บจะเพิ่มความล่าช้าและต้นทุนการทำงานของโมเดล และผู้ใช้ทราบว่าการค้นหาทางเว็บจะดำเนินการแบบเลือกหรือตามคำขอ หรือเป็น ‘การตั้งค่าพิเศษ’ ที่อาจมีค่าใช้จ่ายเพิ่มเติม

ไม่ว่าในกรณีใด การเศรษฐศาสตร์ภายในเช่นนี้อาจมีผลกระทบอย่างมีนัยสำคัญต่อคำถามโมเดลภาษาขนาดใหญ่ในโดเมนหรือประเภทคำถามบางอย่าง

วิธีการใดๆ ที่สามารถกำหนดสเคมาที่เกี่ยวข้องกับความแม่นยำของผลลัพธ์ได้นั้นเป็นงานวิจัยที่ต้อนรับอย่างยิ่ง

* การแปลงอ้างอิงแบบอินไลน์ของผู้เขียนเป็นลิงก์

^† ไม่ได้ระบุหมายเลขรุ่นเต็ม

เผยแพร่ครั้งแรกวันศุกร์ที่ 6 กุมภาพันธ์ 2026 แก้ไขภายในห้านาทีสำหรับการซ้ำคำ