ทำไมโมเดลภาษาขนาดใหญ่ (LLM) ถึงข้ามคำสั่ง และวิธีแก้ไขปัญหานี้

โมเดลภาษาขนาดใหญ่ (LLMs) ได้กลายเป็นเครื่องมือ ปัญญาประดิษฐ์ (AI) ที่จำเป็นอย่างรวดเร็ว โดยให้พลังงานแก่แอปพลิเคชันตั้งแต่แชทบอทและการสร้างเนื้อหาสู่การช่วยเหลือการเขียนโค้ด尽管ความสามารถที่น่าประทับใจ แต่ผู้ใช้กำลังเผชิญกับความท้าทายที่พบบ่อยคือโมเดลเหล่านี้บางครั้งจะข้ามส่วนหนึ่งของคำสั่งที่ได้รับ โดยเฉพาะอย่างยิ่งเมื่อคำสั่งเหล่านั้นมีความยาวหรือเกี่ยวข้องกับหลายขั้นตอน การข้ามสิ่งนี้นำไปสู่การผลิตที่ไม่สมบูรณ์หรือไม่ถูกต้อง ซึ่งสามารถทำให้เกิดความสับสนและกัดกร่อนความไว้วางใจในระบบ AI ได้ การทำความเข้าใจว่าทำไม LLMs จึงข้ามคำสั่งและวิธีแก้ไขปัญหานี้จึงจำเป็นสำหรับผู้ใช้ที่พึ่งพาโมเดลเหล่านี้เพื่อให้ได้ผลลัพธ์ที่แม่นยำและเชื่อถือได้

ทำไม LLMs ถึงข้ามคำสั่ง?

LLMs ทำงานโดยการอ่านข้อความอินพุตเป็นลำดับของโทเค็น โทเค็นคือชิ้นส่วนเล็กๆ ที่ข้อความถูกแบ่งออกเป็น โมเดลประมวลผลโทเค็นเหล่านี้ต่อเนื่องกันจากต้นจนจบ ซึ่งหมายความว่าคำสั่งที่อยู่ต้นข้อความอินพุตมักจะได้รับความสนใจมากกว่า คำสั่งหลังอาจได้รับความสนใจน้อยและถูกเพิกเฉย

สิ่งนี้เกิดขึ้นเนื่องจาก LLMs มีความสามารถในการจัดความสนใจที่จำกัด ความสนใจคือกลไกที่โมเดลใช้ในการตัดสินใจว่าส่วนใดของอินพุตที่สำคัญที่สุดเมื่อสร้างคำตอบ เมื่ออินพุตสั้น ความสนใจจะทำงานได้ดี แต่เมื่ออินพุตยาวขึ้นหรือคำสั่งซับซ้อน ความสนใจจะลดลง ทำให้ความสนใจในขั้นตอนหลังลดลงและทำให้เกิดการข้าม

นอกจากนี้ คำสั่งหลายคำสั่งในครั้งเดียวจะเพิ่มความซับซ้อน เมื่อคำสั่งซ้อนกันหรือขัดแย้ง โมเดลอาจสับสน พวกเขาอาจพยายามตอบทุกอย่าง แต่สร้างคำตอบที่คลุมเครือหรือขัดแย้งกัน ซึ่งมักจะส่งผลให้ข้ามคำสั่งบางส่วน

LLMs ยังมีข้อจำกัดที่คล้ายกับมนุษย์ ตัวอย่างเช่น มนุษย์สามารถสูญเสียความสนใจเมื่ออ่านข้อความที่ยาวหรือซ้ำซาก ในทำนองเดียวกัน LLMs สามารถ “ลืม” คำสั่งหลังได้เมื่อประมวลผลโทเค็นมากขึ้น การสูญเสียความสนใจนี้เป็นส่วนหนึ่งของการออกแบบและข้อจำกัดของโมเดล

อีกเหตุผลหนึ่งคือวิธีการฝึกอบรม LLMs พวกเขามองเห็นตัวอย่างคำสั่งง่ายๆ มากกว่าคำสั่งที่ซับซ้อนและหลายขั้นตอน เนื่องจากสิ่งนี้ โมเดลมักจะชอบปฏิบัติตามคำสั่งที่ง่ายกว่าที่พบมากขึ้นในข้อมูลการฝึกอบรมของพวกเขา ความลำเอียงนี้ทำให้พวกเขาข้ามคำสั่งที่ซับซ้อน นอกจากนี้ ขีดจำกัดโทเค็นยังจำกัดปริมาณอินพุตที่โมเดลสามารถประมวลผลได้ เมื่ออินพุตเกินขีดจำกัดนี้ คำสั่งที่อยู่นอกขีดจำกัดจะถูกละเว้น

ตัวอย่าง: สมมติว่าคุณให้ LLM ห้าคำสั่งในพรอมต์เดียว โมเดลอาจมุ่งเน้นไปที่คำสั่งสองสามคำสั่งแรกและเพิกเฉยต่อคำสั่งสามคำสั่งสุดท้ายโดยสิ้นเชิง ซึ่งส่งผลโดยตรงต่อวิธีการประมวลผลโทเค็นแบบลำดับและข้อจำกัดด้านความสนใจของโมเดล

LLMs จัดการคำสั่งแบบลำดับตามผลการวิจัย SIFo 2024

การศึกษาล่าสุดได้ตรวจสอบอย่างรอบคอบว่า LLMs ปฏิบัติตามคำสั่งหลายคำสั่งที่ให้ตามลำดับได้ดีเพียงใด หนึ่งในการศึกษาที่สำคัญคือ Sequential Instructions Following (SIFo) Benchmark 2024 ซึ่งทดสอบโมเดลในงานที่ต้องการการดำเนินการตามลำดับของคำสั่ง เช่น การแก้ไขข้อความ การตอบคำถาม คณิตศาสตร์ และการปฏิบัติตามกฎความปลอดภัย แต่ละคำสั่งในลำดับขึ้นอยู่กับการดำเนินการคำสั่งก่อนหน้าอย่างถูกต้อง วิธีการนี้ช่วยตรวจสอบว่าโมเดลได้ปฏิบัติตามลำดับทั้งหมดอย่างเหมาะสมหรือไม่

ผลลัพธ์จาก SIFo แสดงให้เห็นว่าแม้แต่ LLMs ที่ดีที่สุด เช่น GPT-4 และ Claude-3 ก็มักจะพบว่าการดำเนินการคำสั่งทั้งหมดอย่างถูกต้องเป็นเรื่องยาก โดยเฉพาะอย่างยิ่งเมื่อคำสั่งมีความยาวหรือซับซ้อน การวิจัยชี้ให้เห็นถึงสามปัญหาหลักที่ LLMs เผชิญในการปฏิบัติตามคำสั่ง:

การทำความเข้าใจ: การเข้าใจคำสั่งแต่ละคำสั่งอย่างเต็มที่

การให้เหตุผล: การเชื่อมโยงคำสั่งหลายคำสั่งเข้าด้วยกันอย่างมีเหตุผลเพื่อรักษาความชัดเจนของคำตอบ

การผลิตที่เชื่อถือได้: การผลิตคำตอบที่สมบูรณ์และถูกต้อง ซึ่งครอบคลุมคำสั่งทั้งหมดที่ให้ไว้

เทคนิค เช่น วิศวกรรมพรอมต์ และการปรับให้เหมาะสมสามารถช่วยปรับปรุงวิธีการปฏิบัติตามคำสั่งของโมเดลได้ อย่างไรก็ตาม วิธีการเหล่านี้ไม่ได้ช่วยแก้ปัญหาการข้ามคำสั่งโดยสมบูรณ์ การใช้ การเรียนรู้แบบเสริมกำลังจากคำติชมของมนุษย์ (RLHF) สามารถปรับปรุงความสามารถของโมเดลในการตอบสนองได้อีก แต่โมเดลยังคงพบปัญหาเมื่อคำสั่งต้องการหลายขั้นตอนหรือซับซ้อนมาก

การศึกษายังแสดงให้เห็นว่า LLMs ทำงานได้ดีที่สุดเมื่อคำสั่งมีความง่าย ชัดเจน และมีการจัดระเบียบเป็นอย่างดี เมื่องานต้องใช้การให้เหตุผลแบบเชื่อมโยงหรือหลายขั้นตอน ความแม่นยำของโมเดลจะลดลง การค้นพบเหล่านี้ช่วยแนะนำวิธีการใช้ LLMs ได้ดีขึ้นและแสดงให้เห็นถึงความจำเป็นในการสร้างโมเดลที่แข็งแกร่งยิ่งขึ้นที่สามารถปฏิบัติตามคำสั่งได้อย่างแท้จริง

ทำไม LLMs ถึงข้ามคำสั่ง: ความท้าทายทางเทคนิคและข้อพิจารณาที่เป็นไปได้

LLMs อาจข้ามคำสั่งเนื่องจากปัจจัยทางเทคนิคและความเป็นไปได้ที่มีรากฐานมาจากวิธีการประมวลผลและเข้ารหัสข้อความอินพุต

ความสามารถในการจัดความสนใจที่จำกัดและความเจือจางของข้อมูล

LLMs พึ่งพา กลไกความสนใจ เพื่อกำหนดความสำคัญของส่วนต่างๆ ของอินพุต เมื่อพรอมต์สั้น ความสนใจของโมเดลมีประสิทธิภาพและมุ่งเน้น แต่เมื่อพรอมต์ยาวขึ้นหรือซ้ำซาก ความสนใจจะเจือจาง และโทเค็นหรือคำสั่งหลังจะได้รับความสนใจน้อย ทำให้ความน่าจะเป็นที่จะถูกละเว้นเพิ่มขึ้น การเจือจางของข้อมูลนี้เป็นปัญหาโดยเฉพาะอย่างยิ่งสำหรับคำสั่งที่ปรากฏท้ายพรอมต์ นอกจากนี้ โมเดลยังมี ขีดจำกัดโทเค็นที่กำหนดไว้ (เช่น 2048 โทเค็น) ข้อความใดๆ ที่เกินขีดจำกัดนี้จะถูกตัดทอนและถูกละเว้น ทำให้คำสั่งที่อยู่ท้ายพรอมต์ถูกข้ามทั้งหมด

ความซับซ้อนและความคลุมเครือของการผลิต

LLMs สามารถต่อสู้กับการผลิตคำตอบที่ชัดเจนและสมบูรณ์เมื่อเผชิญกับคำสั่งหลายคำสั่งหรือที่ขัดแย้งกัน โมเดลอาจสร้างคำตอบบางส่วนหรือคลุมเครือเพื่อหลีกเลี่ยงความขัดแย้งหรือความสับสน โดยหลีกเลี่ยงการข้ามคำสั่งบางส่วน ความคลุมเครือในการเขียนคำสั่งยังเป็นปัญหา: คำสั่งที่ไม่ชัดเจนหรือไม่แม่นยำทำให้โมเดลยากที่จะกำหนดการกระทำที่ตั้งใจไว้ ทำให้ความเสี่ยงในการข้ามหรือตีความคำสั่งบางส่วนเพิ่มขึ้น

การออกแบบพรอมต์และความไวต่อการเรียงรูปแบบ

โครงสร้างและรูปแบบของพรอมต์ยังมีบทบาทสำคัญในการปฏิบัติตามคำสั่ง การวิจัยแสดงให้เห็นว่าการเปลี่ยนแปลงเล็กๆ น้อยๆ ในวิธีการเขียนหรือจัดรูปแบบคำสั่งสามารถส่งผลกระทบอย่างมีนัยสำคัญต่อว่าโมเดลจะปฏิบัติตามคำสั่งหรือไม่
พรอมต์ที่ไม่ได้จัดโครงสร้างดี ซึ่งไม่มีการแบ่งแยกที่ชัดเจน จุดกระสุน หรือการเรียงลำดับ ทำให้โมเดลยากที่จะแยกแยะระหว่างขั้นตอน ทำให้ความเสี่ยงในการรวมหรือข้ามคำสั่งเพิ่มขึ้น การแสดงภาพภายในของโมเดลของพรอมต์ไวต่อการเปลี่ยนแปลงเหล่านี้ ซึ่งอธิบายว่าทำไมวิศวกรรมพรอมต์ (การเขียนหรือจัดรูปแบบพรอมต์ใหม่) สามารถปรับปรุงการปฏิบัติตามคำสั่งได้มากถึงแม้ว่าเนื้อหาที่ซ่อนอยู่จะยังคงเหมือนเดิม

วิธีการแก้ไขการข้ามคำสั่งใน LLMs

การปรับปรุงความสามารถของ LLMs ในการปฏิบัติตามคำสั่งอย่างถูกต้องเป็นสิ่งจำเป็นสำหรับการผลิตผลลัพธ์ที่เชื่อถือได้และแม่นยำ วิธีการปฏิบัติที่ดีที่สุดต่อไปนี้ควรพิจารณาเพื่อลดการข้ามคำสั่งและเพิ่มคุณภาพของคำตอบที่สร้างโดย AI:

งานควรแบ่งออกเป็นส่วนเล็กๆ

พรอมต์ที่ยาวหรือหลายขั้นตอนควรแบ่งออกเป็นชิ้นส่วนเล็กๆ ที่มุ่งเน้นมากขึ้น การให้คำสั่งหนึ่งหรือสองคำสั่งในครั้งเดียวช่วยให้โมเดลรักษาความสนใจได้ดีขึ้นและลดความน่าจะเป็นที่จะข้ามขั้นตอนใดๆ

ตัวอย่าง

แทนที่จะรวมคำสั่งทั้งหมดเข้าด้วยกันในพรอมต์เดียว เช่น “สรุปข้อความนี้ จดบันทึกประเด็นหลัก แนะนำการปรับปรุง และแปลเป็นภาษาฝรั่งเศส” แต่ละคำสั่งควรนำเสนอแยกกันหรือเป็นกลุ่มเล็กๆ

คำสั่งควรจัดรูปแบบโดยใช้การเรียงลำดับหรือจุดกระสุน

การจัดระเบียบคำสั่งด้วยการเรียงรูปแบบที่ชัดเจน เช่น การเรียงลำดับหรือจุดกระสุน ช่วยให้โมเดลเข้าใจว่าแต่ละรายการเป็นงานที่แตกต่างกัน ความชัดเจนนี้เพิ่มโอกาสที่คำตอบจะตอบคำสั่งทั้งหมด

ตัวอย่าง

• สรุปข้อความต่อไปนี้.
• จดบันทึกประเด็นหลัก.
• แนะนำการปรับปรุง.

การเรียงรูปแบบนี้ให้สัญญาณภาพที่ช่วยโมเดลในการรับรู้และแยกงานที่แตกต่างกันภายในพรอมต์

คำสั่งควรชัดเจนและไม่คลุมเครือ

เป็นสิ่งจำเป็นที่คำสั่งจะระบุอย่างชัดเจนถึงความจำเป็นในการดำเนินการตามทุกขั้นตอน คำสั่งที่คลุมเครือหรือไม่ชัดเจนควรหลีกเลี่ยง พรอมต์ควรระบุอย่างชัดเจนว่าไม่อนุญาตให้ข้ามขั้นตอนใดๆ

ตัวอย่าง

“กรุณาดำเนินการตามทุกงานทั้งสามงานด้านล่าง การข้ามขั้นตอนใดๆ ไม่ได้รับอนุญาต”

คำสั่งโดยตรงเช่นนี้ลดความสับสนและกระตุ้นให้โมเดลให้คำตอบที่สมบูรณ์

ควรใช้พรอมต์แบบแยกสำหรับงานที่สำคัญหรือวิกฤต

ควรส่งคำสั่งแต่ละรายการเป็นพรอมต์แบบแยกสำหรับงานที่ความแม่นยำและความสมบูรณ์เป็นสิ่งสำคัญ แม้ว่าวิธีการนี้อาจเพิ่มเวลาในการโต้ตอบ แต่ก็ปรับปรุงความน่าจะเป็นที่จะได้ผลลัพธ์ที่สมบูรณ์และแม่นยำอย่างมาก วิธีการนี้รับประกันว่าโมเดลมุ่งเน้นไปที่งานหนึ่งๆ ในแต่ละครั้ง ลดความเสี่ยงในการข้ามคำสั่ง

กลยุทธ์ที่ซับซ้อนในการสร้างสมดุลระหว่างความสมบูรณ์และประสิทธิภาพ

การรอคำตอบหลังจากคำสั่งแต่ละคำสั่งอาจใช้เวลานานสำหรับผู้ใช้ เพื่อปรับปรุงประสิทธิภาพในขณะเดียวกันก็รักษาความชัดเจนและลดการข้ามคำสั่ง เทคนิคการพรอมต์ที่ซับซ้อนต่อไปนี้อาจมีประสิทธิภาพ:

การรวมคำสั่งด้วยการเรียงรูปแบบที่ชัดเจนและป้ายกำกับอย่างชัดเจน

คำสั่งหลายคำสั่งที่เกี่ยวข้องกันสามารถรวมเข้าด้วยกันเป็นพรอมต์เดียว แต่ละคำสั่งควรแยกออกโดยใช้การเรียงลำดับหรือหัวข้อ พรอมต์ควรสั่งให้โมเดลตอบคำสั่งทั้งหมดอย่างสมบูรณ์และตามลำดับ

ตัวอย่างพรอมต์

กรุณาดำเนินการตามทุกงานต่อไปนี้อย่างระมัดระวังโดยไม่ข้ามงานใดๆ:

1. สรุปข้อความด้านล่าง.
2. จดบันทึกประเด็นหลักจากสรุปของคุณ.
3. แนะนำการปรับปรุงตามประเด็นหลัก.
4. แปลข้อความที่ปรับปรุงแล้วเป็นภาษาฝรั่งเศส.

พรอมต์แบบลำดับการคิด

พรอมต์แบบลำดับการคิดช่วยให้โมเดลให้เหตุผลผ่านแต่ละงานก่อนที่จะให้คำตอบ การกระตุ้นให้โมเดลประมวลผลคำสั่งแบบลำดับภายในคำตอบเดียวช่วยให้แน่ใจว่าไม่มีขั้นตอนใดถูกข้าม ลดความเสี่ยงในการข้ามคำสั่งและปรับปรุงความสมบูรณ์

ตัวอย่างพรอมต์

อ่านข้อความด้านล่างและดำเนินการตามงานต่อไปนี้ตามลำดับ: แสดงการทำงานของคุณอย่างชัดเจน:

• สรุปข้อความ.
• ระบุประเด็นหลักจากสรุปของคุณ.
• แนะนำการปรับปรุงข้อความ.
• แปลข้อความที่ปรับปรุงแล้วเป็นภาษาฝรั่งเศส.

กรุณาตอบงานทั้งหมดอย่างสมบูรณ์และแยกจากกันในคำตอบเดียว

การเพิ่มคำสั่งการเสร็จสิ้นและการเตือน

ควรเตือนโมเดลให้:

• “ตอบงานทุกงานอย่างสมบูรณ์”
• “ไม่ข้ามคำสั่งใดๆ”
• “แยกคำตอบของคุณอย่างชัดเจน”

การเตือนเหล่านี้ช่วยให้โมเดลมุ่งเน้นไปที่ความสมบูรณ์เมื่อรวมคำสั่งหลายคำสั่ง

ควรทดสอบโมเดลและตั้งค่าพารามิเตอร์ที่แตกต่างกัน

ไม่ใช่ทุก LLMs ที่ทำงานได้ดีเท่ากันในการปฏิบัติตามคำสั่งหลายคำสั่ง ควรประเมินโมเดลต่างๆ เพื่อระบุโมเดลที่โดดเด่นในการทำงานหลายขั้นตอน นอกจากนี้ การปรับพารามิเตอร์ เช่น อุณหภูมิ โทเค็นสูงสุด และพรอมต์ระบบ อาจปรับปรุงความสนใจและความสมบูรณ์ของคำตอบได้อีก การทดสอบการตั้งค่าเหล่านี้ช่วยปรับพฤติกรรมของโมเดลให้เหมาะสมกับความต้องการงานเฉพาะ

การปรับให้เหมาะสมของโมเดลและการใช้เครื่องมือภายนอกควรพิจารณา

ควรปรับให้เหมาะสมของโมเดลในเซตข้อมูลที่รวมคำสั่งหลายขั้นตอนหรือแบบลำดับเพื่อปรับปรุงการปฏิบัติตามคำสั่งที่ซับซ้อน เทคนิค เช่น RLHF สามารถเพิ่มการปฏิบัติตามคำสั่งได้
สำหรับการใช้งานขั้นสูง การบูรณาการเครื่องมือภายนอก เช่น API ปลั๊กอินเฉพาะงาน หรือ ระบบการสร้างแบบเพิ่มการค้นหา (RAG) อาจให้ข้อมูลเพิ่มเติมและควบคุมได้มากขึ้น ทำให้การผลิตที่เชื่อถือได้และแม่นยำยิ่งขึ้น

สรุป

LLMs เป็นเครื่องมือที่ทรงพลัง แต่สามารถข้ามคำสั่งได้เมื่อพรอมต์ยาวหรือซับซ้อน สิ่งนี้เกิดขึ้นเนื่องจากวิธีการอ่านอินพุตและจัดความสนใจของพวกเขา คำสั่งควรชัดเจน ง่าย และมีการจัดระเบียบดีสำหรับผลลัพธ์ที่ดีกว่าและเชื่อถือได้ การแบ่งงานออกเป็นส่วนเล็กๆ การใช้รายการและการให้คำสั่งโดยตรงช่วยให้โมเดลปฏิบัติตามขั้นตอนอย่างสมบูรณ์

พรอมต์แบบแยกสามารถปรับปรุงความแม่นยำสำหรับงานที่สำคัญได้ แม้ว่าจะใช้เวลานานกว่าก็ตาม นอกจากนี้ วิธีการพรอมต์ที่ซับซ้อน เช่น ลำดับการคิดและการจัดรูปแบบที่ชัดเจน ช่วยให้สมดุลระหว่างความเร็วและความแม่นยำได้ นอกจากนี้ การทดสอบโมเดลที่แตกต่างกันและการปรับให้เหมาะสมยังสามารถปรับปรุงผลลัพธ์ได้ เหล่านี้จะช่วยให้ผู้ใช้ได้รับคำตอบที่สม่ำเสมอและสมบูรณ์ และทำให้เครื่องมือ AI มีประโยชน์มากขึ้นในการทำงานจริง