การกระตุ้นเชิงอุปมาและย้อนกลับ: การสำรวจความก้าวหน้าล่าสุดโดย Google DeepMind

การแนะนำ

วิศวกรรมคำสั่งซื้อมุ่งเน้นไปที่การสร้างคำสั่งซื้อที่มีประสิทธิภาพเพื่อช่วยให้โมเดลภาษาขนาดใหญ่ (LLMs) เช่น GPT-4 ในการสร้างคำตอบที่ต้องการ คำสั่งซื้อที่สร้างขึ้นด้วยความระมัดระวังสามารถเป็นความแตกต่างระหว่างคำตอบที่คลุมเครือหรือไม่ถูกต้องและคำตอบที่แม่นยำและลึกซึ้ง

ในระบบนิเวศที่กว้างขึ้นของ AI วิศวกรรมคำสั่งซื้อเป็นหนึ่งในหลายวิธีที่ใช้ในการดึงข้อมูลที่แม่นยำและเกี่ยวข้องมากขึ้นจากโมเดลภาษา วิธีอื่นๆ รวมถึงเทคนิคเช่นการเรียนรู้เพียงไม่กี่ครั้ง โดยที่โมเดลได้รับตัวอย่างเพียงไม่กี่ตัวอย่างเพื่อช่วยให้เข้าใจงาน และการปรับให้เหมาะสม โดยที่โมเดลได้รับการฝึกอบรมเพิ่มเติมบนชุดข้อมูลที่เล็กกว่าเพื่อชำนาญคำตอบ

Google DeepMind (GOOGL ) ได้ตีพิมพ์เอกสารวิจัยสองฉบับล่าสุดเกี่ยวกับวิศวกรรมคำสั่งซื้อและศักยภาพในการเพิ่มประสิทธิภาพการตอบสนองในหลายสถานการณ์

เอกสารวิจัยเหล่านี้เป็นส่วนหนึ่งของการสำรวจอย่างต่อเนื่องในุมชน AI เพื่อปรับปรุงและเพิ่มประสิทธิภาพวิธีการสื่อสารกับโมเดลภาษา และให้ข้อมูลเชิงลึกใหม่ๆ เกี่ยวกับการสร้างคำสั่งซื้อสำหรับการจัดการคำถามและโต้ตอบฐานข้อมูลที่ดีขึ้น

บทความนี้จะเจาะลึกรายละเอียดของเอกสารวิจัยเหล่านี้ โดยอธิบายแนวคิด วิธีการ และผลกระทบของเทคนิคที่เสนอ ทำให้เข้าถึงได้แม้สำหรับผู้อ่านที่มีความรู้จำกัดใน AI และ NLP

เอกสารที่ 1: โมเดลภาษาขนาดใหญ่ในฐานะนักให้เหตุผลเชิงอุปมา

เอกสารฉบับแรกที่มีชื่อว่า “โมเดลภาษาขนาดใหญ่ในฐานะนักให้เหตุผลเชิงอุปมา” นำเสนอแนวทางใหม่ในการกระตุ้นเชิงอุปมา (Analogical Prompting) ผู้เขียน Michihiro Yasunaga, Xinyun Chen และคนอื่นๆ ได้รับแรงบันดาลใจจากกระบวนการให้เหตุผลเชิงอุปมา – กระบวนการทาง认知ที่มนุษย์ใช้ประสบการณ์ในอดีตเพื่อแก้ปัญหาใหม่

แนวคิดหลักและวิธีการ

การกระตุ้นเชิงอุปมากระตุ้นให้ LLMs สร้างตัวอย่างหรือความรู้ที่เกี่ยวข้องในบริบทก่อนที่จะแก้ปัญหา นี้ช่วยกำจัดความจำเป็นในการมีตัวอย่างที่มีฉลาก และนำเสนอความสะดวกและความยืดหยุ่นในการปรับเปลี่ยนตัวอย่างที่สร้างขึ้นให้เหมาะสมกับปัญหาแต่ละข้อ

ซ้าย: วิธีการกระตุ้นแบบดั้งเดิมของ LLMs พึ่งพาเข้าข้อมูลทั่วไป (0-shot CoT) หรือต้องการตัวอย่างที่มีฉลาก (few-shot CoT) ขวา: วิธีการใหม่กระตุ้นให้ LLMs สร้างตัวอย่างที่เกี่ยวข้องก่อนที่จะแก้ปัญหา โดยไม่ต้องมีการระบุฉลากและปรับเปลี่ยนตัวอย่างให้เหมาะสมกับปัญหาแต่ละข้อ

ตัวอย่างที่สร้างขึ้นเอง

เทคนิคแรกที่นำเสนอในเอกสารคือตัวอย่างที่สร้างขึ้นเอง ความคิดคือการใช้ความรู้ที่กว้างขวางที่ LLMs ได้รับระหว่างการฝึกอบรมเพื่อช่วยให้พวกมันแก้ปัญหาใหม่ๆ กระบวนการนี้เกี่ยวข้องกับการเพิ่มคำสั่งซื้อด้วยคำแนะนำที่กระตุ้นให้โมเดลระลึกหรือสร้างปัญหาและคำตอบที่เกี่ยวข้อง

ตัวอย่างเช่น เมื่อมีปัญหา โมเดลจะถูกสั่งให้ระลึกถึงปัญหาและคำตอบที่เกี่ยวข้องสามข้อที่แตกต่างกัน และอธิบายวิธีแก้ปัญหา นี่เป็นกระบวนการที่ออกแบบมาเพื่อทำงานในครั้งเดียว ทำให้ LLMs สามารถสร้างตัวอย่างที่เกี่ยวข้องและแก้ปัญหาได้อย่างราบรื่น

การกระตุ้นเชิงอุปมาเสนอวิธีการใหม่ในการสร้างตัวอย่างที่เกี่ยวข้องและปรับเปลี่ยนให้เหมาะสมกับปัญหาแต่ละข้อ โดยไม่ต้องมีการระบุฉลากหรือตัวอย่างที่มี sẵn

ความรู้และตัวอย่างที่สร้างขึ้นเอง

เทคนิคที่สองที่นำเสนอคือความรู้และตัวอย่างที่สร้างขึ้นเอง ซึ่งถูกนำมาใช้เพื่อแก้ไขปัญหาที่ซับซ้อน เช่น การสร้างโค้ด ในสถานการณ์เหล่านี้ LLMs อาจพึ่งพาตัวอย่างระดับต่ำมากเกินไปและต้องดิ้นรนในการสรุปเมื่อแก้ปัญหาเป้าหมาย เพื่อแก้ไขปัญหานี้ ผู้เขียนเสนอให้เพิ่มคำสั่งซื้อด้วยคำแนะนำเพิ่มเติมที่กระตุ้นให้โมเดลระบุแนวคิดหลักในปัญหาและให้คำแนะนำหรือแนวคิดระดับสูง

การกระตุ้นเชิงอุปมาและย้อนกลับสามารถนำไปใช้กับหลายๆ ด้าน รวมถึงการแก้ปัญหาเชิงคณิตศาสตร์ การสร้างโค้ด และการให้เหตุผลอื่นๆ

ข้อดีและประยุกต์

การกระตุ้นเชิงอุปมามีข้อดีหลายประการ มันให้ตัวอย่างที่มีรายละเอียดเกี่ยวกับการให้เหตุผลโดยไม่ต้องมีการระบุฉลาก และสามารถปรับเปลี่ยนตัวอย่างให้เหมาะสมกับปัญหาแต่ละข้อ ทำให้มีประสิทธิภาพมากกว่าวิธีการกระตุ้นแบบดั้งเดิม

เอกสารที่ 2: ย้อนกลับ: การกระตุ้นการให้เหตุผลผ่านการย่อแบบในโมเดลภาษาขนาดใหญ่

ภาพรวม

เอกสารที่สอง “ย้อนกลับ: การกระตุ้นการให้เหตุผลผ่านการย่อแบบในโมเดลภาษาขนาดใหญ่” นำเสนอเทคนิคการกระตุ้นย้อนกลับ (Step-Back Prompting) ซึ่งกระตุ้นให้ LLMs ย่อแบบและระบุแนวคิดหลักจากตัวอย่างที่มีรายละเอียด ผู้เขียน Huaixiu Steven Zheng, Swaroop Mishra และคนอื่นๆ มุ่งหวังที่จะปรับปรุงความสามารถในการให้เหตุผลของ LLMs โดยการนำทางให้พวกมันตามเส้นทางการให้เหตุผลที่ถูกต้อง

การกระตุ้นย้อนกลับสามารถใช้ได้กับหลายๆ สถานการณ์ รวมถึงการแก้ปัญหาเชิงคณิตศาสตร์ การสร้างโค้ด และการให้เหตุผลอื่นๆ

แนวคิดหลักและวิธีการ

การกระตุ้นย้อนกลับกระตุ้นให้ LLMs ย่อแบบและระบุแนวคิดหลักจากตัวอย่างที่มีรายละเอียด โดยการนำทางให้พวกมันตามเส้นทางการให้เหตุผลที่ถูกต้อง

กระบวนการนี้เริ่มต้นด้วยการกระตุ้นให้ LLMs ย่อแบบจากตัวอย่างที่มีรายละเอียด และกระตุ้นให้พวกมันระบุแนวคิดหลักและหลักการ

การปรับปรุงที่สำคัญทั่วทั้งงาน

ผลลัพธ์แสดงให้เห็นถึงการปรับปรุงที่สำคัญทั่วทั้งงาน โดยการกระตุ้นย้อนกลับนำไปสู่การเพิ่มประสิทธิภาพที่สำคัญในงานต่างๆ

การแสดงผลของการกระตุ้นย้อนกลับ

สรุป

ทั้งสองเอกสารจาก Google DeepMind นำเสนอแนวทางใหม่ๆ ในการกระตุ้นคำสั่งซื้อ โดยมุ่งหวังที่จะปรับปรุงความสามารถในการให้เหตุผลของโมเดลภาษาขนาดใหญ่ การกระตุ้นเชิงอุปมาใช้แนวคิดการให้เหตุผลเชิงอุปมา โดยกระตุ้นให้ LLMs สร้างตัวอย่างและความรู้ที่เกี่ยวข้องในบริบทก่อนที่จะแก้ปัญหา ในขณะที่การกระตุ้นย้อนกลับเน้นการย่อแบบและระบุแนวคิดหลักจากตัวอย่างที่มีรายละเอียด

เอกสารวิจัยเหล่านี้ให้ข้อมูลเชิงลึกและวิธีการที่มีคุณค่าซึ่งสามารถนำไปใช้กับหลายๆ ด้าน และเป็นก้าวสำคัญในการพัฒนา AI ที่มีความสามารถและซับซ้อนมากขึ้น