การออกแบบ Prompt ใน AI คืออะไรและทำไมจึงสำคัญ?

การออกแบบ Prompt คือการออกแบบ การทดสอบ และการบำรุงรักษาข้อมูลนำเข้าและบริบทโดยรอบของโมเดล เพื่อให้ระบบ AI ทำงานตามภารกิจที่กำหนดได้อย่างน่าเชื่อถือสำหรับการใช้งานของมัน Prompt ที่ใช้ในผลิตภัณฑ์อาจรวมถึงคำสั่งระบบ ข้อมูลผู้ใช้ ตัวอย่าง เอกสารที่ดึงมา คำอธิบายเครื่องมือ โครงสร้างผลลัพธ์ และข้อจำกัดด้านความปลอดภัย

การใช้ Prompt จะเปลี่ยนบริบท ไม่ได้เปลี่ยนพารามิเตอร์ที่โมเดลได้เรียนรู้ มันสามารถทำให้พฤติกรรมชัดเจนและง่ายต่อการประเมินได้มากขึ้น แต่ไม่สามารถรับประกันความจริง ปราศจากอคติจากการฝึก หรือเปิดเผยเหตุผลภายในของโมเดลได้อย่างเชื่อถือได้

ประเด็นสำคัญ

• กำหนดภารกิจ ผู้ชม หลักฐาน และสัญญาผลลัพธ์ก่อนปรับแต่งคำพูด
• ใช้ลำดับขั้นตอนคำสั่งที่ชัดเจน แยกข้อมูลที่ไม่น่าเชื่อถือออก และให้ตัวอย่างที่เป็นตัวแทนเฉพาะเมื่อจำเป็น
• ถือผลลัพธ์การดึงข้อมูลและผลลัพธ์จากเครื่องมือเป็นข้อมูลที่ไม่น่าเชื่อถือ ต้องผ่านการอนุญาตและการตรวจสอบ
• เวอร์ชัน Prompt และประเมินผลบนชุดทดสอบที่เป็นตัวแทนคงที่ทุกครั้งที่โมเดลหรือเวิร์กโฟลว์มีการเปลี่ยนแปลง

สร้างลำดับขั้นตอนคำสั่ง

แยกนโยบายการใช้งานที่คงที่ออกจากคำขอของผู้ใช้และจากเนื้อหาภายนอก ระบุบทบาท ภารกิจ ข้อจำกัด แหล่งข้อมูลที่อนุญาต เงื่อนไขการปฏิเสธ และรูปแบบที่ต้องการ แยกเอกสารหรือ ตัวอย่างออกเพื่อให้ข้อความของพวกมันไม่น่าถูกสับสนกับคำสั่ง

อย่าเพิ่มรายละเอียดเพียงเพื่อทำให้ Prompt ยาวเปล่า วัตถุประสงค์ที่คลุมเครือต้องการการชี้แจงผลิตภัณฑ์; ความต้องการที่ขัดแย้งกันต้องกำหนดลำดับความสำคัญ Prompt ที่ดีทำให้กระบวนการตัดสินใจที่ตั้งใจสามารถทดสอบได้

ตัวอย่าง การแยกส่วนและผลลัพธ์ที่เป็นโครงสร้าง

ตัวอย่างแบบ few-shot สามารถแสดงป้ายกำกับ น้ำเสียง หรือการจัดการกรณีขอบได้ ควรครอบคลุมความหลากหลายที่มีความหมายและหลีกเลี่ยงการรั่วไหลของคำตอบการทดสอบ การใช้ในบริบทนี้แตกต่างจาก การเรียนรู้แบบ few-shot แบบคลาสสิกที่ปรับตัวตามช่วงการสนับสนุน/สอบถาม

งานที่ซับซ้อนสามารถแยกเป็นขั้นตอนการดึงข้อมูล การสกัดข้อมูล การคำนวณ และการตรวจสอบ ขอให้มีสกีม่าเมื่อโค้ดต่อเนื่องต้องการฟิลด์ แล้วตรวจสอบผลลัพธ์ที่แปลงแล้ว สกีม่าเป็นการควบคุมรูปแบบ ไม่ได้ควบคุมความถูกต้องของข้อเท็จจริง

การดึงข้อมูลและการใช้เครื่องมือ

การดึงข้อมูลให้หลักฐานที่เป็นปัจจุบันหรือเป็นส่วนตัว; เครื่องมือทำให้โมเดลคำนวณ ค้นหา หรือกระทำ ให้บริบทที่จำเป็นเท่านั้น รักษาตัวระบุแหล่งที่มาของข้อมูลและกำหนดให้ต้องมีการอ้างอิงเมื่อผู้ใช้ต้องการตรวจสอบข้ออ้างอิง

ใช้หลักการน้อยที่สุดในการให้สิทธิ์และยืนยันการกระทำที่สำคัญ หน้าบทความ ภาพไฟล์ และผลลัพธ์จากเครื่องมืออาจมีการฉีด Prompt ดังนั้นให้ถือว่าเป็นข้อมูล ไม่ใช่อำนาจ แอปพลิเคชัน—not the transformer—เป็นผู้บังคับใช้สิทธิ์

ประเมินแทนการคาดเดา

สร้างกรณีทดสอบจากภารกิจจริง ความล้มเหลวที่รู้จัก และอินพุตที่เป็นการโจมตี ประเมินความถูกต้อง ความครบถ้วน การสนับสนุนด้วยการอ้างอิง รูปแบบ ความปลอดภัย ความล่าช้าและต้นทุน ใช้การตรวจสอบโดยมนุษย์แบบบลายด์เมื่อจำเป็นและบันทึกความไม่เห็นด้วย

รันชุดเดียวกันบนเวอร์ชัน Prompt และโมเดลต่าง ๆ เนื่องจากผลลัพธ์แบบสโตคาสติกอาจแปรผัน ใช้การทดลองซ้ำสำหรับภารกิจที่ไม่เสถียร ติดตามการถดถอยตามหมวดหมู่แทนการพึ่งพาการสนทนาที่คัดเลือกเพียงไม่กี่รายการ

รู้ว่าเมื่อ Prompt ไม่เพียงพอ

การออกแบบ Prompt เหมาะสมเมื่อโมเดลฐานมีความสามารถที่ต้องการและบริบทสามารถระบุภารกิจได้ การดึงข้อมูลดีกว่าสำหรับความรู้ที่เปลี่ยนแปลง การปรับแต่ง (Fine-tuning) สามารถปรับพฤติกรรมที่เสถียรหรือรูปแบบโดเมนได้ ในขณะที่โค้ดที่กำหนดล่วงหน้าควรจัดการการคำนวณที่แม่นยำและนโยบาย

ออกแบบเวิร์กโฟลว์ใหม่เมื่อโมเดลขาดหลักฐาน สิทธิ์ไม่ปลอดภัย หรือการตรวจสอบโดยมนุษย์เป็นสิ่งจำเป็น เวอร์ชัน Prompt เหมือนโค้ด ให้เฝ้าติดตามความล้มเหลวและมีเส้นทางการย้อนกลับเมื่อโมเดล generative AI มีการเปลี่ยนแปลง

โครงสร้าง Prompt และลำดับขั้นตอนคำสั่ง

การออกแบบ Prompt ระบุภารกิจของโมเดล บริบท ข้อจำกัด ตัวอย่าง และรูปแบบผลลัพธ์ คำสั่งของระบบหรือผู้พัฒนากำหนดพฤติกรรมที่คงที่; อินพุตของผู้ใช้เป็นคำขอ; เนื้อหาที่ดึงมาและผลลัพธ์จากเครื่องมือเป็นข้อมูลที่ไม่น่าเชื่อถือ แยกบทบาทเหล่านี้อย่างชัดเจน ระบุเป้าหมายและผู้ชม ให้บริบทที่เกี่ยวข้องเท่านั้น กำหนดวิธีการทำเมื่อไม่มีหลักฐาน และขอสกีม่าที่ตรวจสอบโดยเครื่องเมื่อโค้ดต่อเนื่องต้องใช้ผลลัพธ์ ความยาวและความซับซ้อนของ Prompt สามารถทำให้เกิดความขัดแย้งและทำให้โมเดลสับสนได้

ตัวอย่างแสดงรูปแบบและขอบเขตการตัดสินใจ แต่ก็อาจทำให้เนื้อหามีอคติและรั่วไหลของป้ายกำกับหากเลือกจากข้อมูลการประเมิน การขอให้โมเดลทำ Chain-of-Thought ไม่ได้จำเป็นสำหรับทุกงานและเหตุผลที่สร้างขึ้นอาจดูสมเหตุสมผลแต่ไม่ตรงตามความจริง ขอให้มีหลักฐานสั้น ๆ การคำนวณ หรือผลลัพธ์กลางที่เป็นโครงสร้างที่สามารถตรวจสอบได้ การดึงข้อมูลให้ความรู้ที่เป็นปัจจุบันหรือเป็นส่วนตัว; เครื่องมือทำการคำนวณและกระทำ; โค้ดที่กำหนดล่วงหน้าควรบังคับใช้กฎที่แม่นยำ Prompt ไม่สามารถให้การรับประกันด้านความปลอดภัยหรือความจริงที่ระบบโดยรอบไม่มีได้

การประเมิน เวอร์ชัน และการป้องกันการฉีด Prompt

ถือ Prompt เหมือนซอฟต์แวร์ที่มีเวอร์ชัน สร้างชุดทดสอบที่รวมกรณีปกติ ไม่ชัดเจน โจมตีหลายภาษา บริบทยาว และกรณีที่ไม่รองรับ; กำหนดเกณฑ์การยอมรับก่อนปรับแต่ง วัดความถูกต้องของภารกิจ ความถูกต้องของสกีม่า การสนับสนุนด้วยหลักฐาน การปฏิเสธ ความปลอดภัย ความล่าช้าและต้นทุน เปรียบเทียบกับ Prompt ง่าย ๆ และเก็บกรณีสุดท้ายไว้เพื่อป้องกันการโอเวอร์ฟิต รันหลายตัวอย่างเมื่อผลลัพธ์เป็นสโตคาสติกและตรวจสอบความล้มเหลวที่มีความมั่นใจสูง ไม่ใช่แค่ค่าเฉลี่ย

การฉีด Prompt เกิดเมื่อเนื้อหาที่ไม่น่าเชื่อถือสั่งโมเดลให้ละเลยนโยบาย เปิดเผยข้อมูล หรือใช้เครื่องมือโดยไม่เหมาะสม คำพูดอย่างเดียวไม่เพียงพอเป็นการป้องกัน ทำเครื่องหมายขอบเขตข้อมูล ลดเนื้อหาที่ดึงมา กรองตามสิทธิ์ อนุญาตให้ทุกเครื่องมือภายนอก ตรวจสอบอาร์กิวเมนต์ แยกการทำงานใน sandbox และต้องการการยืนยันสำหรับการกระทำที่สำคัญ อย่าใส่ข้อมูลลับใน Prompt หรือสมมติว่าคำสั่งที่ซ่อนอยู่จะปลอดภัย ทดสอบการฉีดโดยอ้อมในเอกสาร เว็บเพจ อีเมล และผลลัพธ์จากเครื่องมือ

การปฏิบัติในผลิตภัณฑ์

บันทึกเวอร์ชันของโมเดล Prompt การดึงข้อมูล เครื่องมือ และตัวสุ่มพร้อมผลการประเมิน เฝ้าติดตามการกระจายของอินพุตและเอาต์พุต สกีม่าไม่ถูกต้อง การอ้างอิง ความล้มเหลวของเครื่องมือ การแก้ไขของผู้ใช้ ความล่าช้าและค่าใช้จ่าย จัดการการเปลี่ยนแปลงเป็นขั้นตอนและรักษาเส้นทางการย้อนกลับ เนื่องจากผู้ให้บริการหรือโมเดลอาจอัปเดตพฤติกรรม ให้มีตัวเลือกสำรองที่ไม่เป็น generative และการส่งต่อให้มนุษย์ การออกแบบ Prompt คือการออกแบบอินเทอร์เฟซและการทดลองสำหรับโมเดลแบบความน่าจะเป็น; มันมีคุณค่า แต่ความเชื่อถือที่ยั่งยืนมาจากคุณภาพข้อมูล การประเมิน สิทธิ์ การตรวจสอบ และการควบคุมการดำเนินงาน

ตัวอย่างการทำงาน: การ Prompt ตัวสกัดข้อมูลวิจัยที่เป็นโครงสร้าง

ระบบหนึ่งสกัดการออกแบบการศึกษา ตัวอย่าง การแทรกแซง ผลลัพธ์และข้อจำกัดจากบทความที่ผ่านการตรวจสอบ Prompt กำหนดแต่ละฟิลด์ ต้องการสปานของหลักฐานที่ชัดเจนและค่าที่ไม่ทราบ และส่งคืนสกีม่า JSON ที่ตรวจสอบแล้ว ชุดทดสอบส่วนตัวรวมถึงฟิลด์ที่หาย ตาราง ส่วนที่ขัดแย้ง ข้อความสแกน และข้อความที่คล้าย Prompt ภายในบทความ เปรียบเทียบคำสั่งง่าย ตัวอย่าง การดึงข้อมูล และทางเลือกที่ปรับแต่งบนความแม่นยำของฟิลด์ ความถูกต้องของการอ้างอิง การปฏิเสธ ความล่าช้าและต้นทุน

เนื้อหาเอกสารถูกระบุว่าไม่น่าเชื่อถือและไม่สามารถเปลี่ยนสิทธิ์ของเครื่องมือได้ การลองสกีม่าไม่ถูกต้องจะถูกจำกัดจำนวนครั้ง ส่วนข้ออ้างอิงที่ไม่รองรับจะส่งต่อให้มนุษย์ตรวจสอบ โมเดล Prompt ตัวแยกและเวอร์ชันของบทความจะบันทึกสำหรับการสกัดแต่ละครั้ง การเฝ้าติดตามบันทึกการแก้ไขระดับฟิลด์และรูปแบบใหม่ ๆ การอัปเดต Prompt ต้องปรับปรุงหลักฐานที่เก็บไว้และไม่สามารถยอมรับได้เพียงเพราะผลลัพธ์ดูสะอาดขึ้น เวิร์กโฟลว์ใช้ Prompt เพื่อระบุภารกิจ ในขณะที่การตรวจสอบและหลักฐานแหล่งที่มาตัดสินว่าผลลัพธ์นั้นใช้ได้หรือไม่

หลักฐานการนำไปใช้และความพร้อมในการดำเนินงาน

การตัดสินใจในระดับผลิตภัณฑ์ต้องการมากกว่าการสาธิตที่ประสบความสำเร็จ กำหนดผู้ใช้เป้าหมาย สภาพแวดล้อมการทำงาน อินพุต เอาต์พุต ขึ้นต่อกัน เจ้าของ และผลของความล้มเหลวที่สำคัญแต่ละประการ สร้างฐานที่ทำซ้ำได้และชุดประเมินที่มีเวอร์ชันก่อนการปรับแต่ง ทดสอบกรณีทั่วไป เงื่อนไขขอบเขต อินพุตที่ผิดรูปหรือหาย การเปลี่ยนแปลงการกระจาย การขัดข้องของส่วนพึ่งพา การใช้ในทางที่ผิด และกลุ่มหรือสภาพแวดล้อมที่อาจไม่ได้รับการสนับสนุนอย่างเพียงพอ วัดคุณภาพภารกิจพร้อมกับการปรับเทียบหรือความไม่แน่นอน ความล่าช้า อัตราการทำงาน ต้นทุนทรัพยากร การเข้าถึง ความเป็นส่วนตัวและความปลอดภัย บันทึกการแปลงและเกณฑ์ทุกขั้นตอนเพื่อให้ผู้ตรวจสอบอิสระสามารถทำซ้ำผลลัพธ์และแยกแยะหลักฐานจากต้นแบบที่ดูดึงดูดใจ

ก่อนเปิดใช้งาน ให้มอบอำนาจการปล่อย เว้นแต่กรณีพิเศษ การเปลี่ยนแปลง การย้อนกลับ และการยกเลิก ใช้วิธีเปิดตัวเป็นขั้นตอน รักษาตัวสำรองที่ปลอดภัย และตรวจสอบการเฝ้าติดตามด้วยความล้มเหลวที่ฉีดเข้ามาอย่างตั้งใจ การวัดเทเลเมตรีการดำเนินงานควรเปิดเผยคุณภาพอินพุต พฤติกรรมเอาต์พุต เวอร์ชันโมเดลหรือกฎ สถานะส่วนพึ่งพา การแทรกแซงของมนุษย์ และผลลัพธ์ที่ยืนยันโดยไม่เก็บข้อมูลที่ละเอียดอ่อนโดยไม่จำเป็น กำหนดเกณฑ์การแจ้งเตือนและเจ้าของการตอบสนอง แล้วทบทวนหลักฐานในโลกจริงหลังการเปิดใช้งาน แทนการสันนิษฐานว่าประสิทธิภาพออฟไลน์จะคงอยู่ ประเมินใหม่เมื่อแหล่งข้อมูล ผู้ใช้ โมเดล ผู้จำหน่าย นโยบาย ฮาร์ดแวร์ หรือเป้าหมายมีการเปลี่ยนแปลง ระบบที่บำรุงรักษาต้องมีขั้นตอนการกู้คืน เรียนรู้จากเหตุการณ์ การลบและการเก็บรักษา และจุดชัดเจนที่ควรปิดหรือแทนที่

คำถามที่พบบ่อย

การออกแบบ Prompt คือการหา “คำวิเศษ” หรือเปล่า?

ไม่ใช่. เป็นการปฏิบัติอย่างเป็นระบบที่รวมการกำหนดภารกิจ บริบท ตัวอย่าง เครื่องมือ ผลลัพธ์ที่เป็นโครงสร้าง การประเมิน เวอร์ชันและการเฝ้าติดตาม

Prompt ควรขอให้โมเดลเปิดเผยเหตุผลทั้งหมดหรือไม่?

ไม่. เหตุผลที่โมเดลสร้างขึ้นอาจไม่ครบหรือไม่ตรงตามความเป็นจริง ขอหลักฐานสนับสนุนสั้น ๆ หรือการคำนวณที่ตรวจสอบได้ตามภารกิจ

อ้างอิงหลัก

• Google: Fine-tuning, distillation, and prompt engineering
• Wei et al.: Chain-of-Thought Prompting
• Yao et al.: ReAct