เอเจนต์ AI ของคุณต้องมีคำบรรยายลักษณะงาน ไม่ใช่พรอมป์ต์ที่ดีกว่า

ลองถามบริษัทแห่งหนึ่งว่านักวิเคราะห์บัญชีเจ้าหนี้ที่เพิ่งเข้าทำงานได้รับอนุญาตให้ทำอะไรได้บ้าง คุณจะได้คำตอบที่ชัดเจน เธอทำงานในระบบเหล่านี้ ติดต่อกับผู้ขายเหล่านี้ และหากยอดใดเกินวงเงินอนุมัติ เช่น 10,000 ดอลลาร์ ก็ต้องส่งให้ผู้จัดการลงนาม เธออยู่ในช่วงทดลองงานสองสามเดือนแรก โดยปกติแล้วรายละเอียดทั้งหมดนี้จะอยู่ในตารางมอบอำนาจ ซึ่งฝ่ายตรวจสอบภายในจะตรวจทานทุกปี

ลองถามบริษัทเดียวกันว่าเอเจนต์จัดการใบแจ้งหนี้ตัวใหม่ได้รับอนุญาตให้ทำอะไรได้บ้าง คุณมักจะได้ภาพหน้าจอของพรอมป์ต์กลับมา

ช่องว่างนี้ทำให้ฉันกังวลยิ่งกว่าผลการทดสอบเปรียบเทียบโมเดลใด ๆ เรากำลังจ้างแรงงานดิจิทัลโดยไม่มีระบบบริหารจัดการแบบที่เราใช้เวลาสร้างมานานนับศตวรรษสำหรับมนุษย์ ไม่มีใครระบุอำนาจหน้าที่ของพวกมันเป็นลายลักษณ์อักษร ไม่มีใครทดสอบวิจารณญาณของพวกมันก่อนเริ่มงาน และไม่มีใครฝึกซ้อมวิธีปิดการทำงานของพวกมัน

เหตุใดพรอมป์ต์จึงทำหน้าที่นี้แทนไม่ได้

พรอมป์ต์อธิบายเจตนาว่าเอเจนต์มีไว้ทำอะไร แต่แทบไม่เคยระบุว่าเอเจนต์ห้ามทำอะไร มีขอบเขตอยู่ตรงไหน หรือเมื่อใดที่ต้องหยุดและส่งต่อการตัดสินใจให้มนุษย์

และแม้พรอมป์ต์จะระบุเรื่องเหล่านั้นไว้ ก็ไม่มีอะไรบังคับใช้ได้ ข้อความที่บอกเอเจนต์ว่าอย่าออกเงินคืนเกิน 500 ดอลลาร์ เป็นเพียงคำขอที่ส่งถึงระบบเชิงความน่าจะเป็น ไม่มีผู้ตรวจสอบคนไหนจะยอมรับคำอธิบายว่า “เราขอให้นักวิเคราะห์ดี ๆ แล้ว” เป็นมาตรการควบคุมสำหรับมนุษย์ ฉันจึงไม่เข้าใจว่าทำไมเราถึงยอมรับคำอธิบายแบบเดียวกันนี้กับซอฟต์แวร์

ผู้เชี่ยวชาญด้านความปลอดภัยมีชื่อเรียกผลลัพธ์เช่นนี้อยู่แล้ว OWASP Top 10 for LLM Applications ระบุว่า การมีอำนาจดำเนินการมากเกินไป เป็นความเสี่ยงหลัก ซึ่งมีสาเหตุมาจากฟังก์ชันการทำงานที่มากเกินไป สิทธิ์ที่กว้างเกินไป หรือความเป็นอิสระในการทำงานที่มากเกินไป พูดให้เข้าใจง่ายก็คือ เหมือนมอบกุญแจทุกดอกให้พนักงานตั้งแต่วันแรก แนวทางของ OWASP อ่านแล้วคล้ายรายการตรวจสอบของผู้จัดการที่ดี กล่าวคือ ให้เครื่องมือแก่เอเจนต์เท่าที่จำเป็น จำกัดขอบเขตสิทธิ์ของเอเจนต์ กำหนดให้มนุษย์อนุมัติการดำเนินการที่มีผลกระทบสูง และบังคับใช้การอนุญาตในระบบปลายทาง แทนที่จะไว้วางใจให้โมเดลควบคุมตัวเอง

ฉันอยากขีดเส้นใต้ข้อสุดท้ายนั้น การมอบสิทธิ์ต้องอยู่ตรงจุดที่เกิดการดำเนินการ ทั้งในตัวตนบริการของเอเจนต์เอง สิทธิ์การใช้เครื่องมือ และวงเงินใช้จ่ายที่เกตเวย์ API การให้เอเจนต์หลายตัวใช้บัญชีบริการร่วมกันก็เหมือนคนห้าคนใช้บัตรผ่านใบเดียวกัน เมื่อเกิดปัญหา บันทึกการตรวจสอบก็จะระบุว่าบัญชีบริการเป็นผู้ดำเนินการ แล้วคุณก็ต้องเดาเอาเองว่าเป็นเอเจนต์ตัวไหน

การยกเลิกโครงการสะท้อนปัญหาด้านการบริหารจัดการ

Gartner คาดการณ์ว่า โครงการ AI แบบเอเจนต์มากกว่า 40% จะถูกยกเลิกภายในสิ้นปี 2027 โดยระบุสาเหตุว่าเป็นต้นทุนที่เพิ่มสูงขึ้น มูลค่าทางธุรกิจที่ไม่ชัดเจน และมาตรการควบคุมความเสี่ยงที่ไม่เพียงพอ

กระแสเกินจริงและผลิตภัณฑ์ที่ยังไม่成熟ก็เป็นส่วนหนึ่งของเรื่องนี้ อย่างไรก็ตาม ลองพิจารณาสาเหตุทั้งสามข้อในมุมมองของประธานเจ้าหน้าที่ฝ่ายปฏิบัติการ (COO) ดู ต้นทุนเพิ่มสูงขึ้นเมื่อไม่มีใครกำหนดงบประมาณ มูลค่ายังคงไม่ชัดเจนเมื่อไม่มีใครระบุไว้เป็นลายลักษณ์อักษรว่างานนั้นควรสร้างผลลัพธ์อะไร มาตรการควบคุมความเสี่ยงย่อมหย่อนยานเมื่อไม่มีขอบเขต ไม่มีการทบทวน และไม่มีผู้รับผิดชอบที่ชัดเจน Gartner ไม่ได้อธิบายเรื่องนี้ในมุมนี้ แต่นี่คือการตีความของฉัน มันเป็นเรื่องเดียวกับที่เกิดขึ้นเมื่อปล่อยให้คนทำงานโดยไม่มีระบบบริหารจัดการ และปัญหานี้มีมานานกว่า AI มาก

กรอบการทำงานต่าง ๆ มองเห็นช่องโหว่เดียวกัน กรอบการบริหารความเสี่ยง AI ของ NIST ถือว่าการกำกับดูแลเป็นฟังก์ชันที่ดำเนินควบคู่ไปกับการทำแผนที่ การวัดผล และการจัดการ ส่วน แนวทางสำหรับ Generative AI ก็นำหลักการนี้ไปใช้กับระบบ Generative AI ด้วย แต่สิ่งที่กรอบการทำงานเหล่านี้ให้คุณไม่ได้คือกลไกการทำงานจริง ไม่ว่าจะเป็นการมอบสิทธิ์ การทดสอบ และการทบทวนที่ทีมต้องดำเนินการในวันอังคารวันหนึ่ง หากไม่มีสิ่งเหล่านี้ การกำกับดูแลก็เป็นเพียงไฟล์ PDF ที่เก็บไว้ในไดรฟ์ส่วนกลาง

นำเครื่องมือบริหารจัดการแบบเดิมมาปรับใช้กับเอเจนต์

เริ่มจากคำบรรยายลักษณะงาน ซึ่งเมื่อใช้กับเอเจนต์จะกลายเป็นการมอบอำนาจหน้าที่ ก่อนที่เอเจนต์จะเข้าถึงระบบจริง ควรมีใครสักคนเขียนเอกสารหนึ่งหน้าที่ระบุว่าเอเจนต์ทำอะไรได้บ้าง ห้ามทำอะไร มีเกณฑ์การอนุมัติอย่างไร ใครเป็นผู้รับผิดชอบ และใครมีอำนาจขยายขอบเขตของเอเจนต์ ใน RACI ผู้รับผิดชอบสูงสุดต้องเป็นบุคคล หากเขียนเอกสารหน้านั้นไม่ได้ ก็แปลว่าบทบาทดังกล่าวยังไม่พร้อมให้ใครมารับ และคุณก็คงพูดเช่นเดียวกันหากเป็นการจ้างมนุษย์

หลักเกณฑ์เก่าสองข้อจากการมอบอำนาจยังคงใช้ได้โดยตรง คุณไม่สามารถมอบอำนาจที่ตัวเองไม่มี ดังนั้นเอเจนต์ย่อยต้องไม่ได้รับอำนาจกว้างกว่าเอเจนต์ที่สร้างมันขึ้นมา หลักการแบ่งแยกหน้าที่ยังคงใช้เช่นกัน หากเอเจนต์สามารถสร้างผู้ขายและจ่ายเงินให้ผู้ขายรายนั้นได้ ก็ถือเป็นข้อค้นพบจากการตรวจสอบแบบเดียวกับกรณีที่มนุษย์เป็นผู้ทำ

จากนั้นก็ถึงขั้นทดสอบก่อนรับเข้าทำงาน โดยทั่วไปเราทดสอบเอเจนต์เหมือนทดสอบเครื่องคิดเลข คือดูว่าคำตอบถูกต้องหรือไม่ แต่การทดสอบสำหรับผู้ปฏิบัติงานควรตรวจสอบว่าเอเจนต์ทำงานอยู่ภายในขอบเขตอำนาจที่ได้รับหรือไม่ ขออนุมัติเมื่อควรขอหรือไม่ ยกระดับเรื่องเมื่อสถานการณ์เกินขอบเขตหน้าที่หรือไม่ และหยุดเมื่อถึงเวลาที่ควรหยุดหรือไม่

ในการวิจัยของฉันเอง ฉันกำลังสร้างเกณฑ์มาตรฐานที่มี 50 สถานการณ์ ซึ่งครอบคลุมความล้มเหลวประเภทนี้โดยเฉพาะ ได้แก่ การดำเนินการเกินวงเงินอนุมัติ การใช้ข้อมูลเก่าที่ไม่ทันสมัย การทำตามคำสั่งแทรกที่ขยายขอบเขตการทำงาน และการยังคงเข้าถึงระบบได้หลังเปลี่ยนบทบาท จนถึงตอนนี้ ฉันได้ทดสอบเกณฑ์ดังกล่าวกับเอเจนต์ที่ทำงานตามสคริปต์เท่านั้น เพื่อตรวจสอบว่าสถานการณ์ต่าง ๆ ทำงานตามที่ออกแบบไว้ จึงยังไม่มีผลการทดสอบโมเดลให้รายงาน สิ่งที่ทำให้ฉันประหลาดใจระหว่างเขียนสถานการณ์เหล่านี้คือ มันเป็นเรื่องธรรมดามาก เป็นรูปแบบปกติที่พนักงานทำงานนอกเหนือคำสั่ง เพียงแต่นำมาเขียนใหม่ให้เข้ากับซอฟต์แวร์ ลีดเดอร์บอร์ดสาธารณะส่วนใหญ่ยังคงให้คะแนนความสำเร็จในการทำงาน และมีเพียงไม่กี่แห่งที่ให้คะแนนว่าเอเจนต์เคารพขอบเขตอำนาจของตนหรือไม่

ช่วงทดลองงานและการเลื่อนตำแหน่งเป็นเรื่องที่ถ่ายทอดได้ค่อนข้างตรงไปตรงมา สำหรับคน เราเริ่มจากมอบขอบเขตงานแคบ ๆ แล้วค่อยขยายเมื่อพวกเขาแสดงให้เห็นว่ามีวิจารณญาณที่ดี เอเจนต์ก็สามารถได้รับความไว้วางใจให้ทำงานภายใต้ขอบเขตที่กว้างขึ้นได้เช่นกัน โดยสร้างประวัติการทำงานที่ไม่ล้ำเส้น ยกระดับปัญหาได้เหมาะสม และหยุดการทำงานได้อย่างเรียบร้อย ประวัตินี้ก็ใช้เป็นเหตุผลในการจำกัดสิทธิ์ที่มอบให้ให้แคบลงได้เช่นกัน

เอเจนต์มีเรื่องซับซ้อนเพิ่มเข้ามาซึ่งไม่เกิดกับคน เมื่อผู้ให้บริการอัปเกรดโมเดลที่อยู่เบื้องหลัง ก็เท่ากับว่าคุณได้พนักงานใหม่ที่ใช้บัตรประจำตัวใบเดิม ผมจะถือว่านี่เป็นเหตุการณ์เปลี่ยนแปลง และทดสอบใหม่ก่อนให้สิทธิ์เดิมมีผลต่อไป

ต้องซักซ้อมการยุติการทำงานก่อนถึงเวลาที่ต้องทำจริง หากคุณต้องหยุดเอเจนต์ตัวนี้และถอนสิทธิ์การเข้าถึงภายในชั่วโมงข้างหน้า คุณทำได้หรือไม่? ใครมีอำนาจตัดสินใจเรื่องนี้ตอนตีสอง? ระบบหรือกระบวนการใดบ้างที่จะได้รับผลกระทบต่อเนื่อง และมีข้อผูกพันใดที่กำลังดำเนินอยู่ซึ่งใครสักคนต้องจัดการยกเลิกด้วยตนเอง? หากยังไม่มีใครซ้อมขั้นตอนนี้ คุณก็ได้แต่หวังว่าสวิตช์ตัดการทำงานจะใช้ได้

คุณสามารถเรียกร้องความรับผิดชอบจากพนักงานได้ แต่คุณเรียกร้องความรับผิดชอบจากเอเจนต์ในเรื่องใดไม่ได้เลย และนั่นคือจุดที่การเปรียบเทียบใช้ไม่ได้อีกต่อไป นี่จึงเป็นอีกเหตุผลว่าทำไมระบบต้องบังคับใช้สิทธิ์ที่มอบให้ และทำไมเอเจนต์ทุกตัวต้องมีบุคคลที่ระบุชื่อได้เป็นผู้รับผิดชอบ ไม่ว่าอย่างไร สุดท้ายก็ต้องมีใครสักคนรับผิดชอบ โดยมากก็คือคนที่อนุมัติ แม้จะรู้หรือไม่ก็ตามว่าตนกำลังลงนามอนุมัติ

การทบทวนเหตุการณ์จะตั้งคำถามอะไรบ้าง

ในที่สุด เอเจนต์บางตัวก็จะทำสิ่งที่ไม่ควรทำ เมื่อเกิดเหตุเช่นนั้น การทบทวนหลังเกิดเหตุจะถามคำถามเดียวกับที่ใช้ถามเกี่ยวกับคน เอเจนต์ได้รับอนุญาตให้ทำอะไร และมีบันทึกเรื่องนี้ไว้ที่ไหน? ใครอนุมัติให้ขยายสิทธิ์การเข้าถึง? ใช้เวลานานเท่าใดกว่าจะหยุดการทำงานได้? ใครเป็นผู้รับผิดชอบ?

หากคำตอบตามจริงคือ “พรอมป์ต์” “ไม่มีใครจำได้” “หลายชั่วโมง” และ “ไม่ชัดเจน” การใช้โมเดลที่ดีกว่าก็ช่วยคุณไม่ได้

ข้อได้เปรียบเกิดขึ้นตรงไหน

โมเดลกำลังกลายเป็นปัจจัยนำเข้าที่เช่ามา ซึ่งผู้ให้บริการจะเปลี่ยนหรืออัปเกรดตามกำหนดการของตนเอง บริษัทสองแห่งอาจใช้โมเดลเดียวกัน แต่กลับได้ผลลัพธ์ที่แตกต่างกันมากแห่งหนึ่งมีเอเจนต์ที่มีงบประมาณ ขอบเขต ผู้รับผิดชอบ และบันทึกตรวจสอบย้อนหลังสำหรับทุกการกระทำที่มีผลสำคัญ ขณะที่อีกแห่งมีโครงการนำร่องราคาแพงซึ่งกำลังจะไปอยู่ในสถิติการยกเลิกของใครสักคน

ความแตกต่างอยู่ที่ระบบบริหารจัดการที่สร้างขึ้นรอบโมเดล ระบบเช่นนี้ค่อย ๆ พัฒนาขึ้น โดยส่วนใหญ่เกิดจากคนที่เคยบริหารองค์กรมาก่อน

หากเอเจนต์ตัวใหม่ล่าสุดของคุณทำเกินอำนาจในวันพรุ่งนี้ จะมีอะไรในบริษัทของคุณตรวจพบหรือไม่? และคุณแสดงหลักฐานเป็นลายลักษณ์อักษรให้ผู้ตรวจสอบเห็นได้หรือไม่ว่าเส้นแบ่งอำนาจอยู่ตรงไหน?