เอเจนท์ AI พร้อมดำเนินการแล้ว แต่ส่วนใหญ่ของบริษัทยังไม่พร้อมให้พวกเขาทำเช่นนั้น

ตลอดส่วนใหญ่ของยุค AI สร้างสรรค์ เราได้มุ่งเน้นที่สิ่งที่โมเดลพูดและสิ่งที่เราป้อนเข้าไปในโมเดล เราตรวจสอบพรอมต์ กรองผลตอบกลับ ทำการ red‑team โมเดล และสร้างการควบคุมรอบข้อมูลเข้าและออก การป้องกันเหล่านี้ยังคงสำคัญ แต่ถูกออกแบบมาสำหรับโลกที่ AI สร้างสิ่งใดสิ่งหนึ่งเพื่อให้มนุษย์รับชมเป็นหลัก

เอเจนท์เปลี่ยนสมการนั้น พวกเขาไม่ได้แค่บริโภคหรือสร้างข้อมูล พวกเขาดำเนินการ

เอเจนท์สามารถเรียกใช้เครื่องมือ เรียกซับเอเจนท์ ทำงานร่วมกับเอเจนท์อื่น ๆ เรียก API เข้าถึงข้อมูล ใช้ข้อมูลประจำตัว เรียกเซิร์ฟเวอร์ MCP สร้างและดำเนินการโค้ด และทำการตัดสินใจหลายขั้นตอนโดยอัตโนมัติเพื่อบรรลุเป้าหมาย การไล่ล่าที่ไม่หยุดยั้ง เมื่อสิ่งนี้เกิดขึ้น คำถามหลักจะไม่ใช่แค่ว่าโมเดลให้ผลตอบกลับที่ปลอดภัยหรือไม่ แต่คือการกระทำที่เอเจนท์ทำนั้นปลอดภัยต่อการดำเนินการหรือไม่

การเปิดเผยข้อมูลล่าสุดจาก OpenAI ทำให้ความแตกต่างนั้นมีความสำคัญมากยิ่งขึ้น OpenAI ได้เริ่ม รายงานพฤติกรรมของโมเดลที่ไม่คาดคิดหรือก่อความกังวลอย่างเป็นระบบ, ในขณะที่งานด้านความปลอดภัยที่กว้างขึ้นของบริษัทกำลังจัดการกับความเสี่ยงที่เกิดขึ้นเมื่อโมเดลได้รับอิสระและการเข้าถึงเครื่องมือที่มากขึ้น

บทเรียนไม่ได้ว่าเอเจนท์โดยธรรมชาติแล้วไม่ปลอดภัย แต่คือเส้นแบ่งความปลอดภัยได้ย้ายตำแหน่ง

ระบบเอเจนท์ต้องการโมเดลการดำเนินงานที่แตกต่าง

AI เอเจนท์ไม่ได้เป็นเพียงสถาปัตยกรรมแอปพลิเคชันอีกหนึ่งรูปแบบ ซอฟต์แวร์เองกำลังกำหนดวิธีการทำงานมากขึ้นเรื่อย ๆ

เอเจนท์อาจเจออุปสรรค แปลเหตุการณ์ที่เกิดขึ้นและเลือกเส้นทางอื่น มันสามารถผสานเครื่องมือในรูปแบบที่ไม่ได้ออกแบบล่วงหน้าอย่างชัดเจน มันสามารถสร้างโค้ดและดำเนินการโค้ดนั้นเป็นส่วนหนึ่งของกระบวนการทำงานเดียวกัน ลำดับของการกระทำอาจเปลี่ยนแปลงทุกครั้งที่เอเจนท์ทำงาน

ในเวลาเดียวกัน จำนวนผู้ที่สร้างซอฟต์แวร์นี้กำลังขยายตัวอย่างมหาศาล เขียนเกี่ยวกับการเพิ่มขึ้นของนักพัฒนาผู้ใช้พลเมือง, AI กำลังเปลี่ยนผู้ที่ไม่เคยคิดว่าตนเองเป็นนักพัฒนาให้กลายเป็นผู้สร้างซอฟต์แวร์ นักการตลาด นักวิเคราะห์การเงิน หรือผู้นำด้านปฏิบัติการสามารถอธิบายสิ่งที่ต้องการและสร้างเอเจนท์ที่สามารถโต้ตอบกับระบบธุรกิจจริงได้

นั่นคือการขยายตัวที่น่าทึ่งของผู้ที่สามารถสร้างซอฟต์แวร์และสิ่งที่ซอฟต์แวร์นั้นทำได้ นอกจากนี้ยังหมายความว่าองค์กรจะมีซอฟต์แวร์อิสระมากขึ้นทำงานในส่วนต่าง ๆ ของธุรกิจมากขึ้น

คำตอบไม่สามารถเป็นเพียงการใช้การควบคุมของเมื่อวานกับสภาพแวดล้อมใหม่นี้ได้ หากองค์กรไม่สามารถดำเนินการระบบเหล่านี้ได้อย่างปลอดภัย ทางเลือกคือการจำกัดพวกมันและในที่สุดจะทำให้การเพิ่มผลผลิตที่พวกเขาพยายามบรรลุช้าลง

การควบคุมต้องมีอยู่ในที่ที่เอเจนท์ทำงาน

เมื่อ AI มีความเป็นอิสระมากขึ้น ความท้าทายย้ายจากการควบคุมสิ่งที่ป้อนเข้าสู่โมเดลไปสู่การควบคุมสิ่งที่เกิดขึ้นเมื่อการตัดสินใจของมันกลายเป็นการกระทำ

เอเจนท์อาจเริ่มต้นด้วยผู้ใช้ที่ได้รับการอนุมัติ พรอมต์ที่ยอมรับได้ ข้อมูลประจำตัวที่ถูกต้อง และการเข้าถึงเครื่องมือที่ได้รับอนุญาต สิ่งเหล่านี้ไม่รับประกันว่าการกระทำต่อไปทุกอย่างควรดำเนินการ

นี่คือจุดที่เวลารันไทม์กลายเป็นสิ่งสำคัญ องค์กรต้องเข้าใจไม่เพียงว่าเอเจนท์คือใคร แต่ต้องตั้งคำถามว่าเอเจนท์กำลังทำอะไรในขณะนี้:

• เครื่องมือใดที่มันเรียกใช้,
• ทรัพยากรใดที่มันเข้าถึง โค้ดใดที่มันพยายามดำเนินการ, 
• ซับเอเจนท์และการสื่อสารเอเจนท์อื่น ๆ ที่เกิดขึ้นคืออะไร,
• สิ่งที่เกิดขึ้นทันทีก่อนการกระทำนั้นและพฤติกรรมของมันยังคงอยู่ในขอบเขตที่ยอมรับได้หรือไม่,
• เอเจนท์กำลังทำอะไรอยู่เบื้องหลังในเวลารันไทม์.

และเมื่อมันไม่ทำเช่นนั้น ระบบต้องมีความสามารถในการแทรกแซงแบบเรียลไทม์ก่อนการดำเนินการ.

นี่คือความแตกต่างที่สำคัญ การสังเกตการณ์บอกคุณว่าเกิดอะไรขึ้น. การควบคุมเวลารันไทม์ให้คุณสามารถจำกัดชั้นการดำเนินการของเอเจนท์

สิ่งนี้กลายเป็นสำคัญเป็นพิเศษเนื่องจากพฤติกรรมเอเจนท์เป็นทั้งแบบไม่กำหนดล่วงหน้าและหลายมิติ การกระทำที่ถูกบล็อกจะทำให้เอเจนท์ลองแนวทางอื่นเพื่อบรรลุเป้าหมาย การเรียกใช้เครื่องมือที่ดูเหมือนไม่มีอันตรายอาจกลายเป็นเสี่ยงเนื่องจากสิ่งที่เกิดขึ้นก่อนหน้านั้น การสังเกตหรือ “การตรวจจับและตอบสนอง” เพียงอย่างเดียวนั้นช้าเกินไปที่จะควบคุมการเข้าถึงและการดำเนินการของเอเจนท์  

เวลารันไทม์ต้องเป็นแบบอินไลน์และซิงโครนัสเพื่อให้สามารถตามความเร็วของ AI ได้ ความท้าทายพื้นฐานในการนำแนวทางเหล่านี้มาปรับใช้ขึ้นอยู่กับการคิดแบบยุคก่อน AI ที่อาศัยการวิเคราะห์และการตรวจจับที่ใช้เวลานาน หลักการเหล่านั้นไม่สามารถใช้ได้ในโลกปัจจุบันแล้ว.

ความปลอดภัยเวลารันไทม์ต้องอาศัยบริบท ไม่ใช่แค่การควบคุม

มีแนวโน้มที่จะตอบสนองต่อความเสี่ยง AI ที่กำลังเกิดขึ้นโดยการลดอิสระภาพ: ให้เอเจนต์มีสิทธิ์น้อยลง, ต้องการการอนุมัติจากมนุษย์บ่อยขึ้น หรือจำกัดสภาพแวดล้อมที่พวกเขาทำงาน การควบคุมเหล่านี้อาจเหมาะสมในบางครั้ง โดยเฉพาะสำหรับการกระทำที่มีความเสี่ยงสูง

แต่สิ่งเหล่านั้นไม่สามารถเป็นโมเดลการดำเนินงานระยะยาวได้

หากมนุษย์ต้องอนุมัติทุกการตัดสินใจที่มีความหมาย เราจะทำให้คุณค่าของเอเจนต์อิสระลดลงอย่างมาก ด้วยการพึ่งพาการโต้ตอบแบบมนุษย์-ใน-ลูปที่เข้มงวด เราได้เปลี่ยนบุคคลที่มีความสามารถสูงบางส่วนให้กลายเป็น “ผู้กดปุ่ม” สิ่งนี้ส่งผลโดยตรงต่อความสามารถในการเข้าใจขอบเขตและการพึ่งพาซึ่งกันและกันของฐานโค้ดที่องค์กรที่ใช้เอเจนต์ดำเนินการอยู่บน

สัญญาทางเศรษฐกิจของ AI แบบเอเจนต์มาจากการให้ซอฟต์แวร์ทำงานที่มีความหมายได้อย่างอิสระและต่อเนื่องตลอด 24 ชั่วโมง ทุกวัน เป้าหมายจึงไม่ควรเป็นการขจัดอิสระภาพ แต่ควรเป็นการทำให้อิสระภาพที่เพิ่มขึ้นปลอดภัยต่อการดำเนินงาน

นั่นต้องการการควบคุมอิสระนอกกระบวนการให้เหตุผลของเอเจนต์ งานวิจัยของ Anthropic เกี่ยวกับ การไม่สอดคล้องของเอเจนต์ ซึ่งทำในแบบจำลองที่สร้างขึ้นโดยเจตนา แสดงให้เห็นว่าทำไมเรื่องนี้ถึงสำคัญ เมื่อระบบกลายเป็นอิสระมากขึ้น พฤติกรรมของมันอาจเบี่ยงเบนจากสิ่งที่ผู้ดำเนินการคาดหวัง แม้เป้าหมายเดิมจะดูชัดเจน

ผลสรุปเชิงปฏิบัติง่ายต่อการเข้าใจ: องค์กรไม่สามารถพึ่งพาการเข้าใจเพียงว่าเอเจนต์ได้รับมอบหมายให้ทำอะไรได้เท่านั้น พวกเขาต้องเข้าใจและควบคุมสิ่งที่เอเจนต์ทำจริง

เอเจนต์ไม่ได้เป็นส่วนที่ยากอีกต่อไป

อุตสาหกรรมได้ทุ่มเทพลังงานอย่างมหาศาลเพื่อทำให้เอเจนต์มีความสามารถมากขึ้น เรากำลังเข้าใกล้จุดที่ความสามารถไม่ใช่อุปสรรคหลักต่อการนำไปใช้ในองค์กรอีกต่อไป

ข้อจำกัดคือการควบคุม

เมื่อเอเจนต์กลายเป็นอิสระมากขึ้น ผลกระทบของการกระทำของพวกเขาเพิ่มขึ้น—และการควบคุมที่ออกแบบมาสำหรับซอฟต์แวร์ที่คาดเดาได้จะมีประสิทธิภาพน้อยลง องค์กรต้องการการมองเห็นอย่างต่อเนื่องว่เอเจนต์กำลังทำอะไร บริบทเพื่อเข้าใจว่าการกระทำนั้นสำคัญอย่างไร และความสามารถในการแทรกแซงโดยไม่ต้องให้มนุษย์เข้ามาอยู่ระหว่างการตัดสินใจทุกครั้ง

สิ่งนี้เปลี่ยนความหมายของการดำเนินงานซอฟต์แวร์

• นักพัฒนาต้องเข้าใจว่าเอเจนต์ทำงานจริงอย่างไร ไม่ใช่แค่การออกแบบให้ทำอย่างไร
• ทีมแพลตฟอร์มและความปลอดภัยต้องกำหนดขอบเขตที่ยังคงบังคับใช้ได้เมื่อเอเจนต์ทำงานข้ามระบบและเครื่องมือ
• ผู้นำธุรกิจต้องมั่นใจว่าการเพิ่มอิสระภาพไม่ได้หมายถึงการสละการควบคุม

นี่แตกต่างอย่างสิ้นเชิงจากการรักษาความปลอดภัยของแอปพลิเคชันอื่นหรือการกำกับดูแลโมเดลอื่น เรากำลังนำผู้ทำงานอิสระเข้าสู่สภาพแวดล้อมขององค์กร: ระบบที่สามารถให้เหตุผล ตัดสินใจ และดำเนินการ หากองค์กรไม่สามารถมองเห็นและควบคุมการกระทำนั้นได้ขณะเกิดขึ้น พวกเขาจะต้องจำกัดสิ่งที่เอเจนต์ทำในที่สุด ซึ่งจะทำให้คุณค่าที่อิสระภาพควรสร้างลดลง

คำตอบไม่ได้อยู่ที่การสมมติว่าเราสามารถป้องกันการตัดสินใจที่ผิดพลาดทุกกรณีได้ เมื่อระบบกลายเป็นอิสระและไม่กำหนดได้ ความยากในการรับประกันนั้นก็เพิ่มขึ้นเรื่อย ๆ

เป้าหมายคือทำให้การกระทำที่ผิดหรือทำลายไม่ส่งผลให้เกิดผลลัพธ์ที่ไม่พึงประสงค์

สิ่งนี้ต้องการชั้นการดำเนินงานใหม่รอบเอเจนต์: ชั้นที่สามารถสังเกตพฤติกรรมอย่างต่อเนื่อง เข้าใจการกระทำในบริบท บังคับใช้ขอบเขตตลอดสแต็กการทำงานของเอเจนต์ และแทรกแซงก่อนที่การกระทำที่ไม่ตั้งใจหรือไม่ยอมรับได้จะกลายเป็นผลลัพธ์ที่ไม่สามารถย้อนกลับได้

ขั้นต่อไปของ AI ในองค์กรจะไม่ถูกกำหนดโดยความสามารถของเอเจนต์เท่านั้น แต่จะถูกกำหนดโดยระดับอิสระภาพที่องค์กรสามารถมอบให้ได้อย่างปลอดภัย