ความปลอดภัยไซเบอร์
Cato Networks เปิดตัว AgentSense เพื่อหยุดการกระทำที่เป็นอันตรายของเอเจนต์ AI ก่อนดำเนินการ

ประเด็นสำคัญAgentSense มุ่งเป้าไปที่การโจมตีแบบ indirect prompt injection…
ดูเพิ่มเติม
- AgentSense มุ่งเป้าไปที่การโจมตีแบบ indirect prompt injection โดยการติดตามว่าคอนเทนต์ที่ไม่น่าเชื่อถือชี้นำการกระทำของเอเจนต์อย่างไร
- ข้อมูลรับรองที่ถูกต้องไม่ได้รับประกันพฤติกรรมที่ปลอดภัย เพราะเอเจนต์อาจถูกบงการให้กระทำการที่เป็นอันตรายได้
- การท้าทายมูลค่า 10,000 ดอลลาร์ของ Cato เชิญชวนนักวิจัยมาทดสอบว่า AgentSense ต้านทานการเปลี่ยนเส้นทางเวิร์กโฟลว์โดยผู้โจมตีได้หรือไม่
Cato Networks เปิดตัว AgentSense ซึ่งเป็นความสามารถด้านความปลอดภัยขณะทำงานที่ออกแบบมาเพื่อหยุดการกระทำที่เป็นอันตรายของเอเจนต์ AI ก่อนที่เอเจนต์จะดำเนินการ เทคโนโลยีนี้พัฒนาโดย Cato AI Labs โดยติดตามว่าเนื้อหาที่ไม่น่าเชื่อถือส่งผลต่อพฤติกรรมของเอเจนต์อย่างไร เพื่อจัดการกับความเสี่ยงที่สิทธิ์การเข้าถึงตามปกติไม่อาจแก้ไขได้อย่างสมบูรณ์ กล่าวคือ เอเจนต์อาจมีข้อมูลรับรองที่ถูกต้อง แต่ก็ยังถูกชักจูงให้ทำสิ่งที่ไม่ควรทำได้
Cato ระบุว่า AgentSense ผสานรวมอยู่ในแพลตฟอร์มของบริษัท และจะรวมอยู่ในใบอนุญาต Cato AI Usage โดยไม่มีค่าใช้จ่ายเพิ่มเติม การประกาศนี้มาพร้อมกับกิจกรรมทดสอบการโจมตี โดยมอบเงินรางวัลคนละ $10,000 ให้แก่ผู้เข้าร่วมที่มีคุณสมบัติตามเกณฑ์ 3 รายแรก ซึ่งสามารถชักจูงเวิร์กโฟลว์ที่ได้รับการปกป้องให้ทำการกระทำที่เป็นอันตรายได้สำเร็จ
สิทธิ์ที่ถูกต้องก็ยังนำไปสู่การกระทำที่ไม่ปลอดภัยได้
เอเจนต์ในองค์กรอาจต้องอ่านอีเมล ค้นหาเอกสาร ดูข้อมูลจากเว็บไซต์ และเรียกใช้เครื่องมือต่าง ๆ เพื่อทำงานให้เสร็จสิ้น แต่ละแหล่งข้อมูลช่วยเพิ่มข้อมูลที่เอเจนต์นำไปใช้ได้ ขณะเดียวกันก็เปิดโอกาสให้ข้อความจากภายนอกส่งอิทธิพลต่อขั้นตอนถัดไปของเอเจนต์
การโจมตีด้วยการแทรกพรอมป์ต์ทางอ้อมอาศัยช่องโหว่ตรงจุดนี้ แทนที่จะส่งคำสั่งโดยตรงในฐานะผู้ใช้ที่ได้รับอนุญาต ผู้โจมตีจะซ่อนคำสั่งไว้ในเนื้อหาที่เอเจนต์พบระหว่างทำงาน เอกสาร ตั๋วงาน เว็บเพจ หรือคำตอบจากเครื่องมืออาจมีข้อความที่พยายามเปลี่ยนทิศทางเวิร์กโฟลว์ เปิดเผยข้อมูล หรือกระตุ้นให้เกิดการกระทำที่ไม่เกี่ยวข้อง
การตรวจสอบว่าเอเจนต์เข้าถึงแอปพลิเคชันได้หรือไม่ยังคงมีความสำคัญ แต่คำถามนี้ต่างจากการพิจารณาว่าการกระทำใดการกระทำหนึ่งสอดคล้องกับงานที่ผู้ใช้อนุญาตหรือไม่ ตัวอย่างเช่น เอเจนต์อาจได้รับอนุญาตให้อ่านบันทึกทางธุรกิจ แต่ไม่ได้รับอนุญาตให้ส่งบันทึกเหล่านั้นไปยังปลายทางที่เอกสารซึ่งเรียกดูมาแนะนำ
แนวทางของ AgentSense คือประเมินพฤติกรรมดังกล่าวระหว่างการทำงาน และเปิดโอกาสให้แทรกแซงได้ก่อนที่การกระทำซึ่งมีความละเอียดอ่อนจะเกิดขึ้น
ติดตามอิทธิพลจากเนื้อหาที่ไม่น่าเชื่อถือภายในเซสชัน AI
ความสามารถด้านการตรวจจับอิทธิพลที่ไม่น่าเชื่อถือซึ่งประกาศเปิดตัว แยกคำสั่งที่เชื่อถือได้ออกจากเนื้อหาที่ไม่น่าเชื่อถือภายในเซสชัน AI พร้อมติดตามว่าเนื้อหาส่วนหลังส่งผลต่อพฤติกรรมและผลลัพธ์อย่างไร Cato ระบุว่าระบบจะบล็อกการกระทำเมื่อตรวจพบว่าเนื้อหาที่ไม่น่าเชื่อถือกำลังชักนำเอเจนต์ไปสู่ขั้นตอนที่ไม่ปลอดภัย
ความแตกต่างนี้สำคัญ เพราะการโจมตีไม่จำเป็นต้องมีลักษณะเหมือนพรอมป์ต์ที่เป็นอันตรายซึ่งพบเห็นได้ทั่วไป Cato อธิบายว่า AgentSense ประเมินอิทธิพล แทนที่จะพึ่งพาตัวจำแนกแบบคงที่หรือรายการรูปแบบการโจมตีที่เคยพบมาก่อน แนวทางนี้มีจุดประสงค์เพื่อรับมือกับการโจมตีด้วยการแทรกพรอมป์ต์ทางอ้อมรูปแบบใหม่ รวมถึงรูปแบบที่ระบบรู้จักอยู่แล้ว
เอกสารเผยแพร่ระบุว่าเทคโนโลยีนี้ได้รับสิทธิบัตร แต่ไม่ได้ให้หมายเลขสิทธิบัตร รายละเอียดการนำไปใช้ หรือผลการประเมินประสิทธิภาพจากหน่วยงานอิสระ ดังนั้น คำกล่าวอ้างเรื่องการป้องกันการโจมตีที่ไม่เคยพบมาก่อนจึงควรเข้าใจว่าเป็นความสามารถด้านความปลอดภัยที่ผลิตภัณฑ์ตั้งใจจะมอบให้ ไม่ใช่การรับประกันว่าจะหยุดความพยายามแทรกพรอมป์ต์ได้ทุกรูปแบบ
คำถามในเชิงปฏิบัติคือ ชั้นความปลอดภัยมีบริบทเกี่ยวกับเซสชันและการกระทำมากพอที่จะแยกแยะระหว่างการใช้เอกสารเป็นหลักฐาน กับการถือว่าเอกสารนั้นมีอำนาจสั่งการหรือไม่ AgentSense มุ่งจัดการกับความแตกต่างนี้โดยตรง
การตรวจจับการเบี่ยงเบนเป็นอีกความสามารถหนึ่งที่วางแผนไว้
Cato ยังกล่าวถึง AgentSense Drift Detection ในลักษณะที่สื่อถึงแผนในอนาคต ฟีเจอร์ที่วางแผนไว้จะประเมินว่าการกระทำของเอเจนต์ยังคงสอดคล้องกับงานเดิมหรือไม่เมื่อเวิร์กโฟลว์ดำเนินไป
ความสามารถนี้ช่วยเสริมการตรวจจับอิทธิพล แต่ไม่ได้จัดการกับปัญหาเดียวกันโดยตรง การตรวจจับอิทธิพลที่ไม่น่าเชื่อถือจะตรวจสอบว่าเนื้อหาจากภายนอกกำลังชักนำการกระทำหรือไม่ ส่วน Drift Detection มีจุดประสงค์เพื่อตรวจสอบว่าการกระทำนั้นยังสอดคล้องกับเป้าหมายหรือไม่ แม้ขั้นตอนนั้นจะได้รับอนุญาตในทางเทคนิคก็ตาม
เมื่อเวลาผ่านไป เวิร์กโฟลว์อาจสะสมขั้นตอนที่ไม่ได้ช่วยให้งานบรรลุเป้าหมายอีกต่อไป การตรวจจับการเบี่ยงเบนดังกล่าวจำเป็นต้องติดตามเป้าหมายที่ได้รับอนุญาตตลอดทั้งเซสชัน แทนที่จะประเมินการเรียกใช้เครื่องมือแต่ละครั้งแยกจากกัน เอกสารเผยแพร่ไม่ได้ระบุวันเปิดให้ใช้งาน Drift Detection แยกต่างหาก
AgentSense ทำงานร่วมกับแพลตฟอร์มความปลอดภัย AI เดิมของ Cato อย่างไร
ข้อเสนอด้านความปลอดภัยสำหรับ AI แบบเอเจนต์ ของ Cato ครอบคลุมการค้นหาเอเจนต์และเซิร์ฟเวอร์ Model Context Protocol การจัดทำโปรไฟล์การเรียกใช้เครื่องมือ และการบังคับใช้นโยบายกับการโต้ตอบของเอเจนต์อยู่แล้ว ส่วนแพลตฟอร์มโดยรวมของบริษัทผสานบริบทด้านเครือข่าย การเข้าถึง และความปลอดภัยเข้าด้วยกัน
บริษัทยังแยกการรักษาความปลอดภัยสำหรับการใช้งาน AI ของพนักงานออกจากการปกป้องแอปพลิเคชันด้วย ข้อเสนอด้านความปลอดภัย AI สำหรับแอปพลิเคชัน ของบริษัทครอบคลุมการมองเห็นการทำงานขณะรันไทม์ การตรวจสอบพรอมป์ต์และคำตอบ ตลอดจนการป้องกันที่กำหนดค่าได้สำหรับแอปพลิเคชัน AI ที่นำไปใช้งานแล้ว ซึ่งช่วยให้เห็นบริบทของจุดมุ่งเน้นใน AgentSense ที่ว่าด้วยความถูกต้องสมบูรณ์ของการกระทำระหว่างเวิร์กโฟลว์
ในทางปฏิบัติ การควบคุมการใช้ AI เกี่ยวข้องกับการตัดสินใจหลายด้านที่เชื่อมโยงกัน ได้แก่ องค์กรอนุญาตให้ใช้บริการใดบ้าง ข้อมูลใดส่งไปยังบริการเหล่านั้นได้ และเอเจนต์ทำอะไรกับข้อมูลที่พบได้บ้าง AgentSense เพิ่มประเด็นด้านพฤติกรรมให้กับมาตรการเหล่านี้ โดยระบุว่าเมื่อใดที่เนื้อหาซึ่งไม่น่าเชื่อถือกำลังชี้นำการกระทำนั้นโดยตรง
งานวิจัยเรื่องการโจมตีแบบแทรกคำสั่งชี้ให้เห็นว่าเหตุใดการกำหนดขอบเขตจึงสำคัญ
งานวิจัย EchoLeak ของ Cato อธิบายห่วงโซ่การโจมตีที่เนื้อหาจากภายนอกอาจทำให้ Microsoft 365 Copilot เปิดเผยข้อมูลจากบริบทที่ระบบเข้าถึงได้ ประเด็นสำคัญต่อความปลอดภัยของเอเจนต์คือการเปลี่ยนจากการอ่านเนื้อหาภายนอกไปสู่การปฏิบัติตามคำสั่งที่ฝังอยู่ในเนื้อหานั้น
งานวิจัย CurXecute ของ Cato ศึกษาผลลัพธ์อีกรูปแบบหนึ่ง นั่นคือการแทรกคำสั่งผ่านเนื้อหาภายนอกอาจทำให้เอเจนต์เขียนโค้ดแก้ไขการกำหนดค่า MCP และสั่งให้มีการเรียกใช้คำสั่งได้ บทความของ Cato ระบุว่า Cursor แก้ไขช่องโหว่นี้แล้วในเวอร์ชัน 1.3 กรณีตัวอย่างนี้แสดงให้เห็นรูปแบบความล้มเหลว แต่ไม่ควรตีความว่าเป็นการกล่าวอ้างว่าปัญหาที่ได้รับการแก้ไขแล้วนั้นยังคงเปิดอยู่
ทั้งสองกรณีแสดงให้เห็นว่าเหตุใดที่มาของเนื้อหาจึงสำคัญ เมื่อผู้ช่วยสามารถเข้าถึงข้อมูลสำคัญหรือเครื่องมือสำหรับเรียกใช้คำสั่งได้ ปฏิสัมพันธ์ที่เริ่มต้นจากการค้นคืนข้อมูลอาจกลายเป็นเหตุการณ์ด้านความปลอดภัยได้ หากข้อความที่ค้นคืนมาทำให้ลำดับการควบคุมของเวิร์กโฟลว์เปลี่ยนไป
ความท้าทายสาธารณะเพื่อทดสอบการป้องกัน
AgentSense Challenge เชิญชวนชุมชนด้านความปลอดภัยให้แทรกคำสั่งลงในเวิร์กโฟลว์ที่ได้รับการปกป้อง แล้วพยายามชักนำเอเจนต์ให้ออกนอกเจตนาของผู้ใช้ Cato ระบุว่าผลการค้นพบและข้อเสนอแนะจากผู้เข้าร่วมจะนำไปใช้ประกอบการประเมินและปรับปรุงเพิ่มเติม
ตามประกาศ ผู้เข้าร่วมที่มีคุณสมบัติตามเกณฑ์และทำภารกิจสำเร็จ 3 รายแรกจะได้รับเงินคนละ 10,000 ดอลลาร์สหรัฐ ข่าวประชาสัมพันธ์ที่ให้มาไม่มี URL สุดท้ายของชาเลนจ์หรือกฎโดยละเอียด ดังนั้นคุณสมบัติของผู้เข้าร่วมและขอบเขตการทดสอบจะขึ้นอยู่กับข้อกำหนดของโครงการที่เผยแพร่
สำหรับองค์กรที่กำลังเพิ่มความเป็นอิสระในการทำงานของเอเจนต์ AgentSense ตอบโจทย์ความต้องการที่ชัดเจน นั่นคือการรักษาความเชื่อมโยงระหว่างงานที่ผู้ใช้อนุมัติกับการดำเนินการที่ระบบ AI ลงมือทำในท้ายที่สุด คุณค่าของเทคโนโลยีนี้จะขึ้นอยู่กับความสม่ำเสมอในการบังคับใช้ขอบเขตดังกล่าว ควบคู่ไปกับการเปิดทางให้งานที่ชอบธรรมดำเนินต่อไปได้












