ความปลอดภัยไซเบอร์

Cato Networks เปิดตัว AgentSense เพื่อหยุดการกระทำที่เป็นอันตรายของเอเจนต์ AI ก่อนดำเนินการ

Miles Okada
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
ประเด็นสำคัญAgentSense มุ่งเป้าไปที่การโจมตีแบบ indirect prompt injection…
ดูเพิ่มเติม
  • AgentSense มุ่งเป้าไปที่การโจมตีแบบ indirect prompt injection โดยการติดตามว่าคอนเทนต์ที่ไม่น่าเชื่อถือชี้นำการกระทำของเอเจนต์อย่างไร
  • ข้อมูลรับรองที่ถูกต้องไม่ได้รับประกันพฤติกรรมที่ปลอดภัย เพราะเอเจนต์อาจถูกบงการให้กระทำการที่เป็นอันตรายได้
  • การท้าทายมูลค่า 10,000 ดอลลาร์ของ Cato เชิญชวนนักวิจัยมาทดสอบว่า AgentSense ต้านทานการเปลี่ยนเส้นทางเวิร์กโฟลว์โดยผู้โจมตีได้หรือไม่

Cato Networks เปิดตัว AgentSense ซึ่งเป็นความสามารถด้านความปลอดภัยขณะทำงานที่ออกแบบมาเพื่อหยุดการกระทำที่เป็นอันตรายของเอเจนต์ AI ก่อนที่เอเจนต์จะดำเนินการ เทคโนโลยีนี้พัฒนาโดย Cato AI Labs โดยติดตามว่าเนื้อหาที่ไม่น่าเชื่อถือส่งผลต่อพฤติกรรมของเอเจนต์อย่างไร เพื่อจัดการกับความเสี่ยงที่สิทธิ์การเข้าถึงตามปกติไม่อาจแก้ไขได้อย่างสมบูรณ์ กล่าวคือ เอเจนต์อาจมีข้อมูลรับรองที่ถูกต้อง แต่ก็ยังถูกชักจูงให้ทำสิ่งที่ไม่ควรทำได้

Cato ระบุว่า AgentSense ผสานรวมอยู่ในแพลตฟอร์มของบริษัท และจะรวมอยู่ในใบอนุญาต Cato AI Usage โดยไม่มีค่าใช้จ่ายเพิ่มเติม การประกาศนี้มาพร้อมกับกิจกรรมทดสอบการโจมตี โดยมอบเงินรางวัลคนละ $10,000 ให้แก่ผู้เข้าร่วมที่มีคุณสมบัติตามเกณฑ์ 3 รายแรก ซึ่งสามารถชักจูงเวิร์กโฟลว์ที่ได้รับการปกป้องให้ทำการกระทำที่เป็นอันตรายได้สำเร็จ

สิทธิ์ที่ถูกต้องก็ยังนำไปสู่การกระทำที่ไม่ปลอดภัยได้

เอเจนต์ในองค์กรอาจต้องอ่านอีเมล ค้นหาเอกสาร ดูข้อมูลจากเว็บไซต์ และเรียกใช้เครื่องมือต่าง ๆ เพื่อทำงานให้เสร็จสิ้น แต่ละแหล่งข้อมูลช่วยเพิ่มข้อมูลที่เอเจนต์นำไปใช้ได้ ขณะเดียวกันก็เปิดโอกาสให้ข้อความจากภายนอกส่งอิทธิพลต่อขั้นตอนถัดไปของเอเจนต์

การโจมตีด้วยการแทรกพรอมป์ต์ทางอ้อมอาศัยช่องโหว่ตรงจุดนี้ แทนที่จะส่งคำสั่งโดยตรงในฐานะผู้ใช้ที่ได้รับอนุญาต ผู้โจมตีจะซ่อนคำสั่งไว้ในเนื้อหาที่เอเจนต์พบระหว่างทำงาน เอกสาร ตั๋วงาน เว็บเพจ หรือคำตอบจากเครื่องมืออาจมีข้อความที่พยายามเปลี่ยนทิศทางเวิร์กโฟลว์ เปิดเผยข้อมูล หรือกระตุ้นให้เกิดการกระทำที่ไม่เกี่ยวข้อง

การตรวจสอบว่าเอเจนต์เข้าถึงแอปพลิเคชันได้หรือไม่ยังคงมีความสำคัญ แต่คำถามนี้ต่างจากการพิจารณาว่าการกระทำใดการกระทำหนึ่งสอดคล้องกับงานที่ผู้ใช้อนุญาตหรือไม่ ตัวอย่างเช่น เอเจนต์อาจได้รับอนุญาตให้อ่านบันทึกทางธุรกิจ แต่ไม่ได้รับอนุญาตให้ส่งบันทึกเหล่านั้นไปยังปลายทางที่เอกสารซึ่งเรียกดูมาแนะนำ

แนวทางของ AgentSense คือประเมินพฤติกรรมดังกล่าวระหว่างการทำงาน และเปิดโอกาสให้แทรกแซงได้ก่อนที่การกระทำซึ่งมีความละเอียดอ่อนจะเกิดขึ้น

ติดตามอิทธิพลจากเนื้อหาที่ไม่น่าเชื่อถือภายในเซสชัน AI

ความสามารถด้านการตรวจจับอิทธิพลที่ไม่น่าเชื่อถือซึ่งประกาศเปิดตัว แยกคำสั่งที่เชื่อถือได้ออกจากเนื้อหาที่ไม่น่าเชื่อถือภายในเซสชัน AI พร้อมติดตามว่าเนื้อหาส่วนหลังส่งผลต่อพฤติกรรมและผลลัพธ์อย่างไร Cato ระบุว่าระบบจะบล็อกการกระทำเมื่อตรวจพบว่าเนื้อหาที่ไม่น่าเชื่อถือกำลังชักนำเอเจนต์ไปสู่ขั้นตอนที่ไม่ปลอดภัย

ความแตกต่างนี้สำคัญ เพราะการโจมตีไม่จำเป็นต้องมีลักษณะเหมือนพรอมป์ต์ที่เป็นอันตรายซึ่งพบเห็นได้ทั่วไป Cato อธิบายว่า AgentSense ประเมินอิทธิพล แทนที่จะพึ่งพาตัวจำแนกแบบคงที่หรือรายการรูปแบบการโจมตีที่เคยพบมาก่อน แนวทางนี้มีจุดประสงค์เพื่อรับมือกับการโจมตีด้วยการแทรกพรอมป์ต์ทางอ้อมรูปแบบใหม่ รวมถึงรูปแบบที่ระบบรู้จักอยู่แล้ว

เอกสารเผยแพร่ระบุว่าเทคโนโลยีนี้ได้รับสิทธิบัตร แต่ไม่ได้ให้หมายเลขสิทธิบัตร รายละเอียดการนำไปใช้ หรือผลการประเมินประสิทธิภาพจากหน่วยงานอิสระ ดังนั้น คำกล่าวอ้างเรื่องการป้องกันการโจมตีที่ไม่เคยพบมาก่อนจึงควรเข้าใจว่าเป็นความสามารถด้านความปลอดภัยที่ผลิตภัณฑ์ตั้งใจจะมอบให้ ไม่ใช่การรับประกันว่าจะหยุดความพยายามแทรกพรอมป์ต์ได้ทุกรูปแบบ

คำถามในเชิงปฏิบัติคือ ชั้นความปลอดภัยมีบริบทเกี่ยวกับเซสชันและการกระทำมากพอที่จะแยกแยะระหว่างการใช้เอกสารเป็นหลักฐาน กับการถือว่าเอกสารนั้นมีอำนาจสั่งการหรือไม่ AgentSense มุ่งจัดการกับความแตกต่างนี้โดยตรง

การตรวจจับการเบี่ยงเบนเป็นอีกความสามารถหนึ่งที่วางแผนไว้

Cato ยังกล่าวถึง AgentSense Drift Detection ในลักษณะที่สื่อถึงแผนในอนาคต ฟีเจอร์ที่วางแผนไว้จะประเมินว่าการกระทำของเอเจนต์ยังคงสอดคล้องกับงานเดิมหรือไม่เมื่อเวิร์กโฟลว์ดำเนินไป

ความสามารถนี้ช่วยเสริมการตรวจจับอิทธิพล แต่ไม่ได้จัดการกับปัญหาเดียวกันโดยตรง การตรวจจับอิทธิพลที่ไม่น่าเชื่อถือจะตรวจสอบว่าเนื้อหาจากภายนอกกำลังชักนำการกระทำหรือไม่ ส่วน Drift Detection มีจุดประสงค์เพื่อตรวจสอบว่าการกระทำนั้นยังสอดคล้องกับเป้าหมายหรือไม่ แม้ขั้นตอนนั้นจะได้รับอนุญาตในทางเทคนิคก็ตาม

เมื่อเวลาผ่านไป เวิร์กโฟลว์อาจสะสมขั้นตอนที่ไม่ได้ช่วยให้งานบรรลุเป้าหมายอีกต่อไป การตรวจจับการเบี่ยงเบนดังกล่าวจำเป็นต้องติดตามเป้าหมายที่ได้รับอนุญาตตลอดทั้งเซสชัน แทนที่จะประเมินการเรียกใช้เครื่องมือแต่ละครั้งแยกจากกัน เอกสารเผยแพร่ไม่ได้ระบุวันเปิดให้ใช้งาน Drift Detection แยกต่างหาก

AgentSense ทำงานร่วมกับแพลตฟอร์มความปลอดภัย AI เดิมของ Cato อย่างไร

ข้อเสนอด้านความปลอดภัยสำหรับ AI แบบเอเจนต์ ของ Cato ครอบคลุมการค้นหาเอเจนต์และเซิร์ฟเวอร์ Model Context Protocol การจัดทำโปรไฟล์การเรียกใช้เครื่องมือ และการบังคับใช้นโยบายกับการโต้ตอบของเอเจนต์อยู่แล้ว ส่วนแพลตฟอร์มโดยรวมของบริษัทผสานบริบทด้านเครือข่าย การเข้าถึง และความปลอดภัยเข้าด้วยกัน

บริษัทยังแยกการรักษาความปลอดภัยสำหรับการใช้งาน AI ของพนักงานออกจากการปกป้องแอปพลิเคชันด้วย ข้อเสนอด้านความปลอดภัย AI สำหรับแอปพลิเคชัน ของบริษัทครอบคลุมการมองเห็นการทำงานขณะรันไทม์ การตรวจสอบพรอมป์ต์และคำตอบ ตลอดจนการป้องกันที่กำหนดค่าได้สำหรับแอปพลิเคชัน AI ที่นำไปใช้งานแล้ว ซึ่งช่วยให้เห็นบริบทของจุดมุ่งเน้นใน AgentSense ที่ว่าด้วยความถูกต้องสมบูรณ์ของการกระทำระหว่างเวิร์กโฟลว์

ในทางปฏิบัติ การควบคุมการใช้ AI เกี่ยวข้องกับการตัดสินใจหลายด้านที่เชื่อมโยงกัน ได้แก่ องค์กรอนุญาตให้ใช้บริการใดบ้าง ข้อมูลใดส่งไปยังบริการเหล่านั้นได้ และเอเจนต์ทำอะไรกับข้อมูลที่พบได้บ้าง AgentSense เพิ่มประเด็นด้านพฤติกรรมให้กับมาตรการเหล่านี้ โดยระบุว่าเมื่อใดที่เนื้อหาซึ่งไม่น่าเชื่อถือกำลังชี้นำการกระทำนั้นโดยตรง

งานวิจัยเรื่องการโจมตีแบบแทรกคำสั่งชี้ให้เห็นว่าเหตุใดการกำหนดขอบเขตจึงสำคัญ

งานวิจัย EchoLeak ของ Cato อธิบายห่วงโซ่การโจมตีที่เนื้อหาจากภายนอกอาจทำให้ Microsoft 365 Copilot เปิดเผยข้อมูลจากบริบทที่ระบบเข้าถึงได้ ประเด็นสำคัญต่อความปลอดภัยของเอเจนต์คือการเปลี่ยนจากการอ่านเนื้อหาภายนอกไปสู่การปฏิบัติตามคำสั่งที่ฝังอยู่ในเนื้อหานั้น

งานวิจัย CurXecute ของ Cato ศึกษาผลลัพธ์อีกรูปแบบหนึ่ง นั่นคือการแทรกคำสั่งผ่านเนื้อหาภายนอกอาจทำให้เอเจนต์เขียนโค้ดแก้ไขการกำหนดค่า MCP และสั่งให้มีการเรียกใช้คำสั่งได้ บทความของ Cato ระบุว่า Cursor แก้ไขช่องโหว่นี้แล้วในเวอร์ชัน 1.3 กรณีตัวอย่างนี้แสดงให้เห็นรูปแบบความล้มเหลว แต่ไม่ควรตีความว่าเป็นการกล่าวอ้างว่าปัญหาที่ได้รับการแก้ไขแล้วนั้นยังคงเปิดอยู่

ทั้งสองกรณีแสดงให้เห็นว่าเหตุใดที่มาของเนื้อหาจึงสำคัญ เมื่อผู้ช่วยสามารถเข้าถึงข้อมูลสำคัญหรือเครื่องมือสำหรับเรียกใช้คำสั่งได้ ปฏิสัมพันธ์ที่เริ่มต้นจากการค้นคืนข้อมูลอาจกลายเป็นเหตุการณ์ด้านความปลอดภัยได้ หากข้อความที่ค้นคืนมาทำให้ลำดับการควบคุมของเวิร์กโฟลว์เปลี่ยนไป

ความท้าทายสาธารณะเพื่อทดสอบการป้องกัน

AgentSense Challenge เชิญชวนชุมชนด้านความปลอดภัยให้แทรกคำสั่งลงในเวิร์กโฟลว์ที่ได้รับการปกป้อง แล้วพยายามชักนำเอเจนต์ให้ออกนอกเจตนาของผู้ใช้ Cato ระบุว่าผลการค้นพบและข้อเสนอแนะจากผู้เข้าร่วมจะนำไปใช้ประกอบการประเมินและปรับปรุงเพิ่มเติม

ตามประกาศ ผู้เข้าร่วมที่มีคุณสมบัติตามเกณฑ์และทำภารกิจสำเร็จ 3 รายแรกจะได้รับเงินคนละ 10,000 ดอลลาร์สหรัฐ ข่าวประชาสัมพันธ์ที่ให้มาไม่มี URL สุดท้ายของชาเลนจ์หรือกฎโดยละเอียด ดังนั้นคุณสมบัติของผู้เข้าร่วมและขอบเขตการทดสอบจะขึ้นอยู่กับข้อกำหนดของโครงการที่เผยแพร่

สำหรับองค์กรที่กำลังเพิ่มความเป็นอิสระในการทำงานของเอเจนต์ AgentSense ตอบโจทย์ความต้องการที่ชัดเจน นั่นคือการรักษาความเชื่อมโยงระหว่างงานที่ผู้ใช้อนุมัติกับการดำเนินการที่ระบบ AI ลงมือทำในท้ายที่สุด คุณค่าของเทคโนโลยีนี้จะขึ้นอยู่กับความสม่ำเสมอในการบังคับใช้ขอบเขตดังกล่าว ควบคู่ไปกับการเปิดทางให้งานที่ชอบธรรมดำเนินต่อไปได้

Miles Okada เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมปัญญาประดิษฐ์และความปลอดภัยไซเบอร์โดยมุ่งเน้นที่ภัยคุกคามใหม่ ๆ สถาปัตยกรรมการป้องกัน และพลวัตที่เปลี่ยนแปลงระหว่างผู้โจมตีและระบบอัตโนมัติ งานของเขาตรวจสอบว่า AI กำลังเปลี่ยนแปลงการดำเนินงานด้านความปลอดภัยอย่างไร ตั้งแต่การตรวจจับและตอบสนองต่อภัยคุกคามโดยอัตโนมัติจนถึงการเพิ่มขึ้นของเทคนิค AI ปฏิปักษ์

ด้วยมุมมองเชิงเทคนิคและการสืบสวน Miles วิเคราะห์งานวิจัยด้านความปลอดภัย การเปิดเผยเหตุการณ์ และการใช้งานจริงเพื่อเข้าใจว่าที่ไหน AI เสริมสร้างการป้องกัน—และที่ไหนมันสร้างช่องโหว่ใหม่ เขาให้ความสนใจเป็นพิเศษต่อการใช้โมเดลในทางที่ผิด การปนเปื้อนข้อมูล การทำงานอัตโนมัติของการโจมตี และความเป็นจริงในการดำเนินงานของการรักษาความปลอดภัยระบบที่ขับเคลื่อนด้วย AI ในระดับใหญ่

บทความที่เขียนโดย Miles Okada ถูกสร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อให้แน่ใจว่ามีความแม่นยำ ความเข้มงวด และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์ความปลอดภัย AI ที่เปลี่ยนแปลงอย่างรวดเร็ว