Sysdig เปิดตัว AI Defense เพื่อกำกับดูแลการทำงานของเอเจนต์ตั้งแต่เอนด์พอยต์จนถึงคลาวด์

Sysdig เปิดตัว AI Defense ผลิตภัณฑ์ด้านความปลอดภัยและการกำกับดูแลขณะทำงาน ซึ่งออกแบบมาเพื่อตรวจสอบการทำงานของเอเจนต์ AI และแทรกแซงเมื่อการกระทำของเอเจนต์เกินขอบเขตนโยบายขององค์กร ประกาศเมื่อวันที่ 4 พฤศจิกายนระบุว่าผลิตภัณฑ์พร้อมให้ใช้งานทั่วไปบน macOS และ Windows โดยมีเป้าหมายให้มองเห็นกิจกรรมบนคอมพิวเตอร์ที่พนักงานใช้งานและเชื่อมโยงกับทรัพยากรบนคลาวด์ที่ข้อมูลรับรองของพนักงานเข้าถึงได้

ผลิตภัณฑ์นี้ตอบโจทย์การเปลี่ยนผ่านจาก AI ที่สร้างคำตอบไปสู่ AI ที่ทำงานกับซอฟต์แวร์ได้ เอเจนต์เขียนโค้ดสามารถอ่านไฟล์ เรียกใช้เครื่องมือ เริ่มกระบวนการทำงาน และเปลี่ยนแปลงโครงสร้างพื้นฐานได้ การรักษาความปลอดภัยให้เวิร์กโฟลว์ดังกล่าวต้องเข้าใจทั้งงานที่เอเจนต์เชื่อว่าตนกำลังทำ และการดำเนินการที่เกิดขึ้นจริงเบื้องหลัง

เชื่อมโยงเจตนาของเอเจนต์กับหลักฐานจากระบบปฏิบัติการ

Sysdig ระบุว่า AI Defense ผสานการติดตั้งเครื่องมือวัดภายในฮาร์เนสของเอเจนต์ ซึ่งเป็นเฟรมเวิร์กที่ใช้รันเอเจนต์ เข้ากับข้อมูลเทเลเมทรีจากระบบปฏิบัติการ เครื่องมือวัดในฮาร์เนสจะบันทึกการเรียกใช้เครื่องมือ เซิร์ฟเวอร์ Model Context Protocol ทักษะ และปลั๊กอิน รวมถึงอาร์กิวเมนต์และเป้าหมายของการเรียกใช้เหล่านั้น ส่วนการเฝ้าสังเกตในระดับระบบจะจัดทำบันทึกแยกต่างหากเกี่ยวกับกระบวนการและกิจกรรมที่เกิดจากการเรียกใช้ดังกล่าว

ความแตกต่างนี้มีความสำคัญเมื่อข้อมูลที่เอเจนต์รายงานไม่ครบถ้วนหรือถูกบุกรุก การเรียกใช้เครื่องมือหนึ่งครั้งที่มีการรายงานอาจเริ่มกระบวนการหลายรายการ และการเพิ่มการเชื่อมต่อหรือทักษะระหว่างเซสชันอาจเปลี่ยนขีดความสามารถของเอเจนต์ได้ Sysdig รายงานข้อสังเกตเบื้องต้นว่า ในบันทึกของเอเจนต์ การกระทำแต่ละครั้งมีการทำงานของกระบวนการเบื้องหลังประมาณเจ็ดรายการ ทั้งนี้เป็นผลการค้นพบของบริษัท ไม่ใช่อัตราส่วนที่ใช้ได้กับเอเจนต์ทุกตัว

ระบบยังพิจารณาระดับสิทธิ์ด้วย กล่าวคือ การอ่านไฟล์แบบเดียวกันอาจส่งผลต่างกัน ขึ้นอยู่กับว่าข้อมูลรับรองที่เกี่ยวข้องเข้าถึงสภาพแวดล้อมทดสอบได้ หรือใช้ดูแลระบบจริง กราฟการกระทำมีเป้าหมายเพื่อเชื่อมโยงลำดับเหตุการณ์ ผู้รับผิดชอบ กิจกรรมที่เอเจนต์ระบุว่ากำลังทำ และทรัพยากรที่เอเจนต์เข้าถึงได้

นโยบายที่อนุญาต พัก หรือบล็อกการกระทำ

องค์กรสามารถเริ่มใช้นโยบายในโหมดแจ้งเตือนก่อนเปิดใช้การบังคับใช้นโยบาย เมื่อเปิดใช้การบังคับใช้แล้ว Sysdig ระบุว่านโยบายเหล่านี้สามารถบล็อกเครื่องมือและการเชื่อมต่อที่ยังไม่ผ่านการตรวจสอบ ยับยั้งการเข้าถึงข้อมูลรับรองที่มีความเสี่ยง หรือพักการกระทำไว้เพื่อรอการอนุมัติจากมนุษย์ นอกจากนี้ เอกสารเปิดตัวยังกล่าวถึงการยุติกระบวนการ หากการกระทำผ่านการควบคุมขั้นต้นมาได้

กลไกเหล่านี้ทำงานในจุดต่าง ๆ ของลำดับการประมวลผล การป้องกันไม่ให้การดำเนินการเสร็จสิ้นนั้นแตกต่างจากการตรวจพบกิจกรรมแล้วจึงยุติกระบวนการภายหลัง ประกาศไม่ได้ให้ตารางสาธารณะที่แสดงว่าการควบคุมใดเป็นการป้องกันล่วงหน้าในระบบปฏิบัติการ ฮาร์เนส และแพลตฟอร์มที่มีการจัดการแต่ละประเภทซึ่งรองรับ

เทมเพลตนโยบายมีการจับคู่กับ OWASP Top 10 for LLM Applications พร้อมแนวทางให้ผู้พัฒนาขอยกเว้นได้ Sysdig ยังกล่าวถึงบันทึกเซสชันที่แสดงว่านโยบายใดมีผลบังคับใช้ อนุญาตหรือบล็อกสิ่งใด และใครเป็นผู้อนุมัติข้อยกเว้น บันทึกเหล่านี้ช่วยสนับสนุนการสืบสวนและการตรวจสอบ โดยไม่ต้องให้ทีมงานสร้างลำดับเหตุการณ์ของเซสชันขึ้นใหม่หลังเกิดเหตุ

สิ่งที่ Falco Foundation เพิ่มเข้ามา

Sysdig เชื่อมโยงผลิตภัณฑ์นี้กับประวัติการทำงานด้านความปลอดภัยขณะทำงานบนคลาวด์เนทีฟของบริษัท และ Falco ซึ่งเป็นโครงการโอเพนซอร์สที่บริษัทริเริ่มสร้าง เอกสารของ Falco อธิบายถึงการเฝ้าสังเกตเหตุการณ์ในเคอร์เนล Linux และแหล่งเหตุการณ์ที่ปลั๊กอินจัดหาให้ การเสริมข้อมูลเหตุการณ์ด้วยบริบทจากคอนเทนเนอร์และ Kubernetes ตลอดจนการใช้กฎเพื่อสร้างการแจ้งเตือน

รากฐานดังกล่าวช่วยอธิบายได้ว่าเหตุใด Sysdig จึงเน้นการสังเกตการทำงานที่เกิดขึ้นจริง แทนการพึ่งพาคำบรรยายของระบบ AI เพียงอย่างเดียว อย่างไรก็ตาม ไม่ได้หมายความว่าโครงการโอเพนซอร์ส Falco จะมีความสามารถด้านการกำกับดูแลเอเจนต์หรือการบล็อกทุกอย่างตามที่อธิบายไว้ใน AI Defense ควรทำความเข้าใจสถาปัตยกรรมการตรวจจับที่มีเอกสารระบุไว้ของ Falco แยกจากผลิตภัณฑ์เชิงพาณิชย์ของ Sysdig

เอกสารเปิดตัวระบุ Claude Code, Codex, GitHub Copilot และ Cursor ว่าเป็นหนึ่งในสภาพแวดล้อมเอเจนต์ที่ผลิตภัณฑ์มุ่งจัดทำบัญชีรายการและติดตามกลับไปยังเจ้าของที่เป็นมนุษย์ ข้อความเรื่องความพร้อมใช้งานบน macOS และ Windows มีขอบเขตชัดเจนกว่าคำอธิบายภาพรวมที่ระบุว่าครอบคลุมไปถึง Linux, Kubernetes และแพลตฟอร์มเอเจนต์ที่มีการจัดการ องค์กรจึงต้องตรวจสอบว่าต้องใช้การผสานรวมแบบใดกับแต่ละสภาพแวดล้อม

การกำกับดูแลขณะทำงานช่วยเสริมการทดสอบโมเดล

คำอธิบายทางเทคนิคของ Sysdig เกี่ยวกับความรับผิดชอบร่วมกันวางกรอบการควบคุมขณะทำงานให้เป็นชั้นที่ครอบการทำงานของเอเจนต์ ในทางปฏิบัติ ความแตกต่างอยู่ที่การขอให้โมเดลเคารพขอบเขต กับการบังคับใช้ขอบเขตนั้นเมื่อซอฟต์แวร์พยายามดำเนินการ

AI Defense ถูกวางตำแหน่งให้ทำงานควบคู่กับการป้องกันเอนด์พอยต์ การทดสอบโมเดล และการทดสอบแบบเรดทีม การทดสอบจะตรวจสอบพฤติกรรมของโมเดลหรือเวิร์กโฟลว์ภายใต้เงื่อนไขที่เลือกไว้ ส่วนการกำกับดูแลขณะทำงานจะดูแลการกระทำระหว่างเซสชันจริง ไม่มีคำอธิบายใดในที่นี้ยืนยันว่าการติดตั้งใช้งานจะปลอดจากการถูกบุกรุก และประสิทธิผลยังขึ้นอยู่กับการกำหนดค่านโยบายและความครอบคลุมของเส้นทางการประมวลผล

ระบุแหล่งที่มาของกิจกรรมเอเจนต์และค่าใช้จ่ายด้าน AI

นอกเหนือจากด้านความปลอดภัย Sysdig ระบุว่า AI Defense เชื่อมโยงการเรียกใช้โมเดลเข้ากับเอเจนต์ ทีม และบุคคลที่รับผิดชอบ รวมถึงกิจกรรมที่ไม่ได้ผ่านเกตเวย์ AI แบบรวมศูนย์ ซึ่งอาจช่วยให้องค์กรแยกแยะได้ว่า การใช้โมเดลที่มีค่าใช้จ่ายสูงกับงานประจำแตกต่างจากกิจกรรมที่ควรใช้โมเดลที่มีความสามารถสูงกว่าอย่างไร

แนวคิดที่ครอบคลุมกว่านั้นคือการสร้างชั้นข้อมูลหลักฐานร่วมกันสำหรับการรักษาความปลอดภัย การกำกับดูแล และการจัดการต้นทุน เมื่อเอเจนต์มีเครื่องมือให้ใช้งานมากขึ้นและทำงานด้วยข้อมูลรับรองจริงของพนักงาน ผลกระทบที่เกิดขึ้นย่อมขึ้นอยู่กับสิ่งที่เอเจนต์สามารถดำเนินการได้ AI Defense ของ Sysdig มุ่งทำให้สิทธิ์ดังกล่าวมองเห็นได้และบังคับใช้ได้ ณ จุดที่มีการดำเนินการ