จาก Generative ไปเป็น Agentic AI: การเปลี่ยนแปลงจากความเสี่ยงเนื้อหาไปสู่การรักษาความปลอดภัยในการดำเนินการ

AI ในองค์กรกำลังพัฒนาไปอย่างรวดเร็ว สิ่งที่เริ่มต้นจาก AI ที่ช่วยเขียนอีเมลและสรุปเอกสารตอนนี้กำลังพัฒนาไปสู่ระบบที่สามารถวางแผน ตัดสินใจ และดำเนินการงานต่างๆ ได้อย่างอิสระ

นี่คือการเปลี่ยนแปลงจาก AI ที่สร้างเนื้อหาไปสู่ AI ที่มีพลังในการดำเนินการ ซึ่งทำให้ความเสี่ยงเปลี่ยนแปลงไป

AI ที่สร้างเนื้อหามีความเสี่ยงด้านเนื้อหา เช่น การสร้างข้อมูลที่ไม่ถูกต้อง การรั่วไหลของข้อมูลผ่านคำสั่ง และการสร้างเนื้อหาที่มีอคติ AI ที่มีพลังในการดำเนินการมีความเสี่ยงด้านการรักษาความปลอดภัยในการดำเนินการ ซึ่งเกิดจากการที่ระบบสามารถดำเนินการงานต่างๆ ได้อย่างอิสระและมีอำนาจในการเข้าถึงเครื่องมือและระบบต่างๆ

นี่คือโอกาสสำหรับผู้เชี่ยวชาญด้านความปลอดภัย การกำกับดูแล และ AI ที่จะประเมินตำแหน่งของตนเองเกี่ยวกับความเสี่ยงใหม่เหล่านี้

อะไรคือความเสี่ยงของ Agentic AI?

ความเสี่ยงของ Agentic AI หมายถึง ความเสี่ยงด้านความปลอดภัย การดำเนินการ และการกำกับดูแลที่เกิดจาก AI ที่ดำเนินการอย่างอิสระ ไม่ใช่แค่สร้างเนื้อหาเท่านั้น แต่ยังสามารถดำเนินการงานต่างๆ ได้

ไม่เหมือนกับโมเดลภาษาที่ใช้กันอยู่ทั่วไป ระบบ Agentic AI สามารถแบ่งงานออกเป็นกระบวนการทำงานที่ซับซ้อน สามารถเรียกใช้ API และอินโฟกราฟิกภายในองค์กร และสามารถจัดเก็บและเรียกคืนข้อมูลได้

พวกมันสามารถดำเนินการได้ภายใต้การควบคุมและสามารถสื่อสารกับระบบอื่นๆ ได้

ในอีกคำหนึ่ง พวกมันไม่เหมือนกับแชทบอท แต่เหมือนกับพนักงานดิจิทัลที่มีพลังในการดำเนินการมากขึ้น

Generative vs Agentic AI: สิ่งที่เปลี่ยนแปลง?

ความเสี่ยงของ AI ที่สร้างเนื้อหาเน้นไปที่เนื้อหาที่สร้างขึ้น ทีมความปลอดภัยจะถามคำถาม เช่น ระบบมีการรั่วไหลของข้อมูลหรือไม่ หรือมีการสร้างเนื้อหาที่เป็นอันตรายหรือไม่

มนุษย์อยู่ในวงจรการทำงาน AI เสนอแนะ และมนุษย์อนุมัติ

ความเสี่ยงของ Agentic AI มุ่งเน้นไปที่การดำเนินการ ทีมความปลอดภัยจะต้องถามตัวเองว่า ระบบจะโต้ตอบกับระบบอื่นๆ ได้อย่างไร ระบบจะมีอำนาจในการเข้าถึงเครื่องมือและระบบอื่นๆ ได้อย่างไร และจะเกิดอะไรขึ้นหากระบบถูกหลอกลวงขณะดำเนินการ

ความแตกต่างอาจจะเล็กน้อย แต่มีความสำคัญ: AI ที่สร้างเนื้อหา สร้างเนื้อหา AI ที่มีพลังในการดำเนินการ สร้างผลกระทบ

Agentic AI ขยายพื้นที่การโจมตีขององค์กรอย่างไร?

Agentic AI ไม่ได้เพิ่มแอปพลิเคชันใหม่เท่านั้น แต่ยังสร้างชั้นการดำเนินการใหม่ด้วย นี่คือวิธีที่พื้นที่การโจมตีเพิ่มขึ้น:

1. ตัวแทน AI ที่มีอำนาจ

มีตัวแทนหลายตัวที่ดำเนินการแทนผู้ใช้หรือบัญชีบริการ เมื่อขอบเขตของอำนาจไม่เข้มงวด พวกมันจะกลายเป็นเป้าหมายที่มีค่า

สิ่งนี้อาจนำไปสู่ปัญหา เช่น การเพิ่มอำนาจ การเคลื่อนย้ายข้อมูล และการโจมตีแบบข้ามระบบ

2. การดำเนินการตามเส้นทางที่ไม่แน่นอน

การควบคุมการทำงานในแอปพลิเคชันแบบดั้งเดิมเป็นไปตามกฎที่แน่นอน การควบคุมการทำงานในระบบ Agentic AI ไม่แน่นอน

พวกมันสามารถคิดว่าแผนการ การดำเนินการ และการเรียกใช้เครื่องมือได้อย่างไม่แน่นอน ซึ่งนำไปสู่การล้มเหลวที่ยากต่อการวิเคราะห์ การสร้างกราฟที่ซับซ้อน และการล้มเหลวที่เกิดจากการที่ระบบหลายระบบโต้ตอบกัน

3. หน่วยความจำที่คงอยู่

พื้นที่การโจมตีที่เกิดจากหน่วยความจำของตัวแทน AI คงอยู่

เมื่อหน่วยความจำสั้นหรือยาวถูกบุกรุก สถานะที่เป็นอันตรายสามารถส่งผลต่อการตัดสินใจในหลายๆ เซสชัน ซึ่งไม่เหมือนกับการบุกรุกแบบครั้งเดียว เนื่องจากการบุกรุกหน่วยความจำให้ความคงอยู่

4. ความเสี่ยงในการตัดสินใจด้วยความเร็วของเครื่องจักร

ตัวแทน AI ที่มีอำนาจสามารถตัดสินใจด้วยความเร็วที่ไม่สามารถเทียบได้ ซึ่งนำไปสู่ความเสี่ยงในการตัดสินใจด้วยความเร็วของเครื่องจักร เช่น การแพร่กระจายข้อผิดพลาดอย่างรวดเร็ว การใช้ประโยชน์จากช่องโหว่ด้วยความเร็ว และการเพิ่มระดับการโจมตีก่อนที่จะถูกตรวจจับ

ในระบบหลายระบบ ตัวแทน AI ที่มีอำนาจสามารถทำให้เกิดการล้มเหลวได้อย่างรวดเร็ว

ทำไมการควบคุมแบบดั้งเดิมจึงล้มเหลวในการรับมือกับ Agentic AI?

โมเดลความปลอดภัยขององค์กรส่วนใหญ่พึ่งพาแอปพลิเคชันแบบดั้งเดิม การควบคุมการทำงานที่คาดการณ์ได้ การอนุมัติของมนุษย์ และการแบ่งแยกที่ชัดเจนระหว่างการประมวลผลข้อมูลและการดำเนินการ Agentic AI ทำให้สมมติฐานเหล่านี้ไม่ถูกต้อง

ลองพิจารณาการควบคุมแบบดั้งเดิม เช่น การตรวจสอบข้อมูลเข้า ซึ่งจะป้องกันขอบเขตของระบบ แต่ความเสี่ยงของ Agentic AI มักจะเกิดขึ้นในระหว่างการดำเนินการ การวางแผน การสะท้อนกลับ หรือการเรียกใช้เครื่องมือ

การตรวจสอบช่องโหว่แบบดั้งเดิมมุ่งเน้นไปที่โครงสร้างพื้นฐานและซอฟต์แวร์ แต่ความเสี่ยงในการดำเนินการของ AI อยู่ในระดับการดำเนินการและเหตุผลของตัวแทน

คำถามคือ: คุณจะปกป้องสิ่งที่สามารถเลือกการดำเนินการถัดไปได้อย่างไร? คุณไม่สามารถเพียงแค่ห่อการควบคุมรอบๆ โมเดลได้ คุณต้องรักษาความปลอดภัยของการดำเนินการ

การรักษาความปลอดภัยของ Agentic AI: สิ่งที่ได้ผล?

เมื่อพูดถึงการรักษาความปลอดภัยของ Agentic AI จะต้องมีการเปลี่ยนแปลงจากความคิดการรักษาความปลอดภัยแบบดั้งเดิมไปสู่การรักษาความปลอดภัยแบบวงจรชีวิต

ตัวแทน AI ไม่ควรได้รับอนุญาตให้重新ตีความเป้าหมายได้อย่างไม่มีกำหนด และมีหลายวิธีในการบรรลุเป้าหมายนี้

การสร้างลำดับของเป้าหมายที่อนุญาต การควบคุมความลึกของแผนการ การตรวจสอบการเปลี่ยนแปลงของเหตุผล และการห้ามเป้าหมายที่ไม่อยู่ในขอบเขตที่กำหนดเป็นการควบคุมที่จำเป็น

การเพิ่มความแข็งแกร่งให้กับการดำเนินการเครื่องมือ เครื่องมือคือจุดที่แผนการพบกับความเป็นจริง และความปลอดภัยต้องครอบคลุมการตรวจสอบสิทธิ์ก่อนการดำเนินการเครื่องมือ การดำเนินการใน環境ที่ปลอดภัย การตรวจสอบพารามิเตอร์อย่างเข้มงวด และการถ่ายโอนสิทธิ์ในเวลาที่เหมาะสม

การแยกความจำและขอบเขตสิทธิ์ ความจำต้องถูกปฏิบัติตามเหมือนกับโครงสร้างพื้นฐานที่มีความสำคัญ

การรักษาความปลอดภัยของการประสานงานระหว่างตัวแทน AI ในระบบหลายระบบ การสื่อสารเองก็กลายเป็นเวกเตอร์การโจมตี

จากการจัดการการรั่วไหลไปสู่การประเมินการรั่วไหลสำหรับระบบ AI

นี่คือจุดที่ปรัชญาความปลอดภัยที่กว้างขึ้นกลายเป็นกุญแจสำคัญ การจัดการช่องโหว่แบบดั้งเดิมระบุความอ่อนแอของระบบที่ทราบ แต่ระบบ AI ที่มีอำนาจสามารถสร้างการรั่วไหลที่เกิดจากการตั้งค่า การออกแบบสิทธิ์ เส้นทางการรวม และพฤติกรรมแบบไดนามิก

สิ่งนี้สอดคล้องกับสิ่งที่อุตสาหกรรมเรียกว่าการจัดการการรั่วไหลและการประเมินการรั่วไหล

การจัดการการรั่วไหลคือการมีความเข้าใจอย่างต่อเนื่องเกี่ยวกับวิธีที่ระบบ รวมถึงทรัพย์สินบนคลาวด์ บัญชี การใช้งาน และตัวแทน AI สร้างเส้นทางที่ผู้โจมตีสามารถใช้ประโยชน์ได้

สำหรับความปลอดภัยของระบบ AI ที่มีอำนาจ สิ่งนี้หมายถึงการถามคำถาม เช่น ตัวแทน AI สามารถเข้าถึงอะไรได้บ้าง? มันรวบรวมสิทธิ์อะไร? ระบบไหนที่มันจัดการ? และการดำเนินการมีจุดตัดกับข้อมูลที่มีความสำคัญที่ไหน?

ทีมที่ใช้กลยุทธ์แบบการรั่วไหลเพื่อลดความเสี่ยงด้านไซเบอร์อยู่แล้วมีตำแหน่งที่ดีในการขยายหลักการเหล่านี้ไปยังสภาพแวดล้อม AI ของตน

สิ่งสำคัญไม่ใช่เครื่องมือของซัพพลายเออร์ แต่เป็นความคิด

คุณไม่รักษาความปลอดภัยของ Agentic AI โดยการปกป้องโมเดล คุณรักษาความปลอดภัยโดยการวัดและลดการรั่วไหลอย่างต่อเนื่อง

การจัดการความเสี่ยงในการดำเนินการของ Agentic AI

ลักษณะเด่นของความปลอดภัย Agentic AI คือพื้นที่การโจมตีไม่ใช่การตอบสนอง แต่เป็นการดำเนินการ

ความเสี่ยงในการดำเนินการมีหลายอย่าง รวมถึงการใช้เครื่องมือโดยไม่ได้รับอนุญาต การปลอมแปลงตัวตน การเพิ่มสิทธิ์ การบุกรุกความจำ การบุกรุกตัวแทน AI และระบบที่มีมนุษย์อยู่ในวงจรการทำงานภายใต้การบังคับ

การบรรเทาความเสี่ยงเหล่านี้ต้องมีการมองเห็นความสัมพันธ์ระหว่างตัวตน การสืบทอดสิทธิ์ การพึ่งพา API กิจกรรมในขณะทำงาน และการวัดผลการดำเนินการ

สิ่งนี้ไม่ใช่แค่ความปลอดภัยของ AI ที่สร้างเนื้อหา แต่ยังเป็นความปลอดภัยในการดำเนินการ AI ด้วย

ความเสี่ยงของ Agentic AI เป็นสถาปัตยกรรม ไม่ใช่สมมุติฐาน

Agentic AI คือขั้นตอนต่อไปในการพัฒนา AI ในองค์กร มันให้ความหวังในการเพิ่มประสิทธิภาพ การทำงานอัตโนมัติ และการปรับขนาด แต่ก cũngนำความเสี่ยงมาจากสิ่งที่ AI พูดไปสู่สิ่งที่ AI ทำ

การเปลี่ยนแปลงจาก AI ที่สร้างเนื้อหาไปสู่ AI ที่มีอำนาจในการดำเนินการมีผลกระทบต่อ:

• ความเสี่ยงเนื้อหาไปสู่ความเสี่ยงในการดำเนินการ
• คำสั่งแบบคงที่ไปสู่การดำเนินการแบบไดนามิก
• การตรวจสอบของมนุษย์ไปสู่การดำเนินการแบบอัตโนมัติ
• ความปลอดภัยของแอปพลิเคชันไปสู่การรักษาความปลอดภัยในการดำเนินการ

ผู้นำด้านความปลอดภัยที่เข้าใจการเปลี่ยนแปลงนี้ก่อนสามารถออกแบบการป้องกันที่ปรับขนาดได้ตามความเป็นอิสระของ AI ผู้ที่ไม่เข้าใจจะสิ้นเปลืองด้วยผู้โจมตีภายในที่ไม่มีการควบคุม

อนาคตของ AI ในองค์กรคือ Agentic AI อนาคตของความปลอดภัย AI จะต้องเป็นไปตามการรักษาความปลอดภัยในการดำเนินการ การรู้เห็นในการทำงาน และการออกแบบสำหรับการดำเนินการด้วยความเร็วของเครื่องจักร

เพราะเมื่อตัวแทน AI มีความสามารถในการดำเนินการแล้ว วิธีการเดียวที่เป็นไปได้คือการเข้าใจและบรรเทาความเสี่ยงอย่างต่อเนื่อง