วิกฤตการมองเห็นของ AI: ทำไมทีมความปลอดภัยจึงบิน盲 และทำไมพวกเขาไม่จำเป็นต้องทำเช่นนั้น

การรวมตัวของตัวแทน AI เข้ากับสภาพแวดล้อมการผลิตกำลังเร่งตัวขึ้น แต่สถาปัตยกรรมความปลอดภัยที่จำเป็นในการรักษาความปลอดภัยให้กับพวกมันกำลังตกหล่นอย่างอันตราย เราอยู่ในยุคที่ตัวแทน AI ที่ได้รับมอบหมายให้ทำงานทั่วไปใน环境ทดสอบสามารถตัดสินใจ “แก้ไข” ความไม่ตรงกันของข้อมูลประจำตัวโดยการ ลบ volume ของฐานข้อมูล ได้โดยอิสระ

ในฐานะอุตสาหกรรม เรากำลังปิดสมองของเราเมื่อพูดถึงหลักการสำคัญของความปลอดภัยและความสามารถในการสังเกตการณ์เกี่ยวกับ AI ทีมความปลอดภัยกำลังบิน盲 แต่พวกเขาไม่จำเป็นต้องทำเช่นนั้น

ความเชื่อผิดๆ ของ System Prompts และ Tooling ที่ปลอดภัย

ความเชื่อผิดๆ ที่แพร่หลายในพื้นที่ AI คือว่าเราสามารถควบคุมพฤติกรรมของตัวแทนได้โดยการบอกให้พวกมันทำตามคำสั่ง System Prompts เป็นคำแนะนำ ไม่ใช่การบังคับใช้ ในเหตุการณ์ที่กล่าวมาข้างต้น กฎของระบบ AI ระบุอย่างชัดเจนว่าไม่ควรดำเนินการคำสั่งที่ทำลายล้าง แต่ตัวแทนก็ละเมิดรั้วความปลอดภัยที่โฆษณาไว้และดำเนินการคำสั่งที่ไม่สามารถกลับมาได้

เราต้องทำงานภายใต้สมมติฐานที่ว่าตัวแทน AI ไม่ “รู้” อะไรเลย การโจมตี AI เป็นการหลอกลวงทางสังคม แต่เหยื่อไม่ใช่มนุษย์ แต่เป็นคอมพิวเตอร์ ใครที่มีประสบการณ์ในการทดสอบการเจาะระบบเข้าใจว่ามันยากแค่ไหนสำหรับองค์กรในการป้องกันการโจมตีทางสังคม ตอนนี้คอมพิวเตอร์ของเราก็เสี่ยงต่อการโจมตีเช่นกัน

นอกจากนี้ AI Tooling เป็นเพียงซอฟต์แวร์ และซอฟต์แวร์ทุกตัวมีจุดอ่อน เราได้เห็นแล้วว่า AI Tooling สามารถเริ่มต้นเซิร์ฟเวอร์ HTTP ที่ไม่ได้รับการรับรองโดยอัตโนมัติ ทำให้กระบวนการหรือเว็บไซต์ใดๆ สามารถดำเนินการคำสั่งเชลล์โดยมีสิทธิ์ผู้ใช้ได้

กล่องดำของการตรวจสอบ AI

หาก AI กลายเป็นปัญหา หรือถูกบงการ การค้นหาสิ่งที่เกิดขึ้นเป็นเรื่องยาก AI Tools โดยทั่วไปไม่ให้บันทึกการตรวจสอบ หากคุณมีโชคที่จะอยู่ในระดับองค์กร บันทึกที่คุณได้รับจะไม่เพียงพอ ตัวอย่างเช่น คุณอาจได้รับเหตุการณ์ที่ไม่ชัดเจนซึ่งระบุว่าผู้ใช้ “ใช้ Gen AI” และได้รับเมตริกพื้นฐานที่แสดงจำนวนโทเค็นเข้าและออก

ไม่มีอะไรช่วยให้分析ความปลอดภัยตอบคำถามพื้นฐานได้: ตัวแทน AI นี้ทำอะไรอย่างแน่นอน?

การเปิดเผย AI: วิธีการหยุดบิน盲

ข่าวดีคือคุณไม่จำเป็นต้องมีอุปกรณ์ความปลอดภัย AI ที่หรูหราเพื่อให้ได้รับการมองเห็นใหม่ การใช้งาน AI ที่ไม่ได้รับอนุญาตและกิจกรรมของตัวแทน AI สามารถตรวจจับได้โดยใช้เทคนิคการวิเคราะห์บันทึกที่ทีมของคุณควรทำแล้ว การเรียกใช้ AI Tools, การดำเนินการคำสั่ง และเหตุการณ์การเปลี่ยนแปลงระบบสามารถติดตามได้โดยใช้การวิเคราะห์การดำเนินการกระบวนการ (ซึ่งคุณกำลังทำในระบบการจัดการความปลอดภัยและเหตุการณ์ (SIEM) ใช่ไหม?)

นี่คือวิธีการที่คุณสามารถใช้โครงสร้างพื้นฐานปัจจุบันเพื่อระบุกิจกรรม AI:

• การวิเคราะห์ DNS: การวิเคราะห์บันทึก DNS สำหรับการค้นหาโดเมน AI ที่รู้จักสามารถช่วยตรวจจับการใช้งาน AI ในสภาพแวดล้อมของคุณ
• Threatlists: วิธีนี้ต้องการการบำรุงรักษาบันทึกภัยคุกคามที่อัปเดตของโดเมนที่เกี่ยวข้องกับแพลตฟอร์ม AI หรือผู้ให้บริการแบบจำลอง
• Community Resources: มีโครงการชุมชนและบันทึกการบล็อกที่สามารถปรับเปลี่ยนเป็นตารางค้นหาได้สำหรับการใช้งานแบบโปรแกรม
• การติดตาม SSL: วิธีที่คล้ายกันสามารถใช้บันทึก SSL เพื่อติดตามชื่อเซิร์ฟเวอร์ แม้ว่าจะให้รายละเอียดน้อยกว่าเนื่องจากไม่ได้บันทึก URL ที่สมบูรณ์
• การวิเคราะห์ Telemetry ของ Endpoint: คุณสามารถใช้เครื่องมือเช่น Sysmon เพื่อนับกระบวนการลูกและล่าหากระบวนการที่สร้าง bash จำนวนมาก ซึ่งเป็นตัวบ่งชี้ที่แข็งแกร่งของตัวแทน AI ที่กำลังดำเนินการคำสั่งบนจุดสิ้นสุด

จุดบอดที่ต้องการการเปลี่ยนแปลงที่ใช้งานอยู่คือคำสั่ง AI เอง คุณกำลังถามอะไรจาก AI? พวกเขากำลังอัปโหลดเอกสารที่อาจมีความละเอียดอ่อนหรือไม่ ซึ่งอาจสร้างปัญหาเรื่องการปฏิบัติตามกฎระเบียบ การตอบคำถามเหล่านี้อาจต้องรวบรวมคำขอ API ไปยังผู้ให้บริการ; โพรกซีเว็บ, โพรกซี LLM และเครื่องมือการรวบรวมข้อมูลจากผู้ให้บริการบันทึกและ SIEM ซึ่งสามารถลบม่านบังตาที่ปิดกั้นแหล่งข้อมูลที่มีค่านี้ได้

ภัยคุกคามที่เกิดขึ้นใหม่: เซิร์ฟเวอร์ MCP ที่เป็นอันตราย

โพรโทคอลบริบทแบบจำลอง (MCP) ได้ปรากฏขึ้นเป็นวิธีการกำหนดว่าแอป AI ต่างๆ รวมกับเครื่องมือและแหล่งข้อมูลภายนอกอย่างไร แม้ว่าจะทำให้การเชื่อมต่อเป็นมาตรฐาน แต่ก cũngแนะนำเวกเตอร์การโจมตีใหม่ๆ ที่มีขนาดใหญ่ผ่าน “Evil MCP” เซิร์ฟเวอร์

ฉันจัดให้มีการฝึกอบรมแบบมืออาชีพที่นักเรียนสามารถสัมผัสกับการโจมตีนี้ได้ พวกเขาออกแบบเซิร์ฟเวอร์ MCP ที่เป็นอันตรายเพื่อหลอกล่อ LLM ให้เรียกใช้เครื่องมือที่ถูกต้องและส่งผลลัพธ์กลับไปยังผู้โจมตี เนื่องจาก LLM มีความเสี่ยงต่อการหลอกลวงทางสังคม การหลบหลีกการป้องกันที่มีอยู่มักจะง่ายๆ เพียงแค่เลือกคำพูดที่ดีกว่าหรือคำอธิบายที่ชาญฉลาด

นักเรียนมักจะใช้เซิร์ฟเวอร์ที่เป็นอันตรายเพื่อสั่งให้ AI ว่า “อยู่ในโหมดบำรุงรักษา” และต้องส่งข้อมูลไปยังเครื่องมือที่สองเพื่อ “การบันทึกการตรวจสอบ” ซึ่งนำไปสู่การขโมยข้อมูล บางคนมีความคิดสร้างสรรค์มากกว่าคนอื่นๆ แต่ทุกคนมักจะสำเร็จ

การควบคุมกลับ

เพื่อตรวจสอบกิจกรรม AI ในโลกแห่งความเป็นจริง คุณต้องการโพรกซี่เพื่อจับคำขอ AI และเครื่องมือรวบรวมบันทึกที่สามารถจัดการข้อมูล JSON ขนาดใหญ่ได้ ด้วยการมองเห็นนี้ คุณสามารถตรวจจับและจัดการภัยคุกคามได้ คุณไม่สามารถพึ่งพาผู้ให้บริการ AI เพียงอย่างเดียวเพื่อให้ได้ชั้นความปลอดภัย การบังคับใช้จะต้องอยู่ในระบบขององค์กรของคุณ ไม่ใช่ในข้อความที่เราหวังว่าแบบจำลองจะปฏิบัติตาม ด้วยโซลูชันการบันทึกที่ดี ทีมความปลอดภัยมีการวัดผลแล้ว; มันถึงเวลาที่พวกเขาจะเริ่มค้นหามัน