เอเจนต์ AI กำลังฉลาดขึ้นและพื้นที่โจมตีกำลังใหญ่ขึ้น

เมื่อเอเจนต์ AI เริ่มจองการประชุม ทำงานโค้ด และท่องเว็บแทนคุณ การสนทนาด้านความปลอดภัยทางไซเบอร์เปลี่ยนไป ไม่ใช่การเปลี่ยนแปลงที่ช้า แต่เป็นการเปลี่ยนแปลงที่เกิดขึ้นในชั่วข้ามคืน

สิ่งที่เคยเป็นระบบซอฟต์แวร์ที่มีขอบเขตและคาดเดาได้กลายเป็นสิ่งที่มีเหตุผล วางแผน และดำเนินการข้ามเครื่องมือและ API ที่แทบจะไม่เคยรู้จักเมื่อสองสามปีที่แล้ว

นี่เป็นสิ่งที่น่าตื่นเต้นจริงๆ และยังเป็นสิ่งที่น่ากลัว เพราะ พื้นที่โจมตีที่มาพร้อมกับความเป็นอิสระนี้มีขนาดใหญ่มาก และองค์กรส่วนใหญ่ยังเพิ่งเริ่มต้น เข้าใจสิ่งที่หมายถึงการปล่อยให้เอเจนต์เข้าสู่โครงสร้างพื้นฐานของตน

จาก Chatbots ถึง Operators

คำสัญญาเดิมของ AI คือเรียบง่าย: ถามคำถามและรับคำตอบ นั่นยังคงเป็นจริงสำหรับการโต้ตอบของผู้บริโภคส่วนใหญ่ แต่ไม่ใช่สิ่งที่เกิดขึ้นในสถานประกอบการแล้ว เอเจนต์ในปัจจุบันถูกมอบหมายให้ใช้เครดิตเชลล์ คีย์ API และความสามารถในการลบ สร้าง และ บันทึกข้อมูล ตลอดจนการดำเนินการจริงภายในระบบที่มีผลกระทบจริง

การเปลี่ยนแปลงเกิดขึ้นอย่างรวดเร็ว ในเวลาไม่ถึงสองปี เอเจนต์ AI ไปจากการที่เป็นเครื่องมือสร้างข้อความถึง การอนุญาตให้เราทำงานร่วมกับระบบหลายเอเจนต์ได้อย่างราบรื่น พวกมันกำลังอ่านอีเมล์ จุดชนวนการทำงาน อ่านฐานข้อมูล และในบางกรณีจัดการเอเจนต์อื่นๆ ที่อยู่ภายใต้พวกมัน ระดับการเข้าถึงดังกล่าวเคยต้องมีการจัดซื้อจัดจ้างที่ยาวนานและต้องมีมนุษย์ในวงจร ตอนนี้เป็นเพียงไฟล์ config และการเรียก API เพียงไม่กี่ครั้ง

การเข้าถึงที่มากขึ้นหมายถึงการเปิดเผยที่มากขึ้น

การโจมตีแบบดั้งเดิมมีโปรไฟล์ที่คาดเดาได้ มีจุดเข้า มีจุดอ่อน และมีการแก้ไข เอเจนต์ AI ทำลายรูปแบบนี้ เพราะ พวกมันถูกออกแบบให้เปลี่ยนแปลงได้ พวกมันไม่ปฏิบัติตามเส้นทางโค้ดที่คงที่ พวกมันคิดว่าจะทำอะไรต่อไป ซึ่งหมายความว่าพฤติกรรมของพวกมัน ยากที่จะคาดเดาและยากที่จะตรวจสอบหลังเหตุการณ์

ความไม่แน่นอนนี้มีประโยชน์สำหรับการทำงาน แต่ก็เป็นข้อได้เปรียบสำหรับผู้ที่พยายามใช้ระบบนี้ เมื่อเอเจนต์สามารถตัดสินใจกลางงานที่จะเรียก API ภายนอกหรือดึงเครื่องมือภายนอกเข้ามา มีไม่มีพื้นที่ที่สะอาดที่จะป้องกัน

ทีมความปลอดภัยมักจะป้องกันพื้นที่ที่ทราบและ ติดตามค่าใช้จ่ายของ Kubernetes เอเจนต์ยังคงค้นพบพื้นที่ใหม่ๆ และช่องโหว่ และไม่มีใครทำการแมปในเวลาจริง ก่อนที่คุณจะรู้ตัวใครบางคนสามารถยึดเครดิตเชลล์และ ควบคุมเอเจนต์ AI ทั้งหมดของคุณด้วยการเคลื่อนไหวเดียว

Prompt Injection คือ SQL Injection ใหม่

หากมีเวกเตอร์การโจมตีหนึ่งที่นักวิจัยด้านความปลอดภัยยังคงกลับมาที่มัน นั่นคือ Prompt Injection ความคิดคือการโจมตีโดยตรง: แทนที่จะใช้ประโยชน์จากช่องโหว่ของโค้ด ผู้โจมตีจะจัดการคำสั่งที่เอเจนต์ได้รับจากอินพุต คำสั่งอันชั่วร้ายที่ฝังอยู่ในเว็บเพจ เอกสาร หรือแม้แต่อีเมลสามารถเปลี่ยนทิศทางของสิ่งที่เอเจนต์ทำต่อไป

สิ่งที่ทำให้สิ่งนี้คมคายเป็นพิเศษคือเอเจนต์ทำตามที่ได้รับคำสั่ง พวกมันกำลังประมวลผลเนื้อหาจากรายการเว็บ จากข้อความของผู้ใช้ จากเครื่องมือภายนอก เนื้อหาส่วนใดๆ ก็เป็นพื้นที่การฉีดเข้าได้ เอเจนต์ที่อ่านเอกสารที่ถูกบุกรุกและต่อมาเรียก API ตามเนื้อหานั้นได้ถูกบุกรุก และ มันไม่น่าจะบันทึกอะไรที่ทำให้เห็นช่องโหว่

การป้องกันในกรณีนี้มีจริงแต่ไม่สมบูรณ์ การแยกเอเจนต์ออก การจำกัดเครื่องมือที่เอเจนต์สามารถเรียกได้ในบางบริบท และการสร้างจุดตรวจสอบของมนุษย์เข้าไปในกระบวนการทำงานที่มีความเสี่ยงสูง ลดความเสี่ยง แต่ไม่กำจัดมัน และองค์กรส่วนใหญ่ยังไม่ได้ใช้แม้แต่พื้นฐาน

ปัญหาเรื่องความไว้วางใจภายในระบบหลายเอเจนต์

ระบบหลายเอเจนต์นำระดับความซับซ้อนที่ง่ายต่อการประเมินค่าต่ำไป เมื่อเอเจนต์หนึ่งจัดการเอเจนต์อื่นๆ มีระดับความไว้วางใจที่เกิดขึ้น เอเจนต์ที่ควบคุมส่งคำสั่งลงไป และเอเจนต์ย่อยปฏิบัติตาม หากเอเจนต์ที่ควบคุมถูกบุกรุก เอเจนต์ทั้งหมดที่อยู่ภายใต้จะถูกบุกรุกด้วย และพื้นที่ที่ถูกโจมตีจะใหญ่มากในเวลาอันสั้น

ยังมีปัญหาเรื่องการให้สิทธิ์มากเกินไป เอเจนต์มักได้รับสิทธิ์มากเกินกว่าที่ต้องการ เพราะ การให้สิทธิ์ที่กว้างขวางในตอนแรกง่ายกว่าการปรับให้เหมาะสมอย่างต่อเนื่อง เอเจนต์วิจัยไม่ต้องการสิทธิ์เขียนเข้าฐานข้อมูลการผลิต เอเจนต์ในการจัดตารางไม่ต้องการสิทธิ์เข้าถึงบันทึกทางการเงิน แน่นอนว่า มันทำให้รู้สึกดีที่จะมีทุกอย่างเชื่อมโยงกัน แต่มันเสี่ยงเกินไปที่จะเห็นผลตอบแทนที่ไม่ลดลง แต่เส้นแบ่งจะ模糊ในทางปฏิบัติ และหลักการให้สิทธิ์ขั้นต่ำที่ทำงานได้ดีในทางทฤษฎีถูกทอดทิ้งเงียบๆ ในการรีบออกสินค้า

สิ่งที่ดูเหมือนเป็นความปลอดภัยที่สมเหตุสมผลในกรณีนี้

ไม่มีวิธีแก้ปัญหาเดียวที่ทำให้การวางเอเจนต์ปลอดภัย มันเป็นปัญหาที่มีหลายชั้นและต้องการการป้องกันที่มีหลายชั้น องค์กรที่ทำได้ดีในเรื่องนี้มักจะเริ่มต้นด้วยการควบคุมการเข้าถึง: ให้เอเจนต์แต่ละตัวมีขอบเขตที่กำหนดและสร้างขั้นตอนการตรวจสอบเข้าไปในกระบวนการใดๆ ที่สัมผัสกับระบบหรือบริการภายนอกที่สำคัญ

ความสามารถในการสังเกตเห็นมีความสำคัญไม่แพ้กับการป้องกัน หากเอเจนต์ทำอะไรที่ไม่คาดคิด ทีมจะต้องมีการติดตามเต็มรูปแบบของคำสั่งที่ได้รับ เครื่องมือที่เรียก และสิ่งที่ส่งกลับ การตั้งค่าการบันทึกส่วนใหญ่ไม่ได้ถูกสร้างขึ้นด้วยความละเอียดที่มีใจความนี้ และการปรับเปลี่ยนหลังเหตุการณ์เป็นเรื่องที่เจ็บปวด การสร้างมันขึ้นตั้งแต่ต้นมีค่าใช้จ่าย แต่คุ้มค่า

การทดสอบแบบ Adversarial ยังถูกใช้อย่างไม่เพียงพอ การทดสอบเอเจนต์โดยเฉพาะการพยายามฉีดคำสั่งอันชั่วร้ายและดูว่าเกิดอะไรขึ้น ทำให้เห็นช่องโหว่ที่การตรวจสอบโค้ดแบบคงที่จะไม่พบ มันไม่สบายใจที่จะคิด แต่ผู้ที่จะพยายามใช้ระบบเหล่านี้ในอนาคตก็กำลังทำเช่นนั้น การไปถึงก่อนเป็นทางเลือกที่มีเหตุผลเพียงอย่างเดียว

ความคิดสุดท้าย

เอเจนต์ AI จะกลายเป็นส่วนสำคัญของวิธีการดำเนินงานขององค์กร และการเปลี่ยนแปลงนี้กำลังเกิดขึ้นแล้ว การสนทนาด้านความปลอดภัยต้องตามทัน และเร็วๆ นี้ ความเสี่ยงเป็นจริง เวกเตอร์การโจมตีมีนวัตกรรม และช่วงเวลาที่จะเข้าควบคุมพวกมันกำลังแคบลง

การเข้าใจภูมิทัศน์การโจมตีสำหรับระบบ AI อิสระไม่ใช่สิ่งที่เลือกได้แล้ว มันเป็นหนึ่งในสิ่งที่สำคัญที่สุดที่ทีมความปลอดภัยและวิศวกรสามารถทำได้ ณ ตอนนี้ และนาฬิกาที่จะทำถูกต้องได้เริ่มต้นแล้ว