ทำไมการรักษาความปลอดภัยของ Chatbot จึงเป็นขอบเขตความปลอดภัยที่ไม่ถูกต้อง

Enterprise AI ได้พัฒนาไปอย่างมากหลังจากระดับการพิสูจน์แนวคิดแล้ว 23% ขององค์กรกำลังขยายระบบ AI ที่มีหน่วยงานต่างๆ ในที่ทำงานของตน และ 62% กำลังทดลองใช้เอเย่นต์ AI สิ่งเหล่านี้ไม่ใช่โครงการวิจัย พวกมันเป็นการนำไปใช้จริงที่ฝังอยู่ในกระบวนการทำงานที่สัมผัสกับคลังโค้ด ข้อมูลลูกค้า API ภายใน และโครงสร้างพื้นฐานการดำเนินงาน

การตอบสนองของอุตสาหกรรมต่อการเติบโตนี้ส่วนใหญ่มุ่งเน้นไปที่สิ่งที่เกิดขึ้นก่อนที่เอเย่นต์จะเริ่มทำงาน ผู้ขายและนักวิจัยได้ใช้พลังงานในการรักษาความปลอดภัยก่อนการนำไปใช้งาน: การเผยแพร่นโยบายการปรับขนาด การเสริมความแข็งแกร่งของแบบจำลองฐาน การกรองอินพุต การรักษาความปลอดภัยของห่วงโซ่อุปทาน AI และการบังคับใช้การจัดตำแหน่งในช่วงเวลาการฝึกอบรม ผู้ให้บริการ AI รายใหญ่ๆ ได้ทำ การลงทุน ที่สำคัญในเครื่องมือรักษาความปลอดภัยสำหรับนักพัฒนา โดยเสริมสมมติฐานหลัก: หากแบบจำลองและอินพุตถูกควบคุม ความเสี่ยงที่เกิดขึ้นสามารถถูกจำกัดได้

มันเป็นความตั้งใจที่สมเหตุสมผล แต่ก็ไม่สมบูรณ์มากขึ้น

พรอมต์ไม่ใช่ขอบเขตความปลอดภัย

การรักษาความปลอดภัยที่ทำงานที่อินเทอร์เฟซแบบจำลองส่วนใหญ่จะช่วยให้チームที่ควบคุมโค้ดแอปพลิเคชัน การกำหนดค่าแบบจำลอง และโครงสร้างพื้นฐานด้านล่างได้รับประโยชน์ มันให้การป้องกันที่น้อยกว่าสำหรับผู้ป้องกันที่ได้รับมอบหมายให้รักษาความปลอดภัยระบบ AI ที่พวกเขาไม่ได้สร้างและไม่สามารถแก้ไขได้ สิ่งนี้เป็นจุดบอดที่สำคัญ และผู้โจมตีได้ค้นพบมันแล้ว

รายงานข่าวกรองภัยคุกคามล่าสุดของ OpenAI ระบุถึงพลวัตที่แน่นอนนี้ ผู้กระทำผิดกำลังใช้ ChatGPT และเครื่องมือที่คล้ายกันใน环境การผลิตอย่างแข็งขัน ไม่ใช่ด้วยการคิดค้นเทคนิคการโจมตีใหม่ๆ แต่ด้วยการฝัง AI เข้ากับกระบวนการทำงานที่มีอยู่เพื่อเคลื่อนไหวได้เร็วขึ้น การสอดแนมมีประสิทธิภาพมากขึ้น การวิศวกรรมสังคมมีการปรับขนาด การพัฒนามัลแวร์เร็วขึ้น พื้นผิวการโจมตีไม่ได้เปลี่ยนแปลงไปอย่างมีนัยสำคัญ; ความเร็วและปริมาณการเอาเปรียบได้เปลี่ยนไป

สิ่งที่น่าสนใจยิ่งขึ้นคือว่าผู้โจมตีตอบสนองอย่างไรเมื่อเครื่องมือเหล่านั้นผลักดันกลับ OpenAI สังเกตเห็นว่าผู้กระทำผิดเปลี่ยนแปลงพรอมต์ของตนอย่างรวดเร็ว โดยรักษาเจตนารมณ์เบื้องหลังไว้ขณะหมุนเวียนผ่านการเปลี่ยนแปลงระดับผิวน้ำเพื่อหลบหลีกการควบคุมด้านหน้า นี่คือรูปแบบที่ผู้ปฏิบัติงานด้านความปลอดภัยเคยเห็นมาก่อน การป้องกันที่มีการเปลี่ยนแปลงไม่ว่าจะเป็นไวรัสแอนตี้ไวรัสตามชื่อหรือการกรองอินพุตไม่สามารถต้านทานผู้โจมตีที่ดำเนินการเร็วกว่าการอัปเดตรายการได้

เมื่อภัยคุกคามเคลื่อนลงสู่กระแส

ทีมรักษาความปลอดภัยที่ป้องกันการนำ AI ไปใช้ในปัจจุบันต้องเผชิญกับความไม่สมดุลทางโครงสร้าง เครื่องมือที่มีให้พวกเขาโดยส่วนใหญ่ถูกสร้างขึ้นเพื่อเหตุผลเกี่ยวกับสิ่งที่แบบจำลองได้รับอนุญาตให้พูด ความเสี่ยงที่แท้จริงที่พวกเขาต้องจัดการคือสิ่งที่เอเย่นต์ทำข้ามระบบ เครือข่าย และอัตลักษณ์เมื่อมันถูกมอบสิทธิ์และปล่อยออกไปใน环境การผลิต

การรักษาความปลอดภัยที่ขึ้นอยู่กับพรอมต์มีความอ่อนแอในระดับพื้นฐานเช่นเดียวกับการเข้าถึงความปลอดภัยที่ขับเคลื่อนด้วยกฎเกณฑ์ในยุคก่อน มันไม่ยืดหยุ่นเพราะมันพึ่งพาการคาดการณ์รูปแบบการโจมตีล่วงหน้า มันไม่ได้โต้ตอบเพราะต้องมีใครสักคนสังเกตเห็นและเข้ารหัสภัยคุกคามก่อนที่การป้องกันจะทำงานได้ และมันถูกเอาชนะโดยผู้โจมตีที่ได้รับการสนับสนุนจาก AI ที่ใช้การวนซ้ำมาตรฐาน ผู้ป้องกันที่พึ่งพาการกรองอินพุตเพื่อจับผู้โจมตีที่ใช้แบบจำลองภาษาในการสร้างการเปลี่ยนแปลงพรอมต์ใหม่ๆ อยู่ในตำแหน่งที่สูญเสียอย่างแท้จริง

การเปลี่ยนขอบเขตความปลอดภัยไปที่พฤติกรรมของเอเย่นต์

การสร้างความยืดหยุ่นของ AI ต้องการกรอบการทำงานที่แตกต่าง และเป้าหมายไม่ควรเป็นการปกป้องอินเทอร์เฟซแบบจำลอง มันควรตรวจจับเจตนารมณ์ของผู้โจมตีผ่านผลที่ตามมาของการกระทำของเอเย่นต์ นี่คือความแตกต่างที่มีนัยสำคัญ เจตนารมヽไม่จำเป็นต้องปรากฏในสิ่งที่เอเย่นต์พูดหรือสิ่งที่อินพุตที่ได้รับ

การรักษาความปลอดภัยของระบบ AI ต้องขยายออกไปนอกเหนือจากการตรวจสอบการจัดตำแหน่งและการประเมินความแข็งแกร่งไปสู่การประเมินอย่างต่อเนื่องเกี่ยวกับวิธีการที่เอเย่นต์ทำงานเมื่อมันโต้ตอบกับเครื่องมือที่แท้จริง API ที่แท้จริง และข้อมูลที่แท้จริง การประเมินแบบคงที่ในช่วงเวลาการนำไปใช้งานเป็นสิ่งจำเป็นแต่ไม่เพียงพอ สภาพแวดล้อมที่เอเย่นต์ทำงานเปลี่ยนแปลงอย่างต่อเนื่อง พฤติกรรมของเอเย่นต์จึงต้องได้รับการติดตามด้วยความต่อเนื่องเช่นเดียวกัน

สิ่งนี้เป็นปัญหาที่การเสริมความแข็งแกร่งของพรอมต์ไม่สามารถแก้ไขได้ การตรวจจับเจตนารมณ์ที่เป็นอันตรายเมื่อมันปรากฏผ่านลำดับการกระทำต้องใช้แบบจำลองที่สามารถเข้าใจพฤติกรรมที่ซับซ้อนและต่อเนื่องใน环境การดำเนินงานได้ แบบจำลองการเรียนรู้ลึกที่มีพื้นฐานมาจากแบบจำลองการวิเคราะห์พฤติกรรมสามารถทำได้ด้วยวิธีที่ระบบและเครื่องมือ SIEM แบบดั้งเดิมไม่สามารถทำได้ มันเรียนรู้ว่าสิ่งที่ปกติดูเหมือนอย่างไรทั่วทั้งบริบทการทำงานของเอเย่นต์ และมันแสดงให้เห็นถึงการเปลี่ยนแปลงที่บ่งบอกว่ามีบางสิ่งเปลี่ยนแปลงไป แม้ว่าการกระทำแต่ละครั้งจะไม่กระตุ้นการแจ้งเตือนแบบดั้งเดิม

ตรรกะพื้นฐานยังคงอยู่ไม่ว่าสภาพแวดล้อมการนำไปใช้งานจะเป็นอย่างไร: การรักษาความปลอดภัยที่ยึดติดกับชั้นพรอมต์จะสูญเสียให้กับผู้โจมตีที่ดำเนินการในชั้นการกระทำ การป้องกันต้องย้ายไปที่ที่ภัยคุกคามอาศัยอยู่จริงๆ

สิ่งที่ทีมรักษาความปลอดภัยควรทำทันที

สำหรับผู้นำด้านความปลอดภัยที่พยายามที่จะก้าวหน้ากว่านี้ การเปลี่ยนแปลงเชิงปฏิบัติหลายอย่างสามารถช่วยลดช่องว่างระหว่างที่การป้องกันอยู่ปัจจุบันและที่พวกมันต้องไป

ประเมินความปลอดภัยของ AI ทั่วทั้ง chồngแอปพลิเคชัน แบบจำลองฐานเป็นเพียงชั้นหนึ่ง สิ่งที่สำคัญไม่แพ้กันคือว่าเอเย่นต์ทำงานอย่างไรเมื่อถูกนำไปใช้ในการผลิต อะไรคือเครื่องมือที่พวกมันเรียกใช้ สิทธิ์การใช้งานใดที่พวกมันใช้ และว่าทางเลือกเหล่านั้นเปลี่ยนแปลงไปอย่างไรเมื่อเวลาผ่านไป การประเมินความปลอดภัยที่หยุดอยู่ที่ขอบเขตแบบจำลองจะปล่อยให้พื้นผิวการดำเนินงานไม่ได้รับการตรวจสอบ

บังคับใช้สิทธิ์ที่น้อยที่สุดที่ระดับเอเย่นต์ เอเย่นต์ AI ควรจะมีการเข้าถึงเครื่องมือ API และข้อมูลที่จำเป็นสำหรับการทำงานที่ได้รับการกำหนดไว้เท่านั้น การจำกัดขอบเขตนี้มีความสำคัญแม้ว่าเอเย่นต์จะแสดงผลลัพธ์ที่ดูเป็นมิตร การจำกัดขอบเขตลดรัศมีของการระเบิดของเอเย่นต์ที่ถูกบุกรุกและสร้างเส้นพื้นฐานพฤติกรรมที่ชัดเจนยิ่งขึ้นซึ่งทำให้การตรวจจับผิดปกติมีประสิทธิภาพมากขึ้น

รักษาเอเย่นต์เป็นอัตลักษณ์ที่สร้างข้อมูลเชิงลึก การกระทำทุกอย่างที่เอเย่นต์ทำคือจุดข้อมูล ทีมรักษาความปลอดภัยควรสร้างตรรกะการตรวจจับโดยรอบชุดการกระทำที่เริ่มต้นโดยเอเย่นต์ ไม่ใช่แค่พรอมต์ของผู้ใช้ที่ก่อนหน้านั้น การเปลี่ยนโฟกัสนี้เปลี่ยนจากการตรวจสอบสิ่งที่ใครบางคนถามเอเย่นต์ให้ทำไปสู่สิ่งที่เอเย่นต์ทำจริงๆ ซึ่งเป็นที่ที่เจตนารมณ์ของผู้โจมตีปรากฏขึ้น

ลงทุนในการติดตามพฤติกรรมอย่างต่อเนื่องด้วยแบบจำลองการตรวจจับที่ออกแบบมาเพื่องานนี้ การระบุเจตนารมณ์ที่เป็นอันตรายเมื่อมันปรากฏผ่านลำดับการกระทำต้องใช้ความสามารถที่เฉพาะเจาะจง เครื่องมือการตรวจสอบแบบดั้งเดิมถูกสร้างขึ้นสำหรับรูปแบบกิจกรรมที่สร้างโดยมนุษย์ พฤติกรรมของเอเย่นต์พร้อมความเร็ว ปริมาณ และโครงสร้างหลายขั้นตอนต้องการโครงสร้างการตรวจจับที่ออกแบบมาจากพื้นฐานโดยคำนึงถึงบริบทนั้น

จัดลำดับความสำคัญของการป้องกันร่วมกัน เทคนิคการโจมตีด้วย AI กำลังพัฒนาอย่างรวดเร็วกว่าที่องค์กรใดๆ สามารถติดตามได้ การวิจัยร่วมกัน การทำงานร่วมกันแบบเปิด และข่าวกรองภัยคุกคามของชุมชนไม่ใช่สิ่งที่เสริมการวางกลยุทธ์ด้านความปลอดภัยของ AI แต่เป็นข้อมูลหลักที่สำคัญ ผู้ป้องกันที่ยังคงอัปเดตคือผู้ที่มีส่วนร่วมและดึงข้อมูลจากความรู้ร่วมกัน

ความปลอดภัยทางพฤติกรรมส่งผลจริง

สำหรับทีมรักษาความปลอดภัยที่ทำการเปลี่ยนแปลงนี้ ผลตอบแทนที่เป็นปฏิบัติการคือสิ่งที่เป็นรูปธรรม การยึดการตรวจจับในพฤติกรรมของเอเย่นต์มากกว่าเอาต์พุตของแบบจำลองทำให้สามารถระบุเจตนารมณ์ที่เป็นอันตรายได้เร็วขึ้น แม้ว่าการโจมตีจะซ่อนเร้น ปรับเปลี่ยนได้ หรือเข้ารหัส Attackers ที่สามารถเปลี่ยนแปลงพรอมต์ของตนให้พ้นกรองอินพุตได้สำเร็จยังคงต้องดำเนินการ การกระทำเหล่านั้นทิ้งรอยเท้า การตรวจจับพฤติกรรมพบรอยเท้าเหล่านั้นก่อนที่ความเสียหายจะแพร่กระจาย

อาจเป็นสิ่งที่สำคัญที่สุด การเข้าถึงนี้ให้ทางเลือกที่เชื่อถือได้สำหรับองค์กรในการนำเอเย่นต์ AI ไปใช้ขนาดใหญ่โดยไม่ต้องยอมรับความเสี่ยงด้านความปลอดภัยที่สอดคล้องกัน คำถามที่ทำให้หลายองค์กรลังเลไม่ใช่ว่าเอเย่นต์ AI สามารถส่งมอบคุณค่าได้หรือไม่ แต่เป็นว่าพวกเขาสามารถนำไปใช้ได้โดยไม่ทำให้ความปลอดภัยลดลงเมื่อการนำไปใช้เพิ่มขึ้น ความปลอดภัยทางพฤติกรรมซึ่งยึดหลักการทำงานของเอเย่นต์จริงๆ มากกว่าการควบคุมอินพุตให้ความมั่นใจในลักษณะที่การควบคุมที่ขึ้นอยู่กับพรอมต์ไม่สามารถทำได้

ขอบเขตความปลอดภัยถูกวาดไว้ที่ที่ที่ไม่ถูกต้อง และข้อผิดพลาดนี้มีเหตุผลเมื่อ AI เป็นเครื่องมือที่รอการอินพุต มันไม่รอแล้ว ระบบที่มีหน่วยงานดำเนินการ เชื่อมต่อ และเพิ่มขึ้นข้ามสภาพแวดล้อมที่การทดสอบก่อนการนำไปใช้ไม่คาดคิด องค์กรที่รับรู้สิ่งนี้เร็วที่สุดจะเป็นผู้ที่สามารถขยาย AI ด้วยความมั่นใจจริงๆ ทุกคนอื่นจะใช้เวลาหลายปีในการค้นพบว่าการควบคุมสิ่งที่แบบจำลองพูดไม่เหมือนกับการควบคุมสิ่งที่มันทำ