ทำไมการรักษาความปลอดภัยของ Chatbot จึงไม่ใช่ขอบเขตการรักษาความปลอดภัยที่ถูกต้อง

Enterprise AI ได้พัฒนาไปอย่างมากแล้ว และไม่ได้อยู่ในขั้นตอนการแสดงผลอีกต่อไป 23% ขององค์กรต่างๆ ได้เริ่มใช้ระบบ AI ที่มีการกระทำแล้ว ในบางส่วนขององค์กร และ 62% กำลังทดลองใช้ระบบ AI นี่ไม่ใช่โครงการวิจัย แต่เป็นการใช้งานจริงที่ถูกฝังอยู่ในกระบวนการทำงานที่สัมผัสกับแหล่งเก็บข้อมูลของลูกค้า API ภายใน และโครงสร้างพื้นฐานการทำงาน

อุตสาหกรรมได้ตอบสนองต่อการเติบโตนี้โดยมุ่งเน้นไปที่สิ่งที่เกิดขึ้นก่อนที่ระบบ AI จะถูกใช้งานจริง ผู้ขายและนักวิจัยได้ใช้พลังงานในการพัฒนาเครื่องมือรักษาความปลอดภัยก่อนการเปิดตัว: การเผยแพร่นโยบายการขยาย การเสริมความแข็งแกร่งของแบบจำลองฐาน การกรองข้อมูลเข้า การรักษาความปลอดภัยของห่วงโซ่อุปทาน AI และการบังคับใช้ความสอดคล้องในช่วงการฝึกอบรม ผู้ให้บริการ AI รายใหญ่ได้ทำการลงทุนอย่างมีนัยสำคัญในเครื่องมือรักษาความปลอดภัยสำหรับนักพัฒนา โดยเสริมความแข็งแกร่งของสมมติฐานที่ว่า: หากแบบจำลองและข้อมูลเข้าถูกควบคุม ความเสี่ยงในกระบวนการทำงานสามารถถูกควบคุมได้

เป็นความตั้งใจที่สมเหตุสมผล แต่ก็ไม่สมบูรณ์

การรักษาความปลอดภัยของ Chatbot ไม่ใช่ขอบเขตการรักษาความปลอดภัย

การรักษาความปลอดภัยที่ทำงานที่อินเทอร์เฟซของแบบจำลองเป็นประโยชน์หลักๆ ต่อทีมที่ควบคุมโค้ดแอปพลิเคชัน การกำหนดค่าแบบจำลอง และโครงสร้างพื้นฐานที่อยู่ภายใต้ การรักษาความปลอดภัยเหล่านี้ให้การป้องกันที่น้อยกว่าสำหรับผู้ป้องกันที่ได้รับมอบหมายให้รักษาความปลอดภัยของระบบ AI ที่พวกเขาไม่ได้สร้างและไม่สามารถแก้ไขได้ นี่เป็นจุดบอดที่สำคัญ และผู้โจมตีได้ค้นพบมันแล้ว

รายงานข่าวกรองภัยคุกคามล่าสุดของ OpenAI ระบุถึงพลวัตนี้อย่างแน่ชัด ผู้โจมตีได้ใช้ ChatGPT และเครื่องมือที่คล้ายกันใน môi trườngการผลิต ไม่ใช่โดยการคิดค้นเทคนิคการโจมตีใหม่ๆ แต่โดยการฝัง AI ลงในกระบวนการทำงานที่มีอยู่เพื่อเพิ่มความเร็ว การสอดแนมมีประสิทธิภาพมากขึ้น การโจมตีทางสังคมมีการปรับขนาด การพัฒนามัลแวร์เร็วขึ้น พื้นผิวการโจมตีไม่ได้เปลี่ยนแปลงไปอย่างมีนัยสำคัญ แต่ความเร็วและปริมาณการโจมตีได้เพิ่มขึ้น

สิ่งที่น่าสนใจยิ่งขึ้นคือว่าผู้โจมตีตอบสนองอย่างไรเมื่อเครื่องมือเหล่านั้นผลักดันกลับ OpenAI ได้สังเกตเห็นว่าผู้โจมตีเปลี่ยนแปลงคำสั่งซื้ออย่างรวดเร็ว โดยรักษาเจตนาเบื้องหลังไว้ขณะเปลี่ยนแปลงรูปแบบผิวเผินเพื่อหลบหลีกการควบคุมด้านหน้า นี่เป็นรูปแบบที่ผู้เชี่ยวชาญด้านความปลอดภัยได้เห็นมาก่อน การป้องกันที่มีการตอบสนองอย่างคงที่ ไม่ว่าจะเป็นการต่อต้านไวรัสแบบอิงสัญญาณหรือการกรองข้อมูลเข้า ไม่สามารถต้านทานผู้โจมตีที่ตอบสนองได้เร็วกว่าการอัปเดตกฎ

ความท้าทายเพิ่มขึ้นเมื่อระบบ AI ได้รับอิสระ ระบบ AI สมัยใหม่ไม่ได้ทำงานในแบบแลกเปลี่ยนเดียว พวกมันทำงานในลำดับการกระทำหลายขั้นตอน โดยเรียกใช้เครื่องมือและอนุญาตที่ถูกต้องในแบบที่ดูเหมือนปกติในแยกกัน ระบบ AI ที่ใช้ข้อมูลประจำตัวที่ถูกต้องเพื่อแสดงรายการ API ภายในไม่ได้กระตุ้นการแจ้งเตือน ระบบ AI ที่เข้าถึงแหล่งเก็บข้อมูลที่ละเอียดอ่อนในช่วงกระบวนการทำงานที่ดูเหมือนปกติไม่ได้สร้างสัญญาณเตือนใดๆ การกระทำแต่ละครั้งผ่านการตรวจสอบ แต่ความเสี่ยงอาศัยอยู่ในความผสมผสานและการเรียงลำดับ

เมื่อภัยคุกคามเคลื่อนลงกระบวนการ

ทีมรักษาความปลอดภัยที่ป้องกันการโจมตีระบบ AI ในปัจจุบันต้องเผชิญกับความไม่สอดคล้องกันทางโครงสร้าง เครื่องมือที่มีให้พวกเขาเป็นหลักถูกสร้างขึ้นเพื่อเหตุผลเกี่ยวกับสิ่งที่แบบจำลองได้รับอนุญาตให้พูด ความเสี่ยงที่แท้จริงที่พวกเขาต้องจัดการคือสิ่งที่ระบบ AI กำลังทำอยู่ในระบบเครือข่ายและอัตลักษณ์หลังจากที่ได้รับอนุญาตและถูกปล่อยออกไปใน môi trườngการผลิต

การรักษาความปลอดภัยที่อาศัยคำสั่งซื้อแบ่งปันความอ่อนแอทางพื้นฐานของแนวทางรักษาความปลอดภัยที่ขับเคลื่อนด้วยกฎเกณฑ์ในยุคก่อน พวกมันไม่ยืดหยุ่นเพราะพวกมันพึ่งพาการคาดการณ์รูปแบบการโจมตีในล่วงหน้า พวกมันไม่ได้ตอบสนองเพราะพวกมันต้องการให้ใครบางคนสังเกตเห็นและบันทึกภัยคุกคามก่อนที่การป้องกันจะทำงานได้ และพวกมันถูกเอาชนะโดยผู้โจมตีที่ได้รับการสนับสนุนจาก AI ที่ใช้การวนซ้ำมาตรฐาน ผู้ป้องกันที่พึ่งพาการกรองข้อมูลเข้าเพื่อจับภัยคุกคามที่ใช้แบบจำลองภาษาเพื่อสร้างรูปแบบคำสั่งซื้อใหม่ๆ อยู่ในตำแหน่งที่สูญเสียอย่างไม่มีทางแก้ไข

การเปิดเผยความเสี่ยงจริงๆ เกิดขึ้นหลังจากการเปิดตัว การกระทำของระบบ AI เผยแพร่ผ่านสภาพแวดล้อมในแบบที่การตรวจสอบก่อนการเปิดตัวไม่สามารถคาดการณ์ได้ ระบบ AI พบกรณีชายขอบ สื่อสารกับแหล่งเก็บข้อมูลที่ไม่ได้รับการออกแบบมาให้จัดการ รับข้อมูลจากระบบภายนอกโครงสร้างดั้งเดิม และตัดสินใจที่สะสมตามเวลา การตรวจสอบก่อนการเปิดตัวเป็นภาพถ่าย การผลิตเป็นกระแสต่อเนื่อง การป้องกันเฉพาะภาพถ่ายหมายความว่าทุกสิ่งที่เกิดขึ้นในกระแสถือเป็นการไม่ได้รับการตรวจสอบ

การเปลี่ยนแปลงขอบเขตการรักษาความปลอดภัยไปที่พฤติกรรมของระบบ AI

การสร้างความยืดหยุ่นของ AI ต้องการกรอบการทำงานที่แตกต่าง และเป้าหมายไม่ควรเป็นการปกป้องอินเทอร์เฟซของแบบจำลอง แต่ควรตรวจจับเจตนาผู้โจมตีผ่านผลที่ตามมาของการกระทำของระบบ AI นี่เป็นความแตกต่างที่มีความหมาย เจตนาไม่จำเป็นต้องปรากฏในคำพูดหรือข้อมูลเข้าของระบบ AI

การรักษาความปลอดภัยของระบบ AI ต้องขยายออกไปนอกเหนือจากการตรวจสอบความสอดคล้องและการประเมินความแข็งแกร่งไปสู่การประเมินพฤติกรรมของระบบ AI อย่างต่อเนื่องเมื่อพวกมันโต้ตอบกับเครื่องมือ API และแหล่งเก็บข้อมูลที่แท้จริง การประเมินแบบคงที่ในช่วงเวลาเปิดตัวเป็นสิ่งจำเป็น แต่ไม่เพียงพอ สภาพแวดล้อมภัยคุกคามที่ระบบ AI ดำเนินการเปลี่ยนแปลงอย่างต่อเนื่อง พฤติกรรมของระบบ AI ต้องการการตรวจสอบด้วยความต่อเนื่องเดียวกัน

นี่เป็นปัญหาที่การเสริมความแข็งแกร่งของคำสั่งซื้อไม่สามารถแก้ไขได้ การตรวจจับเจตนาผู้โจมตีโดยการกระทำต่อเนื่องต้องใช้แบบจำลองที่สามารถเข้าใจพฤติกรรมที่ซับซ้อนและต่อเนื่องใน môi trườngการทำงานได้ แบบจำลองการเรียนรู้ลึกที่สร้างขึ้นสำหรับการวิเคราะห์พฤติกรรมสามารถทำได้ในแบบที่ระบบขับเคลื่อนด้วยกฎและเครื่องมือ SIEM แบบดั้งเดิมไม่สามารถทำได้ พวกมันเรียนรู้สิ่งที่ดูเหมือนปกติในบริบทการกระทำของระบบ AI ทั้งหมด และพวกมันแสดงผลที่แตกต่างที่บ่งบอกว่ามีสิ่ง gìที่เปลี่ยนแปลงไป แม้ว่าการกระทำแต่ละครั้งจะไม่กระตุ้นการแจ้งเตือนแบบดั้งเดิม

ตรรกะพื้นฐานยังคงอยู่ไม่ว่าสภาพแวดล้อมการเปิดตัวจะเป็นอย่างไร การรักษาความปลอดภัยที่ยึดติดกับชั้นคำสั่งซื้อจะสูญเสียต่อผู้โจมตีที่ดำเนินการในชั้นการกระทำเสมอ การป้องกันต้องย้ายไปที่ที่ภัยคุกคามแท้จริงอาศัยอยู่

สิ่งที่ทีมรักษาความปลอดภัยควรทำตอนนี้

สำหรับผู้นำด้านความปลอดภัยที่พยายามที่จะก้าวหน้าในเรื่องนี้ การเปลี่ยนแปลงเชิงปฏิบัติหลายอย่างสามารถช่วยลดช่องว่างระหว่างที่การป้องกันอยู่ปัจจุบันและที่พวกมันต้องไป

ประเมินความปลอดภัยของ AI ทั่วทั้งซ้อนแอปพลิเคชัน แบบจำลองฐานเป็นเพียงชั้นหนึ่ง ชั้นที่สำคัญไม่แพ้กันคือว่าระบบ AI ดำเนินการอย่างไรเมื่อถูกปล่อยออกไปใน môi trườngการผลิต อะไรคือเครื่องมือที่พวกมันเรียกใช้ อนุญาตอะไร และวิธีการเลือกเหล่านั้นเปลี่ยนแปลงไปตามเวลา การประเมินความปลอดภัยที่หยุดอยู่ที่ขอบเขตของแบบจำลองจะทิ้งสภาพแวดล้อมการทำงานไว้โดยไม่ได้รับการตรวจสอบเป็นหลัก

บังคับใช้การอนุญาตที่น้อยที่สุดในระดับระบบ AI ระบบ AI ควรจะมีการเข้าถึงเครื่องมือ API และแหล่งเก็บข้อมูลที่จำเป็นสำหรับการทำงานที่ได้รับมอบหมายเท่านั้น ข้อจำกัดนี้มีความสำคัญแม้ว่าผลลัพธ์ของระบบ AI จะดูเหมือนไม่มีอันตราย การจำกัดขอบเขตลดความเสี่ยงของการรั่วไหลของระบบ AI ที่ถูกบุกรุกและสร้างบรรทัดฐานพฤติกรรมที่ชัดเจนขึ้นซึ่งทำให้การตรวจจับความผิดปกติมีประสิทธิภาพมากขึ้น

รักษาระบบ AI เป็นอัตลักษณ์ที่สร้างข้อมูลที่ใช้ในการตรวจสอบ การกระทำทุกอย่างที่ระบบ AI ทำคือจุดข้อมูล ทีมรักษาความปลอดภัยควรสร้างตรรกะการตรวจจับโดยรอบชุดการกระทำที่เริ่มต้นโดยระบบ AI ไม่ใช่แค่คำสั่งซื้อที่ผู้ใช้ให้ไว้ก่อนหน้านั้น การเปลี่ยนแปลงนี้เปลี่ยนการตรวจสอบจากสิ่งที่ใครบางคนขอให้ระบบ AI ทำไปสู่สิ่งที่ระบบ AI ทำจริงๆ ซึ่งเป็นที่ที่เจตนาผู้โจมตีปรากฏชัด

ลงทุนในการตรวจสอบพฤติกรรมอย่างต่อเนื่องด้วยแบบจำลองการตรวจจับที่ถูกออกแบบมาเพื่อการทำงานนี้ การระบุเจตนาผู้โจมตีโดยการกระทำต่อเนื่องต้องใช้ความสามารถพิเศษ เครื่องมือการตรวจสอบแบบดั้งเดิมถูกสร้างขึ้นสำหรับรูปแบบการกระทำที่สร้างโดยมนุษย์ พฤติกรรมของระบบ AI โดยความเร็ว ปริมาณ และโครงสร้างหลายขั้นตอนต้องการโครงสร้างการตรวจจับที่ถูกออกแบบมาจากพื้นฐานด้วยบริบทนั้น

จัดลำดับความสำคัญของการป้องกันร่วมกัน เทคนิคการโจมตีด้วย AI กำลังพัฒนาอย่างรวดเร็วกว่าที่องค์กรใดๆ สามารถติดตามได้ การวิจัยร่วมกัน การทำงานร่วมกันแบบเปิด และข่าวกรองภัยคุกคามของชุมชนไม่ใช่สิ่งที่เสริมการป้องกัน AI แบบไม่จำเป็น แต่เป็นข้อมูลสำคัญ ผู้ป้องกันที่ยังคงอัปเดตคือผู้ที่มีส่วนร่วมและดึงข้อมูลจากความรู้ร่วมกัน

การรักษาความปลอดภัยพฤติกรรมเป็นจริง

สำหรับทีมรักษาความปลอดภัยที่ทำการเปลี่ยนแปลงนี้ ผลตอบแทนเชิงปฏิบัติเป็นรูปธรรม การยึดการตรวจจับในพฤติกรรมของระบบ AI แทนที่จะยึดผลลัพธ์ของแบบจำลองทำให้สามารถระบุเจตนาผู้โจมตีได้เร็วขึ้น แม้ว่าการโจมตีจะซ่อนเร้น ปรับเปลี่ยนได้ หรือถูกเข้ารหัส ผู้โจมตีที่สามารถเปลี่ยนแปลงคำสั่งซื้อผ่านการกรองข้อมูลเข้าได้จะต้องกระทำการเหล่านั้น การกระทำเหล่านั้นทิ้งรอยเท้าไว้ การตรวจจับพฤติกรรมพบรอยเท้าเหล่านั้นก่อนที่ความเสียหายจะเกิดขึ้น

อาจเป็นสิ่งที่สำคัญที่สุด การเข้าใกล้นี้ให้ทางเลือกที่เชื่อถือได้สำหรับองค์กรในการใช้ระบบ AI ระดับใหญ่โดยไม่ต้องยอมรับความเสี่ยงด้านความปลอดภัยที่สอดคล้องกัน คำถามที่ทำให้องค์กรหลายแห่งลังเลไม่ใช่ว่าระบบ AI สามารถสร้างมูลค่าได้หรือไม่ แต่ว่าพวกเขาสามารถใช้งานได้ด้วยความมั่นใจที่เพียงพอว่าความปลอดภัยไม่ได้ลดลงเมื่อการใช้งานเพิ่มขึ้น การรักษาความปลอดภัยพฤติกรรม ซึ่งยึดในพฤติกรรมของระบบ AI แทนที่จะยึดในข้อมูลเข้า ให้ความมั่นใจนั้นในแบบที่การควบคุมที่อาศัยคำสั่งซื้อไม่สามารถทำได้

ขอบเขตการรักษาความปลอดภัยถูกวาดไว้ที่ที่ไม่ถูกต้อง และความผิดพลาดนั้นสมเหตุสมผลเมื่อ AI เป็นเครื่องมือที่รอข้อมูลเข้า มันไม่รอข้อมูลเข้าแล้ว ระบบ AI ที่มีการกระทำดำเนินการ ลำดับ การเพิ่มขึ้น และการสะสมข้ามสภาพแวดล้อมที่ไม่เคยคาดคิดมาก่อนในขั้นตอนการทดสอบก่อนการเปิดตัว องค์กรที่รับรู้สิ่งนี้เร็วที่สุดจะเป็นองค์กรที่ใช้ AI ด้วยความมั่นใจจริงๆ ทุกคนอื่นจะใช้เวลาหลายปีในการค้นพบว่าการควบคุมสิ่งที่แบบจำลองพูดไม่เหมือนกับการควบคุมสิ่งที่มันทำ