ผู้นำทางความคิด
เมื่อความสามารถของ AI เพิ่มขึ้นเร็วกว่าโมเดลความปลอดภัยที่สร้างขึ้นเพื่อควบคุมมัน
เครื่องมือ AI มักจะมาพร้อมกับการนำเสนอที่คุ้นเคย พวกมันสัญญาว่าจะทำให้กระบวนการทำงานเป็นไปอย่างราบรื่น เพิ่มประสิทธิภาพการทำงาน และรับภาระงานที่ไม่มีใครชอบทำ และส่วนใหญ่ของเวลา พวกมันก็ส่งมอบสิ่งนั้นอย่างแน่นอน พวกมันทำให้การเข้าสู่ระบบเป็นเรื่องง่าย 요약เอกสาร อัตโนมัติกระบวนการทำงาน และทำให้กิจกรรมที่ซ้ำซากๆ รู้สึกเหมือนไม่ต้องใช้ความพยายาม
แต่ด้านล่างความสะดวกสบายทั้งหมดมีเรื่องราวที่แตกต่างออกไป เครื่องมือเหล่านี้ไม่ได้ถูกจำกัดไว้เพียงช่องข้อความเท่านั้น พวกมันเริ่มที่จะกระทำการบนระบบปฏิบัติการเอง พวกมันสามารถท่องฟाइल์ ร่างอีเมล ติดต่อแอปพลิเคชัน และดำเนินการกระทำที่ต้องการคนให้ความสนใจที่เข้าใจถึงผลกระทบ การเปลี่ยนแปลงนี้ทำให้ AI อยู่ในตำแหน่งที่สมมติฐานความปลอดภัยที่มีอยู่ไม่ได้ถูกสร้างขึ้นเพื่อจัดการ
ช่วงเวลา AI ได้รับสิทธิ์การเข้าถึงระบบ
เมื่อระบบ AI สามารถอ่านไฟล์จริงและดำเนินการคำสั่งจริง มันจะกลายเป็นส่วนหนึ่งของฐานการคำนวณที่เชื่อถือได้ นั่นคือช่วงเวลาที่ความคาดหวังเกี่ยวกับความปลอดภัยของ AI เริ่มแตกสลาย
เป็นเวลาหลายปี การฉีดข้อมูล (prompt injection) ถือเป็นพฤติกรรมที่แปลกของแบบจำลอง มันทำให้แชทบอทสร้างคำตอบที่หลอกลวงหรือไม่เหมาะสม แต่ความเสียหายจะสิ้นสุดลงเมื่อสิ้นสุดการสนทนา ตอนนี้ข้อบกพร่องเดียวกันนั้นสามารถกระตุ้นการกระทำระดับโฮสต์ ไม่ใช่แค่ข้อความเท่านั้น คำสั่งอันชั่วร้ายที่ซ่อนอยู่ในไฟล์ PDF เว็บไซต์ หรืออีเมลไม่ได้สร้างคำตอบที่แปลกอีกต่อไป มันสร้างการกระทำที่ดำเนินการบนเครื่อง
สิ่งนี้ไม่ใช่สิ่งที่อุตสาหกรรมสามารถเพิกเฉยได้ว่าเป็นเรื่องทางทฤษฎี นักวิจัยจากมหาวิทยาลัยคาร์เนกีเมลลอนและมหาวิทยาลัยวอชิงตันได้ แสดงซ้ำๆ ว่าคำสั่งซ่อนอยู่สามารถชี้นำโมเดลภาษาขนาดใหญ่ให้ดำเนินการกระทำที่ผู้ใช้ไม่ได้ตั้งใจ ในขณะเดียวกัน นักวิจัยที่ศึกษาบทความเกี่ยวกับโมเดลการมองเห็น ได้แสดงให้เห็นว่าภาพที่ถูกจัดการสามารถเปลี่ยนการรับรู้ของโมเดลในลักษณะที่ส่งผลต่อพฤติกรรมที่ตามมา
การทดลองเหล่านี้เคยถือเป็นความสนใจในห้องปฏิบัติการ มันไม่รู้สึกเป็นเรื่องทางวิชาการอีกต่อไปเมื่อ AI มีสิทธิ์การเข้าถึงระบบปฏิบัติการ
เมื่อความสามารถของเอเจนต์เกินการควบคุมของฝ่ายป้องกัน
แม้แต่บริษัทที่สร้างเอเจนต์เหล่านี้ยังยอมรับถึงความรุนแรงของความท้าทาย พวกเขาได้เสริมฟิลเตอร์เพื่อจัดการกับข้อมูล แต่พวกเขาก็ระบุอย่างเปิดเผยว่าการควบคุมการกระทำของระบบ AI ในโลกแห่งความเป็นจริงยังคงเป็นพื้นที่การทำงานที่ยังไม่ได้รับการแก้ไขทั่วทั้งอุตสาหกรรม ช่องว่างระหว่างสิ่งที่เอเจนต์สามารถทำได้และสิ่งที่ฝ่ายป้องกันสามารถควบคุมได้ทำให้เกิดประเภทความเสี่ยงใหม่ที่สมุดบัญชีความปลอดภัยที่มีอยู่ไม่สามารถดูดซับได้
เอเจนต์ AI ได้ข้ามพรมแดนซึ่งอุตสาหกรรมยังไม่พร้อมทั้งหมด วิธีเดียวที่จะเข้าใจสิ่งนี้คือการดูว่าข้อมูลฉีดเข้าไป (prompt injection) ตัดกับโซ่การโจมตีที่ฝ่ายป้องกันได้ตามมาเป็นเวลานานกว่าหนึ่งทศวรรษ
วิธีการฉีดข้อมูลที่เชื่อมโยงกับโซ่การโจมตีที่ทุกคนรู้จัก
ผู้โจมตีได้ตามรูปแบบที่คาดเดาได้เสมอ เฟรมเวิร์ก MITRE ATT&CK ระบุระยะที่ชัดเจน การเข้าถึงเริ่มแรกตามด้วยการดำเนินการ ความคงอยู่ การค้นพบ การเคลื่อนไหวในแนวขวาง การรวบรวม และการถอดออก เทคนิคอาจแตกต่างกัน แต่โครงสร้างยังคงเสถียร
สิ่งที่เปลี่ยนแปลงคือกลไกในการส่งมอบ ผู้โจมตีไม่ต้องหลอกลวงให้ผู้ใช้ mởไฟล์แนบหรือกดลิงก์ที่อันตรายอีกต่อไป พวกเขาสามารถวางคำสั่งไว้ที่เอเจนต์ AI จะอ่านได้ เอเจนต์กลายเป็นสภาพแวดล้อมในการดำเนินการ มันทำตามขั้นตอนที่อธิบายไว้โดยไม่ต้องสงสัยว่าคำสั่งเป็นอันตรายหรือไม่ มันไม่ได้ใช้การตัดสินหรือความเข้าใจ มันเพียงแต่กระทำการ
เมื่อผู้โจมตีสามารถมีอิทธิพลต่อเหตุผลของเอเจนต์ โซ่การโจมตีก็รวมกันอย่างรวดเร็ว ไฟล์ที่ถูกจัดการสามารถกระตุ้นการดำเนินการ สิ่งอำนวยความสะดวกในการสร้างความคงอยู่ การค้นหาในระบบให้การค้นพบ และการอัปโหลดไฟล์ทำให้เกิดการรวบรวมและการถอดออก ไม่ต้องใช้แมลแวร์ เอเจนต์เพียงแต่ดำเนินการตามขั้นตอนที่เขียนไว้
สิ่งนี้คือส่วนหนึ่งของเรื่องราวที่ทีมความปลอดภัยกำลังดิ้นรนเพื่อปรับตัว พวกเขาใช้เวลาหลายปีในการสร้างกฎการตรวจจับ การควบคุม และกระบวนการตอบสนองรอบๆ การดำเนินการตามโค้ด AI เอเจนต์แนะนำตัวแปลประเภทใหม่ พวกมันดำเนินการผ่านภาษาธรรมชาติ ไม่ใช่ไบนารี่ที่คอมไพล์ เครื่องมือที่มีอยู่ไม่ได้ถูกสร้างขึ้นเพื่อติดตามหรือวิเคราะห์กระบวนการเหตุผลนี้
ทีมความปลอดภัยไม่พร้อมและไม่แม้แต่จะรู้
โปรแกรมความปลอดภัยยังคงสมมติว่ามีคนอยู่ระหว่างเนื้อหาและการกระทำ มนุษย์สามารถถูกหลอกลวงได้ แต่พวกเขาจะหยุดเมื่อมีสิ่งใดที่รู้สึกผิด มนุษย์จะสังเกตเห็นประโยคที่แปลก ตั้งคำถามเกี่ยวกับพฤติกรรมที่ไม่คาดคิด และนำการตัดสินใจไปสู่ระยะสุดท้ายของการตัดสินใจ
เอเจนต์ AI ไม่ทำสิ่งเหล่านี้ พวกมันคงเส้นคงวา ตามตัวอักษร และเร็วกว่าผู้โจมตีใดๆ ข้อความที่ซ่อนอยู่เพียงบรรทัดเดียวเพียงพอสำหรับการสั่งให้เอเจนต์อ่านไฟล์สำคัญ ย้ายผ่านแอปพลิเคชัน หรือติดต่อเซิร์ฟเวอร์ระยะไกล สิ่งนี้ทำให้ผู้ป้องกันอยู่ในตำแหน่งที่ไม่เคยพบมาก่อน
ทีมความปลอดภัยมีความเข้าใจที่จำกัดเกี่ยวกับวิธีการที่เอเจนต์มาถึงการตัดสินใจ และพวกเขาไม่สามารถระบุได้ง่ายว่าการกระทำนั้นมาจากผู้ใช้หรือ AI ระบบตรวจจับแมลแวร์แบบดั้งเดิมไม่มีประโยชน์เพราะไม่มีการดำเนินการใดๆ ที่ถูกดำเนินการในความหมายปกติ และไม่มีการรับประกันว่าเอเจนต์จะสงสัยหรือปฏิเสธคำสั่งอันชั่วร้ายที่ซ่อนอยู่ในเนื้อหาปกติ
เครื่องมือที่ออกแบบสำหรับการกระทำของมนุษย์ไม่ได้ถ่ายโอนไปยังโลกที่ภาษาธรรมชาติกลายเป็นบทสรุปที่ขับเคลื่อนพฤติกรรมของระบบ
สิ่งที่การควบคุมการชดเชยที่ทำงานจริงๆ
การเสริมความแข็งแกร่งของโมเดลไม่เพียงพอ ทีมความปลอดภัยต้องการการควบคุมรอบๆ เอเจนต์ที่จำกัดสิ่งที่ AI สามารถทำได้ แม้ว่าเหตุผลของมันจะถูกมีอิทธิพล
ยุทธวิธีหลายอย่างแสดงให้เห็นถึงความมั่นใจ:
- การเข้าถึงสิทธิ์ที่น้อยที่สุดเป็นสิ่งจำเป็น เอเจนต์ควรจะมีสิทธิ์เข้าถึงเฉพาะไฟล์และการกระทำที่จำเป็นสำหรับงานของพวกมัน การลดสิทธิ์ที่ไม่จำเป็นจะจำกัดผลกระทบของคำสั่งที่ถูกจัดการ
- ขั้นตอนการอนุมัติของมนุษย์สามารถหยุดการกระทำที่เป็นอันตรายก่อนที่จะเกิดขึ้น เมื่อเอเจนต์พยายามดำเนินการสำคัญ เช่น การรันคำสั่งหรือการเข้าถึงข้อมูลที่คุ้มครอง ผู้ใช้ควรอนุมัติหรือปฏิเสธคำขอ
- การกรองเนื้อหาสร้างบัฟเฟอร์ระหว่างวัสดุที่ไม่น่าเชื่อถือและเอเจนต์ การกรองเอกสาร URL และข้อความภายนอกจะลดโอกาสที่คำสั่งซ่อนอยู่จะไปถึงโมเดล
- การบันทึกที่ครอบคลุมเป็นสิ่งจำเป็น การกระทำที่เริ่มต้นโดยเอเจนต์ทุกครั้งจะต้องถูกบันทึกและตรวจสอบ การกระทำเหล่านี้ควรได้รับการปฏิบัติเหมือนกับการกระทำของผู้ใช้ที่มีสิทธิ์
- การแมปกับเทคนิค ATT&CK ช่วยให้ผู้ป้องกันระบุจุดที่เอเจนต์สามารถถูกผลักให้กระทำการอันตรายและจุดที่ต้องมีการป้องกัน มันใช้ระบบเดียวกับที่มีโครงสร้างกลยุทธ์ป้องกัน
การควบคุมการชดเชยเหล่านี้จะไม่กำจัดความเสี่ยง แต่มันจะจำกัดความเสี่ยงในลักษณะที่การป้องกันระดับโมเดลไม่สามารถทำได้
ทิศทางที่อุตสาหกรรมจะไปต่อไป
เอเจนต์ AI เป็นตัวแทนของการเปลี่ยนแปลงครั้งสำคัญใน cáchที่การคำนวณทำงาน พวกมันให้ผลผลิตที่น่าทึ่ง แต่ก 也แนะนำประเภทความเสี่ยงในการดำเนินการที่ไม่เข้ากับโครงสร้างความปลอดภัยที่มีอยู่ คำแนะนำจากศูนย์ความปลอดภัยไซเบอร์แห่งชาติของสหราชอาณาจักร เป็นจุดเริ่มต้น แต่ส่วนใหญ่ขององค์กรยังคงไม่มีวิธีการที่ชัดเจนในการควบคุมเอเจนต์ที่สามารถกระทำการบนระบบ
ช่วงเวลานี้รู้สึกเหมือนกับช่วงแรกๆ ของการนำระบบคลาวด์มาใช้ เทคโนโลยีเคลื่อนที่เร็วกว่าการควบคุม องค์กรที่ปรับตัวเร็วเป็นองค์กรที่ตระหนักถึงการเปลี่ยนแปลงเร็วและสร้างกระบวนการเพื่อให้เข้ากับมัน
สิ่งเดียวกันจะเกิดขึ้นที่นี่ เอเจนต์ AI ไม่ใช่แค่ผู้ช่วย พวกมันคือผู้ดำเนินการมีสิทธิ์การเข้าถึงระบบ ระบบความปลอดภัยของพวกมันต้องการสมุดบัญชีใหม่ รั้วใหม่ และวิธีการสร้างแบบจำลองความเสี่ยงใหม่
อุตสาหกรรมไม่ต้องกลัวเครื่องมือเหล่านี้ แต่ต้องเข้าใจพวกมัน และต้องเคลื่อนที่อย่างรวดเร็ว เพราะ ผู้โจมตีได้เห็นโอกาสแล้ว คำถามคือว่าผู้ป้องกันจะสร้างการป้องกันที่เหมาะสมในขณะที่ยังมีเวลา
