เมื่อความสามารถ AI เพิ่มขึ้นเร็วกว่าโมเดลความปลอดภัยที่สร้างขึ้นมาเพื่อปกป้องมัน

เครื่องมือ AI มักมาพร้อมกับการเสนอขายที่คุ้นเคย พวกมันสัญญาว่าจะทำให้กระบวนการทำงานง่ายขึ้น เพิ่มผลผลิต และรับมือกับงานที่ไม่มีใครชอบทำ และส่วนใหญ่ของเวลา พวกมันส่งมอบสิ่งที่สัญญาไว้ พวกมันทำให้การเข้าสู่ระบบง่ายขึ้น สรุปเอกสาร อัตโนมัติกระบวนการทำงาน และทำให้กิจกรรมที่ซ้ำซ้อนรู้สึกเหมือนไม่มีอะไรต้องทำ

แต่ด้านล่างความสะดวกสบายเหล่านั้น มีเรื่องราวที่แตกต่างออกไป เครื่องมือเหล่านี้ไม่ได้ถูกจำกัดอยู่ในกล่องข้อความอีกต่อไป พวกมันเริ่มทำงานบนระบบปฏิบัติการโดยตรง พวกมันสามารถดูไฟล์ จดหมายอีเมล สื่อสารกับแอปพลิเคชัน และดำเนินการตามที่เคยต้องมีมนุษย์ที่ตระหนักถึงผลกระทบ การเปลี่ยนแปลงนี้ทำให้ AI อยู่ในตำแหน่งที่สมมติฐานความปลอดภัยที่มีอยู่ไม่ได้ถูกสร้างขึ้นมาเพื่อจัดการ

เมื่อ AI ได้รับสิทธิ์เข้าถึงระบบ

เมื่อระบบ AI สามารถอ่านไฟล์จริงและดำเนินการตามคำสั่งจริง มันจะกลายเป็นส่วนหนึ่งของฐานการคำนวณที่เชื่อถือได้ นั่นคือช่วงเวลาที่ความคาดหวังเกี่ยวกับความปลอดภัยของ AI เริ่มแตกหัก

เป็นเวลาหลายปี การฉีดข้อมูลเข้าไปในแบบจำลองถือเป็นพฤติกรรมที่แปลกของแบบจำลอง มันทำให้หุ่นยนต์สร้างคำตอบที่หลอกลวงหรือไม่เหมาะสม แต่ความเสียหายจะสิ้นสุดลงเมื่อสิ้นสุดการคุย ตอนนี้ข้อบกพร่องเดียวกันนั้นสามารถทำให้เกิดการดำเนินการระดับโฮสต์ ไม่ใช่แค่ข้อความเท่านั้น คำสั่งอันชั่วร้ายที่ซ่อนอยู่ในไฟล์ PDF เว็บไซต์ หรืออีเมลไม่ได้สร้างคำตอบที่แปลกๆ อีกต่อไป แต่มันสร้างการดำเนินการบนเครื่อง

สิ่งนี้ไม่ใช่เรื่องที่อุตสาหกรรมสามารถเพิกเฉยได้ว่าเป็นเรื่องทางทฤษฎี นักวิจัยจากมหาวิทยาลัยคาร์เนกีเมลอนและมหาวิทยาลัยวอชิงตันได้ แสดงให้เห็นซ้ำแล้วซ้ำอีก ว่าคำสั่งซ่อนอยู่สามารถชี้นำแบบจำลองภาษาขนาดใหญ่ให้ดำเนินการตามที่ผู้ใช้ไม่ได้ตั้งใจ ในขณะเดียวกัน นักวิจัยที่ศึกษาบทบาทของแบบจำลองการมองเห็น ได้แสดงให้เห็นว่าภาพที่ถูกดัดแปลงสามารถเปลี่ยนแปลงการรับรู้ของแบบจำลองในลักษณะที่ส่งผลต่อพฤติกรรมในระยะต่อไป

เมื่อความสามารถของตัวแทน AI มีมากกว่าการควบคุมของฝ่ายป้องกัน

แม้แต่บริษัทที่สร้างตัวแทนเหล่านี้ยังรับทราบถึงความรุนแรงของความท้าทาย พวกเขาได้เสริมความแข็งแกร่งของตัวกรองเพื่อจัดการกับคำสั่ง แต่พวกเขาก็ยอมรับอย่างเปิดเผยว่าการควบคุมการดำเนินการของระบบ AI ในโลกแห่งความเป็นจริงยังคงเป็นพื้นที่การทำงานที่ไม่ได้รับการแก้ไขในอุตสาหกรรม ความแตกต่างระหว่างสิ่งที่ตัวแทน AI สามารถทำได้และสิ่งที่ฝ่ายป้องกันสามารถควบคุมได้ ทำให้เกิดประเภทใหม่ของความเสี่ยงที่แผนการรักษาความปลอดภัยที่มีอยู่ไม่สามารถดูดซับได้

วิธีการฉีดข้อมูลเข้าไปในแบบจำลองที่เชื่อมโยงกับโซ่การโจมตีที่ทุกคนรู้จัก

ผู้โจมตีได้ปฏิบัติตามรูปแบบที่คาดเดาได้ เฟรมเวิร์ก MITRE ATT&CK อธิบายขั้นตอนเหล่านี้อย่างชัดเจน การเข้าถึงเริ่มต้นตามด้วยการดำเนินการ ความคงอยู่ การค้นพบ การเคลื่อนไหวในแนวขวาง การรวบรวม และการขนย้ายข้อมูลออกไป เทคนิคอาจแตกต่างกัน แต่โครงสร้างยังคงเสถียร

สิ่งที่เปลี่ยนแปลงคือกลไกในการส่งมอบ ผู้โจมตีไม่จำเป็นต้องหลอกลวงให้ผู้ใช้เปิดไฟล์แนบหรือกดลิงก์ที่อันตรายอีกต่อไป แต่พวกเขาสามารถวางคำสั่งไว้ที่ตัวแทน AI จะอ่านได้ ตัวแทน AI กลายเป็นสภาพแวดล้อมในการดำเนินการ มันปฏิบัติตามขั้นตอนตามที่อธิบายไว้ แบบจำลองไม่ตั้งคำถามว่าคำสั่งเป็นอันตรายหรือไม่ มันไม่ได้ใช้การตัดสินใจหรือ直覺 มันเพียงแต่ดำเนินการตามที่เขียนไว้

ทีมรักษาความปลอดภัยไม่พร้อมและไม่เข้าใจถึงความเสี่ยง

โปรแกรมรักษาความปลอดภัยยังคงสมมติว่ามีมนุษย์อยู่ระหว่างเนื้อหากับการดำเนินการ มนุษย์สามารถถูกหลอกลวงได้ แต่พวกเขาจะหยุดเมื่อมีบางสิ่งที่ไม่ถูกต้อง พวกเขาสังเกตเห็นประโยคที่แปลกๆ และตั้งคำถามเกี่ยวกับพฤติกรรมที่ไม่คาดคิด และนำการตัดสินใจมาใช้ในการตัดสินใจครั้งสุดท้าย

ตัวแทน AI ไม่ทำสิ่งเหล่านี้เลย; พวกมันคงเส้นคงวา ตรงไปตรงมา และเร็วกว่าผู้โจมตีใดๆ คำสั่งซ่อนอยู่เพียงบรรทัดเดียวเพียงพอสำหรับการสั่งให้ตัวแทน AI อ่านไฟล์สำคัญ ย้ายผ่านแอปพลิเคชัน หรือติดต่อเซิร์ฟเวอร์ระยะไกล สิ่งนี้ทำให้ผู้ป้องกันอยู่ในตำแหน่งที่ไม่เคยพบมาก่อน

ทีมรักษาความปลอดภัยมีความเข้าใจที่จำกัดเกี่ยวกับวิธีการตัดสินใจของตัวแทน AI และไม่สามารถระบุได้ง่ายๆ ว่าการดำเนินการนั้นมาจากผู้ใช้หรือ AI ทั้งหมด การตรวจจับมาลแวร์แบบดั้งเดิมไม่มีประโยชน์เพราะไม่มีการดำเนินการอันตรายที่กำลังถูกดำเนินการในความหมายปกติ และไม่มีการรับประกันว่าตัวแทน AI จะตั้งคำถามหรือปฏิเสธคำสั่งอันตรายที่ซ่อนอยู่ในเนื้อหาปกติ

ทิศทางที่อุตสาหกรรมจะไปต่อไป

ตัวแทน AI เป็นตัวแทนของการเปลี่ยนแปลงครั้งใหญ่ใน cáchที่การคำนวณทำงาน พวกมันให้ผลผลิตที่น่าเหลือเชื่อ แต่ก็แนะนำประเภทของความเสี่ยงในการดำเนินการที่ไม่เข้ากับโครงสร้างความปลอดภัยที่มีอยู่ คำแนะนำจากศูนย์ความปลอดภัยไซเบอร์แห่งชาติของสหราชอาณาจักร เป็นจุดเริ่มต้น แต่ส่วนใหญ่ขององค์กรยังคงไม่มีวิธีการที่ชัดเจนในการควบคุมตัวแทน AI ที่สามารถดำเนินการบนระบบ

ช่วงเวลานี้รู้สึกเหมือนกับช่วงต้นของการนำระบบคลาวด์มาใช้ เทคโนโลยีนี้เคลื่อนไหวเร็วกว่าการควบคุม องค์กรที่ปรับตัวได้อย่างรวดเร็วคือผู้ที่รับรู้ถึงการเปลี่ยนแปลงในตอนต้นและสร้างกระบวนการให้ตรงกับ它

สิ่งเดียวกันจะเกิดขึ้นที่นี่ ตัวแทน AI ไม่ใช่แค่ผู้ช่วย พวกมันคือผู้ดำเนินการมีระดับระบบใหม่ การรักษาความปลอดภัยของพวกมันต้องการเล่นใหม่ ระบบรางใหม่ และวิธีการใหม่ในการสร้างแบบจำลองการเปิดเผย

อุตสาหกรรมไม่ต้องกลัวเครื่องมือเหล่านี้ แต่ต้องเข้าใจพวกมัน และต้องเคลื่อนไหวอย่างรวดเร็ว เพราะ ผู้โจมตีได้เห็นโอกาสแล้ว คำถามคือว่าผู้ป้องกันจะสร้างการป้องกันที่เหมาะสมในขณะที่ยังมีเวลาอีกหรือไม่