ความอ่อนไหวด้านความปลอดภัยที่เราสร้างขึ้น: ตัวแทน AI และปัญหาเรื่องการเชื่อฟัง

ตัวแทน AI ที่ใช้ LLM กำลังแนะนำชั้นความอ่อนไหวใหม่ โดยที่ผู้โจมตีจะฉีดคำสั่งอันชั่วร้ายเข้าไปในข้อมูล ทำให้ระบบที่มีประโยชน์กลายเป็นเพื่อนร่วมทางที่ไม่รู้ตัว

ไมโครซอฟท์ Copilot ไม่ได้ถูกแฮ็กในความหมายทั่วไป ไม่มีแมลแวร์ ไม่มีลิงก์ถึงการฟิชชิ่ง ไม่มีโค้ดอันชั่วร้าย ไม่มีใครคลิกอะไรหรือใช้เอ็กซ์พลอยต์

ผู้โจมตีเพียงแค่ถามเท่านั้น ไมโครซอฟท์ 365 Copilot ทำตามที่ถูกออกแบบมา ในการโจมตี Echoleak ซึ่งเป็นการโจมตีแบบ zero click ตัวแทน AI ถูกบงการโดยคำสั่งที่ปลอมตัวเป็นข้อมูล มันเชื่อฟัง ไม่ใช่เพราะมันถูกทำลาย แต่เพราะมันทำงานตามที่ถูกออกแบบมา

ช่องโหว่นี้ไม่ได้ใช้ประโยชน์จากบั๊กของซอฟต์แวร์ แต่ใช้ประโยชน์จากภาษา ซึ่งเป็นจุดเปลี่ยนสำคัญในด้านความปลอดภัยทางไซเบอร์ โดยพื้นผิวการโจมตีไม่ใช่โค้ด แต่เป็นการพูดคุย

ปัญหาเชื่อฟัง AI ใหม่

ตัวแทน AI ถูกออกแบบมาเพื่อช่วยเหลือ จุดประสงค์ของมันคือการเข้าใจความตั้งใจของผู้ใช้และดำเนินการตามนั้นอย่างมีประสิทธิภาพ สิ่งนี้มาพร้อมกับความเสี่ยง เมื่อตัวแทน AI ถูกฝังอยู่ในระบบไฟล์ แพลตฟอร์มความผลิต หรือระบบปฏิบัติการ พวกมันจะทำตามคำสั่งภาษาธรรมชาติ โดยมีการต่อต้านน้อยที่สุด

ผู้โจมตีกำลังใช้ประโยชน์จากคุณลักษณะนี้ โดยการฉีดคำสั่งที่ดูเหมือนเป็นข้อมูลทั่วไป แต่สามารถกระตุ้นการดำเนินการอันละเอียดอ่อนได้ คำสั่งเหล่านี้อาจรวมถึง:

• โค้ดสคริปต์หลายภาษา
• รูปแบบไฟล์ที่ไม่ชัดเจนและคำสั่งที่ฝังอยู่
• ข้อมูลภาษาที่ไม่ใช่ภาษาอังกฤษ
• คำสั่งหลายขั้นตอนที่ซ่อนอยู่ในภาษาทั่วไป

เนื่องจากโมเดลภาษาขนาดใหญ่ (LLM) ถูกฝึกให้เข้าใจความซับซ้อนและความคลุมเครือ คำสั่งจึงกลายเป็นเพย์โหลด

ผีของ Siri และ Alexa

รูปแบบนี้ไม่ใช่เรื่องใหม่ ในช่วงแรกของ Siri และ Alexa นักวิจัยได้แสดงให้เห็นว่าการเล่นคำสั่งเสียง เช่น “ส่งรูปภาพทั้งหมดของฉันไปที่อีเมลนี้” สามารถกระตุ้นการดำเนินการได้โดยไม่ต้องมีการยืนยันจากผู้ใช้

ตอนนี้ความเสี่ยงนั้นใหญ่ขึ้น ตัวแทน AI เช่น Microsoft Copilot ถูกผสมผสานอย่างลึกเข้าไปใน Office 365, Outlook และระบบปฏิบัติการ พวกมันสามารถเข้าถึงอีเมล ไฟล์ ข้อมูลประจำตัว และ API ได้ ผู้โจมตีเพียงต้องการคำสั่งที่ถูกต้องเพื่อดึงข้อมูลสำคัญออกมา โดยปลอมตัวเป็นผู้ใช้ที่ถูกต้อง

เมื่อคอมพิวเตอร์เข้าใจคำสั่งเป็นข้อมูล

สิ่งนี้ไม่ใช่หลักการใหม่ในด้านความปลอดภัยทางไซเบอร์ การฉีดข้อมูล เช่น การโจมตี SQL ได้สำเร็จเพราะระบบไม่สามารถแยกแยะระหว่างข้อมูลเข้าและคำสั่งได้ วันนี้ ช่องโหว่นั้นยังคงอยู่ แต่อยู่ที่ชั้นภาษา

ตัวแทน AI ถือว่าภาษาธรรมชาติเป็นทั้งข้อมูลเข้าและความตั้งใจ คำสั่ง JSON, คำถาม หรือแม้กระทั่งประโยคสามารถกระตุ้นการดำเนินการได้ ความคลุมเครือนี้คือสิ่งที่ผู้โจมตีใช้ประโยชน์ โดยฝังคำสั่งไว้ในข้อมูลที่ดูเหมือนเป็นข้อมูลทั่วไป

การนำ AI ไปใช้กำลังแซงหน้าความปลอดภัยทางไซเบอร์

เมื่อองค์กรเร่งนำ LLM ไปใช้ หลายๆ องค์กรมองข้ามคำถามที่สำคัญ: AI มีอะไรอยู่ในความครอบคลุม?

เมื่อ Copilot สามารถสัมผัสกับระบบปฏิบัติการได้ พื้นที่ที่ถูกโจมตีจะขยายออกไปไกลเกินกว่ากล่องจดหมาย ตามรายงานความปลอดภัย AI ของ Check Point:

• 62 เปอร์เซ็นต์ของ CISO ทั่วโลกกลัวว่าพวกเขาอาจถูกถือว่าผิดในเรื่องการละเมิดความปลอดภัยที่เกี่ยวข้องกับ AI
• เกือบ 40 เปอร์เซ็นต์ขององค์กรรายงานการใช้ AI ภายในโดยไม่มีการดูแลความปลอดภัย
• 20 เปอร์เซ็นต์ของกลุ่มผู้โจมตีทางไซเบอร์ใช้ AI ในการดำเนินการแล้ว รวมถึงการสร้างการฟิชชิ่งและการสอดแนม

สิ่งนี้ไม่ใช่ความเสี่ยงที่เกิดขึ้นในอนาคต แต่เป็นความเสี่ยงที่เกิดขึ้นแล้วและก่อให้เกิดความเสียหาย

เหตุใดการป้องกันที่มีอยู่จึงไม่เพียงพอ

บางผู้ให้บริการใช้ watchdog — โมเดลที่สองที่ถูกฝึกให้ตรวจจับคำสั่งอันชั่วร้ายหรือพฤติกรรมที่น่าสงสัย ฟิลเตอร์เหล่านี้อาจตรวจจับภัยคุกคามพื้นฐาน แต่เสี่ยงต่อเทคนิคการหลบหลีก

ผู้โจมตีสามารถ:

• ให้ฟิลเตอร์ทำงานหนักเกินไปด้วยสัญญาณรบกวน
• แบ่งความตั้งใจออกเป็นหลายขั้นตอน
• ใช้ภาษาที่ไม่ชัดเจนเพื่อหลบหลีกการตรวจจับ

ในกรณีของ Echoleak การป้องกันถูกติดตั้งไว้ — และถูกหลบหลีก สิ่งนี้สะท้อนถึงไม่เพียงแต่ความล้มเหลวของนโยบาย แต่ยังรวมถึงความล้มเหลวของสถาปัตยกรรมด้วย เมื่อตัวแทน AI มีสิทธิ์การเข้าถึงระดับสูง แต่มีบริบทระดับต่ำ แม้แต่การป้องกันที่ดีก็ยังล้มเหลว

การตรวจจับ ไม่ใช่ความสมบูรณ์แบบ

การป้องกันการโจมตีทุกครั้งอาจไม่สมจริง จุดมุ่งหมายควรเป็นการตรวจจับที่รวดเร็วและควบคุมอย่างรวดเร็ว

องค์กรสามารถเริ่มต้นด้วย:

• ติดตามกิจกรรมของตัวแทน AI ในเวลาจริงและรักษาบันทึกคำสั่ง
• ใช้สิทธิ์การเข้าถึงที่น้อยที่สุดสำหรับเครื่องมือ AI โดยสะท้อนการควบคุมระดับผู้ดูแลระบบ
• เพิ่มความยุ่งยากในการดำเนินการอันละเอียดอ่อน เช่น ต้องการการยืนยัน
• ระบุรูปแบบคำสั่งที่ไม่ปกติหรือเป็นอันตรายเพื่อการตรวจสอบ

การโจมตีทางภาษา不会ปรากฏในเครื่องมือตรวจจับการโจมตีแบบดั้งเดิม (EDR) แต่ต้องการโมเดลการตรวจจับใหม่

สิ่งที่องค์กรควรทำตอนนี้เพื่อป้องกันตัวเอง

ก่อนที่จะนำตัวแทน AI ไปใช้ องค์กรต้องเข้าใจว่าระบบเหล่านี้ทำงานอย่างไรและความเสี่ยงที่พวกมันนำเข้ามา

คำแนะนำหลักๆ รวมถึง:

1. ตรวจสอบการเข้าถึงทั้งหมด: รู้ว่าตัวแทน AI สามารถสัมผัสหรือกระตุ้นอะไรได้บ้าง
2. จำกัดขอบเขต: มอบสิทธิ์การเข้าถึงที่จำเป็นน้อยที่สุด
3. ติดตามการโต้ตอบทั้งหมด: บันทึกคำสั่ง, คำตอบ และการดำเนินการที่ตามมา
4. ทดสอบความทนทาน: จำลองการโจมตีภายในและบ่อยๆ
5. วางแผนสำหรับการหลบหลีก: สมมติว่าฟิลเตอร์จะถูกหลบหลีก
6. จัดตำแหน่งกับความปลอดภัย: ดูแลให้ระบบ LLM สนับสนุน ไม่บ่อนทำลาย วัตถุประสงค์ด้านความปลอดภัย

พื้นที่โจมตีใหม่

Echoleak เป็นภาพ预览ของสิ่งที่จะเกิดขึ้น เมื่อตัวแทน AI พัฒนาขึ้น ความมีประโยชน์ของพวกมันกลายเป็นความอ่อนไหว พวกมันถูกผสมผสานอย่างลึกเข้าไปในระบบธุรกิจ โดยให้ผู้โจมตีทางเข้าใหม่ — ผ่านคำสั่งที่ง่ายและได้รับการออกแบบมาอย่างดี

สิ่งนี้ไม่ใช่แค่เรื่องของการรักษาความปลอดภัยของโค้ด แต่เป็นเรื่องของการรักษาความปลอดภัยของภาษา, ความตั้งใจ และบริบท คู่มือต้องเปลี่ยนตอนนี้ ก่อนที่จะสายเกินไป

และยังมีข่าวดีบางอย่าง มีการพัฒนาการใช้ตัวแทน AI เพื่อป้องกันการโจมตีทางไซเบอร์ใหม่ๆ และที่เกิดขึ้น เมื่อใช้อย่างเหมาะสม ตัวแทน AI เหล่านี้สามารถตอบสนองต่อการโจมตีได้เร็วกว่ามนุษย์ สามารถทำงานร่วมกันข้ามสภาพแวดล้อม และป้องกันการโจมตีใหม่ๆ โดยการเรียนรู้จากความพยายามโจมตีเพียงครั้งเดียว

ตัวแทน AI สามารถเรียนรู้จากทุกการโจมตี ปรับเปลี่ยนในเวลาจริง และป้องกันการโจมตีก่อนที่จะแพร่กระจาย มันสามารถสร้างยุคใหม่ของความทนทานทางไซเบอร์ แต่เฉพาะถ้าเราจับโอกาสนี้และกำหนดอนาคตของความปลอดภัยทางไซเบอร์อย่างร่วมกัน หากเราไม่ทำเช่นนั้น ยุคใหม่นี้อาจเป็นฝันร้ายด้านความปลอดภัยทางไซเบอร์และความเป็นส่วนตัวของข้อมูลสำหรับองค์กรที่ได้นำ AI ไปใช้แล้ว (บางครั้งโดยไม่รู้ตัวด้วยเครื่องมือ IT ที่ซ่อนอยู่) ตอนนี้เป็นเวลาที่ต้องดำเนินการเพื่อให้แน่ใจว่าตัวแทน AI ถูกใช้เพื่อประโยชน์ของเรา ไม่ใช่ความล่มสลายของเรา