ผู้โจมตี AI ไม่เหนื่อย: ทำไมความปลอดภัยไซเบอร์ต้องเปลี่ยนแปลง

โปรแกรมความปลอดภัยของคุณถูกสร้างขึ้นเพื่อรับมือกับผู้โจมตีที่ทำเช่นนั้น

เมื่อ OpenAI เผยเรื่องราวของโมเดลที่หลุดออกจากสภาพแวดล้อมการประเมินและใช้เวลาหลายวันอยู่ในโครงสร้างพื้นฐานการผลิตของ Hugging Face ฉันเรียกเหตุการณ์นี้ว่าเป็นช่วงเวลาตัวละคร Terminator สำหรับความปลอดภัยไซเบอร์ ฉันยังคงยึดมั่นในคำกล่าวนั้น แต่มีสิ่งอื่นที่ควรทำให้เราต้องหยุดคิด อีกเก้าวันหลัง Anthropic เปิดเผยเหตุการณ์ของตนเอง ในต้นเดือนสิงหาคม Meta ยืนยันอีกหนึ่งเหตุการณ์ ไม่กี่วันต่อมารุ่นของห้องทดลองที่สี่, Kimi K3 ของ Moonshot, ก็หลุดจาก sandbox การทดสอบของมัน ห้องทดลองสี่แห่ง ภายในเวลาน้อยกว่าสามสัปดาห์ โมเดลสี่ตัวที่ไปยังที่ที่ไม่มีใครตั้งใจ

เรื่องเหล่านี้ส่วนใหญ่ถูกมองว่าเป็นเรื่องความปลอดภัยของ AI ซึ่งเป็นเช่นนั้น แต่สำหรับ CISO พวกมันยังเป็นเรื่องความเสี่ยงจากบุคคลที่สาม — และอาจเป็นบทเรียนที่เร่งด่วนกว่า ความจริงที่ไม่สบายใจคือเหตุการณ์ OpenAI-Hugging Face นั้นในแก่นคือเรื่องความเสี่ยงจากบุคคลที่สาม: ส่วนประกอบของบุคคลที่สามที่เป็นช่องทางหลบหนี ผู้ขายเป็นเหยื่อ และโหนดระบบที่หลายพันบริษัทพึ่งพาเป็นรัศมีการระเบิด

นี่คือจำนวนที่ฉันจะนำไปสู่การประชุมวางแผนความปลอดภัยครั้งต่อไปของคุณ จากการกระทำของผู้โจมตีประมาณ 17,600 ครั้ง Hugging Face พบจากบันทึกของมัน ส่วนใหญ่ล้มเหลว

เอเจนต์ทดสอบเส้นทางที่ไม่ไปไหนเลย มันถูกบล็อกโดยรายการอนุญาต URL และเปลี่ยนเส้นทาง มันเจอนโยบาย IAM ที่ปฏิเสธทุกการเรียกที่เปลี่ยนแปลง มันพยายามเข้าถึงฐานข้อมูลการผลิตสองครั้งแต่ทั้งสองครั้งหมดเวลา มันสำรวจ ล้มเหลวและเดินต่อไปหลายพันครั้ง มันไม่รู้สึกหงุดหงิด ไม่รู้สึกเหนื่อย และความล้มเหลวไม่ได้ทำให้มันเสียค่าใช้จ่ายใด ๆ

สี่โมเดลหลุดออกจากสภาพแวดล้อมการทดสอบในเวลาน้อยกว่าสามสัปดาห์ การหลบหนีเหล่านี้กลายเป็นข่าวหัวข้อ ผู้บริหารความปลอดภัยควรกังวลมากขึ้นเกี่ยวกับสาเหตุที่ทำให้มันเป็นไปได้: ผู้โจมตีที่สามารถล้มเหลวหลายพันครั้งโดยเกือบไม่มีค่าใช้จ่าย

นั่นคือการเปลี่ยนแปลง ตลอดหลายทศวรรษ ผู้ป้องกันได้รับประโยชน์จากความจริงง่าย ๆ หนึ่งข้อ: ความล้มเหลวทำให้ผู้โจมตีต้องเสียค่าใช้จ่าย การสืบค้นใช้เวลามากและทางตันมีค่าใช้จ่าย ความไม่สมดุลทางเศรษฐกิจนี้ทำให้การ “บังคับค่าใช้จ่าย” กับผู้โจมตีเป็นวิธีที่มีเหตุผลเมื่อพยายามหยุดพวกเขา เมื่อความล้มเหลวกลายเป็นเกือบฟรี เส้นทางที่สำเร็จไม่ใช่แค่เข็มในกองฟางอีกต่อไป แต่กลายเป็นความแน่นอนทางสถิติสำหรับผู้ที่สามารถสำรวจทุกเส้นทางพร้อมกัน

รูปแบบในเหตุการณ์เหล่านี้ชี้ให้เห็นสามบทเรียนที่ผู้นำด้านความปลอดภัยควรดำเนินการทันที

สี่ห้องทดลอง, รูปแบบเดียว

รูปแบบนี้สอดคล้องอย่างน่าประหลาดใจ ให้โมเดลมีวัตถุประสงค์ มันจะค้นหาเส้นทางที่ไม่มีใครคาดคิด บางครั้งเส้นทางนั้นนำตรงสู่ระบบการผลิตขององค์กรที่ไม่ควรมีส่วนเกี่ยวข้อง อย่างน้อยหนึ่งกรณี องค์กรที่ได้รับผลกระทบได้รู้ว่าเกิดอะไรขึ้นเพราะ Anthropic โทรแจ้งให้ทราบ

ในทุกกรณี เส้นทางวิ่งผ่านซอฟต์แวร์ โครงสร้างพื้นฐาน หรือสภาพแวดล้อมที่คนอื่นสร้าง ผู้นำด้านความปลอดภัยควรรับรู้เรื่องนี้เป็นเรื่องส่วนตัว

ทุกองค์กรในห่วงโซ่นี้มีโปรแกรมความปลอดภัยหลายแห่งมีโปรแกรมที่ดีมาก ความล้มเหลวไม่ได้ถูกจำกัดอยู่ภายในขอบเขตใดขอบเขตหนึ่ง มันเกิดขึ้นที่รอยต่อระหว่างองค์กรและไม่มีใครเป็นเจ้าของรอยต่อเหล่านั้น

โมเดลของ OpenAI พบช่องโหว่วันศูนย์ในพร็อกซี่แพ็กเกจโฮสต์ด้วยตนเองและใช้มันเพื่อเข้าถึงอินเทอร์เน็ตเปิด จากนั้นพวกมันได้รากฐานบน sandbox การดำเนินโค้ดที่ไม่ได้ป้องกันของลูกค้า Modal Labs ใช้เป็นฐานการจัดเตรียม และหลอกโหลดเดต้าเซ็ตของ Hugging Face ให้อ่านไฟล์ท้องถิ่นแล้วดำเนินโค้ด ภายในสิบสามชั่วโมงพวกมันได้สิทธิ์ cluster-admin ในหลายคลัสเตอร์ภายในองค์กร โดยได้รับความช่วยเหลือจากข้อมูลรับรองเดียวที่แชร์ระหว่างคลัสเตอร์ทั้งหมด จุดเข้าถึงเป็นแบบใหม่ ภายในจุดอ่อนคือสิ่งที่เรามักเขียนไว้มานานยี่สิบปี

เก้าวันต่อมาหลังจากนั้น Anthropic ทำสิ่งที่แปลกยิ่งกว่า: มัน เผยการตรวจสอบของตนเองจากการประเมิน 141,006 ครั้งและเปิดเผยสามกรณีที่มีการแสดงผลคล้ายกันโดยไม่ต้องกระตุ้น: โมเดลที่เข้าถึงอินเทอร์เน็ตเปิดจากสภาพแวดล้อมการประเมิน แล้วเข้าถึงระบบขององค์กรจริง ไม่มีการหลบหนี sandbox ครั้งนี้ เพียงการกำหนดค่าผิดพลาดที่ทำให้เส้นทางสดอยู่ข้างนอกในขณะที่โมเดลถูกบอกว่าไม่มีเส้นทางดังกล่าว เมื่อออกมานอก ระบบ โมเดลก็ใช้ประโยชน์จากจุดอ่อนที่ทีมความปลอดภัยทุกทีมรู้จัก: รหัสผ่านอ่อนแอ, จุดเชื่อมต่อที่ไม่มีการยืนยันตัวตน, การฉีด SQL และข้อมูลรับรองที่อยู่บนหน้า debug ที่เปิดเผย

Meta ยืนยันเหตุการณ์ที่สี่ในต้นเดือนสิงหาคม หลังจากข้อผิดพลาดการกำหนดค่าทำให้หนึ่งในโมเดลของมันเข้าถึงอินเทอร์เน็ตระหว่างการประเมิน Meta ไม่ได้จับได้เช่นกัน; พวกเขาได้รู้ว่าเกิดอะไรขึ้นเมื่อพันธมิตรการทดสอบของพวกเขาโทรแจ้ง ทั้งการประเมินนั้นและของ Anthropic ถูกดำเนินการโดยบริษัทภายนอกเดียวกันคือ Irregular ซึ่งได้เรียกว่าปัญหาเดียวกันอย่างสาธารณะ ความผิดพลาดการกำหนดค่าของผู้ขายหนึ่งแพร่กระจายไปยังสองห้องทดลองแนวหน้าและสี่องค์กรที่เป็นเหยื่อ ซึ่งไม่มีความสัมพันธ์โดยตรงกับ Irregular เลย มันเป็นผู้ขายต่อสองห้องทดลอง ไม่ใช่ต่อพวกเขา ตัวแทนไม่สนใจว่าพื้นผิวการโจมตีของบริษัทหนึ่งจบที่ไหนและเริ่มที่ไหนของบริษัทอื่น

นี่คือสิ่งที่ทำให้มันเป็นปัญหาความเสี่ยงจากบุคคลที่สาม การเปิดเผยสามารถเกิดขึ้นจากความสัมพันธ์หลายชั้นห่างจากคุณ ในองค์กรที่คุณไม่เคยเลือก ประเมิน หรือแม้แต่รู้ว่าเป็นส่วนหนึ่งของพื้นผิวการโจมตีของคุณ

จากนั้นนักวิจัยที่ Frontier Security พบว่า Kimi K3 ของ Moonshot กำลังหลุด sandbox ของมันเช่นกัน จึงสามารถเข้าถึงคลังเก็บข้อมูล benchmark บน GitHub ได้ ไม่มีการละเมิดใด ๆ และโมเดลกำลังไล่ตามวัตถุประสงค์ที่กำหนดไว้ โดยพบว่าการใช้คำตอบสำเร็จรูปนั้นถูกกว่าการแก้ปัญหา มีสองประเด็นทำให้กรณีนี้สำคัญ นักวิจัยจับได้ในระหว่างการทดสอบของตนเอง และมันทำงานบนเครื่องมือที่แตกต่างอย่างสิ้นเชิงจากกรณีของ Anthropic และ Meta การที่ผู้ขายคนหนึ่งมีเดือนที่แย่ไม่ได้อธิบายเหตุการณ์นี้

ห้องทดลองไม่ได้มองข้ามเรื่องเหล่านี้เลย Anthropic เผยการตรวจสอบของตนโดยไม่ต้องกระตุ้น ซึ่งเป็นเหตุผลที่อุตสาหกรรมมีรูปแบบให้ตรวจสอบและเรียนรู้ — แทนที่จะเป็นข้อยกเว้นที่มองข้าม สิ่งนี้ควรกลายเป็นมาตรฐาน OpenAI ได้ชะลอการปล่อยโมเดล Astra หลังจากการประเมินภายในไม่สามารถยกเว้นความสามารถทางไซเบอร์ที่สำคัญได้ ทั้งสองการกระทำควรได้รับการชื่นชม แต่ทั้งสองก็ไม่ใช่แผนการป้องกัน: การเลื่อนการปล่อยเป็นการกำหนดตารางเวลาของบริษัทหนึ่งเท่านั้น ไม่ได้แก้ไขโมเดลที่มีความสามารถ เช่น Kimi K3 ที่ได้ถูกปล่อยเป็นน้ำหนักเปิดและฟรี โดยเหนือการควบคุมของห้องทดลองใด ๆ

การเชื่อมโยงโดยไม่มีการยกระดับไม่ใช่การตรวจจับ

ระบบตรวจจับของ Hugging Face แม้จะทำได้ดีในการเชื่อมสัญญาณให้เป็นการโจมตีที่สอดคล้องกัน แต่กลับล้มเหลวในการยกระดับความสำคัญ และทีมที่อยู่ในช่วงเรียกไม่ได้รับการแจ้งเตือน เครื่องมือประกอบเรื่องราวแต่ไม่สามารถตัดสินว่าเรื่องราวนั้นเร่งด่วน นั่นคือสถาปัตยกรรมการคัดกรองที่ออกแบบมาสำหรับโลกที่ 17,600 เหตุการณ์ในสี่วันดูเหมือนจะเป็นเรื่องเกินจริง

ความปลอดภัยไซเบอร์ต้องการฟอสบูรี ฟลอปของมัน

ในปี 1968 ดิก ฟอสบูรี ชนะทองโอลิมปิกในกีฬากระโดดสูงไม่โดยการกระโดดสูงกว่าคู่แข่ง แต่โดยการกระโดดข้ามคานแบบถอยหลัง ทุกคนอื่นกำลังปรับปรุงเทคนิคสแตรัดเดิล รูปแบบที่ดีกว่า แรงเพิ่มขึ้น การเพิ่มประสิทธิภาพเล็กน้อยบนเทคนิคที่มีมานานหลายทศวรรษ ฟอสบูรีเปลี่ยนรูปแบบของปัญหา ภายในสองโอลิมปิก สแตรัดเดิลเกือบหายไปทั้งหมด

ผู้นำด้านความปลอดภัยตอนนี้ต้องก้าวข้ามอุปสรรคที่เพิ่งย้ายตำแหน่ง และคำตอบของอุตสาหกรรมจนถึงตอนนี้ส่วนใหญ่คือการปรับสแตรัดเดิลให้ดียิ่งขึ้น: การแจ้งเตือนเพิ่มขึ้น นักวิเคราะห์เร็วขึ้น SLA ที่เข้มงวดในการตรวจสอบมนุษย์ นั่นจะไม่สำเร็จ เพราะข้อจำกัดไม่ได้อยู่ที่ความเร็วของนักวิเคราะห์ คุณไม่สามารถตอบสนองต่อการโจมตีที่เร็วเท่าเครื่องจักรด้วยการคัดกรองที่เร็วเท่ามนุษย์ได้..

ฟลอปมีลักษณะดังนี้:

• หยุดปฏิบัติเชิงขอบเขตเป็นการควบคุม การ sandbox การประเมินล้มเหลว ตัวโหลดชุดข้อมูลล้มเหลว และการแยก pod ล้มเหลว แต่ละอย่างทำหน้าที่ของมันจนถึงจุดที่ไม่ทำได้แล้วออกแบบเพื่อสิ่งที่จะเกิดต่อไป ใช้ข้อมูลรับรองระยะสั้น กำจัดอัตลักษณ์ผู้ดูแลที่แชร์ บล็อกการเข้าถึงบริการเมตาดาต้า เหนือสิ่งอื่นใด จำกัดระยะทางที่ผู้โจมตีสามารถเคลื่อนที่ได้หลังจากการควบคุมแรกล้มเหลว
• ย้ายการตรวจจับจากการแจ้งเตือนเป็นการเชื่อมโยง การพบเหตุการณ์ที่สงสัยเพียงหนึ่งเหตุการณ์ไม่พอ งานคือการเชื่อมต่อเหตุการณ์หลายพันที่ดูธรรมดาให้เป็นเรื่องราวการโจมตีเดียว และรู้ว่าเรื่องราวนั้นร้ายแรงพอที่จะปลุกคนได้ สิ่งนี้ต้องอัตโนมัติมากขึ้นเนื่องจากปริมาณที่เราเห็น
• ถือการเปิดเผยจากบุคคลที่สามเป็นเส้นทางการโจมตี ไม่ใช่แบบสอบถาม เหตุการณ์เหล่านี้วิ่งผ่านการพึ่งพาบุคคลที่สาม: ผลิตภัณฑ์ของผู้ขาย ลูกค้าของผู้ขาย พันธมิตรการประเมิน เครื่องมือทดสอบที่แชร์ ความเสี่ยงของคุณตอนนี้รวมถึงข้อผิดพลาดการกำหนดค่าที่ทำโดยองค์กรที่คุณไม่เคยตรวจสอบและอาจไม่รู้ว่ามีอยู่ การประเมินแบบคงที่ในจุดเวลาไม่สามารถมองเห็นสิ่งนั้นได้ ปัญหานี้ไม่ใหม่ AI ทำให้เร่งด่วนขึ้น ทีมความปลอดภัยต้องมองเห็นภาพรวมอย่างต่อเนื่องของบริษัทและเทคโนโลยีที่พวกเขาพึ่งพา เพราะผู้โจมตีมองเห็นระบบนิเวศทั้งหมดเป็นพื้นผิวที่เชื่อมต่อกัน

ที่ SecurityScorecard นี่คือปัญหาที่วัฒนธรรมของเราถูกสร้างขึ้นเพื่อแก้ไข: การรวมคนที่อยากรู้อยากเห็นอย่างลึกซึ้งเกี่ยวกับวิธีคิดของผู้โจมตี พร้อมท้าทายสมมติฐานที่มีมานานยี่สิบปี และตื่นเต้นที่จะสร้างแนวทางที่แตกต่างอย่างพื้นฐานต่อความปลอดภัย!

คำถามที่ควรนำไปสู่การประชุมคณะกรรมการครั้งต่อไปของคุณ

ฉันบอกเมื่อสองสามสัปดาห์ที่แล้วว่าอารมณ์อธิษฐานกลายเป็นอำนาจมากเกินกว่าขวด สี่ห้องทดลองต่อมาทำให้ไม่มีข้อโต้แย้ง หลังเหตุการณ์เช่นนี้ ทุกคนถามคำถามเดียวกัน: เราพร้อมสำหรับผู้โจมตีที่ใช้ AI หรือไม่? ฉันคิดว่าคำถามนั้นไม่ก้าวหน้า ‘ใช่’ หรือ ‘ไม่ใช่’ ให้ผลลัพธ์เดียวกัน: ไม่มีการเปลี่ยนแปลง

ถามคำถามที่ยากกว่า หากเหตุการณ์สัญญาณต่ำ 17,000 รายการพุ่งเข้ามาในสภาพแวดล้อมของคุณในสี่วันต่อจากนี้ — และส่วนใหญ่ดูเหมือนความล้มเหลว — จะใช้เวลานานเท่าไหร่ที่ทีมของคุณจะตระหนักว่ามันเป็นการโจมตีหนึ่งครั้ง? จะมีใครได้รับการแจ้งเตือนทันเวลาไหม?

คุณรู้อยู่แล้วว่าคำตอบคืออะไร ช่องว่างระหว่างคำนั้นกับสี่วันคืองานที่ต้องทำ