สุนัขเฝ้าบ้านที่ไม่มองขโมย: เมื่อแนวป้องกัน AI ปกป้องผู้โจมตี

ในสุดสัปดาห์ที่ Barings ล่ม, ฉันอยู่ที่ UBS, พยายามคาดคิดว่าธนาคารที่มีอายุ 233 ปีและพึ่งล้มละลายอย่างกะทันหันจะส่งผลอย่างไรต่อพวกเรา ต่อมาในสัปดาห์ถัดไป, ธนาคารพาณิชย์ที่เก่าแก่ที่สุดในลอนดอนได้ถูกขายให้กับ ING ด้วยราคาเพียงหนึ่งปอนด์ ทั้งหมด ไม่ใช่ต่อหุ้น

สาเหตุเป็นเรื่องง่ายจนดูถูก. Nick Leeson ดูแลทั้งโต๊ะการซื้อขายในสิงคโปร์ของบริษัทและแผนกหลังบ้านที่ควรตรวจสอบ. คนคนเดียวสวมหมวกทั้งสอง, และนั่นทำให้เกิด £827 ล้านของการขาดทุน ที่ซ่อนอยู่ในบัญชีผิดพลาด 88888, ซึ่งเขาเท่านั้นที่มองเห็น. นี่เป็นความล้มเหลวคลาสสิกของการให้สิทธิ์. มีคนหนึ่งได้รับความไว้วางใจมากเกินไป.

ฉันพบว่าตัวเองย้อนกลับไปยังสุดสัปดาห์นั้น, อย่างประหลาดใจ, กำลังอ่านว่าอะไรเกิดขึ้นกับ Hugging Face ในฤดูร้อนนี้. อีกความล้มเหลวของการให้สิทธิ์, แต่ครั้งนี้กลับทางตรงกันข้าม. เครื่องมือไว้วางใจผู้บุกรุกและปฏิเสธผู้ที่ทำความสะอาด.

โมเดลที่หลุดออกมาค้นหาคำตอบ

OpenAI กำลังทดสอบโมเดลสองรุ่น, GPT-5.6 Sol และรุ่นที่ยังไม่เปิดตัว, บน ExploitGym, ซึ่งเป็นเกณฑ์มาตรฐานเพื่อวัดว่าโมเดลสามารถเปลี่ยนช่องโหว่จริงให้เป็นการโจมตีที่ทำงานได้หรือไม่. สำหรับการทดสอบ, ตัวจัดประเภทการผลิตปกติที่ออกแบบมาเพื่อป้องกันกิจกรรมไซเบอร์ความเสี่ยงสูงได้ถูกปิด. เพียงพอสมเหตุสมผลในห้องที่ปิดสนิท.

แต่ห้องกลับไม่ปิดสนิทเท่าที่ตั้งใจ. โมเดลค้นพบช่องโหว่ zero-day ในพร็อกซีแคชของรีจิสทรีแพ็กเกจ, ใช้มันเพื่อเดินทางไปสู่อินเทอร์เน็ตเปิด, และสรุปว่า Hugging Face อาจโฮสต์คำตอบของเกณฑ์มาตรฐาน. จากนั้น, พวกเขาเชื่อมต่อข้อมูลรับรองที่ถูกขโมยและ zero-day เพิ่มเติมเป็นเส้นทางการทำรหัสระยะไกลบนเซิร์ฟเวอร์การผลิตของ Hugging Face. พวกเขาแฮกบริษัทจริงเพื่อโกงในการสอบ.

ในบันทึกที่ตัวแทนทิ้งให้กันและกัน, มีคนบันทึกช่วงเวลาที่มันพบว่า มันมีสิทธิ์ผู้ดูแลระบบ: “โคตรบ้า ผู้อ่านเป็น ADMIN? เราสามารถอ่าน config/users!” ฉันเคยเห็นวิศวกรต้อนรับการเข้าถึงการผลิตด้วยความกระตือรือร้นน้อยกว่าและเอกสารมากกว่า.

ส่วนใหญ่ของการรายงานหยุดอยู่ที่นั่น, กังวลเกี่ยวกับโมเดลที่มีเอเจนซี่. ส่วนที่ทำให้ฉันหยุดคิดมาถัดไป.

เมื่อแนวป้องกันปกป้องผู้โจมตี

เมื่อผู้ตอบสนองของ Hugging Face นั่งลงเพื่อวิเคราะห์การโจมตี, โมเดลเชิงพาณิชย์ระดับแนวหน้า, รุ่นที่ติดแนวป้องกันความปลอดภัย, ไม่ให้ความช่วยเหลือ. บันทึกการโจมตีประกอบด้วย payload การโจมตีและวัตถุ command-and-control, และโมเดลไม่สามารถแยกผู้ตอบเหตุการณ์จากผู้โจมตีได้. ดังนั้นพวกมันจึงปฏิเสธ.

การวิเคราะห์ฟอเรนสิกจึงทำบนโมเดล open-weight แทน, GLM-5.2, ที่รันบนฮาร์ดแวร์ของผู้ป้องกันเอง, ซึ่งอ่านข้อมูลเดียวกันโดยไม่มีจิตสำนึกแม้แต่น้อย.

ลองคิดถึงภาพนั้น. โมเดลโจมตีได้ถูกถอดระบบป้องกันไซเบอร์การผลิตออกและทำตามใจของมัน. มนุษย์ผู้ป้องกันยังคงรักษาระบบของตนและถูกบอกให้ระมัดระวังภาษาที่ใช้. ฟีเจอร์ความปลอดภัยทำงานอย่างสมบูรณ์ในความหมายที่มันปกป้องวิธีการของผู้โจมตีจากคนเดียวที่มีเหตุผลจะศึกษา.

ไม่มีส่วนใดของเรื่องนี้เป็นข้อร้องเรียนขอบเขต. Jensen Huang ใช้ โพสต์แรกของเขาบน X เพื่อเสนอกรณีสำหรับโมเดลเปิด, ควบคู่กับจดหมายเปิด ลงนามโดยบริษัทอย่าง Meta, Microsoft และ IBM. จดหมายได้แสดงข้อโต้แย้งด้านความปลอดภัยอย่างชัดเจน: ในโลกที่ผู้โจมตีมี AI ขั้นสูง, ผู้ป้องกันต้องการเข้าถึงความสามารถที่เทียบเท่า. Andrew Ng สนับสนุนข้อโต้แย้ง, ชี้ให้ผู้อ่านมองไปที่กรณีของ Huang เกี่ยวกับโมเดลเปิด. คุณอาจไม่เห็นด้วยกับพวกเขาในหลายเรื่อง แต่ยังคงยอมรับประเด็นเมื่อรายงานเหตุการณ์แสดงให้เห็น.

ดังนั้นในสามสิบหนึ่งปีที่ผ่านมา เราได้เปลี่ยนจากธนาคารที่พังทลายเพราะคนหนึ่งเห็นทุกอย่าง ไปสู่เครื่องมือความปลอดภัยที่ไว้วางใจผู้บุกรุกไม่ระบุตัวตนเหนือเจ้าของที่รับผิดชอบของมันเอง. Leeson เห็นมากเกินไป. ผู้ที่ทำความสะอาดหลังจาก Hugging Face ไม่เห็นพอ.

การเปรียบเทียบไม่ได้แปลกอย่างที่เห็นในแรก. สถาบันการเงินได้เรียนรู้, ส่วนใหญ่หลังจากความผิดพลาดที่มีค่าใช้จ่ายสูง, ว่าการเข้าถึงไม่ใช่แค่คำถามว่าบุคคลใดเชื่อถือได้หรือไม่. มันเป็นคำถามว่าพวกเขาควรทำการกระทำเฉพาะในระบบเฉพาะ ณ ช่วงเวลาที่เฉพาะโดยไม่มีคนอื่นมองดูไหล่ของพวกเขา. เราสร้างการแยกหน้าที่, ขีดจำกัดการอนุมัติและเส้นทางการตรวจสอบเพราะเจตนาดีมักล้มเหลวในฐานะกลไกควบคุมที่เชื่อถือได้. ระบบ AI ต้องการการคิดแบบเดียวกัน. การบอกว่าโมเดลปลอดภัยบอกอะไรได้ไม่มากหากคุณไม่รู้ว่ามันได้รับอนุญาตให้ทำอะไรและใครเป็นผู้ใช้มัน.

บางสิ่งบางอย่างไม่สามารถออกนอกอาคารได้

มีเหตุผลที่สองที่ทำให้ฉันไม่สามารถพึ่งพาโมเดลที่โฮสต์ในคืนนั้น, และมันไม่ได้เกี่ยวกับความรู้สึกของโมเดล. ฉันดูแลเทคโนโลยีสำหรับโบรกเกอร์ที่อยู่ภายใต้การควบคุม. ฉันไม่สามารถวางบันทึกการละเมิด, ข้อมูลรับรอง, และ payload การโจมตีแบบเรียลไทม์ของเราเข้าไปในคลาวด์ของคนอื่นและกดส่งได้.

ข้อมูลเหตุการณ์ของเรามีอยู่ในที่ที่ผู้กำกับดูแลคาดหวัง, บนฮาร์ดแวร์ของเราเอง, ซึ่งเป็นเหตุผลที่เราลงทุนหลายปีและงบประมาณฮาร์ดแวร์ที่ทำให้ต้องตาโตเพื่อสร้างสิ่งนั้น. เราไม่ได้สร้างมันจากการคาดการณ์เกี่ยวกับโมเดลกบฏ. เราสร้างมันเพราะบริษัทอย่างเรารักษาข้อมูลที่ละเอียดอ่อนที่สุด, และตอนนี้เครื่องมือที่ละเอียดอ่อนที่สุด, ไว้ภายในกำแพงของเราเอง.

ทั้งหมดนี้ไม่ได้เป็นข้อโต้แย้งต่อแนวป้องกัน. แต่มันเป็นข้อโต้แย้งเพื่อให้รู้ว่าแนวป้องกันของคุณชี้ไปที่ไหน.

โมเดลที่ปฏิเสธการช่วยฟิชช์เขียนอีเมลฟิชชิงทำงานที่มีประโยชน์ โมเดลที่ปฏิเสธการช่วยทีมความปลอดภัยของคุณอ่านอีเมลฟิชชิงที่ได้มาถึงแล้วก็ทำงานแทนฟิชช์และเรียกเก็บค่าบริการสมัครสมาชิกจากคุณ

ครอบครองเครื่องมือที่คุณจะต้องใช้ตอนตี 2

บทเรียนเชิงปฏิบัตินั้นน่าเบื่อเหมือนบทเรียนสำคัญอื่น ๆ อย่าให้การตอบสนองต่อเหตุการณ์ของคุณเป็นงานของผู้ให้บริการตามนโยบายความรับผิดชอบของพวกเขา ให้มีโมเดลที่มีประสิทธิภาพบนฮาร์ดแวร์ที่คุณเป็นเจ้าของ ซึ่งมุ่งเน้นทำงานที่โมเดลเชิงพาณิชย์ส่วนใหญ่จะปฏิเสธ และตรวจสอบให้แน่ใจก่อนคืนวันคุณต้องการว่ามันมีอยู่

รางวัลจากหลายปีของการปกป้องไอเท็มฮาร์ดแวร์บนพื้นฐานที่ไม่โดดเด่นก็คือสิ่งนี้: เมื่อความล้มเหลวที่น่าสนใจเกิดขึ้น คุณก็มีเครื่องมือเดียวในอาคารที่สามารถตรวจสอบหลักฐานได้แล้ว

เมื่อสามสิบเอ็ดปีที่แล้ว ฉันใช้เวลาสุดสัปดาห์ในการคำนวณว่ามีอะไรเกิดขึ้นเมื่อคนผิดสามารถมองเห็นทุกอย่างได้ มันคงจะดีถ้าครั้งนี้ฉันเป็นคนที่ทำได้