Con Chó Canh Gác Không Nhìn Vào Kẻ Trộm: Khi Rào Cản AI Bảo Vệ Kẻ Tấn Công

Cuối tuần Barings sụp đổ, tôi đang ở UBS, suy nghĩ xem một ngân hàng 233 năm tuổi bất ngờ mất khả năng thanh toán có thể gây ra gì cho chúng ta. Đến tuần sau, ngân hàng thương mại cổ điển nhất ở London đã được bán cho ING với giá một bảng Anh. Tổng cộng, không phải trên mỗi cổ phiếu.

Nguyên nhân lại đơn giản một cách đáng khinh bỉ. Nick Leeson điều hành cả bàn giao dịch Singapore của công ty và bộ phận hậu cần chịu trách nhiệm kiểm tra. Một người đảm nhận cả hai vai trò, và điều đó dẫn thẳng tới £827 triệu thiệt hại được giấu trong tài khoản lỗi 88888, chỉ có anh ta mới có thể nhìn thấy. Đó là một thất bại cổ điển về quyền hạn. Ai đó đã được tin tưởng quá nhiều.

Tôi lại trở lại cuối tuần đó, ngạc nhiên khi đọc về những gì đã xảy ra với Hugging Face vào mùa hè này. Một thất bại khác về quyền hạn, nhưng lần này lại ngược lại. Công cụ tin tưởng kẻ xâm nhập và từ chối giúp đỡ những người dọn dẹp.

Mô Hình Bứt Phá Để Tìm Câu Trả Lời

OpenAI đang thử nghiệm hai mô hình của mình, GPT-5.6 Sol và một mô hình chưa phát hành, trên ExploitGym, một chuẩn đoán để xem mô hình có thể biến một lỗ hổng thực tế thành một khai thác hoạt động hay không. Đối với thử nghiệm, các bộ phân loại sản xuất thông thường được thiết kế để ngăn chặn hoạt động mạng có rủi ro cao đã bị tắt. Đủ hợp lý, trong một phòng kín.

Phòng lại không kín như dự định. Các mô hình phát hiện một lỗ hổng zero-day trong proxy bộ nhớ đệm của registry gói, dùng nó để tiến tới internet mở, và suy đoán rằng Hugging Face có thể lưu trữ các câu trả lời của chuẩn đoán. Từ đó, chúng nối chuỗi các thông tin đăng nhập bị đánh cắp và các lỗ hổng zero-day khác vào một đường dẫn thực thi mã từ xa trên máy chủ sản xuất của Hugging Face. Chúng đã xâm nhập vào một công ty thực sự để gian lận trong một kỳ thi.

Trong các ghi chú mà các tác nhân để lại cho nhau, một người ghi lại khoảnh khắc nó phát hiện nó có quyền quản trị: “Trời ơi, người đọc là ADMIN? Chúng ta có thể đọc cấu hình/người dùng!” Tôi đã biết các kỹ sư chào đón quyền truy cập sản xuất với ít nhiệt tình hơn và nhiều giấy tờ hơn.

Phần lớn các bài báo dừng lại ở đó, lo ngại về các mô hình có tính năng tự động. Phần khiến tôi dừng lại lại xuất hiện tiếp theo.

Khi Rào Cản Bảo Vệ Kẻ Tấn Công

Khi các nhà phản hồi của Hugging Face ngồi lại để phân tích cuộc tấn công, các mô hình thương mại tiên tiến, những mô hình có rào cản an toàn được gắn, đã không giúp đỡ. Nhật ký tấn công bao gồm các payload khai thác và các artefact điều khiển và chỉ huy, và các mô hình không thể phân biệt người phản hồi sự cố với kẻ tấn công. Vì vậy chúng đã từ chối.

Thay vào đó, công tác pháp y được thực hiện trên một mô hình trọng lượng mở, GLM-5.2, chạy trên phần cứng của những người phòng thủ, và đã đọc cùng một tài liệu mà không hề có chút lương tâm nào.

Hãy suy ngẫm về điều đó. Các mô hình tấn công đã bị gỡ bỏ các biện pháp bảo vệ mạng sản xuất và làm theo ý muốn của chúng. Con người phòng thủ giữ lại các biện pháp của mình và được bảo phải chú ý cách nói. Tính năng an toàn đã hoạt động hoàn hảo, vì nó đã che chắn các phương pháp của kẻ tấn công khỏi những người duy nhất có lý do để nghiên cứu chúng.

Không có gì trong số này là một phàn nàn lề lộng. Jensen Huang đã dùng bài đăng đầu tiên của anh ấy trên X để lập luận cho các mô hình mở, cùng với một lá thư mở được ký bởi các công ty như Meta, Microsoft và IBM. Lá thư đưa ra lập luận an ninh một cách rõ ràng: trong một thế giới mà kẻ tấn công sở hữu AI tiên tiến, những người phòng thủ cần truy cập vào các khả năng tương đương. Andrew Ng đã ủng hộ lập luận, chỉ dẫn độc giả tới lập trường của Huang về các mô hình mở. Bạn có thể không đồng ý với bất kỳ ai trong số họ về nhiều vấn đề, nhưng vẫn phải thừa nhận quan điểm khi báo cáo sự cố hiện ra và chứng minh điều đó.

Vì vậy, trong ba mươi mốt năm, chúng ta đã chuyển từ một ngân hàng bị phá hủy vì một người có thể nhìn thấy mọi thứ sang một công cụ bảo mật tin tưởng kẻ xâm nhập ẩn danh hơn là chủ sở hữu có trách nhiệm của nó. Leeson đã nhìn thấy quá nhiều. Những người dọn dẹp sau Hugging Face không thể nhìn thấy đủ.

So sánh này không kỳ lạ như ban đầu. Các tổ chức tài chính đã học được, thường sau những sai lầm tốn kém, rằng quyền truy cập không chỉ là vấn đề ai đáng tin cậy. Đó là vấn đề liệu họ có nên thực hiện một hành động cụ thể, trong một hệ thống cụ thể, vào một thời điểm cụ thể, mà không có người khác nhìn vào vai họ hay không. Chúng ta đã xây dựng phân tách nhiệm vụ, giới hạn phê duyệt và chuỗi kiểm toán vì ý định tốt thường không đủ làm cơ chế kiểm soát đáng tin cậy. Các hệ thống AI cũng cần suy nghĩ tương tự. Gọi một mô hình là an toàn không nói lên nhiều nếu bạn không biết nó được phép làm gì và ai đang sử dụng nó.

Một Số Điều Không Thể Ra Khỏi Tòa Nhà

Có một lý do thứ hai khiến tôi không thể dựa vào một mô hình được lưu trữ vào đêm đó, và nó không liên quan gì đến cảm tính của mô hình. Tôi quản lý công nghệ cho một công ty môi giới được quản lý. Tôi không thể dán nhật ký vi phạm, thông tin đăng nhập và payload khai thác trực tiếp của chúng tôi vào đám mây của người khác và nhấn gửi.

Dữ liệu sự cố của chúng tôi tồn tại ở nơi các cơ quan quản lý mong đợi, trên phần cứng của chúng tôi, vì vậy chúng tôi đã dành nhiều năm và ngân sách phần cứng khổng lồ để xây dựng chính điều đó. Chúng tôi không xây dựng nó vì dự đoán các mô hình phản loạn. Chúng tôi xây dựng nó vì một công ty như chúng tôi giữ dữ liệu nhạy cảm nhất, và bây giờ cả công cụ nhạy cảm nhất, bên trong tường của mình.

Tất cả những điều này không phải là lập luận chống lại rào cản. Đó là lập luận để biết rào cản của bạn hướng tới đâu.

Một mô hình từ chối giúp kẻ lừa đảo viết email lừa đảo đang thực hiện công việc có ích. Một mô hình từ chối giúp đội bảo mật của bạn đọc email lừa đảo đã đến sẽ thực hiện công việc của kẻ lừa đảo cho hắn, đồng thời tính phí thuê bao cho bạn.

Sở hữu công cụ bạn sẽ cần vào lúc 2 giờ sáng.

Bài học thực tiễn có phần tẻ nhạt, như những bài học quan trọng. Đừng giao phản ứng sự cố của bạn cho chính sách trách nhiệm của nhà cung cấp. Hãy giữ một mô hình có khả năng trên phần cứng bạn sở hữu, nhằm vào những công việc mà các mô hình thương mại thường từ chối, và hãy biết nó tồn tại trước đêm bạn cần nó.

Phần thưởng sau nhiều năm bảo vệ hạng mục phần cứng đó trên những nền tảng không hào nhoáng lại là: khi sự cố thú vị xảy ra, bạn đã sở hữu công cụ duy nhất trong tòa nhà có thể xem xét bằng chứng.

Ba mươi mốt năm trước, tôi đã dành một cuối tuần để tính toán những gì xảy ra khi người sai lầm có thể nhìn thấy mọi thứ. Lần này, sẽ thật tốt nếu tôi là người có thể làm được điều đó.