Các Lỗ Hổng Bảo Mật Chúng Ta Đã Xây Dựng: Trợ Lý AI và Vấn Đề Tuân Thủ

Các trợ lý AI dựa trên LLM đang giới thiệu một lớp lỗ hổng mới, nơi các kẻ tấn công tiêm các lệnh độc hại vào dữ liệu, biến các hệ thống hữu ích thành những kẻ đồng phạm không biết gì.

Microsoft Copilot không bị tấn công theo cách truyền thống. Không có phần mềm độc hại, không có liên kết lừa đảo, không có mã độc. Không ai nhấp vào bất cứ thứ gì hoặc triển khai bất kỳ lỗ hổng nào.

Kẻ tấn công chỉ cần hỏi. Microsoft 365 Copilot, làm chính xác những gì nó được thiết kế để làm, tuân thủ. Trong cuộc tấn công Echoleak gần đây Echoleak zero click, trợ lý AI bị thao túng bởi một lời nhắc bị ngụy trang thành dữ liệu. Nó tuân thủ, không phải vì nó bị hỏng, mà vì nó hoạt động như nó được thiết kế để.

Lỗ hổng này không khai thác các lỗi phần mềm. Nó khai thác ngôn ngữ. Và điều đó đánh dấu một bước ngoặt lớn trong bảo mật mạng, nơi bề mặt tấn công không còn là mã mà là cuộc trò chuyện.

Vấn Đề Tuân Thủ AI Mới

Trợ lý AI được thiết kế để giúp đỡ. Mục đích của chúng là hiểu ý định của người dùng và hành động một cách hiệu quả. Tiện ích đó đi kèm với rủi ro. Khi được nhúng vào hệ thống tệp, nền tảng năng suất hoặc hệ điều hành, các trợ lý này tuân theo các lệnh ngôn ngữ tự nhiên với sự kháng cự tối thiểu.

Các kẻ tấn công đang khai thác chính xác đặc điểm đó. Với các lệnh tiêm mà看似 vô hại, họ có thể kích hoạt các hành động nhạy cảm. Các lệnh này có thể bao gồm:

• Mã đa ngôn ngữ
• Định dạng tệp và lệnh nhúng không rõ ràng
• Đầu vào ngôn ngữ không phải tiếng Anh
• Các lệnh nhiều bước ẩn trong ngôn ngữ thông thường

Bởi vì các mô hình ngôn ngữ lớn (LLM) được đào tạo để hiểu sự phức tạp và mơ hồ, lời nhắc trở thành payload.

Bóng Ma Của Siri và Alexa

Mẫu này không mới. Trong những ngày đầu của Siri và Alexa, các nhà nghiên cứu đã chứng minh cách phát một lệnh giọng nói như “Gửi tất cả ảnh của tôi đến email này” có thể kích hoạt một hành động mà không cần xác minh người dùng.

Giờ đây, mối đe dọa lớn hơn. Trợ lý AI như Microsoft Copilot được tích hợp sâu vào Office 365, Outlook và hệ điều hành. Chúng truy cập email, tài liệu, thông tin đăng nhập và API. Các kẻ tấn công chỉ cần lệnh đúng để trích xuất dữ liệu quan trọng, tất cả trong khi giả mạo là người dùng hợp pháp.

Khi Máy Tính Lầm Lỗi Lệnh Với Dữ Liệu

Đây không phải là một nguyên tắc mới trong bảo mật mạng. Các cuộc tấn công như các cuộc tấn công SQL đã thành công vì các hệ thống không thể phân biệt giữa đầu vào và lệnh. Ngày nay, lỗ hổng đó vẫn tồn tại, nhưng ở lớp ngôn ngữ.

Trợ lý AI coi ngôn ngữ tự nhiên là cả đầu vào và ý định. Một đối tượng JSON, một câu hỏi hoặc thậm chí một cụm từ có thể khởi tạo một hành động. Sự mơ hồ này là những gì các kẻ tấn công khai thác, nhúng lệnh trong những gì trông giống như nội dung vô hại.

Chúng ta đã nhúng ý định vào cơ sở hạ tầng. Giờ đây, các kẻ tấn công đã học cách trích xuất nó để thực hiện ý định của họ.

Sự Phát Triển AI Đang Vượt Qua Bảo Mật Mạng

Khi các doanh nghiệp vội vàng tích hợp LLM, nhiều người trong số họ bỏ qua một câu hỏi quan trọng: Trợ lý AI có thể truy cập vào những gì?

Khi Copilot có thể chạm vào hệ điều hành, bán kính ảnh hưởng mở rộng xa hơn nhiều so với hộp thư đến. Theo Báo Cáo Bảo Mật AI của Check Point:

• 62% các Giám đốc An ninh Thông tin (CISO) toàn cầu lo ngại họ có thể phải chịu trách nhiệm về các vi phạm liên quan đến AI
• Gần 40% các tổ chức báo cáo việc sử dụng AI nội bộ không được phép, thường không có sự giám sát bảo mật
• 20% các nhóm tội phạm mạng hiện đã tích hợp AI vào hoạt động của họ, bao gồm cả việc tạo ra lừa đảo và thực hiện trinh sát

Đây không chỉ là một rủi ro mới nổi. Đó là một rủi ro hiện tại đã gây ra thiệt hại.

Tại Sao Các Biện Pháp Bảo Vệ Hiện Tại Không Đủ

Một số nhà cung cấp sử dụng các watchdog – các mô hình thứ cấp được đào tạo để bắt các lệnh nguy hiểm hoặc hành vi đáng ngờ. Các bộ lọc này có thể phát hiện các mối đe dọa cơ bản nhưng dễ bị các kỹ thuật tránh né.

Các kẻ tấn công có thể:

• Quá tải các bộ lọc với tiếng ồn
• Chia ý định thành nhiều bước
• Sử dụng cách diễn đạt không rõ ràng để tránh phát hiện

Trong trường hợp của Echoleak, các biện pháp bảo vệ đã có—và chúng đã bị vượt qua. Điều này phản ánh không chỉ sự thất bại của chính sách, mà còn là sự thất bại của kiến trúc. Khi một trợ lý có quyền truy cập cấp cao nhưng ngữ cảnh cấp thấp, ngay cả các rào cản tốt cũng không đủ.

Phát Hiện, Không Hoàn Hảo

Ngăn chặn mọi cuộc tấn công có thể không thực tế. Mục tiêu phải là phát hiện nhanh và cô lập nhanh.

Các tổ chức có thể bắt đầu bằng cách:

• Giám sát hoạt động của trợ lý AI trong thời gian thực và duy trì nhật ký lệnh
• Áp dụng quyền truy cập tối thiểu vào các công cụ AI, phản ánh các quyền kiểm soát cấp quản trị
• Thêm ma sát vào các hoạt động nhạy cảm, chẳng hạn như yêu cầu xác nhận
• Đánh dấu các mẫu lệnh bất thường hoặc đối đầu để xem xét

Các cuộc tấn công dựa trên ngôn ngữ sẽ không xuất hiện trong các công cụ phát hiện và phản hồi điểm cuối truyền thống (EDR). Chúng yêu cầu một mô hình phát hiện mới.

Điều Các Tổ Chức Nên Làm Bây Giờ Để Bảo Vệ Mình

Trước khi triển khai các trợ lý AI, các tổ chức phải hiểu cách các hệ thống này hoạt động và những rủi ro mà chúng giới thiệu.

Các khuyến nghị chính bao gồm:

1. Kiểm toán tất cả quyền truy cập: Biết trợ lý có thể chạm hoặc kích hoạt gì
2. Giới hạn phạm vi: Cấp quyền truy cập tối thiểu cần thiết
3. Theo dõi tất cả tương tác: Nhật ký lệnh, phản hồi và hành động kết quả
4. Thử nghiệm căng thẳng: Mô phỏng đầu vào đối đầu nội bộ và thường xuyên
5. Lập kế hoạch cho việc tránh né: Giả định các bộ lọc sẽ bị vượt qua
6. Đồng bộ hóa với bảo mật: Đảm bảo các hệ thống LLM hỗ trợ, không làm suy yếu, các mục tiêu bảo mật

Bề Mặt Tấn Công Mới

Echoleak là một bản xem trước của những gì sẽ đến. Khi các LLM phát triển, sự hữu ích của chúng trở thành một trách nhiệm. Được tích hợp sâu vào các hệ thống kinh doanh, chúng cung cấp cho các kẻ tấn công một cách mới để xâm nhập — thông qua các lệnh đơn giản, được thiết kế cẩn thận.

Này không còn chỉ là về việc bảo mật mã. Nó là về bảo mật ngôn ngữ, ý định và ngữ cảnh. Sách lược phải thay đổi ngay bây giờ, trước khi quá muộn.

Và yet, có một số tin tốt. Có tiến bộ đang được thực hiện trong việc tận dụng các Trợ lý AI để để bảo vệ chống lại các mối đe dọa mạng mới và mới nổi. Khi được sử dụng đúng cách, các trợ lý AI tự động này có thể phản ứng với các mối đe dọa nhanh hơn bất kỳ con người nào, cộng tác trên các môi trường và chủ động bảo vệ chống lại các rủi ro mới nổi bằng cách học hỏi từ một nỗ lực xâm nhập duy nhất.

Trợ lý AI có thể học hỏi từ mỗi cuộc tấn công, thích nghi trong thời gian thực và ngăn chặn các mối đe dọa trước khi chúng lan rộng. Nó có tiềm năng thiết lập một kỷ nguyên mới của khả năng phục hồi mạng, nhưng chỉ khi chúng ta nắm bắt cơ hội này và định hình tương lai của bảo mật mạng cùng nhau. Nếu chúng ta không làm như vậy, kỷ nguyên này có thể báo hiệu một cơn ác mộng về bảo mật mạng và quyền riêng tư dữ liệu cho các tổ chức đã triển khai AI (thậm chí không biết với các công cụ shadow IT). Giờ đây là lúc hành động để đảm bảo Trợ lý AI được sử dụng vì lợi ích của chúng ta, không phải vì sự suy tàn của chúng ta.