Khi Năng Lực Của Trí Tuệ Nhân Tạo Phát Triển Nhanh Hơn Mô Hình Bảo Mật Được Xây Dựng Để Kiềm Chế Nó

Công cụ trí tuệ nhân tạo thường được giới thiệu với một lời hứa quen thuộc. Họ cam kết sẽ tối ưu hóa quy trình làm việc, tăng năng suất và thực hiện các nhiệm vụ mà không ai thích. Và hầu hết thời gian, họ thực hiện chính xác điều đó. Họ đơn giản hóa quá trình đăng nhập, tóm tắt tài liệu, tự động hóa quy trình làm việc và làm cho các hoạt động thường xuyên cảm thấy gần như không cần cố gắng.

Nhưng dưới tất cả sự tiện lợi đó là một câu chuyện khác. Những công cụ này không còn bị giới hạn trong một hộp văn bản. Họ đang bắt đầu hành động trên chính hệ điều hành. Họ có thể duyệt tệp, soạn thảo email, tương tác với ứng dụng và thực hiện các hành động mà trước đây yêu cầu một người dùng chú ý và hiểu rõ hậu quả. Sự thay đổi đó đặt trí tuệ nhân tạo vào một vị trí mà các giả định bảo mật hiện có không được thiết kế để quản lý.

Khi Trí Tuệ Nhân Tạo Được Truy Cập Hệ Thống

Khi một hệ thống trí tuệ nhân tạo có thể đọc tệp thực và thực hiện lệnh thực, nó trở thành một phần của cơ sở tin cậy. Đó là lúc khi những kỳ vọng lâu dài về an toàn của trí tuệ nhân tạo bắt đầu bị phá vỡ.

Trong nhiều năm, việc tiêm lệnh được coi là một hành vi kỳ lạ của mô hình. Nó khiến các chatbot tạo ra phản hồi sai hoặc không phù hợp, nhưng thiệt hại kết thúc với cuộc trò chuyện. Giờ đây, cùng một khiếm khuyết có thể kích hoạt các hành động cấp máy chủ, không chỉ là văn bản. Một lệnh恶 ý ẩn trong tệp PDF, trang web hoặc email không còn tạo ra một câu trả lời kỳ lạ. Nó tạo ra một hành động được thực hiện trên máy.

Điều này không phải là điều mà ngành công nghiệp có thể bác bỏ như một lý thuyết. Các nhà nghiên cứu tại Carnegie Mellon và Đại học Washington đã lặp lại chứng minh rằng các lệnh ẩn có thể điều khiển các mô hình ngôn ngữ lớn để thực hiện các hành động mà người dùng không bao giờ dự định. Trong khi đó, các nhà nghiên cứu nghiên cứu mô hình tầm nhìn đã chỉ ra cách các hình ảnh được thao túng có thể thay đổi nhận thức của mô hình theo cách ảnh hưởng đến hành vi hạ lưu.

Những thí nghiệm này từng được coi là tò mò trong phòng thí nghiệm. Họ không còn cảm giác học thuật khi trí tuệ nhân tạo có quyền truy cập vào hệ điều hành.

Khi Khả Năng Của Trợ Lý Vượt Qua Kiểm Soát Của Người Phòng Vệ

Ngay cả các công ty xây dựng những trợ lý này cũng thừa nhận mức độ nghiêm trọng của thách thức. Họ đã tăng cường các bộ lọc để xử lý lệnh, nhưng họ công khai tuyên bố rằng việc kiểm soát các hành động thế giới thực của một hệ thống trí tuệ nhân tạo vẫn là một lĩnh vực công việc đang hoạt động và chưa được giải quyết trong toàn ngành. Khoảng cách giữa những gì trợ lý có thể làm và những gì người phòng vệ có thể kiểm soát giới thiệu một loại rủi ro mới mà các cuốn sách bảo mật hiện có không thể hấp thụ.

Trợ lý trí tuệ nhân tạo đã vượt qua một ranh giới mà ngành công nghiệp chưa sẵn sàng. Cách duy nhất để hiểu điều này là nhìn vào cách lệnh tiêm hiện nay giao cắt với các chuỗi tấn công mà người phòng vệ đã theo dõi trong hơn một thập kỷ.

Làm Thế Nào Lệnh Tiêm Hiện Nay Áp Dụng Cho Các Chuỗi Tấn Công Mà Mọi Người Đều Biết

Các kẻ tấn công luôn theo một mẫu dự đoán. Khung ATT&CK của MITRE trình bày các giai đoạn rõ ràng. Truy cập ban đầu được theo sau bởi thực hiện, duy trì, khám phá, di chuyển ngang, thu thập và xuất dữ liệu. Các kỹ thuật khác nhau, nhưng cấu trúc là ổn định.

Cái đang thay đổi là cơ chế giao hàng. Thay vì thuyết phục người dùng mở tệp đính kèm恶 ý hoặc nhấp vào liên kết nguy hiểm, các kẻ tấn công có thể đặt lệnh ở nơi trợ lý trí tuệ nhân tạo sẽ đọc chúng. Trợ lý trở thành môi trường thực hiện. Nó thực hiện các bước chính xác như mô tả. Mô hình không đặt câu hỏi liệu lệnh có hại hay không. Nó không áp dụng phán đoán hoặc trực giác. Nó chỉ đơn giản thực hiện.

Một khi kẻ tấn công có thể ảnh hưởng đến lý lẽ của trợ lý, chuỗi tấn công sẽ nhanh chóng được hình thành. Một tệp bị thao túng kích hoạt thực hiện, các lệnh tiếp theo tạo ra sự duy trì, các tìm kiếm hệ thống cung cấp khám phá và tải tệp lên cho phép thu thập và xuất dữ liệu. Không cần phần mềm độc hại. Trợ lý chỉ đơn giản thực hiện các bước như đã viết.

Đây là phần của câu chuyện mà các đội bảo mật đang cố gắng thích nghi. Họ đã dành nhiều năm xây dựng các quy tắc phát hiện, kiểm soát và quy trình phản hồi xung quanh thực hiện mã. Trợ lý trí tuệ nhân tạo giới thiệu các loại trình thông dịch khác. Họ thực hiện thông qua ngôn ngữ tự nhiên, không phải mã nhị phân biên dịch. Các công cụ hiện có không được thiết kế để theo dõi hoặc thậm chí phân tích quá trình lý lẽ đó.

Các Đội Bảo Mật Không Chuẩn Bị Và Ngay Cả Không Nhận Ra

Chương trình bảo mật vẫn giả định rằng một người dùng ngồi giữa nội dung và hành động. Con người có thể bị lừa, nhưng họ sẽ dừng lại khi có điều gì đó cảm thấy không đúng. Họ nhận thấy các cụm từ kỳ lạ, đặt câu hỏi về hành vi không mong muốn và đưa ra phán đoán trong giai đoạn cuối của quyết định.

Trợ lý trí tuệ nhân tạo không thực hiện bất kỳ điều nào trong số này; chúng nhất quán, theo nghĩa đen và nhanh hơn bất kỳ kẻ thù nào. Một dòng văn bản ẩn đơn giản là đủ để hướng dẫn trợ lý đọc tệp nhạy cảm, di chuyển qua các ứng dụng hoặc liên hệ với máy chủ từ xa. Điều này đặt người phòng vệ vào một vị trí mà họ chưa từng có trước đây.

Các đội bảo mật có tầm nhìn hạn chế về cách trợ lý đạt được quyết định và họ không thể dễ dàng xác định liệu hành động có xuất phát từ người dùng hay trí tuệ nhân tạo. Phát hiện phần mềm độc hại truyền thống không cung cấp sự giúp đỡ vì không có mã độc hại nào được thực hiện theo nghĩa thông thường và không có gì đảm bảo trợ lý sẽ đặt câu hỏi hoặc từ chối các lệnh có hại ẩn trong nội dung thông thường.

Các công cụ được thiết kế cho hành vi của con người đơn giản không chuyển sang một thế giới nơi ngôn ngữ tự nhiên trở thành kịch bản điều khiển hành vi của hệ thống.

Các Biện Pháp Kiểm Soát Bù Trù Thực Sự Hoạt Động

Làm cứng mô hình không đủ. Các đội bảo mật cần các biện pháp kiểm soát xung quanh trợ lý để hạn chế những gì trí tuệ nhân tạo có thể làm, ngay cả khi lý lẽ của nó bị ảnh hưởng.

Một số chiến lược đang cho thấy hứa hẹn:

• Quyền truy cập tối thiểu là điều cần thiết. Trợ lý chỉ nên có quyền truy cập vào các tệp và hành động cần thiết cho nhiệm vụ của họ. Giảm các quyền không cần thiết sẽ hạn chế tác động của các lệnh bị thao túng.
• Các bước phê duyệt của con người có thể ngăn chặn các hành động có hại trước khi chúng xảy ra. Khi trợ lý cố gắng thực hiện một hoạt động nhạy cảm, chẳng hạn như chạy lệnh hoặc truy cập dữ liệu được bảo vệ, người dùng nên phê duyệt hoặc từ chối yêu cầu.
• Bộ lọc nội dung tạo ra một bộ đệm giữa các tài liệu không đáng tin cậy và trợ lý. Việc sàng lọc tài liệu, URL và văn bản bên ngoài sẽ giảm khả năng các lệnh ẩn đến mô hình.
• Ghi nhật ký toàn diện là bắt buộc. Mỗi hành động được khởi xướng bởi trợ lý phải được ghi lại và xem xét. Những hành động này nên được đối xử giống như bất kỳ hoạt động người dùng đặc quyền nào.
• Ánh xạ hành vi của trợ lý đến các kỹ thuật ATT&CK giúp người phòng vệ xác định nơi trợ lý có thể bị đẩy vào các hành động có hại và nơi cần đặt rào chắn. Nó sử dụng cùng một hệ thống mà đã cấu trúc chiến lược phòng thủ.

Những biện pháp kiểm soát bù này sẽ không loại bỏ rủi ro. Nhưng chúng chứa nó theo cách mà các biện pháp phòng thủ cấp mô hình không thể.

Ngành Công Nghiệp Đi Tiếp Theo Đâu

Trợ lý trí tuệ nhân tạo đại diện cho một sự thay đổi lớn trong cách thức hoạt động của máy tính. Họ cung cấp năng suất đáng kinh ngạc, nhưng họ cũng giới thiệu một loại rủi ro hoạt động mà không phù hợp trong các khuôn khổ bảo mật hiện có. Hướng dẫn từ Trung Tâm An Ninh Mạng Quốc Gia Anh là một bước đầu, nhưng hầu hết các tổ chức vẫn thiếu một cách rõ ràng để quản lý các trợ lý có thể hành động trên hệ thống.

Giờ đây cảm giác giống như những ngày đầu tiên của việc áp dụng đám mây. Công nghệ di chuyển nhanh hơn các biện pháp kiểm soát. Những tổ chức thích nghi nhanh chóng là những tổ chức nhận ra sự thay đổi sớm và xây dựng các quy trình để phù hợp với nó.

Cũng sẽ đúng ở đây. Trợ lý trí tuệ nhân tạo không chỉ là những người giúp đỡ. Họ là những người vận hành có phạm vi hệ thống. Việc bảo mật chúng đòi hỏi phải có những cuốn sách mới, những rào chắn mới và những cách mới để mô hình hóa sự phơi nhiễm.

Ngành công nghiệp không cần phải sợ những công cụ này. Nhưng nó cần phải hiểu chúng. Và nó cần phải di chuyển nhanh, vì những kẻ tấn công đã thấy cơ hội. Câu hỏi là liệu những người phòng vệ có xây dựng các biện pháp bảo vệ phù hợp trong khi họ vẫn còn thời gian.