Các Đại lý Trí tuệ Nhân tạo Đang Trở nên Thông minh Hơn và Bề mặt Tấn công Của Chúng Đang Trở nên Lớn hơn

Lúc các đại lý trí tuệ nhân tạo bắt đầu đặt lịch họp, thực hiện mã, và duyệt web thay mặt bạn, cuộc trò chuyện về an ninh mạng đã thay đổi. Không từ từ, mà thay vào đó là qua đêm.

Cái mà trước đây là một hệ thống phần mềm được chứa và dự đoán, đã trở thành một thứ gì đó có lý do, kế hoạch và thực hiện hành động trên các công cụ và API mà chúng hầu như không biết đến một năm trước.

Điều đó thật sự thú vị, và cũng thật sự đáng sợ, vì bề mặt tấn công đi kèm với sự tự chủ đó là khổng lồ, và hầu hết các tổ chức chỉ mới bắt đầu hiểu được ý nghĩa của việc cho phép các đại lý vào cơ sở hạ tầng của họ.

Từ Chatbots đến Operators

Lời hứa ban đầu của trí tuệ nhân tạo là đơn giản: hỏi một câu hỏi, nhận được một câu trả lời. Đó vẫn là sự thật cho hầu hết các tương tác của người tiêu dùng, nhưng nó không phải là những gì đang xảy ra trong các triển khai doanh nghiệp nữa. Ngày nay, các đại lý đang được trao quyền, khóa API, và khả năng xóa, tạo và chú thích dữ liệu, cũng như thực hiện hành động thực sự trong các hệ thống có hậu quả thực sự.

Sự thay đổi đã xảy ra nhanh chóng. Trong ít hơn hai năm, các đại lý trí tuệ nhân tạo đã đi từ việc là các nhà tạo văn bản đến cho phép chúng ta chạy các thiết lập đa đại lý mượt mà. Chúng đang đọc email, kích hoạt các quy trình làm việc, truy vấn cơ sở dữ liệu, và trong một số trường hợp, quản lý các đại lý khác dưới chúng. Mức độ truy cập đó trước đây yêu cầu một quá trình mua sắm dài và một người trong vòng lặp. Giờ đây nó chỉ là một tệp cấu hình và một số cuộc gọi API

Càng Có Nhiều Truy cập, Càng Có Nhiều Tiếp xúc

Các cuộc tấn công phần mềm truyền thống có một hồ sơ dự đoán được. Có một điểm nhập cảnh được biết, một điểm yếu được biết, một bản vá được biết. Các đại lý trí tuệ nhân tạo phá vỡ mô hình đó vì chúng được thiết kế để động. Chúng không theo một đường dẫn mã tĩnh. Chúng suy nghĩ về việc làm gì tiếp theo, điều đó có nghĩa là hành vi của chúng khó dự đoán và khó kiểm tra sau khi thực hiện.

Đó là sự không thể đoán trước có ích cho việc hoàn thành công việc. Nó cũng là một lợi thế cho bất kỳ ai cố gắng khai thác hệ thống. Khi một đại lý có thể quyết định, giữa nhiệm vụ, gọi một API bên ngoài hoặc kéo một công cụ bên thứ ba, không có một chu vi sạch sẽ để bảo vệ.

Các đội an ninh mạng đã quen với việc bảo vệ các bề mặt được biết và giám sát chi phí Kubernetes. Các đại lý tiếp tục khám phá các bề mặt mới và khai thác, và không ai đang lập bản đồ chúng theo thời gian thực. Trước khi bạn biết, ai đó có thể chiếm được các thông tin đăng nhập và kiểm soát toàn bộ “cơ quan” trí tuệ nhân tạo của bạn với một động tác.

Tấn công Prompt Là Tấn công Mới của SQL

Nếu có một vector tấn công mà các nhà nghiên cứu an ninh mạng tiếp tục quay lại, đó là tấn công prompt. Ý tưởng là đơn giản: thay vì khai thác một điểm yếu mã, một kẻ tấn công thao túng các lệnh mà một đại lý nhận được thông qua các đầu vào của nó. Một lệnh độc hại nhúng vào một trang web, một tài liệu, hoặc thậm chí một email có thể chuyển hướng hành động tiếp theo của đại lý.

Cái gì làm cho điều này đặc biệt sắc nét là các đại lý thường làm chính xác những gì chúng được yêu cầu. Chúng đang xử lý nội dung từ web, từ tin nhắn của người dùng, từ các công cụ bên thứ ba. Bất kỳ nội dung nào là một bề mặt tiêm độc tiềm năng. Một đại lý đọc một tài liệu bị xâm phạm và sau đó thực hiện các cuộc gọi API dựa trên nội dung của nó đã bị chiếm quyền.

Các biện pháp phòng thủ ở đây là thực sự nhưng không đầy đủ. Cung cấp hành động của đại lý, hạn chế các công cụ mà một đại lý có thể gọi trong một số ngữ cảnh, và xây dựng các điểm kiểm tra của con người vào các quy trình làm việc quan trọng đều giảm thiểu rủi ro. Chúng không loại bỏ nó. Và hầu hết các tổ chức chưa triển khai thậm chí các biện pháp cơ bản.

Vấn đề Tin cậy Trong Các Hệ thống Đa Đại lý

Các hệ thống đa đại lý giới thiệu một lớp phức tạp mà dễ bị đánh giá thấp. Khi một đại lý điều phối một số đại lý khác, có một thứ tự tin cậy. Người điều phối truyền lệnh xuống, và các đại lý con theo dõi chúng. Nếu người điều phối bị xâm phạm, mỗi đại lý dưới nó đều bị xâm phạm hiệu quả, và bán kính ảnh hưởng trở nên lớn rất nhanh.

Cũng có vấn đề về việc cấp phép quá mức. Các đại lý thường được cấp phép nhiều hơn mức cần thiết vì nó dễ dàng hơn là cấp phép rộng rãi từ đầu so với việc tinh chỉnh chúng theo từng giai đoạn. Một đại lý nghiên cứu không cần quyền truy cập vào cơ sở dữ liệu sản xuất.

Một đại lý lập lịch không cần truy cập vào hồ sơ tài chính. Đúng, nó cảm thấy an toàn khi mọi thứ đều liên kết với nhau, nhưng nó đơn giản là quá rủi ro để thấy bất kỳ lợi ích không giảm nào. Nhưng ranh giới trở nên mờ trong thực tế, và các nguyên tắc cấp phép tối thiểu mà hoạt động tốt trong lý thuyết trở nên bị bỏ qua trong cuộc chạy đua để vận chuyển.

Điều Gì Một Giải pháp An ninh Hợp lý Trông Như Thế Nào

Không có giải pháp đơn lẻ nào làm cho việc triển khai đại lý an toàn. Đó là một vấn đề phân lớp và nó cần một phản ứng phân lớp. Các tổ chức làm việc này tốt tend đến bắt đầu với các kiểm soát truy cập: cấp cho mỗi đại lý một phạm vi xác định, hẹp và xây dựng các bước xem xét vào bất kỳ hành động nào chạm vào các hệ thống hoặc dịch vụ bên ngoài nhạy cảm.

Khả năng quan sát cũng quan trọng như việc ngăn chặn. Nếu một đại lý làm một việc không mong đợi, các đội cần một bản ghi đầy đủ về các lệnh mà nó nhận được, các công cụ mà nó gọi, và những gì nó trả về. Hầu hết các thiết lập ghi nhật ký không được xây dựng với loại độ粒度 đó trong tâm trí, và việc sửa đổi nó sau khi thực hiện là đau đớn. Xây dựng nó từ đầu là đáng giá.

Kiểm tra đối thủ cũng bị sử dụng dưới mức. Kiểm tra các đại lý, cố gắng tiêm các lệnh độc hại và xem xét những gì xảy ra, sẽ tiết lộ các điểm yếu mà việc xem xét mã tĩnh sẽ không bao giờ bắt được. Đó là không thoải mái khi nghĩ về, nhưng những người sẽ cố gắng khai thác các hệ thống này cuối cùng sẽ làm như vậy. Đi trước họ là động thái duy nhất hợp lý.

Suy nghĩ Cuối cùng

Các đại lý trí tuệ nhân tạo sẽ trở thành một phần lớn hơn của cách các tổ chức hoạt động, và sự thay đổi đó đã bắt đầu. Cuộc trò chuyện về an ninh mạng cần phải bắt kịp, và nhanh chóng. Các rủi ro là thực sự, các vector tấn công là mới, và thời gian để vượt qua chúng đang thu hẹp lại.

Hiểu được cảnh quan mối đe dọa cho các hệ thống trí tuệ nhân tạo tự chủ không còn là tùy chọn nữa. Đó là một trong những việc quan trọng nhất mà các đội an ninh mạng và kỹ thuật có thể làm ngay bây giờ, và đồng hồ đã bắt đầu đếm.