An ninh mạng
Cato Networks ra mắt AgentSense nhằm ngăn chặn các hành động gây hại của tác nhân AI trước khi chúng được thực hiện

Điểm chínhAgentSense nhắm vào tấn công chèn lệnh gián tiếp bằng cách truy vết cách nội dung không…
Xem thêm
- AgentSense nhắm vào tấn công chèn lệnh gián tiếp bằng cách truy vết cách nội dung không đáng tin cậy điều hướng hành động của một tác nhân.
- Thông tin xác thực hợp lệ không đảm bảo hành vi an toàn vì một tác nhân có thể bị thao túng để thực hiện các hành động có hại.
- Thử thách trị giá 10.000 đô la của Cato mời các nhà nghiên cứu kiểm tra liệu AgentSense có chống lại được việc chuyển hướng quy trình làm việc mang tính đối kháng hay không.
Cato Networks vừa ra mắt AgentSense, một năng lực bảo mật trong thời gian chạy được thiết kế để ngăn chặn các hành động gây hại của tác nhân AI trước khi chúng được thực hiện. Được phát triển bởi Cato AI Labs, công nghệ này theo dõi cách nội dung không đáng tin cậy tác động đến hành vi của tác nhân, qua đó xử lý một rủi ro mà các quyền truy cập thông thường không thể giải quyết triệt để: tác nhân có thể sở hữu thông tin xác thực hợp lệ nhưng vẫn bị thao túng để làm điều sai trái.
Cato cho biết AgentSense được tích hợp vào nền tảng của hãng và sẽ được cung cấp mà không tính thêm phí trong các gói cấp phép Cato AI Usage. Thông báo này cũng đi kèm một thử thách kiểm thử đối kháng, trao 10.000 USD cho mỗi người trong ba người tham gia đủ điều kiện đầu tiên thành công chuyển hướng một quy trình được bảo vệ sang thực hiện các hành động độc hại.
Quyền hợp lệ vẫn có thể dẫn đến hành động không an toàn
Một tác nhân trong doanh nghiệp có thể cần đọc email, tìm kiếm tài liệu, tra cứu trang web và gọi các công cụ để hoàn thành nhiệm vụ. Mỗi nguồn mở rộng phạm vi thông tin mà tác nhân có thể sử dụng, nhưng đồng thời cũng tạo cơ hội để văn bản bên ngoài tác động đến bước tiếp theo của nó.
Tấn công chèn lời nhắc gián tiếp khai thác ranh giới đó. Thay vì trực tiếp đưa ra chỉ thị với tư cách người dùng được ủy quyền, kẻ tấn công giấu chỉ thị trong tài liệu mà tác nhân gặp phải khi làm việc. Tài liệu, phiếu yêu cầu, trang web hoặc phản hồi từ công cụ có thể chứa văn bản nhằm chuyển hướng quy trình, làm lộ thông tin hoặc kích hoạt một hành động không liên quan.
Việc kiểm tra xem tác nhân có thể truy cập một ứng dụng hay không vẫn rất quan trọng. Tuy nhiên, điều đó trả lời một câu hỏi khác với việc một hành động cụ thể có phục vụ nhiệm vụ mà người dùng đã ủy quyền hay không. Chẳng hạn, tác nhân có thể được phép đọc hồ sơ doanh nghiệp nhưng không được phép gửi những hồ sơ đó đến một địa chỉ đích do tài liệu truy xuất gợi ý.
AgentSense hướng đến việc đánh giá hành vi đó trong quá trình thực thi, đồng thời tạo cơ hội can thiệp trước khi một hành động nhạy cảm được tiến hành.
Theo dõi ảnh hưởng của nội dung không đáng tin cậy trong phiên AI
Năng lực Phát hiện ảnh hưởng không đáng tin cậy được công bố giúp phân biệt chỉ thị đáng tin cậy với nội dung không đáng tin cậy trong một phiên AI, đồng thời theo dõi cách nội dung không đáng tin cậy tác động đến hành vi và đầu ra. Cato cho biết hệ thống sẽ chặn hành động khi phát hiện tài liệu không đáng tin cậy đang hướng tác nhân đến một bước không an toàn.
Sự phân biệt này rất quan trọng, bởi một cuộc tấn công không nhất thiết phải giống một lời nhắc độc hại quen thuộc. Cato mô tả AgentSense là công nghệ đánh giá mức độ ảnh hưởng, thay vì dựa vào các bộ phân loại tĩnh hoặc danh mục những kiểu tấn công từng được ghi nhận. Cách tiếp cận này nhằm xử lý cả những hình thức chèn lời nhắc gián tiếp mới lẫn những hình thức đã có thể nhận diện.
Thông cáo mô tả công nghệ này đã được cấp bằng sáng chế, nhưng không cung cấp mã số bằng sáng chế, thông tin chi tiết về cách triển khai hay đánh giá hiệu quả độc lập. Vì vậy, tuyên bố rằng công nghệ có thể bảo vệ trước các cuộc tấn công chưa từng được phát hiện nên được hiểu là năng lực bảo mật mà sản phẩm hướng tới, chứ không phải cam kết rằng mọi nỗ lực chèn lời nhắc đều sẽ bị ngăn chặn.
Câu hỏi trong vận hành là liệu một lớp bảo mật có đủ ngữ cảnh về phiên và hành động để phân biệt việc sử dụng tài liệu làm bằng chứng với việc xem tài liệu đó là thẩm quyền hay không. AgentSense tập trung trực tiếp vào sự phân biệt này.
Phát hiện sai lệch là một năng lực riêng biệt đang được lên kế hoạch
Cato cũng mô tả tính năng Phát hiện sai lệch của AgentSense theo hướng sẽ được phát triển trong tương lai. Tính năng dự kiến này sẽ đánh giá liệu các hành động của tác nhân có tiếp tục phục vụ nhiệm vụ ban đầu khi quy trình tiến triển hay không.
Tính năng này bổ trợ cho việc phát hiện ảnh hưởng, nhưng không giải quyết chính xác cùng một vấn đề. Tính năng Phát hiện ảnh hưởng không đáng tin cậy đặt câu hỏi liệu nội dung bên ngoài có đang chi phối một hành động hay không. Tính năng Phát hiện sai lệch nhằm xác định liệu hành động đó có còn phù hợp với mục tiêu hay không, ngay cả khi bước thực hiện riêng lẻ được cho phép về mặt kỹ thuật.
Một quy trình có thể dần tích lũy những bước không còn giúp đạt được mục đích. Để phát hiện sự chệch hướng đó, cần duy trì nhận thức về mục tiêu đã được ủy quyền trong suốt phiên, thay vì đánh giá từng lệnh gọi công cụ một cách riêng lẻ. Thông cáo không nêu ngày cung cấp riêng cho tính năng Phát hiện sai lệch.
AgentSense phù hợp như thế nào với nền tảng bảo mật AI hiện có của Cato
Giải pháp bảo mật AI tác nhân của Cato hiện đã mô tả các biện pháp kiểm soát để phát hiện tác nhân và máy chủ Model Context Protocol, lập hồ sơ các lệnh gọi công cụ và thực thi chính sách đối với tương tác của tác nhân. Nền tảng rộng hơn của hãng kết hợp ngữ cảnh về mạng, quyền truy cập và bảo mật.
Công ty cũng phân biệt giữa bảo mật cho việc nhân viên sử dụng AI và bảo vệ các ứng dụng. Giải pháp Bảo mật AI cho ứng dụng của hãng cung cấp khả năng quan sát trong thời gian chạy, kiểm tra lời nhắc và phản hồi, cùng các biện pháp bảo vệ có thể cấu hình cho những ứng dụng AI đã triển khai. Điều này giúp làm rõ trọng tâm của AgentSense: bảo đảm tính toàn vẹn của các hành động được thực hiện trong một quy trình.
Trên thực tế, việc kiểm soát sử dụng AI bao gồm một số quyết định có liên quan: tổ chức cho phép sử dụng những dịch vụ nào, dữ liệu nào có thể được gửi đến các dịch vụ đó và tác nhân được phép làm gì với thông tin mà nó tiếp nhận. AgentSense bổ sung vào lớp kiểm soát này một tuyên bố về hành vi: xác định khi nào nội dung không đáng tin cậy đang chi phối chính hành động.
Nghiên cứu về tấn công chèn lệnh cho thấy vì sao ranh giới này quan trọng
Nghiên cứu EchoLeak của Cato mô tả một chuỗi tấn công trong đó nội dung được cung cấp từ bên ngoài có thể khiến Microsoft 365 Copilot làm lộ thông tin trong ngữ cảnh của nó. Ý nghĩa đối với bảo mật tác nhân nằm ở bước chuyển từ việc đọc tài liệu bên ngoài sang làm theo các chỉ dẫn được nhúng trong đó.
Nghiên cứu CurXecute của Cato xem xét một kết quả khác: việc chèn lệnh vào nội dung bên ngoài có thể khiến tác nhân lập trình sửa đổi cấu hình MCP và kích hoạt thực thi lệnh. Bài viết của Cato cho biết Cursor đã khắc phục lỗ hổng đó ở phiên bản 1.3. Ví dụ này minh họa một kiểu lỗi; không nên hiểu rằng sự cố đã được vá vẫn chưa được khắc phục.
Cả hai trường hợp đều cho thấy nguồn gốc của nội dung quan trọng như thế nào khi trợ lý có thể truy cập dữ liệu nhạy cảm hoặc công cụ thực thi. Một tương tác bắt đầu bằng việc truy xuất thông tin có thể trở thành sự cố bảo mật khi văn bản được truy xuất làm thay đổi luồng điều khiển của quy trình làm việc.
Thử thách công khai nhằm kiểm nghiệm biện pháp bảo vệ
Thử thách AgentSense mời cộng đồng bảo mật cài chỉ dẫn vào một quy trình làm việc được bảo vệ, rồi tìm cách khiến tác nhân đi chệch khỏi ý định của người dùng. Cato cho biết các phát hiện và phản hồi của người tham gia sẽ góp phần định hướng những đợt đánh giá và cải tiến tiếp theo.
Theo thông báo, ba người tham gia đủ điều kiện đầu tiên hoàn thành thử thách thành công sẽ nhận 10.000 USD mỗi người. Thông cáo được cung cấp không có URL cuối cùng của thử thách hoặc thể lệ chi tiết, vì vậy điều kiện tham gia và giới hạn kiểm thử sẽ phụ thuộc vào các điều khoản của chương trình được công bố.
Đối với các doanh nghiệp đang mở rộng quyền tự chủ của tác nhân, AgentSense đáp ứng một nhu cầu cụ thể: duy trì mối liên hệ giữa nhiệm vụ người dùng cho phép và những hành động mà hệ thống AI thực sự thực hiện. Giá trị của công nghệ này sẽ phụ thuộc vào khả năng thực thi nhất quán ranh giới đó, đồng thời vẫn cho phép các công việc hợp lệ tiếp tục.












