Các tác nhân AI đã sẵn sàng hành động. Hầu hết các công ty chưa sẵn sàng cho phép chúng.

Trong phần lớn thời đại AI sinh tạo, chúng ta đã tập trung vào những gì mô hình nói và những gì chúng ta đưa vào chúng. Chúng ta kiểm tra lời nhắc, lọc phản hồi, thực hiện red‑team cho các mô hình và xây dựng các kiểm soát quanh đầu vào và đầu ra. Những biện pháp bảo vệ đó vẫn quan trọng, nhưng chúng được thiết kế cho một thế giới mà AI chủ yếu tạo ra thứ gì đó để con người tiêu thụ.

Các tác nhân thay đổi phương trình đó. Chúng không chỉ tiêu thụ hoặc tạo ra thông tin. Chúng hành động.

Một tác nhân có thể thực thi công cụ, gọi các tác nhân phụ, hợp tác với các tác nhân khác, gọi API, truy cập dữ liệu, sử dụng thông tin xác thực, gọi máy chủ MCP, tạo và thực thi mã, và đưa ra một loạt quyết định một cách tự động nhằm đạt được mục tiêu. Một sự theo đuổi không ngừng. Khi điều đó xảy ra, câu hỏi trung tâm không còn chỉ là liệu mô hình có tạo ra phản hồi an toàn hay không. Mà là liệu các hành động mà nó thực hiện có an toàn để thực thi hay không.

Các tiết lộ gần đây từ OpenAI làm cho sự phân biệt đó ngày càng quan trọng. OpenAI đã bắt đầu báo cáo một cách có hệ thống các hành vi bất thường hoặc đáng lo ngại của mô hình, trong khi công việc an toàn rộng hơn của họ ngày càng giải quyết các rủi ro xuất hiện khi các mô hình có được quyền tự chủ và truy cập vào công cụ nhiều hơn.

Bài học không phải là các tác nhân vốn không an toàn. Mà là ranh giới bảo mật đã dịch chuyển.

Hệ thống tác nhân đòi hỏi một mô hình vận hành khác

AI tác nhân không chỉ là một kiến trúc ứng dụng khác. Phần mềm tự nó ngày càng quyết định cách công việc được thực hiện.

Một tác nhân có thể gặp phải chướng ngại vật, diễn giải những gì đã xảy ra và chọn một con đường khác. Nó có thể kết hợp các công cụ theo những cách mà không được thiết kế rõ ràng trước đó. Nó có thể tạo mã và thực thi mã đó như một phần của cùng một quy trình làm việc. Trình tự các hành động có thể thay đổi mỗi khi tác nhân chạy.

Cùng lúc đó, số lượng người tạo ra phần mềm này đang mở rộng đáng kể. Như chúng tôi đã viết về sự trỗi dậy của nhà phát triển công dân, AI đang biến những người chưa bao giờ tự xem mình là nhà phát triển thành những người tạo phần mềm. Một nhà tiếp thị, nhà phân tích tài chính, hoặc lãnh đạo vận hành giờ có thể mô tả những gì họ muốn và tạo một tác nhân có khả năng tương tác với các hệ thống kinh doanh thực.

Đó là một sự mở rộng phi thường về việc ai có thể xây dựng phần mềm và phần mềm đó có thể làm gì. Nó cũng đồng nghĩa với việc các tổ chức sẽ có phần mềm tự động hơn hoạt động trên nhiều phần hơn của doanh nghiệp.

Câu trả lời không thể chỉ đơn giản là áp dụng các kiểm soát của ngày hôm qua vào môi trường mới này. Nếu các doanh nghiệp không thể vận hành các hệ thống này một cách an toàn, lựa chọn thay thế sẽ là hạn chế chúng và cuối cùng làm chậm lại những lợi ích năng suất mà họ đang cố gắng đạt được.

Kiểm soát phải tồn tại ở nơi các tác nhân hành động

Khi AI trở nên tự chủ hơn, thách thức chuyển từ việc kiểm soát những gì đưa vào mô hình sang việc kiểm soát những gì xảy ra khi quyết định của nó trở thành hành động.

Một tác nhân có thể bắt đầu với một người dùng đã được phê duyệt, một lời nhắc chấp nhận được, thông tin xác thực hợp pháp và quyền truy cập công cụ được ủy quyền. Không có gì trong số đó đảm bảo rằng mọi hành động tiếp theo đều nên được thực thi.

Đây là lúc thời gian chạy trở nên quan trọng. Các tổ chức cần hiểu không chỉ là tác nhân là ai, mà còn đặt câu hỏi về những gì nó đang làm ngay bây giờ:

• Công cụ nào nó đang gọi,
• Tài nguyên nào nó đang truy cập, mã nào nó đang cố thực thi, 
• Các tác nhân phụ và các giao tiếp tác nhân khác đang diễn ra,
• Điều gì đã xảy ra ngay trước hành động đó và liệu hành vi của nó có vẫn nằm trong giới hạn chấp nhận được không,
• Tác nhân đang làm gì phía sau màn hình trong thời gian chạy.

Và khi nó không như vậy, hệ thống cần khả năng can thiệp theo thời gian thực trước khi thực thi.

Đây là một sự phân biệt quan trọng. Khả năng quan sát cho bạn biết những gì đã xảy ra. Kiểm soát thời gian chạy cung cấp cho bạn khả năng bao gói lớp thực thi của tác nhân.

Điều này trở nên đặc biệt quan trọng vì hành vi tác nhân vừa không định đoạt vừa đa chiều.. Một hành động bị chặn sẽ khiến tác nhân thử một cách tiếp cận khác hướng tới mục tiêu của mình. Một lời gọi công cụ có vẻ vô hại có thể trở nên rủi ro vì những gì đã xảy ra trước đó. Chỉ quan sát hoặc “phát hiện và phản hồi” là quá muộn để thực sự kiểm soát quyền truy cập và thực thi của tác nhân.  

Thời gian chạy cần phải nội tuyến và đồng bộ để có thể bắt kịp tốc độ của AI.  Thách thức cơ bản trong việc áp dụng các cách tiếp cận này dựa trên suy nghĩ thời kỳ trước AI, dựa vào phương pháp phân tích và phát hiện kéo dài hơn.  Những nguyên tắc đó không còn áp dụng trong thế giới ngày nay..

Bảo mật thời gian chạy yêu cầu ngữ cảnh, không chỉ là các kiểm soát

Có xu hướng phản ứng với rủi ro AI mới nổi bằng cách giảm quyền tự chủ: giảm quyền hạn cho các tác nhân, yêu cầu phê duyệt của con người thường xuyên hơn hoặc hạn chế môi trường mà chúng hoạt động. Những kiểm soát này đôi khi sẽ phù hợp, đặc biệt đối với các hành động có rủi ro cao.

Nhưng chúng không thể là mô hình vận hành lâu dài.

Nếu con người phải phê duyệt mọi quyết định có ý nghĩa, chúng ta đã loại bỏ phần lớn giá trị của một tác nhân tự động. Bằng cách dựa vào các tương tác nghiêm ngặt có con người trong vòng lặp, chúng ta đã biến một số cá nhân tài năng nhất thành “người nhấn nút”. Điều này ảnh hưởng trực tiếp đến khả năng hiểu phạm vi và các mối phụ thuộc của cơ sở mã mà các tổ chức agentic đang chạy trên đó.

Lời hứa kinh tế của AI agentic đến chính từ việc cho phép phần mềm thực hiện công việc có ý nghĩa một cách độc lập và liên tục – 24/7. Vì vậy mục tiêu không phải là loại bỏ quyền tự chủ. Mục tiêu là làm cho quyền tự chủ lớn hơn trở nên an toàn khi vận hành.

Điều này đòi hỏi các kiểm soát độc lập bên ngoài quá trình suy luận của chính tác nhân. Nghiên cứu của Anthropic về mất cân bằng agentic, được thực hiện trong các mô phỏng được xây dựng cố ý, minh họa lý do tại sao vấn đề này quan trọng. Khi các hệ thống trở nên tự động hơn, hành vi của chúng có thể lệch khỏi những gì các nhà vận hành mong đợi, ngay cả khi mục tiêu ban đầu có vẻ rõ ràng.

Ý nghĩa thực tiễn rất đơn giản: các tổ chức không thể chỉ dựa vào việc hiểu những gì một tác nhân được yêu cầu thực hiện. Họ cần hiểu và kiểm soát những gì nó thực sự làm.

Tác nhân không còn là phần khó khăn nữa

Ngành công nghiệp đã tiêu tốn năng lượng khổng lồ để làm cho các tác nhân trở nên năng lực hơn. Chúng ta đang nhanh chóng tiến tới điểm mà năng lực không còn là rào cản chính đối với việc áp dụng trong doanh nghiệp.

Rào cản là kiểm soát.

Khi các tác nhân trở nên tự động hơn, hậu quả của hành động của chúng tăng lên — và các biện pháp kiểm soát được thiết kế cho phần mềm có thể dự đoán trở nên kém hiệu quả hơn. Doanh nghiệp cần khả năng quan sát liên tục những gì các tác nhân đang làm, ngữ cảnh để hiểu tại sao những hành động đó quan trọng và khả năng can thiệp mà không phải đặt con người vào giữa mỗi quyết định.

Điều đó thay đổi ý nghĩa của việc vận hành phần mềm.

• Nhà phát triển cần hiểu cách các tác nhân thực sự hoạt động, không chỉ cách chúng được thiết kế để hoạt động.
• Nhóm nền tảng và bảo mật cần thiết lập các ranh giới vẫn có thể thực thi khi các tác nhân hoạt động qua các hệ thống và công cụ.
• Các nhà lãnh đạo doanh nghiệp cần sự tự tin rằng quyền tự chủ lớn hơn không đồng nghĩa với việc từ bỏ kiểm soát.

Điều này hoàn toàn khác với việc bảo mật một ứng dụng khác hoặc quản lý một mô hình khác. Chúng ta đang đưa các tác nhân tự động vào môi trường doanh nghiệp: các hệ thống có thể suy luận, đưa ra quyết định và thực hiện hành động. Nếu các tổ chức không thể nhìn thấy và kiểm soát những hành động đó khi chúng xảy ra, cuối cùng họ sẽ phải hạn chế những gì các tác nhân có thể làm, làm giảm phần lớn giá trị mà quyền tự chủ dự kiến sẽ tạo ra.

Câu trả lời không phải là giả định chúng ta có thể ngăn chặn mọi quyết định sai. Khi các hệ thống trở nên tự động và phi định tính hơn, việc này ngày càng khó đảm bảo.

Mục tiêu là đảm bảo một hành động sai hoặc phá hoại không dẫn đến kết quả tiêu cực.

Điều này đòi hỏi một lớp vận hành mới xung quanh các tác nhân: một lớp có thể quan sát hành vi liên tục, hiểu các hành động trong ngữ cảnh, thực thi các ranh giới xuyên suốt toàn bộ ngăn xếp thời gian chạy của agentic và can thiệp trước khi một hành động không mong muốn hoặc không chấp nhận được trở thành kết quả không thể đảo ngược.

Giai đoạn tiếp theo của AI doanh nghiệp sẽ không chỉ được định nghĩa bởi mức độ năng lực của các tác nhân. Nó sẽ được định nghĩa bởi mức độ tự chủ mà các tổ chức có thể an toàn trao cho chúng.