Trợ lý của bạn không chỉ là một rô-bốt trò chuyện nữa — Vậy tại sao bạn vẫn đang đối xử với nó như một cái?

Trong những ngày đầu của trí tuệ nhân tạo sinh, kịch bản tồi tệ nhất cho một rô-bốt trò chuyện không hành động là thường chỉ là sự nhục nhã công khai. Một rô-bốt trò chuyện có thể tưởng tượng ra các sự kiện, nhả ra văn bản có thiên vị hoặc thậm chí gọi bạn bằng những tên gọi không hay. Đó đã là đủ tồi. Nhưng bây giờ, chúng ta đã trao chìa khóa cho họ.

Chào mừng đến với kỷ nguyên của các tác nhân.

Từ rô-bốt trò chuyện đến tác nhân: Sự thay đổi về tính tự chủ

Rô-bốt trò chuyện là phản ứng. Họ ở trong làn đường của mình. Hỏi một câu hỏi, nhận được một câu trả lời. Nhưng các tác nhân AI — đặc biệt là những tác nhân được xây dựng với việc sử dụng công cụ, thực hiện mã và bộ nhớersistent — có thể thực hiện các nhiệm vụ đa bước, gọi API, chạy lệnh và viết và triển khai mã một cách tự chủ.

Nói cách khác, họ không chỉ phản hồi với các yêu cầu — họ đang đưa ra quyết định. Và như bất kỳ chuyên gia an ninh nào sẽ nói với bạn, một khi hệ thống bắt đầu thực hiện các hành động trong thế giới, bạn nên nghiêm túc về an toàn và kiểm soát.

Điều chúng tôi cảnh báo vào năm 2023

Tại OWASP, chúng tôi bắt đầu cảnh báo về sự thay đổi này hơn hai năm trước. Trong bản phát hành đầu tiên của OWASP Top 10 cho ứng dụng LLM, chúng tôi đã tạo ra một thuật ngữ: Cơ quan quá mức.

Ý tưởng là đơn giản: khi bạn đưa cho mô hình quá nhiều tự chủ — quá nhiều công cụ, quá nhiều thẩm quyền, quá ít giám sát — nó bắt đầu hành động giống như một đại lý tự do hơn là một trợ lý bị giới hạn. Có thể nó sắp xếp các cuộc họp của bạn. Có thể nó xóa một tệp. Có thể nó cung cấp cơ sở hạ tầng đám mây quá mức, tốn kém.

Nếu bạn không cẩn thận, nó bắt đầu hành động như một phó bị nhầm lẫn… hoặc tệ hơn, một tác nhân gián điệp chỉ chờ đợi để được khai thác trong một sự cố an ninh mạng. Trong các ví dụ thực tế gần đây, các tác nhân từ các sản phẩm phần mềm chính như Microsoft Copilot, Sản phẩm Slack của Salesforce đều được chứng minh là dễ bị lợi dụng để sử dụng các đặc quyền đã nâng cao để trích xuất dữ liệu nhạy cảm.

Và bây giờ, điều đó đang trở nên ít giống như khoa học viễn tưởng và nhiều hơn như kế hoạch đường lối Q3 của bạn.

Meet MCP: Lớp điều khiển tác nhân (hay không?)

Chuyển sang năm 2025, và chúng ta đang chứng kiến một làn sóng các tiêu chuẩn và giao thức mới được thiết kế để xử lý sự bùng nổ về chức năng của tác nhân. Trong số này, nổi bật nhất là Giao thức ngữ cảnh mô hình (MCP) của Anthropic — một cơ chế để duy trì bộ nhớ chia sẻ, cấu trúc nhiệm vụ và truy cập công cụ trên các phiên tác nhân dài hạn.

Hãy nghĩ về MCP như keo dán giữ cho ngữ cảnh của tác nhân cùng nhau trên các công cụ và thời gian. Đó là một cách để nói với trợ lý mã hóa của bạn: “Đây là những gì bạn đã làm cho đến nay. Đây là những gì bạn được phép làm. Đây là những gì bạn nên nhớ.”

Đó là một bước tiến cần thiết. Nhưng nó cũng đang đặt ra những câu hỏi mới.

MCP là một công cụ kích hoạt khả năng. Ở đâu là các rào cản?

Cho đến nay,焦 điểm với MCP đã tập trung vào việc mở rộng những gì các tác nhân có thể làm — không phải về việc kiềm chế chúng.

Trong khi giao thức giúp phối hợp việc sử dụng công cụ và bảo tồn bộ nhớ trên các nhiệm vụ của tác nhân, nó không giải quyết các mối quan ngại quan trọng như:

• Kháng cáo tiêm lệnh: Điều gì xảy ra nếu một kẻ tấn công thao túng bộ nhớ chia sẻ?
• Phạm vi lệnh: Liệu tác nhân có thể bị lừa để vượt quá các quyền của nó?
• Lạm dụng mã thông báo: Liệu một Blob Bộ nhớ Rò rỉ có thể Tiết lộ Thông tin đăng nhập API hoặc Dữ liệu Người dùng?

Đây không phải là các vấn đề lý thuyết. Một cuộc kiểm tra gần đây về các hàm ý an ninh cho thấy rằng các kiến trúc kiểu MCP dễ bị tiêm lệnh, lạm dụng lệnh và thậm chí là ngộ độc bộ nhớ, đặc biệt khi bộ nhớ chia sẻ không được định giới hạn hoặc mã hóa đầy đủ.

Đây là vấn đề kinh điển “quyền lực mà không có giám sát”. Chúng ta đã xây dựng bộ xương ngoài, nhưng chúng ta vẫn chưa tìm ra nơi có công tắc tắt.

Tại sao các CISO nên chú ý — Bây giờ

Chúng ta không nói về công nghệ trong tương lai. Chúng ta đang đề cập đến các công cụ mà các nhà phát triển của bạn đã đang sử dụng và đó chỉ là bắt đầu của một cuộc triển khai lớn mà chúng ta sẽ thấy trong doanh nghiệp.

Các tác nhân mã hóa như Claude Code và Cursor đang giành được sự quan tâm thực sự trong các quy trình công việc doanh nghiệp. Nghiên cứu nội bộ của GitHub cho thấy Copilot có thể tăng tốc các nhiệm vụ lên 55%. Gần đây hơn, Anthropic báo cáo rằng 79% việc sử dụng Claude Code tập trung vào thực hiện nhiệm vụ tự động, không chỉ là đề xuất mã.

Đó là năng suất thực sự. Nhưng đó cũng là tự động hóa thực sự. Những thứ này không còn là đồng pilô nữa. Chúng đang bay một mình. Và buồng lái? Nó trống.

CEO của Microsoft, Satya Nadella, gần đây nói rằng AI hiện viết tới 30% mã của Microsoft. CEO của Anthropic, Dario Amodei, đã đi xa hơn, dự đoán rằng AI sẽ tạo ra 90% mã mới trong vòng sáu tháng.

Và đó không chỉ là phát triển phần mềm. Giao thức ngữ cảnh mô hình (MCP) hiện đang được tích hợp vào các công cụ mở rộng vượt ra ngoài mã hóa, bao gồm phân loại email, chuẩn bị cuộc họp, lập kế hoạch bán hàng, tóm tắt tài liệu và các nhiệm vụ năng suất cao khác cho người dùng chung. Mặc dù nhiều trường hợp sử dụng này vẫn còn trong giai đoạn đầu, nhưng chúng đang trưởng thành nhanh chóng. Điều đó thay đổi các ставки. Điều này không chỉ là một cuộc thảo luận cho CTO hoặc VP của bạn về Kỹ thuật. Nó đòi hỏi sự chú ý từ các nhà lãnh đạo đơn vị kinh doanh, CIO, CISO và các sĩ quan AI trưởng cùng nhau.

Khi các tác nhân này bắt đầu giao tiếp với dữ liệu nhạy cảm và thực hiện các quy trình công việc liên chức năng, các tổ chức phải đảm bảo rằng quản trị, quản lý rủi ro và lập kế hoạch chiến lược là một phần quan trọng của cuộc trò chuyện từ đầu.

Điều gì cần xảy ra tiếp theo

Đã đến lúc ngừng nghĩ về các tác nhân này như rô-bốt trò chuyện và bắt đầu nghĩ về chúng như các hệ thống tự chủ với các yêu cầu an ninh thực sự. Điều đó có nghĩa là:

• Giới hạn đặc quyền của tác nhân: Giống như bạn không chạy mọi quá trình như root, các tác nhân cần có quyền truy cập được giới hạn vào các công cụ và lệnh.
• Quản lý bộ nhớ chia sẻ: Sự bền bỉ của ngữ cảnh phải được kiểm toán, phiên bản và mã hóa — đặc biệt khi nó được chia sẻ trên các phiên hoặc nhóm.
• Mô phỏng tấn công và đội đỏ: Tiêm lệnh, ngộ độc bộ nhớ và lạm dụng lệnh phải được coi là các mối đe dọa an ninh hàng đầu.
• Đào tạo nhân viên: Việc sử dụng an toàn và hiệu quả các tác nhân AI là một kỹ năng mới, và mọi người cần được đào tạo. Điều này sẽ giúp họ trở nên năng suất hơn và giúp giữ tài sản trí tuệ của bạn an toàn hơn.

Khi tổ chức của bạn tham gia vào các tác nhân thông minh, thường tốt hơn là đi trước khi chạy. Hãy có kinh nghiệm với các tác nhân có phạm vi hạn chế, dữ liệu hạn chế và quyền hạn chế. Học hỏi khi xây dựng các rào cản của tổ chức và kinh nghiệm, sau đó tăng tốc vào các trường hợp sử dụng phức tạp, tự chủ và tham vọng hơn.

Bạn không thể ngồi ngoài

Cho dù bạn là một sĩ quan AI trưởng hay một sĩ quan Thông tin trưởng, bạn có thể có những lo ngại ban đầu khác nhau, nhưng con đường phía trước của bạn là giống nhau. Lợi ích về năng suất từ các tác nhân mã hóa và hệ thống AI tự chủ quá hấp dẫn để bỏ qua.

Những công cụ này không chỉ là thử nghiệm nữa — chúng đang nhanh chóng trở thành các yếu tố then chốt. Các công ty như Microsoft đang tạo ra một lượng lớn mã thông qua AI và đang thúc đẩy vị trí cạnh tranh của họ như một kết quả.

Các công cụ như Claude Code đang cắt giảm thời gian phát triển và tự động hóa các quy trình công việc phức tạp tại nhiều công ty trên toàn thế giới. Các công ty học cách khai thác những tác nhân này một cách an toàn sẽ giao hàng nhanh hơn, thích nghi nhanh hơn và vượt qua các đối thủ của họ.

Nhưng tốc độ mà không có an toàn là một cái bẫy. Tích hợp các tác nhân tự chủ vào doanh nghiệp của bạn mà không có các biện pháp kiểm soát phù hợp là một công thức cho các sự cố, rò rỉ dữ liệu và phản hồi quy định.

Đây là thời điểm để hành động — nhưng hành động thông minh:

• Khởi chạy các chương trình thí điểm tác nhân, nhưng yêu cầu xem xét mã, quyền của công cụ và sandboxing.
• Giới hạn tính tự chủ ở mức cần thiết — không phải mọi tác nhân đều cần quyền truy cập root hoặc bộ nhớ dài hạn.
• Kiểm toán bộ nhớ chia sẻ và các cuộc gọi công cụ, đặc biệt là trên các phiên dài hạn hoặc các ngữ cảnh hợp tác.
• Mô phỏng các cuộc tấn công bằng cách sử dụng tiêm lệnh và lạm dụng lệnh để tiết lộ các rủi ro thực tế trước khi các kẻ tấn công làm như vậy.
• Đào tạo các nhà phát triển và nhóm sản phẩm của bạn về các mẫu sử dụng an toàn, bao gồm kiểm soát phạm vi, hành vi dự phòng và đường dẫn leo thang.

An ninh và tốc độ không loại trừ lẫn nhau — nếu bạn xây dựng với ý định.

Các doanh nghiệp coi các tác nhân AI như cơ sở hạ tầng cốt lõi, không phải như đồ chơi hoặc đồ chơi biến thành mối đe dọa, sẽ là những doanh nghiệp thịnh vượng. Những doanh nghiệp còn lại sẽ bị bỏ lại để dọn dẹp các sự cố — hoặc worse, xem từ hàng ghế sau.

Kỷ nguyên của các tác nhân đã đến. Đừng chỉ phản ứng. Chuẩn bị. Tích hợp. Bảo mật.