Trợ lý của bạn không chỉ là một rô-bốt trò chuyện nữa – Vậy tại sao bạn vẫn đang đối xử với nó như một thứ vậy?

Vào những ngày đầu của trí tuệ nhân tạo sinh, kịch bản tồi tệ nhất cho một rô-bốt trò chuyện không hoạt động đúng là thường chỉ là sự xấu hổ trước công chúng. Một rô-bốt trò chuyện có thể tưởng tượng ra các sự kiện, nhả ra văn bản có thiên vị hoặc thậm chí gọi tên bạn. Đó đã là đủ tồi tệ. Nhưng bây giờ, chúng ta đã trao cho họ chìa khóa.

Chào mừng đến kỷ nguyên của các tác nhân.

Từ Rô-bốt trò chuyện đến Tác nhân: Sự thay đổi tự chủ

Rô-bốt trò chuyện chỉ phản ứng. Chúng ở trong làn đường của mình. Hỏi một câu hỏi, nhận được một câu trả lời. Nhưng các tác nhân AI – đặc biệt là những tác nhân được xây dựng với việc sử dụng công cụ, thực thi mã và bộ nhớ lâu dài – có thể thực hiện các nhiệm vụ đa bước, gọi API, chạy lệnh và viết và triển khai mã một cách tự chủ.

Nói cách khác, chúng không chỉ phản ứng với các yêu cầu – chúng đang đưa ra quyết định. Và như bất kỳ chuyên gia an ninh nào sẽ nói với bạn, một khi hệ thống bắt đầu thực hiện các hành động trong thế giới, bạn nên nghiêm túc về an toàn và kiểm soát.

Điều chúng tôi đã cảnh báo vào năm 2023

Tại OWASP, chúng tôi bắt đầu cảnh báo về sự thay đổi này hơn hai năm trước. Trong bản phát hành đầu tiên của OWASP Top 10 cho Ứng dụng LLM, chúng tôi đã đặt ra một thuật ngữ: Cơ quan quá mức.

Ý tưởng rất đơn giản: khi bạn trao cho mô hình quá nhiều tự chủ – quá nhiều công cụ, quá nhiều thẩm quyền, quá ít giám sát – nó bắt đầu hoạt động giống như một đại lý tự do hơn là một trợ lý bị giới hạn. Có thể nó sắp xếp các cuộc họp của bạn. Có thể nó xóa một tệp. Có thể nó cung cấp cơ sở hạ tầng đám mây quá mức, tốn kém.

Nếu bạn không cẩn thận, nó bắt đầu hành động như một trợ lý bị nhầm lẫn… hoặc tệ hơn, một tác nhân ngủ của kẻ thù chỉ chờ được khai thác trong một sự cố an ninh mạng. Trong các ví dụ thực tế gần đây, các tác nhân từ các sản phẩm phần mềm lớn như Microsoft Copilot, Sản phẩm Slack của Salesforce đều được chứng minh là dễ bị lợi dụng để sử dụng các đặc quyền được nâng cao để trích xuất dữ liệu nhạy cảm.

Và bây giờ, giả thuyết đó đang trở nên ít giống khoa học viễn tưởng hơn và giống như kế hoạch đường lối Q3 sắp tới của bạn.

Meet MCP: Lớp điều khiển Tác nhân (hay không?)

Chuyển sang năm 2025, và chúng ta đang chứng kiến một làn sóng các tiêu chuẩn và giao thức mới được thiết kế để xử lý sự bùng nổ này trong chức năng của tác nhân. Trong số những giao thức này, nổi bật nhất là Giao thức ngữ cảnh mô hình (MCP) của Anthropic – một cơ chế để duy trì bộ nhớ chung, cấu trúc nhiệm vụ và quyền truy cập công cụ trên các phiên của tác nhân AI lâu dài.

Hãy nghĩ về MCP như một loại keo dán giữ cho ngữ cảnh của tác nhân gắn kết trên các công cụ và thời gian. Đó là một cách để nói với trợ lý lập trình của bạn: “Đây là những gì bạn đã làm cho đến nay. Đây là những gì bạn được phép làm. Đây là những gì bạn nên nhớ.”

Đó là một bước tiến quan trọng. Nhưng nó cũng đặt ra nhiều câu hỏi mới.

MCP là một công cụ cho phép khả năng. Vậy đâu là các thanh chắn an toàn?

Cho đến nay,焦 điểm của MCP đã tập trung vào việc mở rộng những gì các tác nhân có thể làm – không phải kiểm soát chúng.

Mặc dù giao thức giúp phối hợp việc sử dụng công cụ và bảo tồn bộ nhớ trên các nhiệm vụ của tác nhân, nhưng nó vẫn chưa giải quyết các mối quan ngại quan trọng như:

• Kháng khả năng tiêm yêu cầu: Điều gì xảy ra nếu kẻ tấn công thao túng bộ nhớ chung?
• Phạm vi lệnh: Liệu tác nhân có thể bị lừa vượt quá thẩm quyền của nó không?
• Lạm dụng mã thông báo: Liệu một Blob bộ nhớ bị rò rỉ có thể lộ thông tin đăng nhập API hoặc dữ liệu người dùng?

Những vấn đề này không phải là lý thuyết. Một cuộc kiểm tra gần đây về các tác động an ninh cho thấy các kiến trúc kiểu MCP dễ bị tiêm yêu cầu, lạm dụng lệnh và thậm chí là ngộ độc bộ nhớ, đặc biệt khi bộ nhớ chung không được giới hạn hoặc mã hóa đầy đủ.

Đây là vấn đề kinh điển “quyền lực mà không có giám sát”. Chúng ta đã xây dựng bộ khung ngoài, nhưng chúng ta vẫn chưa tìm ra nơi đặt công tắc tắt.

Tại sao các CISO nên chú ý – ngay bây giờ

Chúng ta không nói về công nghệ trong tương lai. Chúng ta đang nói về các công cụ mà các nhà phát triển của bạn đang sử dụng và đó chỉ là bước khởi đầu của một đợt triển khai lớn mà chúng ta sẽ thấy trong doanh nghiệp.

Các tác nhân lập trình như Claude Code và Cursor đang thu được động lực thực sự trong các luồng công việc doanh nghiệp. Nghiên cứu nội bộ của GitHub cho thấy Copilot có thể tăng tốc các nhiệm vụ lên 55%. Gần đây hơn, Anthropic báo cáo rằng 79% việc sử dụng Claude Code tập trung vào thực thi nhiệm vụ tự động, không chỉ là đề xuất mã.

Đó là năng suất thực sự. Nhưng đó cũng là tự động hóa thực sự. Những công cụ này không còn là đồng nghiệp nữa. Chúng đang ngày càng bay solo. Và buồng lái? Nó trống.

CEO của Microsoft, Satya Nadella, gần đây cho biết rằng AI hiện đang viết tới 30% mã của Microsoft. CEO của Anthropic, Dario Amodei, thậm chí còn đi xa hơn, dự đoán rằng AI sẽ tạo ra 90% mã mới trong vòng sáu tháng.

Và đó không chỉ là phát triển phần mềm. Giao thức ngữ cảnh mô hình (MCP) hiện đang được tích hợp vào các công cụ mở rộng vượt ra ngoài lập trình, bao gồm phân loại email, chuẩn bị cuộc họp, lập kế hoạch bán hàng, tóm tắt tài liệu và các nhiệm vụ năng suất cao khác cho người dùng chung. Mặc dù nhiều trường hợp sử dụng này vẫn còn trong giai đoạn đầu, nhưng chúng đang phát triển nhanh chóng. Điều đó thay đổi các ставки. Đây không còn là một cuộc thảo luận chỉ dành cho CTO hoặc VP của bạn về Kỹ thuật. Nó đòi hỏi sự chú ý từ các lãnh đạo đơn vị kinh doanh, CIO, CISO và các sĩ quan AI trưởng. Khi các tác nhân này bắt đầu giao tiếp với dữ liệu nhạy cảm và thực thi các luồng công việc chức năng chéo, các tổ chức phải đảm bảo rằng quản trị, quản lý rủi ro và lập kế hoạch chiến lược là một phần của cuộc trò chuyện từ đầu.

Điều gì cần xảy ra tiếp theo

Đã đến lúc ngừng nghĩ về các tác nhân này như những rô-bốt trò chuyện và bắt đầu nghĩ về chúng như các hệ thống tự chủ với các yêu cầu an ninh thực sự. Điều đó có nghĩa là:

• Giới hạn đặc quyền của tác nhân: Giống như bạn không chạy mọi quá trình dưới dạng root, các tác nhân cần có quyền truy cập được giới hạn vào các công cụ và lệnh.
• Quản lý bộ nhớ chung: Sự tồn tại của ngữ cảnh phải được kiểm toán, phiên bản và mã hóa – đặc biệt khi nó được chia sẻ trên các phiên hoặc nhóm.
• Mô phỏng tấn công và kiểm tra đội đỏ: Tiêm yêu cầu, ngộ độc bộ nhớ và lạm dụng lệnh phải được coi là các mối đe dọa an ninh hàng đầu.
• Đào tạo nhân viên: Sử dụng an toàn và hiệu quả các tác nhân AI là một kỹ năng mới, và mọi người cần được đào tạo. Điều này sẽ giúp họ trở nên năng suất hơn và giúp bảo vệ tài sản trí tuệ của bạn an toàn hơn.

Khi tổ chức của bạn bắt đầu sử dụng các tác nhân thông minh, thường tốt hơn là đi trước khi chạy. Hãy có kinh nghiệm với các tác nhân có phạm vi hạn chế, dữ liệu hạn chế và quyền hạn chế. Học hỏi khi xây dựng các thanh chắn an toàn của tổ chức và kinh nghiệm, sau đó tăng dần lên các trường hợp sử dụng phức tạp, tự chủ và tham vọng hơn.

Bạn không thể ngồi ngoài

Cho dù bạn là một sĩ quan AI trưởng hay một sĩ quan thông tin trưởng, bạn có thể có những lo ngại ban đầu khác nhau, nhưng con đường phía trước của bạn là giống nhau. Lợi ích về năng suất từ các tác nhân lập trình và hệ thống AI tự chủ quá hấp dẫn để bỏ qua. Nếu bạn vẫn đang thực hiện một cách tiếp cận “chờ và xem”, bạn đã bị tụt lại phía sau.

Các công cụ này không còn là thử nghiệm nữa – chúng đang nhanh chóng trở thành những yếu tố then chốt. Các công ty như Microsoft đang tạo ra một lượng lớn mã thông qua AI và đang cải thiện vị thế cạnh tranh của họ như một kết quả. Các công cụ như Claude Code đang cắt giảm thời gian phát triển và tự động hóa các luồng công việc phức tạp tại nhiều công ty trên toàn thế giới. Các công ty học cách khai thác các tác nhân này một cách an toàn sẽ vận chuyển nhanh hơn, thích nghi nhanh hơn và vượt qua các đối thủ của họ.

Nhưng tốc độ mà không có an toàn là một cái bẫy. Tích hợp các tác nhân tự chủ vào doanh nghiệp của bạn mà không có các biện pháp kiểm soát phù hợp là một công thức cho các sự cố, rò rỉ dữ liệu và phản ứng tiêu cực từ các cơ quan quản lý.

Đây là thời điểm để hành động – nhưng hãy hành động thông minh:

• Khởi chạy các chương trình thí điểm tác nhân, nhưng yêu cầu xem xét mã, quyền công cụ và sandboxing.
• Giới hạn tự chủ đến mức cần thiết – không phải mọi tác nhân đều cần quyền truy cập root hoặc bộ nhớ lâu dài.
• Kiểm toán bộ nhớ chung và cuộc gọi công cụ, đặc biệt là trên các phiên dài hoặc ngữ cảnh hợp tác.
• Mô phỏng các cuộc tấn công bằng cách tiêm yêu cầu và lạm dụng lệnh để tiết lộ các rủi ro thực tế trước khi kẻ tấn công làm như vậy.
• Đào tạo các nhà phát triển và nhóm sản phẩm của bạn về các mẫu sử dụng an toàn, bao gồm kiểm soát phạm vi, hành vi dự phòng và đường dẫn nâng cao.

An ninh và tốc độ không phải là những thứ loại trừ lẫn nhau – nếu bạn xây dựng với ý định.

Các doanh nghiệp coi các tác nhân AI như cơ sở hạ tầng cốt lõi, không phải là đồ chơi hoặc đồ chơi biến thành mối đe dọa, sẽ là những doanh nghiệp thịnh vượng. Những doanh nghiệp còn lại sẽ bị bỏ lại phía sau để dọn dẹp các vụ hỗn loạn – hoặc tệ hơn, xem từ bên lề.

Kỷ nguyên của các tác nhân đã đến. Đừng chỉ phản ứng. Chuẩn bị. Tích hợp. Bảo mật.