Từ Trí tuệ nhân tạo sinh (Generative) đến Trí tuệ nhân tạo hành động (Agentic): Sự chuyển đổi từ Rủi ro Nội dung đến Tiếp xúc Thực thi

Trí tuệ nhân tạo doanh nghiệp đang phát triển nhanh chóng. Những gì bắt đầu như trí tuệ nhân tạo đồng pilot soạn thảo email và tóm tắt tài liệu hiện đang trở thành một thứ gì đó tự chủ hơn nhiều: các hệ thống lên kế hoạch, quyết định và thực hiện nhiệm vụ trên các công cụ và môi trường.

Đây là sự chuyển đổi từ trí tuệ nhân tạo sinh (Generative) sang trí tuệ nhân tạo hành động (Agentic). Đó là thấy rủi ro biến đổi.

Trí tuệ nhân tạo sinh (GenAI) đã giới thiệu các rủi ro nội dung, bao gồm ảo giác, rò rỉ dữ liệu qua lời nhắc, và đầu ra bị thiên vị. Tiếp xúc trí tuệ nhân tạo hành động (Agentic AI) xảy ra thông qua các hệ thống tự chủ của nó, có quyền, bộ nhớ và khả năng truy cập tất cả các công cụ có sẵn với tốc độ của máy.

Đây là cơ hội cho các chuyên gia an ninh, quản trị hoặc trí tuệ nhân tạo để đánh giá lại vị trí của họ về những rủi ro mới này.

Agentic AI rủi ro là gì?

Agentic AI rủi ro đề cập đến các rủi ro an ninh, vận hành và quản trị được đặt ra bởi các hệ thống trí tuệ nhân tạo hoạt động tự chủ, không chỉ tạo ra văn bản mà còn thực hiện các công việc đa bước trên các hệ thống doanh nghiệp.

Không giống như các mô hình ngôn ngữ lớn truyền thống (LLM), các hệ thống agentic có thể chia nhỏ các nhiệm vụ thành các công việc động, thực hiện các yêu cầu API bên ngoài và gọi các ứng dụng trong nhà, và lưu trữ và nhớ lại bộ nhớ. Chúng cũng có thể hoạt động dưới danh tính được ủy quyền và giao tiếp với các đại lý khác.

Nói cách khác, chúng ít giống như các rô-bốt trò chuyện và nhiều hơn như các nhân viên kỹ thuật số trẻ. Điều này đại diện cho một sự tăng đáng kể về bề mặt tấn công của đại lý trí tuệ nhân tạo.

Trí tuệ nhân tạo sinh (Generative) so với Trí tuệ nhân tạo hành động (Agentic): Điều gì thay đổi?

Rủi ro trí tuệ nhân tạo sinh tập trung vào đầu ra. Các nhóm an ninh đặt câu hỏi như liệu mô hình có đang rò rỉ dữ liệu, liệu nó có thể đang ảo giác, hoặc thậm chí liệu nội dung có hại hoặc không tuân thủ đang được tạo ra.

Con người chắc chắn nằm trong vòng lặp. Trí tuệ nhân tạo đề xuất, con người phê duyệt.

Agentic AI rủi ro là định hướng hành động. Bây giờ, các nhóm an ninh phải tự hỏi mình những hệ thống nào mà đại lý có thể tương tác, những quyền nào nó sẽ thừa hưởng, bao xa kế hoạch của nó có thể đạt được, và điều gì sẽ xảy ra nếu nó bị lừa dối trong khi chạy.

Sự khác biệt có thể rất nhỏ, nhưng nó quan trọng: Trí tuệ nhân tạo sinh tạo ra nội dung. Trí tuệ nhân tạo hành động tạo ra hậu quả. Đây là sự chuyển đổi từ rủi ro nội dung đến tiếp xúc thực thi.

Làm thế nào Trí tuệ nhân tạo hành động (Agentic AI) mở rộng bề mặt tấn công của doanh nghiệp?

Trí tuệ nhân tạo hành động không chỉ thêm một ứng dụng mới. Nó tạo ra một lớp vận hành mới. Dưới đây là cách bề mặt tấn công tăng trưởng:

1. Đại lý trí tuệ nhân tạo được ủy quyền

Có nhiều đại lý hoạt động thay mặt cho người dùng hoặc tài khoản dịch vụ. Khi phạm vi của các quyền không được siết chặt, chúng trở thành mục tiêu có giá trị.

Điều này có thể dẫn đến các vấn đề về ủy quyền bị nhầm lẫn, nâng cao đặc quyền và di chuyển ngang. Đây là một vấn đề khi các hệ thống đám mây, SaaS và nội bộ cung cấp truy cập động hoặc thừa hưởng cho các đại lý.

2. Đường thực thi động

Lưu lượng điều khiển trong các ứng dụng truyền thống là xác định. Lưu lượng điều khiển trong các hệ thống trí tuệ nhân tạo hành động không phải như vậy.

Chúng suy nghĩ về các mục tiêu, hành động, phản ánh, tinh chỉnh và gọi các công cụ theo cách không xác định. Điều này dẫn đến các trường hợp thất bại khó phân tích, các đồ thị phụ thuộc phức tạp và các thất bại liên tục trong các hệ thống đa đại lý. Các biện pháp an ninh được phát triển cho các lưu lượng điều khiển xác định không áp dụng được ở đây.

3. Bộ nhớersistent

Bề mặt tấn công do bộ nhớ của đại lý gây ra làersistent.

Khi bộ nhớ ngắn hạn hoặc dài hạn bị xâm phạm, một trạng thái độc hại có thể ảnh hưởng đến các quyết định trên nhiều phiên. Điều này khác với một lần tiêm một lời nhắc, vì sự cố bộ nhớ cung cấp sựersistent.

4. Rủi ro ra quyết định với tốc độ máy

Các đại lý tự chủ đưa ra quyết định với tốc độ không thể sánh được. Điều này mang lại các thách thức về quyết định với tốc độ máy, chẳng hạn như sự lan truyền lỗi nhanh, chu kỳ lạm dụng nhanh hơn phản ứng của con người và leo thang trước khi phát hiện có thể xảy ra.

Trong các hệ thống đa đại lý, phạm vi ảnh hưởng là nhanh chóng. Một đại lý độc hại có thể chất xúc tác một chuỗi thất bại trong các chuỗi phối hợp.

Tại sao các biện pháp an ninh truyền thống không hiệu quả với Trí tuệ nhân tạo hành động (Agentic AI)?

Hầu hết các mô hình an ninh doanh nghiệp truyền thống dựa trên các ứng dụng tĩnh, các đồ thị gọi xác định, phê duyệt của con người và sự tách biệt rõ ràng giữa xử lý dữ liệu và thực thi. Trí tuệ nhân tạo hành động làm cho các giả định này không hợp lệ.

Ví dụ, một biện pháp an ninh truyền thống như xác thực đầu vào. Điều này bảo vệ ranh giới của một hệ thống. Tuy nhiên, rủi ro trí tuệ nhân tạo hành động thường xuất hiện ở giữa vòng lặp, trong giai đoạn lập kế hoạch, phản ánh hoặc công cụ.

Các biện pháp quét lỗ hổng truyền thống cũng tập trung vào cơ sở hạ tầng và phần mềm. Tuy nhiên, rủi ro thực thi trí tuệ nhân tạo nằm trong lớp lý luận và hành động của đại lý.

Câu hỏi là: Làm thế nào bạn bảo vệ một thứ gì đó có thể chọn hành động tiếp theo của nó? Bạn không thể chỉ bao quanh các biện pháp an ninh xung quanh một cuộc gọi mô hình đơn. Bạn phải bảo mật luồng công việc.

Bảo mật Trí tuệ nhân tạo hành động (Agentic AI): Điều gì thực sự hiệu quả?

Khi nói đến bảo mật trí tuệ nhân tạo hành động, phải có một sự chuyển đổi từ tư duy về biên giới đến tư duy về vòng đời. Các đại lý không nên được phép giải thích lại các mục tiêu vô hạn, và có một số cách để đạt được điều này.

Thiết lập các chuỗi mục tiêu cho phép, điều chỉnh độ sâu của cây mở rộng kế hoạch, theo dõi sự trôi dạt của lý luận và cấm các mục tiêu tự tạo ra ngoài phạm vi là những biện pháp an ninh thiết yếu. Các biến thể không mong muốn trong lý luận thường là những tiền thân của sự thao túng.

Cứng hóa thực thi công cụ. Công cụ là nơi kế hoạch gặp thực tế, và an ninh cần bao gồm kiểm tra quyền trước khi thực thi công cụ, môi trường thực thi sandbox, xác thực tham số nghiêm ngặt và chuyển giao chứng chỉ chỉ trong thời gian. Mỗi thực thi công cụ cần được ghi nhật ký như một sự kiện an ninh hàng đầu.

Cô lập bộ nhớ và phạm vi đặc quyền. Bộ nhớ cần được đối xử như cơ sở hạ tầng nhạy cảm. Điều này có nghĩa là xác thực các hoạt động ghi, phân vùng miền bộ nhớ, hạn chế phạm vi đọc cho mỗi nhiệm vụ, sử dụng chứng chỉ ngắn hạn và ngăn chặn đặc quyền thừa hưởng. Sự tích lũy đặc quyền không được xác thực là một rủi ro trí tuệ nhân tạo hành động lớn.

Bảo mật phối hợp đa đại lý. Trong các hệ thống đại lý phân tán, giao tiếp bản thân trở thành một vector tấn công. Điều này nên bao gồm xác thực đại lý, xác thực lược đồ tin nhắn, kênh giao tiếp bị hạn chế và theo dõi các mẫu ảnh hưởng không bình thường. Khi phối hợp deviates từ các luồng dự kiến, sự cô lập nên xảy ra tự động.

Từ quản lý tiếp xúc đến đánh giá tiếp xúc cho các hệ thống Trí tuệ nhân tạo

Đây là nơi một triết lý an ninh rộng lớn hơn trở nên quan trọng. Quản lý lỗ hổng truyền thống xác định các điểm yếu đã biết. Tuy nhiên, các hệ thống trí tuệ nhân tạo tự chủ giới thiệu sự tiếp xúc mới nổi: các rủi ro phát sinh từ cấu hình, thiết kế đặc quyền, đường tích hợp và hành vi động.

Điều này phù hợp với những gì ngành công nghiệp đã gọi là quản lý tiếp xúc và, gần đây hơn, đánh giá tiếp xúc.

Quản lý tiếp xúc là tất cả về việc có tầm nhìn liên tục vào cách các hệ thống (bao gồm cả tài sản đám mây, danh tính, ứng dụng và bây giờ là các đại lý trí tuệ nhân tạo) tạo ra các đường dẫn mà các tác nhân độc hại có thể khai thác.

Đối với an ninh hệ thống trí tuệ nhân tạo tự chủ, điều đó có nghĩa là hỏi: Đại lý này có thể tiếp cận được gì? Nó tích lũy những quyền nào? Nó điều phối những hệ thống nào? Và thực thi giao cắt với dữ liệu nhạy cảm ở đâu?

Các nhóm đã sử dụng các chiến lược dựa trên tiếp xúc để giảm thiểu rủi ro mạng đang ở trong một vị trí vững chắc để mở rộng các nguyên tắc này vào môi trường trí tuệ nhân tạo của họ. Ví dụ, các nền tảng thống nhất danh tính, đám mây và khả năng hiển thị lỗ hổng cung cấp một cách để hiểu làm thế nào các đại lý trí tuệ nhân tạo được ủy quyền giao cắt với các đường tấn công hiện có.

Chìa khóa không phải là công cụ của nhà cung cấp per se. Đó là tâm trí:

Bạn không bảo mật trí tuệ nhân tạo hành động bằng cách bảo vệ mô hình. Bạn bảo mật nó bằng cách liên tục đo lường và giảm thiểu sự tiếp xúc của nó.

Quản lý rủi ro lớp thực thi trong Trí tuệ nhân tạo hành động (Agentic AI)

Đặc điểm của an ninh trí tuệ nhân tạo hành động là: Bề mặt tấn công không phải là phản hồi, mà là luồng công việc.

Rủi ro lớp thực thi là nhiều, bao gồm sử dụng công cụ không được xác thực, giả mạo danh tính, leo thang đặc quyền, ngộ độc bộ nhớ, thao túng đa đại lý và hệ thống con người trong vòng lặp dưới áp lực.

Giảm thiểu những rủi ro này có nghĩa là phải có tầm nhìn vào các mối quan hệ danh tính, thừa hưởng đặc quyền, phụ thuộc API, hoạt động thời gian chạy và telemetries thực thi.

Đây không còn là an ninh trí tuệ nhân tạo sinh (GenAI) nữa; đây là an ninh vận hành trí tuệ nhân tạo.

Rủi ro Trí tuệ nhân tạo hành động (Agentic AI) là kiến trúc, không phải là giả thuyết

Trí tuệ nhân tạo hành động là bước tiếp theo trong sự phát triển của việc áp dụng trí tuệ nhân tạo doanh nghiệp. Nó mang lại hứa hẹn về hiệu quả, tự động hóa và khả năng mở rộng. Tuy nhiên, nó cũng giới thiệu rủi ro từ những gì trí tuệ nhân tạo nói đến những gì trí tuệ nhân tạo làm.

Sự chuyển đổi từ trí tuệ nhân tạo sinh (Generative) sang trí tuệ nhân tạo hành động (Agentic) ảnh hưởng đến các yếu tố sau:

• Rủi ro nội dung đến rủi ro thực thi
• Lời nhắc tĩnh đến luồng thực thi động
• Phê duyệt của con người đến thực thi tự chủ
• An ninh ứng dụng đến quản lý tiếp xúc

Các nhà lãnh đạo an ninh hiểu sự chuyển đổi này trước có thể kiến trúc các thanh chắn an ninh có thể mở rộng với sự tự chủ. Những người khác sẽ kết thúc với các kẻ xâm nhập kỹ thuật số mà không có các biện pháp kiểm soát nội bộ.

Tương lai của trí tuệ nhân tạo trong doanh nghiệp là trí tuệ nhân tạo hành động. Tương lai của an ninh trí tuệ nhân tạo phải là tiếp xúc, nhận thức về luồng công việc và được thiết kế cho các hoạt động tốc độ máy.

Bởi vì một khi các đại lý trí tuệ nhân tạo có khả năng thực thi, cách tiếp cận duy nhất có thể là liên tục hiểu (và giảm thiểu) những gì chúng được tiếp xúc.