Từ Trí tuệ Nhân tạo Tạo ra đến Trí tuệ Nhân tạo Chủ động: Sự Chuyển đổi Từ Rủi ro Nội dung đến Tiếp xúc Thực hiện

Trí tuệ nhân tạo doanh nghiệp đang phát triển nhanh chóng. Điều bắt đầu như một đồng pilot trí tuệ nhân tạo tạo ra email và tóm tắt tài liệu bây giờ đang trở thành một thứ gì đó tự chủ hơn nhiều: các hệ thống kế hoạch, quyết định và thực hiện nhiệm vụ trên các công cụ và môi trường.

Đây là sự chuyển đổi từ trí tuệ nhân tạo tạo ra đến trí tuệ nhân tạo chủ động. Nó đang thấy rủi ro biến đổi.

Trí tuệ nhân tạo tạo ra giới thiệu rủi ro nội dung, bao gồm ảo giác, rò rỉ dữ liệu qua lời nhắc và đầu ra thiên vị. Tiếp xúc trí tuệ nhân tạo chủ động xảy ra thông qua các hệ thống tự chủ của nó, có quyền, bộ nhớ và khả năng truy cập tất cả các công cụ có sẵn với tốc độ của máy.

Đây là một cơ hội cho các chuyên gia an ninh, quản trị hoặc trí tuệ nhân tạo để đánh giá lại vị trí của họ về những rủi ro mới này.

Trí tuệ nhân tạo chủ động rủi ro là gì?

Rủi ro trí tuệ nhân tạo chủ động đề cập đến các rủi ro an ninh, hoạt động và quản trị được đặt ra bởi các hệ thống trí tuệ nhân tạo hoạt động tự chủ, không chỉ tạo ra văn bản mà còn thực hiện các công việc đa bước trên các hệ thống doanh nghiệp.

Không giống như các mô hình ngôn ngữ lớn truyền thống (LLM), các hệ thống chủ động có thể chia nhỏ nhiệm vụ thành các công việc động, thực hiện yêu cầu API bên ngoài và gọi ứng dụng trong nhà, và lưu trữ và nhớ lại bộ nhớ. Chúng cũng có thể hoạt động dưới danh tính được ủy quyền và giao tiếp với các tác nhân khác.

Nói cách khác, chúng ít giống như các rô-bốt trò chuyện và nhiều hơn như các nhân viên kỹ thuật số trẻ. Điều này đại diện cho một sự tăng đáng kể trong bề mặt tấn công của tác nhân trí tuệ nhân tạo.

Trí tuệ nhân tạo tạo ra so với trí tuệ nhân tạo chủ động: Điều gì thay đổi?

Rủi ro trí tuệ nhân tạo tạo ra tập trung vào đầu ra. Các nhóm an ninh đặt câu hỏi như liệu mô hình có rò rỉ dữ liệu, liệu nó có thể ảo giác, hoặc thậm chí nếu nội dung có hại hoặc không tuân thủ được tạo ra.

Con người chắc chắn nằm trong vòng lặp. Trí tuệ nhân tạo đề xuất, con người phê duyệt.

Rủi ro trí tuệ nhân tạo chủ động là định hướng hành động. Bây giờ, các nhóm an ninh phải tự hỏi mình những hệ thống nào mà tác nhân có thể tương tác, những quyền nào nó sẽ kế thừa, bao xa kế hoạch của nó có thể đạt được, và điều gì sẽ xảy ra nếu nó bị lừa dối trong khi chạy.

Sự khác biệt có thể rất nhỏ, nhưng nó rất quan trọng: Trí tuệ nhân tạo tạo ra nội dung. Trí tuệ nhân tạo chủ động tạo ra hậu quả. Đây là sự chuyển đổi từ rủi ro nội dung đến tiếp xúc thực hiện.

Làm thế nào trí tuệ nhân tạo chủ động mở rộng bề mặt tấn công của doanh nghiệp?

Trí tuệ nhân tạo chủ động không chỉ thêm một ứng dụng mới. Nó tạo ra một lớp hoạt động mới. Dưới đây là cách bề mặt tấn công tăng trưởng:

1. Tác nhân trí tuệ nhân tạo được ủy quyền

Có nhiều tác nhân hoạt động thay mặt cho người dùng hoặc tài khoản dịch vụ. Khi phạm vi quyền không chặt chẽ, chúng trở thành mục tiêu có giá trị.

Điều này có thể dẫn đến vấn đề ủy quyền bị nhầm lẫn, tăng quyền và di chuyển ngang. Đây là một vấn đề khi các hệ thống đám mây, SaaS và nội bộ cung cấp truy cập động hoặc kế thừa cho các tác nhân.

2. Đường thực hiện động

Lưu lượng điều khiển trong các ứng dụng truyền thống là xác định. Lưu lượng điều khiển trong các hệ thống trí tuệ nhân tạo chủ động không xác định.

Chúng lý luận về mục tiêu, hành động, phản ánh, tinh chỉnh và gọi các công cụ theo cách không xác định. Điều này dẫn đến các trường hợp thất bại khó phân tích, các đồ thị phụ thuộc phức tạp và thất bại级 trong các hệ thống đa tác nhân. Các kiểm soát an ninh được phát triển cho các lưu lượng điều khiển xác định không áp dụng được ở đây.

3. Bộ nhớersistent

Bề mặt tấn công do bộ nhớ của tác nhân gây ra làersistent.

Khi bộ nhớ ngắn hạn hoặc dài hạn bị xâm phạm, một trạng thái độc hại có thể ảnh hưởng đến quyết định trên nhiều phiên. Điều này khác với một lần tiêm một lời nhắc, vì sự cố bộ nhớ cung cấp sựersistent.

4. Rủi ro ra quyết định tốc độ máy

Các tác nhân tự chủ đưa ra quyết định với tốc độ không thể sánh được. Điều này mang lại các thách thức quyết định tốc độ máy, chẳng hạn như sự lan truyền lỗi nhanh, chu kỳ lạm dụng nhanh hơn phản ứng của con người và leo thang trước khi phát hiện có thể.

Trong các hệ thống đa tác nhân, phạm vi ảnh hưởng là nhanh. Một tác nhân độc hại có thể chứng kiến một sự cố级 trong các chuỗi phối hợp.

Tại sao các kiểm soát truyền thống không thành công với trí tuệ nhân tạo chủ động

Hầu hết các mô hình an ninh doanh nghiệp truyền thống dựa trên các ứng dụng tĩnh, các đồ thị gọi xác định, phê duyệt của con người và sự tách biệt rõ ràng giữa xử lý dữ liệu và thực hiện. Trí tuệ nhân tạo chủ động làm cho các giả định này không hợp lệ.

Hãy lấy, ví dụ, một kiểm soát truyền thống như xác thực đầu vào. Điều này bảo vệ ranh giới của một hệ thống. Tuy nhiên, rủi ro trí tuệ nhân tạo chủ động thường xuất hiện ở giữa một vòng lặp, trong giai đoạn lập kế hoạch, phản ánh hoặc công cụ.

Quét lỗ hổng truyền thống cũng tập trung vào cơ sở hạ tầng và phần mềm. Tuy nhiên, rủi ro thực hiện trí tuệ nhân tạo nằm trong lớp lý luận và hành động của tác nhân.

Câu hỏi là: Làm thế nào để bảo vệ một thứ gì đó có thể chọn hành động tiếp theo của nó? Bạn không thể chỉ quấn các kiểm soát xung quanh một cuộc gọi mô hình đơn.

Bạn phải bảo mật luồng công việc.

Bảo mật trí tuệ nhân tạo chủ động: Điều gì thực sự hoạt động?

Khi nói đến việc bảo mật trí tuệ nhân tạo chủ động, phải có một sự chuyển đổi từ tư duy biên giới đến tư duy vòng đời. Các tác nhân không nên được phép giải thích lại các mục tiêu vô hạn, và có một số cách để đạt được điều này.

Thiết lập các trình tự mục tiêu cho phép, quy định độ sâu của các cây mở rộng kế hoạch, giám sát sự trôi dạt của lý luận, và cấm các mục tiêu tự tác giả ngoài phạm vi là các kiểm soát thiết yếu. Các biến thể không mong muốn trong lý luận thường là những tiền thân của sự thao túng.

Cứng hóa thực hiện công cụ. Các công cụ là nơi kế hoạch gặp thực tế, và an ninh cần bao phủ các kiểm tra quyền trước khi thực hiện công cụ, môi trường thực hiện sandbox, xác thực tham số nghiêm ngặt và chuyển giao chứng chỉ chỉ trong thời gian.

Mỗi thực hiện công cụ cần được ghi nhật ký như một sự kiện an ninh hạng nhất.

Cô lập bộ nhớ và phạm vi đặc quyền. Bộ nhớ cần được đối xử như một cơ sở hạ tầng nhạy cảm. Điều này có nghĩa là xác thực các hoạt động ghi, phân vùng miền bộ nhớ, hạn chế phạm vi đọc cho mỗi nhiệm vụ, sử dụng chứng chỉ ngắn hạn và ngăn chặn đặc quyền kế thừa. Sự tích lũy đặc quyền không được xác thực là một rủi ro trí tuệ nhân tạo chủ động lớn.

Bảo mật phối hợp đa tác nhân. Trong các hệ thống tác nhân phân tán, giao tiếp chính nó trở thành một vector tấn công. Điều này nên ngụ ý xác thực tác nhân, xác thực lược đồ tin nhắn, kênh giao tiếp hạn chế và giám sát các mẫu ảnh hưởng bất thường. Khi phối hợp deviates từ các luồng dự kiến, sự cô lập nên xảy ra tự động.

Từ quản lý tiếp xúc đến đánh giá tiếp xúc cho các hệ thống trí tuệ nhân tạo

Đây là nơi một triết lý an ninh rộng lớn hơn trở thành chìa khóa. Quản lý lỗ hổng truyền thống xác định các điểm yếu đã biết. Tuy nhiên, các hệ thống trí tuệ nhân tạo tự chủ giới thiệu sự tiếp xúc nổi bật: các rủi ro phát sinh từ cấu hình, thiết kế đặc quyền, đường tích hợp và hành vi động.

Điều này phù hợp với những gì ngành công nghiệp đã đặt tên là quản lý tiếp xúc và, gần đây hơn, đánh giá tiếp xúc.

Quản lý tiếp xúc là tất cả về việc có tầm nhìn liên tục vào cách các hệ thống (bao gồm tài sản đám mây, danh tính, ứng dụng và bây giờ các tác nhân trí tuệ nhân tạo) tạo ra các đường dẫn mà các tác nhân độc hại có thể khai thác.

Đối với an ninh hệ thống trí tuệ nhân tạo tự chủ, điều đó có nghĩa là hỏi: Tác nhân này có thể tiếp cận gì? Nó tích lũy những đặc quyền nào? Nó phối hợp những hệ thống nào? Và thực hiện giao cắt với dữ liệu nhạy cảm ở đâu?

Các nhóm đã sử dụng các chiến lược dựa trên tiếp xúc để giảm thiểu rủi ro mạng đang ở vị trí tốt để mở rộng các nguyên tắc đó vào môi trường trí tuệ nhân tạo của họ. Ví dụ, các nền tảng thống nhất khả năng hiển thị danh tính, đám mây và lỗ hổng cung cấp một cách để hiểu làm thế nào các tác nhân trí tuệ nhân tạo được ủy quyền giao cắt với các đường tấn công hiện có.

Chìa khóa là không phải công cụ của nhà cung cấp per se. Đó là tâm trí:

Bạn không bảo mật trí tuệ nhân tạo chủ động bằng cách bảo vệ mô hình. Bạn bảo mật nó bằng cách liên tục đo lường và giảm thiểu sự tiếp xúc của nó.

Quản lý rủi ro lớp thực hiện trong trí tuệ nhân tạo chủ động

Dấu hiệu của an ninh trí tuệ nhân tạo chủ động là này: Bề mặt tấn công không phải là phản hồi, mà là luồng công việc.

Các rủi ro lớp thực hiện là nhiều, bao gồm sử dụng công cụ không được xác thực, giả mạo danh tính, tăng đặc quyền, ngộ độc bộ nhớ, thao túng đa tác nhân và các hệ thống con người trong vòng lặp dưới áp lực.

Giảm thiểu những rủi ro này có nghĩa là có tầm nhìn vào các mối quan hệ danh tính, kế thừa đặc quyền, phụ thuộc API, hoạt động thời gian chạy và telemetry thực hiện.

Điều này không còn là an ninh trí tuệ nhân tạo tạo ra; nó là an ninh hoạt động trí tuệ nhân tạo.

Rủi ro trí tuệ nhân tạo chủ động là kiến trúc, không phải là giả thuyết

Trí tuệ nhân tạo chủ động là bước tiếp theo trong sự phát triển của việc áp dụng trí tuệ nhân tạo doanh nghiệp. Nó nắm giữ lời hứa về hiệu quả, tự động hóa và khả năng mở rộng. Tuy nhiên, nó cũng giới thiệu rủi ro từ những gì trí tuệ nhân tạo nói đến những gì trí tuệ nhân tạo làm.

Sự chuyển đổi từ các hệ thống tạo ra đến các hệ thống chủ động ảnh hưởng đến các yếu tố sau:

• Rủi ro nội dung đến rủi ro thực hiện
• Lời nhắc tĩnh đến luồng thực hiện động
• Phê duyệt của con người đến thực hiện tự chủ
• An ninh ứng dụng đến quản lý tiếp xúc

Các nhà lãnh đạo an ninh hiểu sự chuyển đổi này đầu tiên có thể kiến trúc các thanh chắn an ninh có thể mở rộng với sự tự chủ. Những người khác sẽ kết thúc với các nội bộ kỹ thuật số mà không có kiểm soát nội bộ.

Tương lai của trí tuệ nhân tạo trong doanh nghiệp là chủ động. Tương lai của an ninh trí tuệ nhân tạo phải là tiếp xúc, nhận thức luồng công việc và được thiết kế cho các hoạt động tốc độ máy.

Bởi vì một khi các tác nhân trí tuệ nhân tạo có khả năng thực hiện, cách tiếp cận duy nhất khả thi là liên tục hiểu (và giảm thiểu) những gì chúng được tiếp xúc.