Từ công cụ đến người trong cuộc: Sự trỗi dậy của danh tính AI tự động trong các tổ chức

AI đã tác động đáng kể đến hoạt động của mọi ngành, mang lại kết quả được cải thiện, năng suất tăng lên và kết quả phi thường. Các tổ chức ngày nay dựa vào các mô hình AI để đạt được lợi thế cạnh tranh, đưa ra quyết định sáng suốt và phân tích cũng như lập chiến lược cho các nỗ lực kinh doanh của họ. Từ quản lý sản phẩm đến bán hàng, các tổ chức đang triển khai các mô hình AI trong mọi bộ phận, điều chỉnh chúng để đáp ứng các mục tiêu và mục đích cụ thể.

AI không còn chỉ là một công cụ bổ sung trong hoạt động kinh doanh nữa; nó đã trở thành một phần không thể thiếu trong chiến lược và cơ sở hạ tầng của một tổ chức. Tuy nhiên, như Việc áp dụng AI ngày càng tăngmột thách thức mới xuất hiện: Làm thế nào để chúng ta quản lý các thực thể AI trong khuôn khổ nhận dạng của một tổ chức?

AI như là bản sắc tổ chức riêng biệt 

Ý tưởng về các mô hình AI có danh tính duy nhất trong một tổ chức đã phát triển từ một khái niệm lý thuyết thành một điều cần thiết. Các tổ chức đang bắt đầu chỉ định các vai trò và trách nhiệm cụ thể cho các mô hình AI, cấp cho chúng các quyền giống như chúng dành cho nhân viên con người. Các mô hình này có thể truy cập dữ liệu nhạy cảm, thực hiện nhiệm vụvà đưa ra quyết định một cách tự chủ.

Với các mô hình AI được đưa lên tàu như các danh tính riêng biệt, về cơ bản chúng trở thành đối tác kỹ thuật số của nhân viên. Cũng giống như nhân viên có quyền kiểm soát truy cập dựa trên vai trò, các mô hình AI có thể được cấp quyền để tương tác với nhiều hệ thống khác nhau. Tuy nhiên, việc mở rộng vai trò AI này cũng làm tăng bề mặt tấn công, tạo ra một loại mối đe dọa bảo mật mới.

Những nguy cơ của danh tính AI tự chủ trong các tổ chức

Mặc dù nhận dạng AI mang lại lợi ích cho các tổ chức, nhưng chúng cũng đặt ra một số thách thức, bao gồm:

• Mô hình AI bị đầu độc: Những kẻ đe dọa độc hại có thể thao túng các mô hình AI bằng cách đưa dữ liệu thiên vị hoặc ngẫu nhiên, khiến các mô hình này tạo ra kết quả không chính xác. Điều này có tác động đáng kể đến các ứng dụng tài chính, bảo mật và chăm sóc sức khỏe.
• Mối đe dọa từ nội gián đến từ AI: Nếu một hệ thống AI bị xâm phạm, nó có thể hoạt động như một mối đe dọa nội gián, do các lỗ hổng vô ý hoặc thao túng đối thủ. Không giống như các mối đe dọa nội gián truyền thống liên quan đến nhân viên con người, các mối đe dọa nội gián dựa trên AI khó phát hiện hơn vì chúng có thể hoạt động trong phạm vi quyền được chỉ định.
• AI phát triển “tính cách” độc đáo: Các mô hình AI được đào tạo trên nhiều bộ dữ liệu và khuôn khổ khác nhau, có thể tiến hóa theo những cách không thể đoán trước. Mặc dù chúng không có ý thức thực sự, nhưng các mô hình ra quyết định của chúng có thể đi chệch khỏi các hành vi dự kiến. Ví dụ, một mô hình bảo mật AI có thể bắt đầu đánh dấu sai các giao dịch hợp pháp là gian lận hoặc ngược lại khi tiếp xúc với dữ liệu đào tạo gây hiểu lầm.
• Sự xâm phạm AI dẫn đến trộm cắp danh tính: Cũng giống như thông tin đăng nhập bị đánh cắp có thể cấp quyền truy cập trái phép, AI bị cướp danh tính có thể được sử dụng để bỏ qua các biện pháp bảo mật. Khi một hệ thống AI có quyền truy cập đặc quyền bị xâm phạm, kẻ tấn công sẽ có được một công cụ cực kỳ mạnh mẽ có thể hoạt động theo thông tin xác thực hợp lệ.

Quản lý danh tính AI: Áp dụng các nguyên tắc quản trị danh tính con người 

Để giảm thiểu những rủi ro này, các tổ chức phải xem xét lại cách họ quản lý các mô hình AI trong khuôn khổ quản lý danh tính và quyền truy cập của mình. Các chiến lược sau đây có thể giúp ích:

• Quản lý danh tính AI dựa trên vai trò: Đối xử với các mô hình AI như nhân viên bằng cách thiết lập quyền kiểm soát truy cập chặt chẽ, đảm bảo chúng chỉ có các quyền cần thiết để thực hiện các nhiệm vụ cụ thể.
• Theo dõi hành vi: Triển khai các công cụ giám sát do AI điều khiển để theo dõi các hoạt động của AI. Nếu mô hình AI bắt đầu thể hiện hành vi nằm ngoài các thông số mong đợi, cảnh báo sẽ được kích hoạt.
• Kiến trúc Zero Trust cho AI: Cũng giống như người dùng cần xác thực ở mọi bước, các mô hình AI cũng cần được xác minh liên tục để đảm bảo chúng hoạt động trong phạm vi được ủy quyền.
• Thu hồi và kiểm toán danh tính AI: Các tổ chức phải thiết lập các quy trình để thu hồi hoặc sửa đổi quyền truy cập AI một cách linh hoạt, đặc biệt là khi ứng phó với hành vi đáng ngờ.

Phân tích hiệu ứng rắn hổ mang có thể xảy ra

Đôi khi, giải pháp cho một vấn đề chỉ làm cho vấn đề trở nên tồi tệ hơn, một tình huống được mô tả trong lịch sử là hiệu ứng rắn hổ mang—còn được gọi là động cơ lệch lạc. Trong trường hợp này, trong khi đưa danh tính AI vào hệ thống thư mục giải quyết thách thức trong việc quản lý danh tính AI, nó cũng có thể dẫn đến việc các mô hình AI học các hệ thống thư mục và chức năng của chúng.

Về lâu dài, các mô hình AI có thể biểu hiện hành vi không độc hại trong khi vẫn dễ bị tấn công hoặc thậm chí đánh cắp dữ liệu để phản hồi các lời nhắc độc hại. Điều này tạo ra hiệu ứng rắn hổ mang, trong đó nỗ lực thiết lập quyền kiểm soát đối với danh tính AI thay vào đó cho phép chúng học các điều khiển thư mục, cuối cùng dẫn đến tình huống mà các danh tính đó trở nên không thể kiểm soát được.

Ví dụ, một mô hình AI được tích hợp vào SOC tự động của tổ chức có khả năng phân tích các mẫu truy cập và suy ra các đặc quyền cần thiết để truy cập vào các tài nguyên quan trọng. Nếu không có biện pháp bảo mật phù hợp, hệ thống như vậy có thể sửa đổi chính sách nhóm hoặc khai thác các tài khoản không hoạt động để giành quyền kiểm soát trái phép đối với các hệ thống.

Cân bằng giữa trí thông minh và kiểm soát

Cuối cùng, rất khó để xác định cách áp dụng AI sẽ tác động đến tình hình bảo mật chung của một tổ chức. Sự không chắc chắn này chủ yếu phát sinh từ quy mô mà các mô hình AI có thể học, thích ứng và hành động, tùy thuộc vào dữ liệu mà chúng thu thập. Về bản chất, một mô hình trở thành những gì nó tiêu thụ.

Trong khi học có giám sát cho phép đào tạo có kiểm soát và hướng dẫn, nó có thể hạn chế khả năng thích ứng với môi trường năng động của mô hình, có khả năng khiến mô hình trở nên cứng nhắc hoặc lỗi thời trong bối cảnh hoạt động đang thay đổi.

Ngược lại, học tập không giám sát cấp cho mô hình quyền tự chủ lớn hơn, tăng khả năng mô hình sẽ khám phá các tập dữ liệu đa dạng, có khả năng bao gồm cả những tập dữ liệu nằm ngoài phạm vi dự định của mô hình. Điều này có thể ảnh hưởng đến hành vi của mô hình theo những cách không mong muốn hoặc không an toàn.

Thách thức, sau đó, là cân bằng nghịch lý này: hạn chế một hệ thống vốn không bị hạn chế. Mục tiêu là thiết kế một danh tính AI có chức năng và thích ứng mà không hoàn toàn không bị hạn chế, được trao quyền nhưng không bị kiểm soát.

Tương lai: AI có khả năng tự chủ hạn chế? 

Với sự phụ thuộc ngày càng tăng vào AI, các tổ chức cần áp đặt các hạn chế đối với quyền tự chủ của AI. Mặc dù sự độc lập hoàn toàn cho các thực thể AI vẫn chưa chắc chắn trong tương lai gần, quyền tự chủ được kiểm soát, trong đó các mô hình AI hoạt động trong phạm vi được xác định trước, có thể trở thành tiêu chuẩn. Cách tiếp cận này đảm bảo rằng AI nâng cao hiệu quả đồng thời giảm thiểu các rủi ro bảo mật không lường trước được.

Sẽ không có gì ngạc nhiên khi thấy các cơ quan quản lý thiết lập các tiêu chuẩn tuân thủ cụ thể để quản lý cách các tổ chức triển khai các mô hình AI. Trọng tâm chính sẽ là—và nên—về quyền riêng tư dữ liệu, đặc biệt là đối với các tổ chức xử lý thông tin nhận dạng cá nhân (PII) quan trọng và nhạy cảm.

Mặc dù những kịch bản này có vẻ mang tính suy đoán, nhưng chúng không phải là không thể xảy ra. Các tổ chức phải chủ động giải quyết những thách thức này trước khi AI trở thành cả tài sản và trách nhiệm trong hệ sinh thái kỹ thuật số của họ. Khi AI phát triển thành một bản sắc hoạt động, việc bảo vệ nó phải là ưu tiên hàng đầu.