Những Rủi Ro Ẩn Của Trí Tuệ Nhân Tạo Bóng Tối

Hầu hết các đội ngũ doanh nghiệp không lên kế hoạch cho trí tuệ nhân tạo (AI) để tiếp quản các quy trình làm việc của họ. Mọi thứ bắt đầu với các công cụ đơn giản hứa hẹn sẽ giúp viết nhanh hơn, họp mượt mà hơn và cung cấp thông tin khách hàng tốt hơn. Nhân viên đã cài đặt trợ lý AI vào trình duyệt của họ, kết nối chúng với email, thêm chúng vào Zoom và thí nghiệm với Slack và Google Workspace.

Nhưng những thử nghiệm ban đầu này đã phát triển nhanh hơn so với các biện pháp kiểm soát của công ty và lan rộng trên các hệ thống SaaS quản lý toàn bộ công ty cho đến khi AI trở thành một phần không thể thiếu trong công việc hàng ngày. Và đó chính xác là cách trí tuệ nhân tạo bóng tối, một trong những rủi ro ít được đánh giá cao nhất trong các doanh nghiệp hiện đại ngày nay, đã xuất hiện. Nó đã phát triển bên trong hầu hết các tổ chức từ rất lâu trước khi các nhà lãnh đạo nhận ra mức độ sâu sắc mà nó gắn liền với dữ liệu nhạy cảm.

Trí tuệ nhân tạo bóng tối đề cập đến các công cụ AI hoạt động bên trong một tổ chức mà không có sự phê duyệt, không có khả năng hiển thị và thường không có rào cản. Một khi các công cụ này tích hợp trực tiếp với các nền tảng như Salesforce, Zoom hoặc Microsoft 365, chúng sẽ có quyền truy cập vào thông tin mà các nhà lãnh đạo cho rằng đã được bảo mật. Nguy cơ đã thể hiện rõ ràng trong các trường hợp không tuân thủ, luồng dữ liệu không được giám sát và các sự kiện mà các đại lý AI thực hiện các hành động mà không ai dự kiến.

Chúng tôi đã dành nhiều năm làm việc với các công ty tin rằng họ có chương trình bảo mật mạnh mẽ. Tuy nhiên, khi chúng tôi giúp họ điều tra môi trường SaaS của mình, họ đã phát hiện ra hàng trăm kết nối AI hoạt động mà họ không ủy quyền. Một số kết nối này đã hoạt động trong nhiều tháng, trong khi những kết nối khác thuộc về nhân viên đã rời công ty. Trí tuệ nhân tạo bóng tối phát triển âm thầm vì nó di chuyển nhanh hơn so với quản trị và nhanh hơn so với hầu hết các tổ chức được thiết lập để phát hiện.

Đường Ống Dữ Liệu Không Thể Hiện

Câu chuyện thường bắt đầu với những ý định cao cả: một nhân viên bán hàng muốn viết email tốt hơn, hoặc một người quản lý thành công khách hàng muốn có bản ghi của các cuộc họp quan trọng, hoặc một kỹ sư muốn có cách nhanh hơn để xem xét mã. Công cụ AI giúp những nhiệm vụ này trở nên dễ dàng, vì vậy nhân viên đã áp dụng chúng nhanh chóng. Tuy nhiên, việc áp dụng chỉ là bước đầu tiên.

Nhiều công cụ này yêu cầu sự cho phép rộng rãi thông qua OAuth, tiện ích mở rộng trình duyệt hoặc khóa API. Một khi được cấp phép, chúng sẽ có quyền truy cập vào hồ sơ CRM, ghi chú khách hàng, tin nhắn nội bộ hoặc mã nguồn bí mật.

Chúng tôi đã thấy những gì xảy ra tiếp theo. Trong một trường hợp, một đội đã phát hiện ra rằng một trợ lý AI kết nối với Salesforce đã tạo ra hơn bốn trăm báo cáo trong một cuối tuần. Ban đầu, mọi người đều cho rằng đó là một lỗi hệ thống. Tuy nhiên, AI đã có quyền truy cập rộng rãi. Nó bắt đầu tự động hóa các nhiệm vụ với quy mô mà không một nhà phân tích con người nào sẽ cố gắng. Dự báo bán hàng nhạy cảm và thông tin khách hàng xuất hiện ở những nơi chúng không nên có, chỉ vì một công cụ AI quyết định hành động.

Một tổ chức khác đã triển khai một dịch vụ chuyển录 AI để giúp các đội ngũ đối mặt với khách hàng. Nó đã ghi lại mọi cuộc họp và thu thập chi tiết về giá, vấn đề khách hàng, kế hoạch sắp tới và thông tin cạnh tranh. Tất cả thông tin đó đã đi thẳng vào một hệ thống của bên thứ ba mà không có thỏa thuận nào và không có khả năng hiển thị về cách dữ liệu được lưu trữ hoặc sử dụng. Những tình huống như vậy đang trở nên phổ biến hơn vì các công cụ AI hoạt động rất khác so với phần mềm truyền thống. Nó đọc nhiều dữ liệu hơn và di chuyển nhanh hơn, và nó thường hành động mà không có ranh giới rõ ràng.

Khi việc áp dụng AI tăng tốc, bề mặt tấn công sẽ tiếp tục mở rộng. Sự xuất hiện của giao thức ngữ cảnh mô hình, đặc biệt, đang làm cho AI trở nên mạnh mẽ hơn bằng cách cho phép các đại lý tương tác trực tiếp với dữ liệu doanh nghiệp. Tuy nhiên, sự tiện lợi này cũng mở ra những cánh cửa mới cho các cuộc tấn công chuỗi cung ứng và nâng cao đặc quyền.

Các nhà điều hành phải hiểu rằng AI hiện đại không phù hợp với các mô hình bảo mật cũ mà các công ty vẫn đang dựa vào, vì các công cụ AI này sống bên trong hệ thống của bạn, không phải ở rìa, điều này làm cho chúng khó phát hiện hơn và thậm chí còn khó quản lý hơn.

Giới Hạn Của Các Công Cụ Bảo Mật Truyền Thống

Hầu hết các chương trình bảo mật được xây dựng cho một thế giới nơi các ứng dụng sống bên trong mạng doanh nghiệp và người dùng kết nối thông qua các mẫu dự đoán. Tuy nhiên, AI đã phá vỡ mô hình này. Các công cụ hiện đại sống bên trong các nền tảng SaaS, không phải trên máy chủ doanh nghiệp. Chúng giao tiếp thông qua API, không phải mạng. Chúng đọc và viết dữ liệu liên tục, và chúng hành động theo những cách mà các hệ thống giám sát cũ không thể giải thích.

Kinh nghiệm của chúng tôi cho thấy rằng các tổ chức thường đánh giá thấp số lượng công cụ AI trong môi trường của họ. Nhiều tổ chức không biết哪些 tích hợp đang hoạt động hoặc bao lâu những quyền đã tồn tại. Những tổ chức khác cho rằng đăng nhập đơn hoặc quy tắc tường lửa là đủ để giữ an toàn. Nhưng chúng không đủ. Trí tuệ nhân tạo bóng tối phát triển mạnh trong các hệ thống danh tính, lớp phép, và tích hợp của bên thứ ba mà các đội bảo mật hiếm khi xem xét. Nó ẩn mình trong những nơi mà các công ty không nhìn và trong những công cụ mà nhân viên cài đặt vì họ muốn di chuyển nhanh hơn.

Sự chuyển dịch sang AI nhúng làm cho công việc này trở nên khó khăn hơn. Các nền tảng như Microsoft 365, Google Workspace, Slack và Salesforce hiện đã tích hợp các khả năng AI. Một số được kích hoạt theo mặc định. Những công cụ khác có thể được kích hoạt với một cú nhấp chuột. Các tổ chức có thể đã sử dụng các tính năng AI mà không nhận ra dữ liệu mà những tính năng đó tiêu thụ hoặc cách những hệ thống đó lưu trữ đầu ra. Nguy cơ đến không chỉ từ những gì nhân viên thêm vào, mà còn từ những gì nhà cung cấp giới thiệu.

Khôi Phục Kiểm Soát

Trí tuệ nhân tạo bóng tối không nên được coi là một thất bại của nhân viên. Thay vào đó, nó là một kết quả tự nhiên của tiến bộ kỹ thuật nhanh chóng và các nhà lãnh đạo cần có khả năng hiển thị, không phải là trách nhiệm. Bước đầu tiên là giả định rằng trí tuệ nhân tạo bóng tối tồn tại và bắt đầu lập bản đồ nơi AI đã tương tác với các hệ thống quan trọng. Bước thứ hai là tạo một tập hợp các công cụ AI được phê duyệt để các đội có thể đổi mới một cách an toàn. Chặn AI là không thực tế và cung cấp các lựa chọn an toàn là con đường duy nhất bền vững.

Giám sát thời gian thực cũng rất quan trọng. Các cuộc xem xét hàng quý không thể theo kịp với các công cụ có thể loại bỏ dữ liệu trong vài giờ. Các tổ chức cần có cái nhìn sâu sắc liên tục về các đại lý AI nào đang hoạt động, những quyền nào chúng nắm giữ và liệu những quyền đó có phù hợp với quyền truy cập tối thiểu hay không. Khi chúng tôi làm việc với các đội ngũ điều hành, chúng tôi khuyến khích họ đặt câu hỏi trực tiếp: những công cụ nào truy cập vào hệ thống khách hàng, những công cụ nào kết nối với môi trường sản xuất và những công cụ nào vẫn hoạt động sau khi người dùng rời đi?

Chúng tôi đã thấy các tổ chức biến sự混乱 này thành sự rõ ràng. Một khi các nhà lãnh đạo thấy nơi AI đang hoạt động bên trong hệ thống của họ, họ có thể đặt ra những giới hạn phù hợp và cho phép các đội sử dụng nó một cách an toàn. Đó là khi AI ngừng trở thành một rủi ro và bắt đầu trở thành một lợi thế thực sự.

Trí tuệ nhân tạo bóng tối không phải là điều gì đó sẽ đến trong tương lai. Nó đã ở đây. Nhưng những tổ chức giải quyết nó trước khi nó trở thành một cuộc khủng hoảng sẽ dẫn đầu kỷ nguyên AI.