Hanah-Marie Darley, Giám đốc Điều hành Trí tuệ Nhân tạo tại Geordie AI – Loạt Phỏng vấn

Hanah-Marie Darley, Giám đốc Điều hành Trí tuệ Nhân tạo tại Geordie AI, là một nhà lãnh đạo trí tuệ nhân tạo và bảo mật giàu kinh nghiệm, người đã đồng sáng lập công ty để giúp các đội ngũ CNTT, rủi ro và bảo mật của doanh nghiệp áp dụng trí tuệ nhân tạo với sự rõ ràng và kiểm soát. Với gần một thập kỷ hỗ trợ các hoạt động tình báo trong chính phủ liên bang Hoa Kỳ và các vai trò lãnh đạo cấp cao tại Darktrace, cô kết hợp chuyên môn sâu về tình báo威脅, phân tích địa chính trị và tâm lý học ứng dụng với kinh nghiệm thực tế về chiến lược và phát triển sản phẩm trí tuệ nhân tạo. Công việc của cô tập trung vào việc căn chỉnh các hệ thống tự động với ý định của con người, cho phép các doanh nghiệp triển khai và mở rộng các tác nhân trí tuệ nhân tạo một cách cân bằng giữa đổi mới, giám sát và các hạn chế của thế giới thực.

Geordie AI là một công ty phần mềm doanh nghiệp có trụ sở tại London, tập trung vào việc bảo mật và quản lý các tác nhân trí tuệ nhân tạo khi chúng trở nên tích hợp vào các môi trường doanh nghiệp. Nền tảng của công ty cung cấp khả năng hiển thị hoạt động của tác nhân, giám sát liên tục về tư thế rủi ro và các cơ chế quản lý có cấu trúc cho phép các tổ chức triển khai và mở rộng các hệ thống trí tuệ nhân tạo một cách tự tin. Bằng cách cung cấp khả năng quan sát, hỗ trợ tuân thủ và giám sát hoạt động được tùy chỉnh cho kỷ nguyên tác nhân, Geordie nhằm mục đích cung cấp cho các doanh nghiệp sự minh bạch và kiểm soát cần thiết để tích hợp các công nghệ tự động hóa ngày càng tăng mà không ảnh hưởng đến bảo mật hoặc trách nhiệm.

Bạn đã dành gần một thập kỷ trong lĩnh vực tình báo威脅 và phân tích địa chính trị của chính phủ liên bang Hoa Kỳ, sau đó lãnh đạo nghiên cứu威脅 và chiến lược trí tuệ nhân tạo tại Darktrace, và hiện đang lãnh đạo chiến lược trí tuệ nhân tạo và sản phẩm tại Geordie AI. Những kinh nghiệm nào qua lại giữa chính phủ và bảo mật doanh nghiệp đã ảnh hưởng đến quyết định xây dựng Geordie, và vấn đề cốt lõi nào bạn quyết tâm giải quyết?

Qua lại giữa chính phủ và bảo mật doanh nghiệp, tôi luôn gặp phải sự căng thẳng cấu trúc. Các tổ chức đã đầu tư mạnh mẽ vào trí tuệ nhân tạo, nhưng sự tự tin vào cách các hệ thống này hoạt động lại không theo kịp kỳ vọng về lợi nhuận. Thách thức không phải là khả năng. Đó là niềm tin.

Khi trí tuệ nhân tạo chuyển từ công cụ thử nghiệm sang các luồng công việc hoạt động, khoảng cách đó trở nên rõ ràng hơn. Các tác nhân giới thiệu sự tự động hóa, ra quyết định và kéo dài trên các hệ thống theo cách mà phần mềm truyền thống không bao giờ làm được. Doanh nghiệp cần một cách để hiểu làm thế nào các tác nhân hoạt động, ở đâu chúng hoạt động và làm thế nào rủi ro xuất hiện thông qua hành vi của chúng. Geordie được xây dựng để lấp đầy khoảng trống rõ ràng này để các tổ chức có thể áp dụng tự động hóa với sự tự tin hơn là do dự.

Theo quan điểm của bạn, rủi ro nào bị hiểu lầm nhất mà các hệ thống trí tuệ nhân tạo tự động hoặc tác nhân trình bày cho các doanh nghiệp, và làm thế nào “hiệu ứng chuỗi” của việc ra quyết định theo ngữ cảnh khác với các mô hình phơi nhiễm bảo mật truyền thống?

Các thất bại im lặng vẫn còn ít được hiểu. Một tác nhân có thể hoạt động trong các quyền được phê duyệt và ranh giới truy cập hợp pháp trong khi vẫn tạo ra các kết quả khác với ý định.

Điều này phản ánh bản chất của các hệ thống tác nhân. Chúng giải thích ngữ cảnh và đưa ra quyết định trong thời gian thực. Không giống như phần mềm quyết định, hành vi được định hình động trên các chuỗi hành động. Điều đó thay đổi mô hình bảo mật. Phơi nhiễm không còn phụ thuộc hoàn toàn vào việc vi phạm truy cập. Nó xuất hiện thông qua cách quyết định, công cụ và ngữ cảnh tương tác theo thời gian.

Phương pháp của Geordie nhấn mạnh khả năng quan sát hành vi, đánh giá rủi ro theo ngữ cảnh và kiểm soát động đối với hoạt động của tác nhân. Làm thế nào các tổ chức nên cân bằng nhu cầu về khả năng hiển thị thời gian thực như vậy với các lo ngại về sự phức tạp hoạt động hoặc hiệu suất hệ thống?

Các doanh nghiệp không nên phải trao đổi hiệu suất cho sự giám sát. Kiến trúc của chúng tôi có chủ đích tránh các proxy và cổng inline, cho phép các tổ chức xây dựng và vận hành các tác nhân ở nơi hoạt động có ý nghĩa.

Khả năng hiển thị và kiểm soát phải mở rộng với tự động hóa mà không giới thiệu ma sát hoặc độ trễ. Nếu các cơ chế quản lý gây cản trở luồng công việc, việc áp dụng sẽ bị đình trệ. Bảo mật hiệu quả cho phép các hệ sinh thái mở rộng an toàn hơn là hạn chế đổi mới.

Từ công việc của bạn với khách hàng doanh nghiệp và các nhà lãnh đạo rủi ro, loại luồng công việc hoặc trường hợp sử dụng nào dễ bị tác nhân trôi vào các hoạt động có rủi ro cao hơn, và làm thế nào các chỉ số sớm có thể được phát hiện trước khi chúng leo thang thành các sự cố vật chất?

Rủi ro có xu hướng tăng với sự phức tạp. Số lượng quyết định mà một tác nhân đưa ra độc lập càng lớn, càng có nhiều tiềm năng cho sự phân kỳ hành vi.

Sự trôi thường xuất hiện thông qua việc nối công cụ, tái sử dụng ngữ cảnh và các luồng công việc xuất hiện. Các chỉ số sớm bao gồm việc gọi công cụ không mong muốn, các mẫu trình tự không bình thường và sự thay đổi trong chuyển động dữ liệu. Phát hiện các tín hiệu này đòi hỏi phải phân tích hành vi chứ không phải chỉ theo dõi sự kiện riêng lẻ.

Khi các tác nhân trí tuệ nhân tạo tái sử dụng ngữ cảnh và công cụ trên các nhiệm vụ, những chế độ thất bại tinh vi hoặc bị đánh giá thấp nào mà các đội bảo mật nên chú ý hơn?

Sự tái sử dụng ngữ cảnh vẫn bị đánh giá thấp. Phơi nhiễm thường xuất hiện không phải từ các quyền truy cập quá mức mà từ cách thông tin tồn tại và lan truyền trên các nhiệm vụ.

Các tác nhân có thể truy cập hợp pháp vào dữ liệu trong một ngữ cảnh và vô tình mang trạng thái đó vào một ngữ cảnh khác. Kết hợp với việc nối công cụ, điều này có thể tạo ra việc tiết lộ hoặc biến đổi thông tin nhạy cảm không mong muốn.

Nhiều tổ chức vẫn phụ thuộc vào các công cụ bảo mật doanh nghiệp truyền thống như Phát hiện và Phản hồi Endpoint và Nền tảng Phát hiện và Phản hồi Mở rộng. Những phương pháp này thiếu sót ở đâu khi quản lý các hệ thống trí tuệ nhân tạo tự động thực hiện các hành động nhiều bước?

Các nền tảng EDR và XDR vẫn rất cần thiết, nhưng chúng được thiết kế xung quanh các mô hình威脅 tập trung vào con người. Các tác nhân hoạt động trên các lớp quyết định mở rộng ra ngoài telemetry điểm cuối và định danh.

Hiểu hành vi của tác nhân đòi hỏi phải có cái nhìn sâu sắc vào các mẫu lý luận, lựa chọn công cụ và luồng quyết định theo ngữ cảnh. Không có lớp này, một phần lớn hoạt động của tác nhân vẫn còn không rõ ràng.

Đối với các nhà lãnh đạo CNTT, rủi ro và bảo mật muốn kích hoạt đổi mới nhưng tránh tự động hóa mất kiểm soát, “tự động hóa được quản lý” thực sự trông như thế nào trong thực tế?

Tự động hóa được quản lý bắt đầu với khả năng hiển thị. Các tổ chức phải hiểu nơi các tác nhân hoạt động, mức độ quyền quyết định mà chúng nắm giữ và loại rủi ro mà khả năng của chúng giới thiệu.

Quản lý hiệu quả nhất khi được nhúng sớm, cho phép thử nghiệm trong các ranh giới được xác định. Điều này hỗ trợ đổi mới trong khi duy trì sự tự tin vào kết quả.

Giải thích là một chủ đề thường được thảo luận ở cấp độ đầu ra mô hình. Làm thế nào các doanh nghiệp nên suy nghĩ về giải thích và khả năng kiểm toán khi rủi ro thực sự có thể nằm trong chuỗi hành động mà một tác nhân thực hiện theo thời gian?

Giải thích mô hình chỉ là một phần của phương trình. Rủi ro của doanh nghiệp ngày càng nằm trong các chuỗi hành vi chứ không phải ở đầu ra riêng lẻ.

Khả năng kiểm toán đòi hỏi phải hiểu làm thế nào các rào cản đã định hình việc giải thích, công cụ nào được gọi, và cách ngữ cảnh ảnh hưởng đến quyết định. Khả năng quan sát hành vi trở thành nền tảng cho trách nhiệm.

Đối với các tổ chức nhận ra nhu cầu về sự giám sát mạnh mẽ hơn đối với các hệ thống trí tuệ nhân tạo tự động, những bước cụ thể nào họ nên thực hiện ngay hôm nay để giảm rủi ro tác nhân mà không làm chậm đổi mới, và Geordie AI cụ thể giúp các doanh nghiệp vận hành sự cân bằng giữa kiểm soát và khả năng như thế nào?

Các tổ chức sẽ được lợi nếu bắt đầu sớm hơn là chờ đợi các khuôn khổ hoàn hảo. Sự tập trung ban đầu nên tập trung vào hàng tồn kho, khả năng hiển thị hành vi và hiểu làm thế nào các tác nhân tương tác với hệ thống.

Các mô hình quản lý thường giới thiệu độ trễ thường cản trở khả năng mở rộng. Giám sát phải phù hợp với tốc độ hoạt động. Geordie cung cấp khả năng hiển thị vào cấu hình tác nhân, hành vi và động lực rủi ro trong khi cho phép các cơ chế kiểm soát được thiết kế cho các hệ thống tự động.

Nhìn về tương lai, điều gì sẽ phân biệt các tổ chức thành công trong việc mở rộng trí tuệ nhân tạo tác nhân trên các luồng công việc với những tổ chức gặp phải sự cố do rủi ro không được quản lý, và lãnh đạo nên chuẩn bị như thế nào ngay bây giờ?

Các yếu tố khác biệt sớm sẽ là sự rõ ràng và đo lường. Các đội hiểu khả năng, tác động và mẫu hành vi của tác nhân sẽ mở rộng một cách tự tin hơn.

Trong dài hạn, lợi thế cạnh tranh sẽ ủng hộ các tổ chức phát triển các hệ sinh thái tác nhân chuyên dụng, nhận thức ngữ cảnh. Sự chính xác, chứ không phải tổng quát hóa, trở thành động lực của hiệu suất và khả năng phục hồi.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Geordie AI.