Kieran Norton, Lãnh đạo Trí tuệ nhân tạo và Tự động hóa An ninh mạng của Deloitte – Loạt phỏng vấn

Kieran Norton là một đối tác (đối tác) tại Deloitte & Touche LLP, là Lãnh đạo An ninh mạng Trí tuệ nhân tạo và Tự động hóa của Deloitte. Với hơn 25 năm kinh nghiệm rộng rãi và nền tảng công nghệ vững chắc, Kieran excels trong việc giải quyết các rủi ro mới nổi, cung cấp cho khách hàng những thông tin chiến lược và thực tế về quản lý rủi ro an ninh mạng và công nghệ.

Trong Deloitte, Kieran lãnh đạo các nỗ lực chuyển đổi Trí tuệ nhân tạo cho Thực hành An ninh mạng của Mỹ. Ông giám sát việc thiết kế, phát triển và triển khai các giải pháp Trí tuệ nhân tạo và tự động hóa, giúp khách hàng nâng cao khả năng an ninh mạng và áp dụng công nghệ Trí tuệ nhân tạo/Trí tuệ nhân tạo tổng quát trong khi quản lý hiệu quả các rủi ro liên quan.

Ở bên ngoài, Kieran giúp khách hàng phát triển các chiến lược an ninh truyền thống để hỗ trợ chuyển đổi số, hiện đại hóa chuỗi cung ứng, tăng tốc thời gian đưa sản phẩm ra thị trường, giảm chi phí và đạt được các mục tiêu kinh doanh quan trọng khác.

Với các tác nhân Trí tuệ nhân tạo trở nên tự chủ ngày càng tăng, những loại rủi ro an ninh mạng mới nào đang xuất hiện mà các doanh nghiệp có thể chưa hiểu rõ?

Các rủi ro liên quan đến việc sử dụng các công nghệ Trí tuệ nhân tạo mới để thiết kế, xây dựng, triển khai và quản lý các tác nhân có thể được hiểu – nhưng việc triển khai là một vấn đề khác.

Sự tự chủ và tự do hành động của các tác nhân Trí tuệ nhân tạo – khả năng của các tác nhân để nhận thức, quyết định, hành động và hoạt động độc lập với con người – có thể tạo ra thách thức trong việc duy trì tầm nhìn và kiểm soát các mối quan hệ và tương tác giữa các mô hình/tác nhân với người dùng, dữ liệu và các tác nhân khác. Khi các tác nhân tiếp tục nhân lên trong doanh nghiệp, kết nối nhiều nền tảng và dịch vụ với sự tự chủ và quyền quyết định ngày càng tăng, điều này sẽ trở nên khó khăn hơn. Các rủi ro liên quan đến việc bảo vệ kém, quá mức hoặc bóng tối của sự tự chủ/tự do hành động của các tác nhân là rất nhiều. Điều này có thể bao gồm rò rỉ dữ liệu, thao túng tác nhân (qua việc tiêm lệnh, v.v.) và chuỗi tấn công từ tác nhân này sang tác nhân khác. Không phải tất cả các rủi ro này đều hiện tại, nhưng các doanh nghiệp nên xem xét cách họ sẽ quản lý các rủi ro này khi áp dụng và trưởng thành các khả năng Trí tuệ nhân tạo.

Quản lý danh tính Trí tuệ nhân tạo là một rủi ro khác mà nên được xem xét một cách cẩn thận. Xác định, thiết lập và quản lý các danh tính máy của các tác nhân Trí tuệ nhân tạo sẽ trở nên phức tạp hơn khi nhiều tác nhân được triển khai và sử dụng trên các doanh nghiệp. Bản chất tạm thời của các mô hình/mô hình thành phần được tạo và hủy một cách lặp đi lặp lại trong các hoàn cảnh khác nhau sẽ dẫn đến thách thức trong việc duy trì các ID mô hình. Các ID mô hình cần thiết để theo dõi hoạt động và hành vi của các tác nhân từ cả góc độ an ninh và niềm tin. Nếu không được triển khai và theo dõi đúng cách, việc phát hiện các vấn đề tiềm ẩn (hiệu suất, an ninh, v.v.) sẽ rất khó khăn.

Bạn nên lo lắng đến mức độ nào về các cuộc tấn công làm nhiễm độc dữ liệu trong các đường ống đào tạo Trí tuệ nhân tạo, và những chiến lược phòng ngừa tốt nhất là gì?

Nhiễm độc dữ liệu đại diện cho một trong nhiều cách để ảnh hưởng / thao túng các mô hình Trí tuệ nhân tạo trong chu kỳ phát triển mô hình. Nhiễm độc thường xảy ra khi một tác nhân xấu tiêm dữ liệu có hại vào tập dữ liệu đào tạo. Tuy nhiên, điều quan trọng cần lưu ý là ngoài các tác nhân đối đầu rõ ràng, nhiễm độc dữ liệu có thể xảy ra do sai lầm hoặc vấn đề hệ thống trong việc tạo dữ liệu. Khi các tổ chức trở nên đói dữ liệu hơn và tìm kiếm dữ liệu có thể sử dụng ở nhiều nơi (ví dụ: chú thích thủ công được thuê ngoài, tập dữ liệu tổng hợp hoặc được tạo ra, v.v.), khả năng vô tình nhiễm độc dữ liệu đào tạo tăng lên và có thể không luôn được chẩn đoán dễ dàng.

Định hướng các đường ống đào tạo là một vector tấn công chính được sử dụng bởi các đối thủ cho cả ảnh hưởng tinh vi và rõ ràng. Thao túng các mô hình Trí tuệ nhân tạo có thể dẫn đến các kết quả bao gồm các kết quả dương tính giả, âm tính giả và các ảnh hưởng tinh vi khác có thể thay đổi dự đoán của Trí tuệ nhân tạo.

Các chiến lược phòng ngừa bao gồm các giải pháp kỹ thuật, thủ tục và kiến trúc. Các chiến lược thủ tục bao gồm xác thực dữ liệu / làm sạch và đánh giá niềm tin; các chiến lược kỹ thuật bao gồm sử dụng các tính năng bảo mật với các kỹ thuật Trí tuệ nhân tạo như học liên kết; các chiến lược kiến trúc bao gồm triển khai các đường ống không tin cậy và triển khai giám sát / cảnh báo mạnh mẽ để có thể phát hiện các bất thường. Những mô hình này chỉ tốt như dữ liệu của chúng, ngay cả khi một tổ chức đang sử dụng các công cụ mới nhất và tốt nhất, vì vậy nhiễm độc dữ liệu có thể trở thành một điểm yếu của những người không chuẩn bị.

Trong những cách nào, các tác nhân độc hại có thể thao túng các mô hình Trí tuệ nhân tạo sau khi triển khai, và các doanh nghiệp có thể phát hiện sự can thiệp sớm như thế nào?

Truy cập vào các mô hình Trí tuệ nhân tạo sau khi triển khai thường được thực hiện thông qua truy cập vào Giao diện lập trình ứng dụng (API), một ứng dụng thông qua hệ thống nhúng, và / hoặc thông qua một cổng giao thức đến một thiết bị cạnh. Phát hiện sớm đòi hỏi phải làm việc sớm trong Chu kỳ phát triển phần mềm (SDLC), hiểu các kỹ thuật thao túng mô hình liên quan cũng như các vector đe dọa được ưu tiên để thiết kế các phương pháp phát hiện và bảo vệ. Một số thao túng mô hình liên quan đến việc bắt giữ API, thao túng không gian bộ nhớ (thời gian chạy), và nhiễm độc từ từ qua sự trôi của mô hình. Dữ liệu điểm cuối / giám sát (thông qua Phát hiện và Phản hồi Điểm cuối và Phát hiện và Phản hồi Mở rộng), triển khai các đường ống suy luận bảo mật (ví dụ: tính toán bảo mật và các nguyên tắc Không tin cậy), và cho phép đánh dấu nước / ký mô hình là một số chiến lược phát hiện sớm.

Đầu vào lệnh là một họ các cuộc tấn công mô hình xảy ra sau khi triển khai và có thể được sử dụng cho các mục đích khác nhau, bao gồm trích xuất dữ liệu theo cách không mong muốn, tiết lộ các lệnh hệ thống không dành cho người dùng bình thường, và gây ra các phản hồi mô hình có thể khiến tổ chức bị coi là tiêu cực. Có nhiều công cụ rào cản trên thị trường để giúp giảm thiểu rủi ro của việc tiêm lệnh, nhưng như với phần còn lại của an ninh mạng, đây là một cuộc đua vũ trang nơi các kỹ thuật tấn công và các biện pháp đối phó phòng thủ luôn được cập nhật.

Làm thế nào các khuôn khổ an ninh mạng truyền thống không đủ để giải quyết các rủi ro duy nhất của các hệ thống Trí tuệ nhân tạo?

Chúng tôi thường liên kết ‘khuôn khổ an ninh mạng’ với hướng dẫn và tiêu chuẩn – ví dụ: NIST, ISO, MITRE, v.v. Một số tổ chức đứng sau những hướng dẫn này đã xuất bản hướng dẫn cập nhật cụ thể để bảo vệ các hệ thống Trí tuệ nhân tạo, điều này có thể rất hữu ích.

Trí tuệ nhân tạo không làm cho các khuôn khổ này trở nên không hiệu quả – bạn vẫn cần giải quyết tất cả các lĩnh vực truyền thống của an ninh mạng — những gì bạn có thể cần là cập nhật các quy trình và chương trình (ví dụ: SDLC) của mình để giải quyết các sắc thái liên quan đến các công việc Trí tuệ nhân tạo. Việc nhúng và tự động hóa (nếu có thể) các biện pháp kiểm soát để bảo vệ chống lại các rủi ro tinh vi được mô tả ở trên là cách tiếp cận hiệu quả nhất.

Về mặt chiến thuật, đáng chú ý là phạm vi đầy đủ các đầu vào và đầu ra có thể lớn hơn nhiều so với các ứng dụng không phải Trí tuệ nhân tạo, điều này tạo ra một vấn đề về quy mô cho các thử nghiệm thâm nhập truyền thống và các phát hiện dựa trên quy tắc, từ đó tập trung vào tự động hóa.

Các yếu tố chính nào nên được bao gồm trong một chiến lược an ninh mạng cụ thể được thiết kế cho các tổ chức triển khai Trí tuệ nhân tạo tổng quát hoặc các mô hình ngôn ngữ lớn?

Khi phát triển một chiến lược an ninh mạng để triển khai Trí tuệ nhân tạo tổng quát hoặc các mô hình ngôn ngữ lớn (LLM), không có cách tiếp cận phù hợp với tất cả. Điều này phụ thuộc rất nhiều vào các mục tiêu kinh doanh tổng thể, chiến lược CNTT, tập trung vào ngành, dấu chân quy định, mức độ chấp nhận rủi ro, v.v. cũng như các trường hợp sử dụng Trí tuệ nhân tạo cụ thể đang được xem xét. Một chương trình trò chuyện chỉ sử dụng nội bộ mang một hồ sơ rủi ro rất khác so với một tác nhân có thể ảnh hưởng đến kết quả sức khỏe cho bệnh nhân, ví dụ.

Những điều cơ bản mà mọi tổ chức nên giải quyết:

• Thực hiện đánh giá sẵn sàng – điều này thiết lập một mức cơ sở về các khả năng hiện tại cũng như xác định các khoảng trống tiềm ẩn khi xem xét các trường hợp sử dụng Trí tuệ nhân tạo được ưu tiên. Các tổ chức nên xác định nơi có các biện pháp kiểm soát hiện có có thể được mở rộng để giải quyết các rủi ro tinh vi liên quan đến Trí tuệ nhân tạo tổng quát và nhu cầu triển khai các công nghệ mới hoặc nâng cao các quy trình hiện tại.
• Thiết lập một quy trình quản trị Trí tuệ nhân tạo – điều này có thể là hoàn toàn mới trong một tổ chức hoặc một sửa đổi đối với các chương trình quản lý rủi ro hiện tại. Điều này nên bao gồm việc xác định các chức năng kích hoạt Trí tuệ nhân tạo trên toàn doanh nghiệp và kéo các bên liên quan từ khắp doanh nghiệp, CNTT, sản phẩm, rủi ro, an ninh mạng, v.v. như một phần của cấu trúc quản trị. Ngoài ra, việc xác định / cập nhật các chính sách liên quan (chính sách sử dụng chấp nhận được, chính sách bảo mật đám mây, quản lý rủi ro công nghệ của bên thứ ba, v.v.) cũng như thiết lập các yêu cầu đào tạo và phát triển để hỗ trợ năng lực Trí tuệ nhân tạo và an ninh / an toàn Trí tuệ nhân tạo trên toàn tổ chức nên được bao gồm.
• Thiết lập một kiến trúc Trí tuệ nhân tạo đáng tin cậy – với việc thiết lập các nền tảng Trí tuệ nhân tạo / Trí tuệ nhân tạo tổng quát và các hộp cát thí nghiệm, các công nghệ hiện có cũng như các giải pháp mới (ví dụ: tường lửa Trí tuệ nhân tạo / bảo mật thời gian chạy, rào cản, quản lý vòng đời mô hình, khả năng quản lý danh tính nâng cao, v.v.) sẽ cần được tích hợp vào các môi trường phát triển và triển khai một cách lặp đi lặp lại và có thể mở rộng.
• Nâng cao SDLC – các tổ chức nên xây dựng các tích hợp chặt chẽ giữa các nhà phát triển Trí tuệ nhân tạo và các nhóm quản lý rủi ro làm việc để bảo vệ, bảo mật và xây dựng niềm tin vào các giải pháp Trí tuệ nhân tạo. Điều này bao gồm việc thiết lập một tập hợp thống nhất / tiêu chuẩn về các thực hành phát triển phần mềm bảo mật và các yêu cầu kiểm soát, kết hợp với các nhóm áp dụng và phát triển Trí tuệ nhân tạo rộng lớn hơn.

Bạn có thể giải thích khái niệm về một “tường lửa Trí tuệ nhân tạo” theo cách đơn giản không? Nó khác với tường lửa mạng truyền thống như thế nào?

Một tường lửa Trí tuệ nhân tạo là một lớp bảo mật được thiết kế để theo dõi và kiểm soát các đầu vào và đầu ra của các hệ thống Trí tuệ nhân tạo – đặc biệt là các mô hình ngôn ngữ lớn – để ngăn chặn việc lạm dụng, bảo vệ dữ liệu nhạy cảm và đảm bảo hành vi Trí tuệ nhân tạo có trách nhiệm. Không giống như các tường lửa truyền thống bảo vệ mạng bằng cách lọc lưu lượng truy cập dựa trên địa chỉ IP, cổng và các mối đe dọa đã biết, các tường lửa Trí tuệ nhân tạo tập trung vào việc hiểu và quản lý các tương tác ngôn ngữ tự nhiên. Chúng chặn các nội dung độc hại, rò rỉ dữ liệu, tiêm lệnh và sử dụng Trí tuệ nhân tạo không đạo đức bằng cách áp dụng các chính sách, bộ lọc nhận thức ngữ cảnh và các rào cản mô hình cụ thể. Về bản chất, trong khi một tường lửa truyền thống bảo vệ mạng của bạn, một tường lửa Trí tuệ nhân tạo bảo vệ các mô hình Trí tuệ nhân tạo và đầu ra của chúng.

Có những tiêu chuẩn ngành hoặc giao thức mới nào đang xuất hiện để quản lý việc sử dụng các tường lửa Trí tuệ nhân tạo cụ thể hoặc các rào cản?
Giao thức truyền thông mô hình (MCP) không phải là một tiêu chuẩn phổ quát nhưng đang được áp dụng trên toàn ngành để giúp giải quyết gánh nặng cấu hình ngày càng tăng đối với các doanh nghiệp có nhu cầu quản lý sự đa dạng của các giải pháp Trí tuệ nhân tạo – Trí tuệ nhân tạo tổng quát. MCP quản lý cách các mô hình Trí tuệ nhân tạo trao đổi thông tin (bao gồm cả việc học) bao gồm tính toàn vẹn và xác thực. Chúng ta có thể coi MCP như một chồng giao thức TCP / IP cho các mô hình Trí tuệ nhân tạo, điều này đặc biệt hữu ích trong cả các trường hợp sử dụng tập trung, liên bang hoặc phân tán. MCP hiện tại là một khuôn khổ khái niệm được thực hiện thông qua các công cụ, nghiên cứu và dự án khác nhau.

Không gian này đang di chuyển nhanh và chúng ta có thể mong đợi nó sẽ thay đổi rất nhiều trong vài năm tới.

Làm thế nào Trí tuệ nhân tạo đang biến đổi lĩnh vực phát hiện và phản hồi mối đe dọa ngày nay so với chỉ năm năm trước?

Chúng tôi đã thấy các nền tảng hoạt động bảo mật thương mại hiện đại hóa theo các mức độ khác nhau, sử dụng các tập dữ liệu chất lượng cao lớn cùng với các mô hình Trí tuệ nhân tạo / Học máy tiên tiến để cải thiện việc phát hiện và phân loại các mối đe dọa. Ngoài ra, họ đang tận dụng tự động hóa, công việc và khả năng tự khắc phục để giảm thời gian từ phát hiện đến giảm thiểu. Cuối cùng, một số đã giới thiệu các khả năng đồng pilot để hỗ trợ thêm việc phân tích và phản hồi.

Ngoài ra, các tác nhân đang được phát triển để thực hiện các vai trò chọn lọc trong SOC. Ví dụ thực tế, chúng tôi đã xây dựng một ‘Chuyên viên phân tích số’ để triển khai trong dịch vụ quản lý của chúng tôi. Tác nhân này đóng vai trò là một nhà phân tích cấp một, phân tích các cảnh báo đến, thêm ngữ cảnh từ thông tin về mối đe dọa và các nguồn khác, và đề xuất các bước phản hồi (dựa trên lịch sử vụ việc rộng rãi) cho các nhà phân tích của chúng tôi, những người sau đó xem xét, sửa đổi nếu cần và thực hiện hành động.

Bạn nhìn thấy mối quan hệ giữa Trí tuệ nhân tạo và an ninh mạng sẽ phát triển như thế nào trong 3-5 năm tới – Trí tuệ nhân tạo sẽ là một rủi ro hay một giải pháp?
Khi Trí tuệ nhân tạo phát triển trong 3-5 năm tới, nó có thể giúp an ninh mạng nhưng đồng thời cũng có thể giới thiệu các rủi ro. Trí tuệ nhân tạo sẽ mở rộng bề mặt tấn công và tạo ra các thách thức mới từ góc độ phòng thủ. Ngoài ra, Trí tuệ nhân tạo đối lập sẽ tăng cường khả năng, tốc độ và quy mô của các cuộc tấn công, tạo ra các thách thức进一步. Mặt khác, việc tận dụng Trí tuệ nhân tạo trong kinh doanh an ninh mạng mang lại cơ hội đáng kể để cải thiện hiệu quả, hiệu suất, linh hoạt và tốc độ của các hoạt động an ninh mạng trên hầu hết các lĩnh vực – cuối cùng tạo ra một kịch bản “đánh lửa bằng lửa”.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, độc giả cũng có thể muốn truy cập Deloitte.