Phỏng vấn
Rony Ohayon, CEO và Người sáng lập của DeepKeep – Loạt phỏng vấn
Rony Ohayon, CEO và Người sáng lập của DeepKeep, là một doanh nhân và nhà công nghệ có kinh nghiệm với sự nghiệp bao gồm trí tuệ nhân tạo, an ninh mạng, hệ thống tự động và công nghệ video quy mô lớn. Ông đã thành lập và lãnh đạo nhiều công ty trong các lĩnh vực này, bao gồm các vai trò quan trọng trong kết nối xe tự động, truyền video trực tiếp và kỹ thuật tiên tiến, cùng với công việc học thuật trước đây trong lĩnh vực kỹ thuật máy tính.
DeepKeep là một nền tảng an ninh trí tuệ nhân tạo được thiết kế để giúp các doanh nghiệp bảo vệ trí tuệ nhân tạo, trí tuệ nhân tạo tạo sinh, LLM, tầm nhìn máy tính và hệ thống đa phương thức trên toàn bộ vòng đời của chúng. Công ty tập trung vào việc xác định các điểm yếu, chặn các mối đe dọa đối lập, ngăn chặn các vấn đề như rò rỉ dữ liệu và thao túng lời nhắc, hỗ trợ tuân thủ quy định và cung cấp giám sát liên tục để đảm bảo triển khai trí tuệ nhân tạo đáng tin cậy, linh hoạt và bảo vệ.
Bạn đã dẫn đầu những đổi mới lớn trong truyền video, kết nối xe tự động và hệ thống trí tuệ nhân tạo. Điều gì trong sự nghiệp của bạn đã thuyết phục bạn rằng thách thức lớn tiếp theo bạn cần giải quyết là bảo mật trí tuệ nhân tạo doanh nghiệp?
Tôi luôn được мотив để giải quyết các thách thức có tác động cao, những thách thức có thể thay đổi các ngành công nghiệp. Trong những năm qua, tôi nhận thấy một mẫu lặp lại nơi công nghệ mới, đặc biệt là trí tuệ nhân tạo, thường vượt qua các biện pháp an ninh, để lại các điểm yếu quan trọng.
Sự áp dụng trí tuệ nhân tạo của doanh nghiệp, đặc biệt là với sự xuất hiện của các mô hình ngôn ngữ lớn (LLM) và trí tuệ nhân tạo có tác nhân, đã mở ra một biên giới rủi ro mới, và các doanh nghiệp thường cảm thấy choáng ngợp và không chuẩn bị để tận dụng các hệ thống này một cách an toàn và tự tin. Kinh nghiệm của tôi trong các hệ thống trí tuệ nhân tạo đã nhấn mạnh sự cần thiết phải tích hợp an ninh vào trái tim của những công nghệ này để đảm bảo chúng không chỉ sáng tạo, mà còn an toàn và đáng tin cậy, tạo ra kết quả đáng tin cậy để hỗ trợ doanh nghiệp một cách chủ động. Sự nhận thức này đã dẫn đến việc thành lập DeepKeep, với trọng tâm là bảo mật các hệ thống trí tuệ nhân tạo để các doanh nghiệp có thể tự tin áp dụng trí tuệ nhân tạo để tăng cường năng suất và tăng trưởng kinh doanh, mà không ảnh hưởng đến an ninh hoặc quyền riêng tư.
Khi bạn và người đồng sáng lập ra mắt DeepKeep vào năm 2021, điểm mù an ninh trí tuệ nhân tạo nào đã thuyết phục bạn rằng có một nhu cầu cấp thiết đối với một nền tảng chuyên dụng, và làm thế nào cái nhìn sâu sắc đó đã định hình hướng đi ban đầu của công ty?
Sau nhiều năm làm việc với trí tuệ nhân tạo trong tầm nhìn máy tính, đòi hỏi phải có nỗ lực đáng kể để đảm bảo nó đáng tin cậy và mạnh mẽ, chúng tôi nhận ra rằng đã đến lúc thiết kế một giải pháp chuyên dụng để đảm bảo niềm tin và an ninh trong các mô hình tầm nhìn máy tính.
Vào năm 2021, trước khi có sự bùng nổ của LLM, chúng tôi đã ra mắt DeepKeep để giải quyết những rủi ro này trong các mô hình tầm nhìn máy tính.
Bạn có thể dẫn chúng tôi trở lại nguyên mẫu đầu tiên – nó thực sự làm gì, đội ngũ nhỏ đến mức nào, và bạn đã xác nhận rằng bạn đang trên đúng hướng như thế nào?
Khi chúng tôi thành lập DeepKeep, trọng tâm vẫn còn tập trung vào trí tuệ nhân tạo truyền thống – tầm nhìn máy tính, mô hình bảng và NLP sớm – lâu trước khi có sự xuất hiện của các mô hình ngôn ngữ lớn. Nguyên mẫu đầu tiên của chúng tôi là một hệ thống để kiểm tra lại các phân loại tầm nhìn máy tính để kiểm tra độ bền của chúng trước các cuộc tấn công đối lập. Bên cạnh đó, chúng tôi đã xây dựng một phiên bản sớm của tường lửa trí tuệ nhân tạo có thể phát hiện và đánh dấu các cuộc tấn công này trong thời gian thực.
Các trường hợp sử dụng ban đầu đến từ các ngành công nghiệp ô tô, bảo hiểm và dịch vụ tài chính, nơi hành vi sai của mô hình mang lại rủi ro hoạt động thực sự. Chúng tôi là một đội ngũ nhỏ gồm khoảng tám người vào thời điểm đó, điều này cho phép chúng tôi lặp lại nhanh chóng và tạo ra một nguyên mẫu chức năng sớm.
Chúng tôi đã xác nhận rằng chúng tôi đang trên đúng hướng bằng cách nói chuyện trực tiếp với khách hàng tiềm năng, những người liên tục nhấn mạnh sự mạnh mẽ của đối lập như một mối quan tâm đang xuất hiện. Vào khoảng thời gian đó, các khuôn khổ như MITRE’s ATLAS – được phát hành lần đầu vào năm 2021 – bắt đầu xuất hiện, điều này là một tín hiệu quan trọng bên ngoài rằng lĩnh vực an ninh trí tuệ nhân tạo và mô hình hóa mối đe dọa đối lập đang chuẩn bị phát triển. Sự phù hợp giữa phản hồi của khách hàng và hướng đi của ngành công nghiệp đã cho chúng tôi sự tự tin rằng chúng tôi đang đi đúng hướng.
DeepKeep được thiết kế từ đầu để bảo mật các hệ thống trí tuệ nhân tạo chứ không phải phần mềm truyền thống. Bạn đã ưu tiên loại mô hình và bề mặt tấn công nào để tập trung vào đầu tiên?
Từ đầu, chúng tôi biết rằng bảo mật trí tuệ nhân tạo doanh nghiệp đòi hỏi một sự thay đổi mô hình. Mặc dù nhiều tổ chức đủ thông minh để biết họ cần thực hiện kiểm tra thâm nhập và đánh giá cho các mô hình họ sử dụng, chúng tôi hiểu rằng những hành động đó chỉ là bước đầu tiên.
Thực tế, các rủi ro thực sự xuất hiện trong toàn bộ hệ sinh thái ứng dụng, không chỉ trong các mô hình bản thân.
Do đó, trong khi bảo mật các trình trò chuyện trí tuệ nhân tạo độc lập với việc kiểm tra lại truyền thống là điểm xuất phát của ngành công nghiệp, chúng tôi nhanh chóng chuyển sang phát triển các giải pháp bảo mật các ứng dụng trí tuệ nhân tạo tùy chỉnh và các tác nhân trí tuệ nhân tạo, và sẽ tiến hóa để bảo mật bước tiếp theo trong đó các tác nhân tương tác với nhau và có sự thông minh giữa các lĩnh vực.
Chúng tôi cho phép quét mô hình trên tất cả các loại mô hình, nhưng cũng bảo vệ chống lại các mối đe dọa cấp bách nhất như các cuộc tấn công đối lập, rò rỉ dữ liệu, lạm dụng hệ thống và xói mòn niềm tin bằng cách kiểm tra lại các mô hình và áp dụng các rào chắn bảo vệ các lời nhắc và phản hồi trí tuệ nhân tạo.
Quan trọng hơn, chúng tôi cũng bảo mật “lớp ngữ nghĩa” của trí tuệ nhân tạo bằng cách hiểu ngữ cảnh trong đó các mô hình hoạt động. Điều này đảm bảo rằng các mô hình không thể bị thao túng dễ dàng.
Những bước ngoặt kỹ thuật hoặc chiến lược lớn nhất mà bạn đã thực hiện giữa giai đoạn thành lập và hướng sản phẩm hiện tại của DeepKeep là gì?
Một trong những quyết định lớn nhất mà chúng tôi đã thực hiện là mở rộng ngoài bảo mật mô hình truyền thống vào lĩnh vực bảo mật ứng dụng trí tuệ nhân tạo. Ban đầu, chúng tôi tập trung vào bảo mật các mô hình riêng lẻ, nhưng khi cảnh quan trí tuệ nhân tạo phát triển, chúng tôi nhận ra rằng bảo mật toàn bộ hệ sinh thái trí tuệ nhân tạo, nơi nhiều mô hình, tác nhân và trường hợp sử dụng giao nhau, là quan trọng hơn nhiều. Điều này đã dẫn chúng tôi đến việc mở rộng phương pháp của mình bằng cách kết hợp kiểm tra lại, một tường lửa trí tuệ nhân tạo toàn diện để bảo vệ mọi tương tác giữa các tác nhân, nhân viên và ứng dụng với trí tuệ nhân tạo, và giám sát thời gian chạy.
Một quyết định quan trọng khác là cung cấp tính linh hoạt triển khai đầy đủ, bao gồm cả giải pháp đám mây, trên cơ sở và không kết nối, cho phép các doanh nghiệp triển khai DeepKeep một cách an toàn trong bất kỳ môi trường nào. Chúng tôi cũng đã tích hợp最近 một hàng rào bảo vệ Thông tin Cá nhân hàng đầu vào nền tảng của mình, điều này đã cung cấp cho khách hàng của chúng tôi một mức độ bảo vệ dữ liệu thậm chí còn sâu hơn và đảm bảo rằng các doanh nghiệp có thể đáp ứng các yêu cầu tuân thủ toàn cầu khi họ mở rộng việc sử dụng trí tuệ nhân tạo.
DeepKeep đặt sự nhấn mạnh đồng等 vào an ninh và độ tin cậy. Ở giai đoạn nào, sự tập trung kép này đã trở thành cốt lõi của bản sắc công ty?
Sự tập trung vào cả an ninh và độ tin cậy đã trở nên rõ ràng từ sớm, đặc biệt là khi chúng tôi bắt đầu hình thành một sự hiểu biết sâu sắc hơn về khách hàng và nhu cầu của họ.
Khi đối mặt với các mô hình trí tuệ nhân tạo, an ninh và tin cậy đi đôi với nhau và đóng vai trò quan trọng như nhau vì, vào cuối cùng, cả hai đều có thể dẫn đến kết quả có hại và phá hủy. Một ứng dụng không thể mạnh mẽ và không đáng tin cậy, và ngược lại.
Các công cụ an ninh mạng truyền thống không được thiết kế cho việc tiêm lời nhắc, ảo giác, rò rỉ dữ liệu hoặc thao túng mô hình. Trong số các vector đe dọa mới xuất hiện này, bạn thấy các doanh nghiệp đang vật lộn nhiều nhất với vector nào, và làm thế nào những vấn đề thực tế này đã ảnh hưởng đến kiến trúc của DeepKeep?
Trong số các mối đe dọa mới xuất hiện, tiêm lời nhắc và rò rỉ dữ liệu là những mối quan tâm cấp bách nhất mà chúng tôi thấy các doanh nghiệp đang vật lộn. Khi các ứng dụng và tác nhân trí tuệ nhân tạo trở nên tích hợp hơn vào các quy trình kinh doanh, rủi ro của việc thao túng lời nhắc và việc lộ dữ liệu nhạy cảm một cách tình cờ trở nên rõ ràng hơn. Những vấn đề này đã dẫn chúng tôi đến việc thiết kế DeepKeep với sự tập trung vào an ninh ngữ cảnh, bảo vệ không chỉ các mô hình mà còn toàn bộ luồng dữ liệu và tương tác trong các hệ sinh thái trí tuệ nhân tạo. Cơ sở hạ tầng của chúng tôi được xây dựng để kiểm tra thâm nhập các lớp này trong giai đoạn phát triển, và bảo vệ trong thời gian chạy bằng cách bảo mật mọi tương tác trí tuệ nhân tạo.
Nền tảng của bạn kết hợp các rào chắn, kiểm tra lại và các lớp bảo vệ dữ liệu. Về mặt kỹ thuật, phần nào đã chứng minh là khó khăn nhất để xây dựng ở quy mô doanh nghiệp, và bạn đã học được gì khi xây dựng một hệ thống phải thích nghi với các mô hình trí tuệ nhân tạo đang thay đổi nhanh chóng?
Mỗi lớp – rào chắn, kiểm tra lại và bảo vệ dữ liệu – đi kèm với những thách thức kỹ thuật riêng, nhưng chúng tôi đã tìm thấy rằng những thách thức mà tất cả các lớp này có chung là thực sự khó khăn nhất.
Thứ nhất là tốc độ thay đổi: các rủi ro mới, các kỹ thuật tấn công và phương pháp mới xuất hiện liên tục, vì vậy bất cứ thứ gì tĩnh sẽ trở nên lỗi thời nhanh chóng. Thứ hai là việc áp dụng ngữ cảnh: trong doanh nghiệp, một phương pháp “một kích cỡ phù hợp với tất cả” đơn giản là không hoạt động vì mỗi ứng dụng có các chính sách, độ nhạy dữ liệu và hành vi người dùng khác nhau.
Để giải quyết thách thức đầu tiên, chúng tôi đã xây dựng một kiến trúc mô-đun hoàn toàn với các thành phần kiểu plugin, cho phép chúng tôi thêm các cuộc tấn công mới vào động cơ kiểm tra lại hoặc các rào chắn mới vào tường lửa một cách nhanh chóng và không làm gián đoạn hệ thống.
Và để giải quyết thách thức thứ hai, chúng tôi đã thiết kế một hệ thống thông minh và nhận thức ngữ cảnh. Nó phân tích môi trường của ứng dụng và tự động điều chỉnh các biện pháp an ninh liên quan – điều này là thiết yếu khi các mô hình và trường hợp sử dụng trí tuệ nhân tạo cơ bản thay đổi nhanh chóng.
Hai khả năng này, tính mô-đun và nhận thức ngữ cảnh, đã là chìa khóa để hoạt động ở quy mô doanh nghiệp, đồng thời theo kịp các hệ thống trí tuệ nhân tạo đang thay đổi nhanh chóng.
An ninh trí tuệ nhân tạo là một lĩnh vực đang phát triển. Những khoảng trống nào bạn thấy trong các doanh nghiệp ngày nay – cho dù trong chính sách, công cụ hoặc hiểu biết về rủi ro – mà trực tiếp định hình cách bạn thiết kế ngăn xếp an ninh và quá trình tích hợp khách hàng của DeepKeep?
Các khoảng trống thay đổi đáng kể tùy thuộc vào ngành công nghiệp, quy mô công ty và mức độ trưởng thành trong việc áp dụng trí tuệ nhân tạo.
Một trong những khoảng trống lớn nhất mà chúng tôi thấy trong các doanh nghiệp lớn ngày nay là sự thiếu một giải pháp duy nhất bao gồm tất cả các nhu cầu an ninh trí tuệ nhân tạo. Nhiều doanh nghiệp này nhận thức được nhu cầu của họ về các giải pháp an ninh trí tuệ nhân tạo, nhưng khi việc áp dụng tăng lên, nhu cầu về bảo vệ an ninh bổ sung cũng tăng theo. Chúng tôi đã học được sớm rằng có giá trị trong một giải pháp toàn diện, bao gồm các khả năng khác nhau hoạt động cùng nhau và tích hợp liền mạch. Khách hàng được lợi từ một giải pháp mà tổng thể lớn hơn tổng các phần.
Khi thị trường trưởng thành, chúng tôi đã xác định một khoảng trống khác, đó là các tổ chức đang tìm kiếm các công cụ an ninh tùy chỉnh hơn và ít chung chung hơn để bảo vệ các tác nhân và ứng dụng của họ. Một trong những lý do đằng sau cách tiếp cận nhận thức ngữ cảnh của chúng tôi là để giải quyết khoảng trống này, với sự hiểu biết rằng mỗi ứng dụng và tác nhân đều khác nhau và cần được bảo mật theo cách phù hợp.
Nếu chúng ta nhìn về tương lai năm năm, bạn dự đoán rủi ro trí tuệ nhân tạo doanh nghiệp sẽ phát triển như thế nào – và DeepKeep cần được định vị ở đâu để ở phía trước của tương lai đó?
Tôi dự đoán rằng những rủi ro trí tuệ nhân tạo lớn nhất trong năm năm tới sẽ phát triển cùng với sự tiến bộ trong tính tự chủ của trí tuệ nhân tạo. Khi các tác nhân trở nên tự chủ hơn, tích hợp trong mọi hoạt động kinh doanh và có khả năng thực hiện các nhiệm vụ phức tạp, rủi ro về vi phạm an ninh và lạm dụng sẽ tăng lên. Chúng tôi dự đoán sự phát triển của một “Internet của các Tác nhân” (IoA), trong đó các tác nhân tương tác với nhau, tạo thành một mạng lưới phức tạp hơn của các tương tác trí tuệ nhân tạo để bảo mật.
Để ở phía trước, DeepKeep sẽ tiếp tục phát triển nền tảng của mình để bảo mật các hệ thống trí tuệ nhân tạo ngày càng phức tạp, đảm bảo rằng chúng tôi cung cấp bảo vệ thời gian chạy trên nhiều mô hình trí tuệ nhân tạo và hỗ trợ xu hướng ngày càng tăng về ra quyết định dựa trên trí tuệ nhân tạo. Mục tiêu của chúng tôi là trở thành đối tác đáng tin cậy mà các doanh nghiệp dựa vào để bảo mật toàn bộ hệ sinh thái trí tuệ nhân tạo của họ, bất kể nó trở nên tinh vi như thế nào.
Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập DeepKeep.
