Rony Ohayon, CEO i założyciel DeepKeep – seria wywiadów

Rony Ohayon, CEO i założyciel DeepKeep, to doświadczony przedsiębiorca i technolog z karierą obejmującą sztuczną inteligencję, cyberbezpieczeństwo, systemy autonomiczne i technologie wideo na dużą skalę. Założył i prowadził wiele firm w tych dziedzinach, w tym główne role w łączności pojazdów autonomicznych, transmisji wideo na żywo i zaawansowanym inżynierii, a także wcześniejsze prace akademickie w dziedzinie inżynierii komputerowej.

DeepKeep to platforma bezpieczeństwa sztucznej inteligencji zaprojektowana, aby pomóc przedsiębiorstwom zabezpieczyć sztuczną inteligencję, generatywną sztuczną inteligencję, LLM, systemy wizyjne i multimodalne na całym ich cyklu życia. Firma koncentruje się na identyfikowaniu luk w zabezpieczeniach, blokowaniu zagrożeń, zapobieganiu problemom, takim jak wyciek danych i manipulacja, wspieraniu zgodności z przepisami i zapewnianiu ciągłego monitorowania, aby zapewnić godne zaufania, odporne i chronione wdrożenia sztucznej inteligencji.

Poprowadziłeś główne innowacje w dziedzinie transmisji wideo, łączności pojazdów autonomicznych i systemów sztucznej inteligencji. Co w Twojej karierze przekonało Cię, że następnym dużym wyzwaniem, które musisz rozwiązać, jest zabezpieczenie przedsiębiorstw sztucznej inteligencji?

Zawsze byłem motywowany do rozwiązywania wyzwań o dużym wpływie, które zmieniają branże. Przez lata zauważyłem powtarzający się wzorzec, w którym nowa technologia, zwłaszcza sztuczna inteligencja, często wyprzedza środki bezpieczeństwa, pozostawiając krytyczne luki w zabezpieczeniach.

Przyjęcie sztucznej inteligencji przez przedsiębiorstwa, zwłaszcza wraz ze wzrostem dużych modeli językowych (LLM) i agenty sztucznej inteligencji, otworzyło nową granicę ryzyka, a firmy często czują się przytłoczone i nieprzygotowane do bezpiecznego i pewnego wykorzystania tych systemów. Moje doświadczenie w systemach sztucznej inteligencji podkreśliło, jak ważne jest wbudowanie bezpieczeństwa w serce tych technologii, aby były nie tylko innowacyjne, ale także bezpieczne i godne zaufania, dostarczając wiarygodne wyniki, które wspierają firmy proaktywnie. To przekonanie doprowadziło do założenia DeepKeep, z naciskiem na zabezpieczenie systemów sztucznej inteligencji, aby firmy mogły śmiało przyjmować sztuczną inteligencję, aby zwiększyć produktywność i wzrost biznesu, bez kompromisu w zakresie bezpieczeństwa lub prywatności.

Gdy Ty i Twój współzałożyciel uruchomiliście DeepKeep w 2021 roku, jaki konkretny punkt ślepy w zakresie bezpieczeństwa sztucznej inteligencji przekonał Was, że istnieje pilna potrzeba dedykowanej platformy, i jak to spostrzeżenie ukształtowało wczesny kierunek firmy?

Po latach pracy z sztuczną inteligencją w dziedzinie wizji komputerowej, co wymagało znacznych wysiłków, aby zapewnić, że jest niezawodna i solidna, zrealizowaliśmy, że nadszedł czas, aby zaprojektować dedykowane rozwiązanie, aby zapewnić zaufanie i bezpieczeństwo w systemach wizyjnych.

W 2021 roku, przed wybuchem LLM, uruchomiliśmy DeepKeep, aby rozwiązać te ryzyka w modelach wizyjnych.

Czy możesz opowiedzieć o wczesnym prototypie—co on tak naprawdę robił, jak mały był zespół i jak walidowaliście, że jesteście na właściwej drodze?

Gdy założyliśmy DeepKeep, koncentrowaliśmy się jeszcze na tradycyjnej sztucznej inteligencji – wizji komputerowej, modelach tabelarycznych i wczesnym NLP – zanim nastąpił wzrost dużych modeli językowych. Nasz pierwszy prototyp był systemem do testowania wytrzymałości klasyfikatorów wizyjnych na ataki przeciwnika. Wraz z tym zbudowaliśmy wczesną wersję zapory ogniowej sztucznej inteligencji, która mogła wykryć i oznaczyć te ataki w czasie rzeczywistym.

Początkowe przypadki użycia pochodziły z branży motoryzacyjnej, ubezpieczeniowej i finansowej, gdzie niewłaściwe zachowanie modelu niesie ze sobą realne ryzyko operacyjne. Byliśmy małym zespołem, liczącym około ośmiu osób, co pozwoliło nam na szybką iterację i wczesne wytworzenie funkcjonalnego prototypu.

Walidowaliśmy, że jesteśmy na właściwej drodze, rozmawiając bezpośrednio z potencjalnymi klientami, którzy konsekwentnie podkreślali wytrzymałość przeciwnika jako powstające zmartwienie. W tym samym czasie ramy pracy, takie jak MITRE’s ATLAS – po raz pierwszy wydane w 2021 roku – zaczęły pojawiać się, co było ważnym zewnętrznym sygnałem, że dziedzina bezpieczeństwa sztucznej inteligencji i modelowania zagrożeń przeciwnika miała się rozwinąć. Współgranie opinii klientów i kierunku branży dało nam pewność, że idziemy w dobrym kierunku.

DeepKeep został zaprojektowany od samego początku, aby zabezpieczyć systemy sztucznej inteligencji, a nie tradycyjne oprogramowanie. Jak ustaliliście, które typy modeli i powierzchnie ataku należy najpierw rozważyć?

Od samego początku wiedzieliśmy, że zabezpieczenie przedsiębiorstw sztucznej inteligencji wymaga zmiany paradygmatu. Podczas gdy wiele organizacji jest wystarczająco sprytnych, aby wiedzieć, że muszą wykonywać testy penetracyjne i ocenę modeli, które używają, zrozumieliśmy, że te działania są tylko początkiem. Prawdziwe ryzyka pojawiają się w ramach pełnego ekosystemu aplikacji, a nie tylko w samych modelach.

Dlatego też, podczas gdy zabezpieczanie samodzielnych botów sztucznej inteligencji za pomocą tradycyjnego testowania przeciwnika było punktem startu branży, szybko przeszliśmy do rozwijania rozwiązań, które zabezpieczają niestandardowe aplikacje sztucznej inteligencji i agenty sztucznej inteligencji, i będą ewoluować, aby zabezpieczyć następny krok, w którym agenci взаимодействуют z sobą i istnieje znaczna inteligencja międzydomenowa.

Włączamy skanowanie modeli we wszystkich typach modeli, ale także chronimy przed najpilniejszymi zagrożeniami, takimi jak ataki przeciwnika, wyciek danych, nadużycie systemu i erozja zaufania, testując modele i stosując barierki, które zabezpieczają dane wejściowe i wyjściowe sztucznej inteligencji.

Najważniejsze jest to, że również zabezpieczamy “warstwę semantyczną” sztucznej inteligencji, rozumiejąc kontekst, w którym modele działają. Zapewnia to, że modele nie mogą być tak łatwo manipulowane.

Jakie były największe techniczne lub strategiczne zwroty, które wykonaliście między fazą założycielską a obecnym kierunkiem produktu DeepKeep?

Jedną z największych decyzji, które podjęliśmy, było rozszerzenie poza tradycyjne zabezpieczenie modelu do dziedziny zabezpieczenia aplikacji sztucznej inteligencji. Początkowo koncentrowaliśmy się na zabezpieczaniu poszczególnych modeli, ale gdy krajobraz sztucznej inteligencji ewoluował, zrealizowaliśmy, że zabezpieczenie całych ekosystemów sztucznej inteligencji, gdzie wiele modeli, agentów i przypadków użycia się przecina, jest o wiele bardziej krytyczne. To doprowadziło nas do poszerzenia naszego podejścia, włączając testowanie przeciwnika, kompleksową zaporę ogniową sztucznej inteligencji, aby chronić każde взаимодействие agentów, pracowników i aplikacji z sztuczną inteligencją, oraz monitorowanie w czasie rzeczywistym.

Inną kluczową decyzją było zaoferowanie pełnej elastyczności wdrożeniowej, w tym rozwiązań chmurowych, lokalnych i odizolowanych, co pozwala przedsiębiorstwom na bezpieczne wdrożenie DeepKeep w dowolnym środowisku. Niedawno zintegrowaliśmy również ulepszoną, czołową na rynku ochronę danych osobowych w naszej platformie, co zapewniło naszym klientom jeszcze głębszy poziom ochrony danych i pozwala firmom spełniać wymagania zgodności na skalę globalną, gdy zwiększają swoje wykorzystanie sztucznej inteligencji.

DeepKeep kładzie równy nacisk na bezpieczeństwo i zaufanie. Na jakim etapie dualne podejście stało się rdzeniem tożsamości firmy?

Nacisk na bezpieczeństwo i zaufanie stał się jasny na wczesnym etapie, zwłaszcza gdy zaczęliśmy tworzyć głębsze zrozumienie naszych klientów i ich potrzeb.

Podczas pracy z modelami sztucznej inteligencji, bezpieczeństwo i zaufanie idą w parze i odgrywają równorzędne role, ponieważ na końcu dnia oba mogą prowadzić do szkodliwych i destrukcyjnych wyników. Aplikacja nie może być solidna i niezawodna jednocześnie.

Tradycyjne narzędzia cyberbezpieczeństwa nie zostały zaprojektowane z myślą o iniekcji podpowiedzi, halucynacjach, wycieku danych czy manipulacji modelu. Które z tych nowo pojawiających się wektorów zagrożeń widzisz, że przedsiębiorstwa mają największe problemy, i jak te prawdziwe problemy wpłynęły na architekturę DeepKeep?

Spośród nowo pojawiających się zagrożeń, iniekcja podpowiedzi i wyciek danych są najbardziej palącymi problemami, z którymi widzimy, że przedsiębiorstwa mają trudności. Gdy aplikacje i agenci sztucznej inteligencji stają się coraz bardziej zintegrowane z procesami biznesowymi, ryzyko manipulacji podpowiedzi i przypadkowego ujawnienia danych wrażliwych jest bardziej wyraźne. Te problemy doprowadziły nas do zaprojektowania DeepKeep z naciskiem na bezpieczeństwo kontekstowe, chroniąc nie tylko modele, ale cały przepływ danych i взаимодействie w ramach ekosystemów sztucznej inteligencji. Nasza infrastruktura została zbudowana, aby przetestować te warstwy w fazie rozwoju i chronić w czasie rzeczywistym, zabezpieczając każde взаимодействie sztucznej inteligencji.

Twoja platforma łączy barierki, testowanie przeciwnika i warstwy ochrony danych. Z technicznego punktu widzenia, które z nich okazało się najtrudniejsze do inżynierii na skalę przedsiębiorstw, i co nauczyłeś się, budując system, który musi dostosowywać się do szybko rozwijających się modeli sztucznej inteligencji?

Każda warstwa – barierki, testowanie przeciwnika i ochrona danych – ma swoje własne wyzwania inżynierskie, ale okazało się, że najtrudniejsze były wyzwania, które wszystkie te warstwy mają wspólne.

Pierwszym z nich jest tempo zmian: nowe ryzyka, ucieczki i techniki ataków pojawiają się nieustannie, więc wszystko, co jest statyczne, staje się szybko przestarzałe. Drugim jest adaptacja kontekstowa: w przedsiębiorstwach podejście “one-size-fits-all” po prostu nie działa, ponieważ każda aplikacja ma różne zasady, wrażliwość danych i zachowania użytkowników.

Aby rozwiązać pierwsze wyzwanie, zbudowaliśmy w pełni modułową architekturę z komponentami w stylu wtyczek, co pozwala nam szybko dodawać nowe ataki do silnika testowania przeciwnika lub nowe barierki do zapory ogniowej bez zakłócania systemu.

Aby rozwiązać drugie wyzwanie, zaprojektowaliśmy system agenty i świadomy kontekstu. Analizuje on środowisko aplikacji i automatycznie dostosowuje odpowiednie środki bezpieczeństwa – co jest niezwykle ważne, gdy podstawowe modele sztucznej inteligencji i przypadki użycia ewoluują tak szybko.

Te dwie możliwości, modułowość i świadomość kontekstu, były kluczowe dla działania na skalę przedsiębiorstw, jednocześnie nadążając za szybko rozwijającymi się systemami sztucznej inteligencji.

Bezpieczeństwo sztucznej inteligencji to ewoluująca dyscyplina. Jakie luki widzisz w przedsiębiorstwach dzisiaj – czy to w polityce, narzędziach, czy zrozumieniu ryzyka – które kształtowały projektowanie stosu bezpieczeństwa DeepKeep i proces onboardingu klientów?

Luki znacznie różnią się w zależności od branży, rozmiaru firmy i dojrzałości wdrożenia sztucznej inteligencji.

Jedną z największych luk, które widzimy w dużych przedsiębiorstwach dzisiaj, jest brak jednego rozwiązania, które pokrywa wszystkie potrzeby bezpieczeństwa sztucznej inteligencji. Wiele z tych firm jest świadomych swojej potrzeby rozwiązań bezpieczeństwa sztucznej inteligencji, ale wraz ze wzrostem adopcji, rośnie również wymóg dodatkowego zabezpieczenia. Nauczyliśmy się wcześnie, że istnieje wartość w solidnym, kompletnym rozwiązaniu, które obejmuje różne możliwości działające wspólnie i z bezproblemową integracją. Klienci korzystają z rozwiązania, w którym całość jest większa niż suma jego części.

Gdy rynek dojrzał, zidentyfikowaliśmy inną lukę, która polega na tym, że organizacje szukają bardziej dostosowanych i mniej ogólnych narzędzi bezpieczeństwa, aby zabezpieczyć swoich agentów i aplikacje. Jednym z powodów, dla których przyjęliśmy podejście świadome kontekstu, było rozwiązanie tej luki, zrozumiawszy, że każda aplikacja i agent są różni i wymagają zabezpieczenia w odpowiedni sposób.

Gdy spojrzymy w przyszłość, przez pięć lat, jak oczekujesz, że ryzyka sztucznej inteligencji w przedsiębiorstwach będą ewoluować – i gdzie wierzysz, że DeepKeep powinien być pozycjonowany, aby pozostać przed tym przyszłym?

Oczekuję, że największe ryzyka sztucznej inteligencji w ciągu najbliższych pięciu lat będą ewoluować wraz z postępami w autonomii. Gdy agenci stają się bardziej autonomiczni, zintegrowani z każdą operacją biznesową i zdolni do wykonywania złożonych zadań, potencjał dla naruszeń bezpieczeństwa i nadużyć będzie rósł. Przewidujemy rozwój Internetu Agentów (IoA), w którym agenci взаимодействują ze sobą, tworząc jeszcze bardziej złożoną sieć взаимодействий sztucznej inteligencji do zabezpieczenia.

Aby pozostać przed tym przyszłym, DeepKeep będzie kontynuował ewolucję swojej platformy, aby zabezpieczyć te coraz bardziej złożone systemy sztucznej inteligencji, zapewniając, że zapewniamy ochronę w czasie rzeczywistym na wiele modeli sztucznej inteligencji i wspieramy rosnący trend podejmowania decyzji wspomaganych przez sztuczną inteligencję. Naszym celem jest być zaufanym partnerem, na którego firmy mogą liczyć, aby zabezpieczyć swój cały ekosystem sztucznej inteligencji, niezależnie od tego, jak złożony stanie się.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić DeepKeep.