Rony Ohayon, CEO a zakladatel DeepKeep – rozhovorová série

Rony Ohayon, CEO a zakladatel DeepKeep, je zkušený podnikatel a technolog se zkušenostmi v oblasti AI, kybernetické bezpečnosti, autonomních systémů a technologií velkých videí. Založil a vedl několik společností v těchto oblastech, včetně významných rolí v autonomní vozidlové konektivitě, přenosu živého videa a pokročilého inženýrství, spolu s dřívější akademickou prací v oblasti počítačového inženýrství.

DeepKeep je platforma pro zabezpečení AI, která pomáhá podnikům chránit AI, generativní AI, LLM, počítačové vidění a multimodální systémy po celou dobu jejich životnosti. Společnost se zaměřuje na identifikaci zranitelností, blokování adversářských hrozeb, prevenci problémů, jako je únik dat a manipulace s podněty, podporu souladu s předpisy a poskytování kontinuálního monitoringu, aby zajistila důvěryhodné, odolné a chráněné nasazení AI.

Měli jste na starosti významné inovace v oblasti přenosu videa, autonomní vozidlové konektivity a AI systémů. Co z vaší vlastní kariéry vás přesvědčilo, že další velkou výzvou, kterou je třeba řešit, je zabezpečení podnikového AI?

Vždy jsem byl motivován řešit výzvy s velkým dopadem, které mění odvětví. Během let jsem si všiml opakujícího se vzoru, kdy nová technologie, zejména AI, často předchází bezpečnostním opatřením, a zanechává za sebou kritické zranitelnosti.

Podnikové přijetí AI, zejména s rostoucím významem velkých jazykových modelů (LLM) a agentic AI, otevřelo novou hranici rizik, a podniky často cítí, že jsou přehlceny a nepřipraveny využívat tyto systémy bezpečně a sebevědomě. Má zkušenost s AI systémy ukázala, jak je důležité integrovat bezpečnost do srdce těchto technologií, aby byly nejen inovativní, ale také bezpečné a důvěryhodné, a aby produkovaly spolehlivé výsledky, které podporují podniky proaktivně. Toto uvědomění vedlo ke založení DeepKeep, se zaměřením na zabezpečení AI systémů, aby podniky mohly sebevědomě přijmout AI pro zvýšení produktivity a růstu podnikání, aniž by ohrozily bezpečnost nebo soukromí.

Když jste se svým spoluzakladatelem založili DeepKeep v roce 2021, jakou konkrétní mezeru v zabezpečení AI vás přesvědčila, že existuje naléhavá potřeba specializované platformy, a jak tato inspirace formovala ranou směr společnosti?

Po letech práce s AI v počítačovém vidění, které vyžadovalo značné úsilí, aby bylo spolehlivé a robustní, jsme si uvědomili, že je čas navrhnout specializované řešení, aby se zajistila důvěra a bezpečnost v počítačovém vidění.

V roce 2021, před explozí LLM, jsme spustili DeepKeep, abychom řešili tato rizika v modelech počítačového vidění.

Můžete nás vrátit k nejranějšímu prototypu – co vlastně dělal, jak malý byl tým, a jak jste ověřili, že jste na správné cestě?

Když jsme založili DeepKeep, zaměřili jsme se stále na tradiční AI – počítačové vidění, tabulární modely a rané NLP – dlouho před vzestupem velkých jazykových modelů. Naším prvním prototypem byl systém pro testování robustnosti počítačového vidění proti adversářským útokům. Vedle toho jsme postavili ranou verzi AI firewallu, který mohl detekovat a označit tyto útoky v reálném čase.

První použití případů pocházela z automobilového, pojišťovacího a finančního sektoru, kde chování modelu nese skutečné provozní riziko. Naším týmem bylo asi osm lidí, což nám umožnilo rychle iterovat a produkovat funkční prototyp brzy.

Ověřili jsme, že jsme na správné cestě, mluvě přímo s potenciálními zákazníky, kteří konzistentně zdůrazňovali adversářskou robustnost jako vznikající obavy. Přibližně ve stejnou dobu se objevily rámce, jako je MITREův ATLAS – poprvé vydán v roce 2021 -, který byl důležitým vnějším signálem, že oblast zabezpečení AI a adversářského ohrožení je na pokraji růstu. Shoda mezi zpětnou vazbou zákazníků a směrem odvětví nám dala důvěru, že jdeme správným směrem.

DeepKeep byl navržen od začátku pro zabezpečení AI systémů, nikoli tradičního softwaru. Jak jste priorizovali, které typy modelů a útočné povrchy se zaměřit jako první?

Od začátku jsme věděli, že zabezpečení podnikového AI vyžaduje paradigmatický posun. Zatímco mnoho organizací je dostatečně inteligentních, aby věděly, že potřebují provést penetrační testování a hodnocení pro modely, které používají, jsme pochopili, že tyto akce jsou pouze začátek.

Skutečná rizika vznikají v rámci plné aplikační ekosystémy, ne jen v modelech samých. Zatímco zabezpečení samostatných AI chatbotů s tradičním red-teamingem bylo výchozím bodem odvětví, rychle jsme se přesunuli k vývoji řešení, která zabezpečují vlastní AI aplikace a AI agenty, a budeme se vyvíjet, abychom zabezpečili další krok, ve kterém agenti interagují s ostatními a existuje významná mezioborová inteligence.

Povolíme skenování modelů napříč všemi typy modelů, ale také chráníme proti nejnaléhavějším hrozbám, jako jsou adversářské útoky, únik dat, zneužití systému a eroze důvěry, testováním modelů a aplikací ochranných zábran, které zabezpečují AI podněty a odpovědi.

Kriticky také zabezpečujeme “sémantickou vrstvu” AI tím, že chápeme kontext, ve kterém modely fungují. To zajišťuje, že modely nemohou být tak snadno manipulovány.

Jaké byly největší technické nebo strategické změny, které jste provedli mezi fází založení a současným směrem produktu DeepKeep?

Jedním z největších rozhodnutí, které jsme učinili, bylo rozšířit naše zaměření za tradiční bezpečnost modelů do oblasti zabezpečení AI aplikací. Zpočátku jsme se zaměřili na zabezpečení jednotlivých modelů, ale jak se AI krajina vyvíjela, uvědomili jsme si, že zabezpečení celých AI ekosystémů, kde se protínají multiple modely, agenti a použití, je mnohem kritičtější.

To nás vedlo k rozšíření našeho přístupu integrací red-teamingu, komplexního AI firewallu, který chrání každou interakci agentů, zaměstnanců a aplikací s AI, a monitorování v reálném čase.

Další klíčové rozhodnutí bylo nabídnout plnou flexibilitu nasazení, včetně cloud-agnostic, on-prem a air-gapped řešení, umožňující podnikům bezpečně nasadit DeepKeep v jakémkoli prostředí. Nedávno jsme také integrovali do naší platformy vylepšenou ochranu osobních údajů, která poskytla našim zákazníkům ještě hlubší úroveň ochrany dat a zajišťuje, že podniky mohou splnit globální požadavky na soulad, když rozšiřují své použití AI.

DeepKeep klade stejný důraz na bezpečnost a důvěryhodnost. V jaké fázi se toto dvojí zaměření stalo jádrem identity společnosti?

Zaměření na bezpečnost i důvěryhodnost se stalo jasným brzy, zejména když jsme začali tvořit hlubší pochopení našich zákazníků a jejich potřeb.

Při práci s AI modely jdou bezpečnost a důvěra ruku v ruce a hrají rovnocenné role, protože na konci dne mohou oba vést k poškozujícím a destruktivním výsledkům. Aplikace nemůže být robustní a zároveň nespolehlivá, a naopak.

Tradiční nástroje kybernetické bezpečnosti nebyly navrženy pro injekci podnětů, halucinace, únik dat nebo manipulaci s modely. Který z těchto vznikajících vektorů hrozeb jste viděl, že podniky nejvíce zápasí, a jak tyto reálné problémy ovlivnily architekturu DeepKeep?

Z vznikajících hrozeb jsou injekce podnětů a únik dat nejnaléhavějšími obavami, se kterými se podniky potýkají. Když se AI aplikace a AI agenti stávají více integrovanými do podnikových procesů, rizika manipulace s podněty a náhodného úniku citlivých dat jsou více zřetelná.

Tyto problémy nás vedly k navržení DeepKeep s zaměřením na kontextovou bezpečnost, chránící nejen modely, ale celý tok dat a interakcí v AI ekosystémech. Naše infrastruktura byla navržena tak, aby testovala tyto vrstvy ve fázi vývoje, a chránila během runtime, zajišťující bezpečnost každé AI interakce.

Vaše platforma kombinuje ochranné zábrany, red-teaming a vrstvy ochrany dat. Z technického hlediska, která z těchto vrstev se ukázala být nejobtížnější na inženýrství na podnikové úrovni, a co jste se naučili při budování systému, který musí přizpůsobit se rychle se měnícím AI modelům?

Každá vrstva – ochranné zábrany, red-teaming a ochrana dat – přichází se svými vlastními inženýrskými výzvami, ale my jsme zjistili, že výzvy, které všechny tyto vrstvy mají společné, byly ve skutečnosti nejobtížnější.

První je tempo změn: nové rizika, jailbreaky a útočné techniky vznikají neustále, takže cokoli statického se rychle stává zastaralým. Druhá je přijetí kontextu: v podniku nefunguje univerzální přístup, protože každá aplikace má odlišné politiky, citlivost dat a uživatelské chování.

Abychom řešili první výzvu, postavili jsme plně modulární architekturu s pluginovými komponentami, umožňujícími nám rychle přidávat nové útoky do red-teamingového motoru nebo nové ochranné zábrany do firewallu, aniž bychom narušili systém.

A aby řešit druhou výzvu, navrhli jsme agentic, kontextově-aware systém. Analyzuje prostředí aplikace a automaticky přizpůsobí relevantní bezpečnostní opatření – což je zásadní, když se podkladové AI modely a použití případů vyvíjejí tak rychle.

Tyto dvě schopnosti, modulárnost a kontextová povědomí, byly klíčové pro fungování na podnikové úrovni, zatímco drželi krok s rychle se měnícími AI systémy.

Bezpečnost AI je se vyvíjející disciplínou. Jaké mezery vidíte uvnitř podniků dnes – zda v politice, nástrojích nebo pochopení rizik – které nejvíce přímo formovaly, jak jste navrhli bezpečnostní zásobník DeepKeep a proces onboardingu zákazníků?

Mezery se značně liší v závislosti na odvětví, velikosti společnosti a zralosti AI přijetí.

Jednou z největších mezer, které vidíme v velkých podnicích dnes, je absence jediného řešení, které pokrývá všechny potřeby zabezpečení AI. Mnohé z těchto podniků si jsou vědomy své potřeby řešení zabezpečení AI, ale jak se přijetí zvyšuje, tak i potřeba dalšího bezpečnostního pokrytí. Brzy jsme se naučili, že existuje hodnota v robustním, koncovém řešení, které zahrnuje různé schopnosti fungující v tandemu a se bezproblémovou integrací.

Jak se trh zral, identifikovali jsme další mezeru, která spočívá v tom, že organizace hledají více přizpůsobená a méně obecná bezpečnostní nástroje pro ochranu svých agentů a aplikací. Jedním z důvodů, proč jsme se rozhodli pro kontextově-aware přístup, bylo řešit tuto mezeru, s porozuměním, že každá aplikace a agent je jiný a vyžaduje odpovídající zabezpečení.

Pokud se podíváme pět let dopředu, jak očekáváte, že se podnikové AI rizika vyvinou – a kde věříte, že DeepKeep potřebuje být umístěn, aby zůstal před touto budoucností?

Očekávám, že největší AI rizika v příštích pěti letech budou vyvíjet spolu s pokroky v AI autonomii. Jak se agenti stanou více autonomními, integrovanými do každého podnikového provozu a schopnými provádět komplexní úkoly, riziko bezpečnostních porušení a zneužití poroste. Předpokládáme vývoj Internetu agentů (IoA), ve kterém agenti interagují s ostatními, tvořící ještě složitější síť AI interakcí, které je třeba zabezpečit.

Abychom zůstali před touto budoucností, DeepKeep bude pokračovat ve vývoji své platformy, aby zabezpečil tyto stále složitější AI systémy, zajišťuje, že poskytujeme ochranu v reálném čase napříč několika AI modely a podporujeme rostoucí trend AI poháněného rozhodování. Naším cílem je být důvěryhodným partnerem, na kterého se podniky mohou spolehnout, aby zabezpečily svou celou AI ekosystému, bez ohledu na to, jak se stane sofistikovanějším.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit DeepKeep.