Rony Ohayon, generální ředitel a zakladatel společnosti DeepKeep – rozhovor

Rony Ohayon, generální ředitel a zakladatel společnosti DeepKeep, je zkušený podnikatel a technolog se zkušenostmi v oblasti umělé inteligence, kybernetické bezpečnosti, autonomních systémů a velkých videotechnologií. Založil a vedl několik společností v těchto oblastech, včetně významných rolí v oblasti autonomní vozidel, přenosu živého videa a pokročilého inženýrství, a to vedle dřívější akademické práce v oboru počítačového inženýrství.

DeepKeep je platforma pro zabezpečení umělé inteligence, která pomáhá podnikům chránit umělou inteligenci, generativní umělou inteligenci, LLM, počítačové vidění a multimodální systémy po celou dobu jejich životnosti. Společnost se zaměřuje na identifikaci zranitelností, blokování adversářských hrozeb, prevenci problémů, jako je únik dat a manipulace s příkazy, podporu souladu s předpisy a poskytování nepřetržitého monitorování, aby zajistila důvěryhodné, odolné a chráněné nasazení umělých inteligencí.

Máte bohaté zkušenosti s inovacemi v oblasti přenosu videa, autonomních vozidel a systémů umělé inteligence. Co vás přesvědčilo, že další velkou výzvou, kterou je třeba vyřešit, je zabezpečení podnikové umělé inteligence?

Vždy jsem byl motivován řešit výzvy s velkým dopadem, které mění odvětví. Za ta léta jsem si všiml opakujícího se vzorce, kdy nová technologie, zejména umělá inteligence, často předchází bezpečnostním opatřením a zanechává za sebou kritické zranitelnosti.

Podnikové přijetí umělé inteligence, zejména s růstem velkých jazykových modelů (LLM) a agentic umělé inteligence, otevřelo nové riziky a podniky často cítí, že jsou přehlceny a nepřipraveny tyto systémy využívat bezpečně a sebevědomě. Moje zkušenosti se systémy umělé inteligence ukázaly, jak je důležité integrovat bezpečnost do srdce těchto technologií, aby byly nejen inovativní, ale také bezpečné a důvěryhodné, a aby poskytovaly spolehlivé výsledky, které podporují podniky proaktivně. Tato realizace vedla ke založení DeepKeep, se zaměřením na zabezpečení systémů umělé inteligence, aby podniky mohly s jistotou přijmout umělou inteligenci pro zvýšení produktivity a růstu podnikání, aniž by ohrozily bezpečnost nebo soukromí.

Když jste se svým spoluzakladatelem založili DeepKeep v roce 2021, která konkrétní mezera v zabezpečení umělé inteligence vás přesvědčila, že existuje naléhavá potřeba specializované platformy, a jak tato inspirace formovala raný směr společnosti?

Po letech práce s umělou inteligencí v počítačovém vidění, které vyžadovaly značné úsilí, aby byla spolehlivá a robustní, jsme si uvědomili, že je čas navrhnout specializované řešení, aby se zajistila důvěra a bezpečnost v počítačovém vidění.

V roce 2021, před explozí LLM, jsme spustili DeepKeep, abychom řešili tato rizika v modelech počítačového vidění.

Můžete nás vrátit k nejranějšímu prototypu – co vlastně dělal, jak malý byl tým a jak jste ověřili, že jste na správné cestě?

Když jsme založili DeepKeep, zaměřili jsme se na tradiční umělou inteligenci – počítačové vidění, tabulkové modely a rané NLP – dlouho před vzestupem velkých jazykových modelů. Naším prvním prototypem byl systém pro testování odolnosti klasifikátorů počítačového vidění proti adversářským útokům. Vedle toho jsme postavili ranou verzi brány umělé inteligence, která mohla detekovat a označit tyto útoky v reálném čase.

První použití přišlo z automobilového, pojišťovacího a finančního sektoru, kde nesprávné chování modelu představuje skutečné provozní riziko. Naším týmem bylo asi osm lidí, což nám umožnilo rychle iterovat a vyprodukovat funkční prototyp brzy.

Ověřili jsme, že jsme na správné cestě, komunikací s potenciálními zákazníky, kteří nás konzistentně upozorňovali na rostoucí obavy z adversářské odolnosti. Přibližně ve stejnou dobu se objevily rámce, jako je ATLAS od MITRE – poprvé vydán v roce 2021 -, což byl důležitý vnější signál, že oblast zabezpečení umělé inteligence a modelování adversářských hrozeb bude růst. Shoda mezi zpětnou vazbou zákazníků a směrem odvětví nás ujistila, že jdeme správným směrem.

DeepKeep byl navržen od začátku pro zabezpečení systémů umělé inteligence, nikoli tradičního softwaru. Jak jste priorizovali, které typy modelů a útočné plochy se zaměřit jako první?

Od začátku jsme věděli, že zabezpečení podnikové umělé inteligence vyžaduje změnu paradigmatu. Zatímco mnoho organizací je dostatečně chytřejích, aby věděly, že potřebují provést testy pronikání a hodnocení pro modely, které používají, jsme pochopili, že tyto akce jsou pouze začátkem. Skutečná rizika vznikají v rámci celého aplikačního ekosystému, ne pouze v modelech samých.

Zatímco zabezpečení samostatných chatbotů umělé inteligence pomocí tradičního testování odolnosti bylo výchozím bodem odvětví, rychle jsme se přesunuli k vývoji řešení, která zabezpečují přizpůsobené aplikace umělé inteligence a agenty, a budeme se vyvíjet, abychom zabezpečili další krok, kdy agenti interagují mezi sebou a existuje významná mezidoménová inteligence.

Povolujeme skenování modelů napříč všemi typy modelů, ale také chráníme proti nejnaléhavějším hrozbám, jako jsou adversářské útoky, únik dat, zneužití systému a eroze důvěry, testováním odolnosti modelů a aplikací ochranných opatření, která zabezpečují příkazy a odpovědi umělé inteligence.

Klíčově také zabezpečujeme “sémantickou vrstvu” umělé inteligence, pochopením kontextu, ve kterém modely fungují. To zajišťuje, že modely nemohou být tak snadno manipulovány.

Jaké byly největší technické nebo strategické změny, které jste provedli mezi fázemi založení a současným směrem produktu DeepKeep?

Jedním z největších rozhodnutí, které jsme učinili, bylo rozšířit naše zaměření za tradiční bezpečnost modelů do oblasti zabezpečení aplikací umělé inteligence. Zpočátku jsme se soustředili na zabezpečení jednotlivých modelů, ale jak se krajina umělé inteligence vyvíjela, uvědomili jsme si, že zabezpečení celého ekosystému umělé inteligence, kde se protínají multiple modely, agenti a použití, je mnohem kritičtější. To nás vedlo k rozšíření našeho přístupu zahrnutím testování odolnosti, komplexní brány umělé inteligence, která chrání každou interakci agentů, zaměstnanců a aplikací s umělou inteligencí, a monitorování v reálném čase.

Dalším klíčovým rozhodnutím bylo nabídnout plnou flexibilitu nasazení, včetně cloud-agnostic, on-prem a air-gapped řešení, umožňující podnikům nasadit DeepKeep v libovolném prostředí. Nedávno jsme také integrovali vylepšenou ochranu osobních údajů do naší platformy, která poskytla našim zákazníkům ještě hlubší úroveň ochrany dat a zajišťuje, že podniky mohou splnit globální požadavky na soulad, zatímco zvyšují své využití umělé inteligence.

DeepKeep klade stejný důraz na bezpečnost a důvěryhodnost. V jaké fázi se stal tento dvojí zaměřený přístup jádrem identity společnosti?

Zaměření na bezpečnost i důvěryhodnost se stalo jasným brzy, zejména když jsme začali tvořit hlubší pochopení našich zákazníků a jejich potřeb.

Při práci s modely umělé inteligence jdou bezpečnost a důvěra ruku v ruce a hrají rovnocenné role, protože na konci dne mohou oba vést k poškozujícím a destruktivním výsledkům. Aplikace nemůže být robustní a zároveň nespolehlivá, a naopak.

Tradiční nástroje kybernetické bezpečnosti nebyly navrženy pro vstřikování příkazů, halucinace, únik dat nebo manipulaci s modely. Které z těchto vznikajících vektorů hrozeb jste viděli, že s nimi podniky nejvíce zápasí, a jak tyto reálné problémy ovlivnily architekturu DeepKeep?

Z vznikajících hrozeb jsou vstřikování příkazů a únik dat nejnaléhavějšími problémy, se kterými se podniky potýkají. Jak se aplikace a agenti umělé inteligence více integrují do obchodních procesů, rizika manipulace s příkazy a náhodného odhalení citlivých dat jsou více zřetelná. Tyto problémy nás vedly k navržení DeepKeep s důrazem na kontextovou bezpečnost, chránící nejen modely, ale celý tok dat a interakcí v ekosystémech umělé inteligence. Naše infrastruktura byla navržena tak, aby testovala tyto vrstvy ve fázi vývoje a chránila během runtime, zabezpečující každou interakci umělé inteligence.

Vaše platforma kombinuje ochranná opatření, testování odolnosti a vrstvy ochrany dat. Z technického hlediska, která z těchto vrstev se ukázala být nejobtížnější pro inženýrství na podnikové úrovni, a co jste se naučili při budování systému, který musí přizpůsobit se rychle se vyvíjejícím modelům umělé inteligence?

Každá vrstva – ochranná opatření, testování odolnosti a ochrana dat – přináší své vlastní inženýrské výzvy, ale my jsme zjistili, že výzvy, které všechny tyto vrstvy mají společné, byly ve skutečnosti nejobtížnější.

První je tempo změn: nové rizika, úniky a techniky útoků vznikají neustále, takže cokoliv statického se rychle stává zastaralým. Druhým je přijetí kontextu: v podnikovém prostředí přístup “jedna velikost pro všechny” prostě nefunguje, protože každá aplikace má odlišné zásady, citlivost dat a chování uživatelů.

Abychom řešili první výzvu, postavili jsme plně modulární architekturu s komponentami ve stylu pluginů, což nám umožňuje rychle přidávat nové útoky do motoru testování odolnosti nebo nová ochranná opatření do brány, aniž by to narušilo systém.

A aby jsme vyřešili druhou výzvu, navrhli jsme agentic, kontextově vědomý systém. Analýzuje prostředí aplikace a automaticky přizpůsobuje relevantní bezpečnostní opatření – což je zásadní, když se podkladové modely umělé inteligence a použití vyvíjejí tak rychle.

Tyto dvě schopnosti, modulárnost a kontextová povědomost, byly klíčové pro fungování na podnikové úrovni, zatímco jsme drželi krok s rychle se vyvíjejícími systémy umělé inteligence.

Bezpečnost umělé inteligence je se vyvíjejícím oborem. Jaké mezery vidíte uvnitř podniků dnes – ať už v zásadách, nástrojích nebo porozumění riziku – které nejvíce formovaly, jak jste navrhli bezpečnostní zásobník DeepKeep a proces onboardingu zákazníků?

Mezery se značně liší v závislosti na odvětví, velikosti společnosti a zralosti přijetí umělé inteligence.

Jedna z největších mezer, které vidíme v velkých podnicích dnes, je absence jediného řešení, které pokrývá všechny potřeby zabezpečení umělé inteligence. Mnoho z těchto podniků je si vědomo své potřeby řešení zabezpečení umělé inteligence, ale jak se přijetí zvyšuje, tak i potřeba dalšího bezpečnostního pokrytí. Brzy jsme se naučili, že existuje hodnota v robustním, komplexním řešení, které zahrnuje různé schopnosti fungující v tandemu a se bezproblémovou integrací. Zákazníci bénéfici z řešení, kde celek je větší než součet jeho částí.

Jak se trh zral, identifikovali jsme další mezeru, kterou jsou organizace hledající více přizpůsobená a méně obecná bezpečnostní nástroje pro zabezpečení svých agentů a aplikací. Jedním z důvodů, proč jsme se zaměřili na kontextově vědomý přístup, bylo řešit tuto mezeru, s porozuměním, že každá aplikace a agent je jiný a vyžaduje odpovídající zabezpečení.

Pokud se podíváme pět let dopředu, jak očekáváte, že se podniková rizika umělé inteligence vyvinou – a kde věříte, že by DeepKeep měl být umístěn, aby zůstal před touto budoucností?

Očekávám, že největší rizika umělé inteligence v příštích pěti letech budou vyvíjet spolu s pokroky v autonomii. Jak se agenti stávají více autonomními, integrovanými do každého obchodního provozu a schopnými provádět komplexní úkoly, potenciál pro bezpečnostní porušení a zneužití poroste. Předpokládáme vývoj “Internetu agentů” (IoA), ve kterém agenti interagují mezi sebou, vytvářejí tak složitější síť interakcí umělé inteligence, kterou je třeba zabezpečit.

Abychom zůstali před touto budoucností, DeepKeep bude pokračovat ve vývoji své platformy, aby zabezpečil tyto stále složitější systémy umělé inteligence, a zajistí, že poskytujeme ochranu v reálném čase napříč mnohými modely umělé inteligence a podporujeme rostoucí trend rozhodování založeného na umělé inteligenci. Naším cílem je být důvěryhodným partnerem, na kterého se podniky mohou spolehnout, aby zabezpečily celý svůj ekosystém umělé inteligence, bez ohledu na to, jak sofistikovaný se stane.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit DeepKeep.