Aaron Fulkerson, CEO společnosti OPAQUE – Interview Series

Aaron Fulkerson, CEO společnosti OPAQUE, je dlouholetý podnikatel v oblasti podnikového softwaru a otevřených zdrojů, jehož kariéra čítá více než dvě desetiletí budování a rozšiřování technologických platforem zaměřených na důvěru, data a digitální transformaci. Předtím, než se v roce 2023 připojil k OPAQUE, založil společnost MindTouch, která se stala široce přijímanou podnikovou platformou pro znalosti, než byla získaná společností NICE Systems, a později vedl spuštění ServiceNow (NOW ) Impact, jedné z nejrychleji rostoucích obchodních jednotek ve společnosti ServiceNow. Během své kariéry Fulkerson pracoval na rozhraní mezi vznikajícími technologiemi, podnikovým softwarem a otevřenými ekosystémy, zatímco také radil několika technologickým startupům a organizacím. V poslední době se stal prominentním zastáncem Confidential AI, argumentujícím, že soukromí, správa a ověřitelná důvěra budou základními požadavky, jakmile se systémy AI stanou součástí kritických podnikových pracovních postupů.

OPAQUE je společnost pro Confidential AI, která vznikla z renomovaného UC Berkeley RISELab, stejného výzkumného ekosystému, který pomohl vytvořit technologie, jako je Apache Spark a Databricks. Společnost vyvinula platformu, která umožňuje podnikům spouštět modely AI, agenty a pracovní postupy na vysoce citlivých datech, zatímco udržuje kryptograficky ověřené soukromí a zajišťuje soulad. Místo toho, aby donutila organizace volit mezi inovacemi AI a zabezpečením dat, OPAQUE používá důvěrné výpočty, šifrované runtime prostředí a hardwarově ověřenou exekuci, aby zajistila, že citlivé informace zůstanou chráněny před, během a po zpracování AI. Jejich technologie je navržena pro vysoce regulované odvětví, včetně financí, pojišťovnictví, zdravotnictví a high-tech, s zákazníky a partnery, jako je ServiceNow, Anthropic, Accenture a další podnikové organizace, které se snaží přesunout projekty AI z pilotních programů do produkce bez ohrožení vlastních nebo regulovaných dat.

Postavili jste a rozšiřovali několik podnikových platforem po celou svou kariéru, co vás vedlo k tomu, abyste se stali CEO společnosti OPAQUE a zaměřili se na důvěru, soukromí a správu AI?

Vynechal jsem téměř dvě desetiletí budování podnikových platforem, nejdříve v MindTouch, která je stále používána miliardou uživatelů ročně, a poté ve ServiceNow, kde jsem vytvořil jejich nejrychleji rostoucí produkt. Oba mi ukázaly stejnou lekci: nejvýkonnější technologie vyhrává pouze tehdy, když lidé důvěřují jí.

Když jsem se setkal s spoluzakladateli OPAQUE, Ralucou Ada Popa, Ionem Stoica a Rishabhem Poddarem, viděl jsem vzácnou kombinaci talentu a vize. Raluca je jednou z předních výzkumných pracovníků v oblasti soukromí a bezpečnosti. Ion je spoluzakladatel Databricks. Rishabh vytvořil základní kryptografické systémy, které se staly základem OPAQUE.

Na UC Berkeley RISELab vytvořili něco, co jsem okamžitě rozpoznal jako generaci. Kryptografický důkaz, že data zůstávají soukromá během každého pracovního postupu AI. Ne sliby. Ne zásady. Důkaz.

Díval jsem se, kam se AI ubírá, agenty, které jednají autonomně napříč podnikovými systémy na rychlosti strojů, a viděl jsem stejnou mezeru, o které Vint Cerf varoval po dobu 30 let: žádná vrstva důvěry. Internet přežil bez ní, protože lidé byli naší zábranou. Agentic web nebude mít tuto luxus.

S MCP (Model Context Protocol, standard, který umožňuje AI agentům bezpečně přistupovat k nástrojům, aplikacím a datům) se stává společným základem, jak očekáváte, že se změní způsob, jakým podniky nasazují a rozšiřují agentic AI?

MCP je důležitým krokem v tom, jak podniky nasazují a rozšiřují agentic AI. Myslete na to jako na univerzální konektor pro pracovní postupy AI. Standardizuje, jak agenty připojit k nástrojům, aplikacím a datům, snižuje skutečnou tření a urychluje experimentování.

Ale standardizace přístupu sama o sobě nedělá agentic AI bezpečným nebo škálovatelným. Jak se tyto spojení množí, s více agenty, více nástroji a více zdroji dat, rozšiřuje se povrch expozice s každým novým integračním bodem. Každý bod spojení, který postrádá runtime enforcement, je potenciálním vektorem expozice. Když AI agenty interagují se citlivými systémy a vlastním logickým úsudkem, šifrování v klidu a síťové kontroly nejsou dostatečné. Bezpečnostní hranice se přesunula do runtime, a tento posun se stává naléhavějším, jak se ekosystém rozšiřuje.

Jak vidíte největší mezery dnes, pokud jde o bezpečnost, vynucování zásad a důvěru v systémech poháněných agenty?

Dokončili jsme naše výzkumné práce AI Leak Surface a zveřejnili souhrn našich zjištění, „A Dozen Ways Your AI Stack Is Bleeding Data“, který se dotýká tohoto. Identifikovali jsme 46 vektorů expozice napříč 8 kategoriemi, pokrývajícími celou hranici důvěry AI: výpočet, kontrola, aplikace a předávání mezi nimi. To je bez zohlednění škodlivých aktérů. Tyto scénáře, kde nic není rozbité, protokoly vypadají čisté a váš systém stále prosakuje data.

Největší mezery nejsou v konektivitě; MCP řeší to. Mezery jsou v tom, co se děje po připojení agenta. Většina organizací nemůže odpovědět na tři základní otázky: Jak se naše AI skutečně chová? Kdo ji kontroluje? A jak prokážeme, že zásady byly vynuceny?

Naše výzkum ukázal, že hranice jsou nakonfigurovány, ale nikdy vynuceny. Zásada existuje v dokumentu, konfiguračním souboru nebo nastavení při nasazení, ale spuštěný systém není omezený jím. AI výkonný asistent umístí materiály, které nejsou veřejné, na kalendářovou pozvánku. RAG copilot poskytuje finanční údaje na úrovni rady představenstva juniorskému analytikovi. SDK dodavatele tiše vyčerpává 10 milionů dotazů po dobu 12 měsíců. Ve všech případech byly přístupové kontroly na místě. Data prosákla stejně.

Dokud podniky nezavřou mezeru mezi nakonfigurovanou zásadou a vynucenou zásadou, MCP standardizuje přední dveře. Ale dům je stále nehlídaný.

Když AI agenty získají přístup k citlivým systémům a vlastním datům, jaké nové rizika soukromí a souladu se objevují, na která podniky nejsou často připraveny?

Většina podniků myslí na soukromí v termínech dat v klidu nebo při přenosu. Tento model se láme v agentic pracovních postupech, protože největší riziko je expozice dat, zatímco jsou používána.

Toto je to, co mám na mysli. Výrobce sportovních vozů běží AI napříč svou montážní linkou. Syrové údaje vypadají neškodně: čtení senzorů, sekvence časování, kontroly kvality. Ale LLM může nyní rekonstruovat vlastnické výrobní postupy z těch údajů. Co bylo hlukem před pěti lety, je nyní modrou tiskem pro konkurenta.

Naše výzkum AI Leak Surface dokumentuje tento vzorec napříč desítkami scénářů. Operační telemetrické nástroje zachycují plné AI payloads výchozím nastavením, a jeden evropský bankovní dům měl 2,1 milionu dotazů obsahujících PII toku do instance SaaS v USA, protože nikdo nezměnil výchozí hodnoty APM. Paměť agenta prosakuje kontext mezi relacemi. Stopa chain-of-thought odhaluje kompletní vyšetřovací záznamy na platformách pro pozorování, které jsou přístupné dodavatelům. Tradiční rámce souladu nebyly navrženy pro detekci tohoto druhu úniku. Předpokládaly, že lidé pohybují data na lidské rychlosti.

Proč se Confidential AI stává nezbytným protějškem MCP a jak řeší výzvy, které standardy přístupu samy o sobě nemohou vyřešit?

MCP řeší, kdo může přistupovat k čemu a jak, zatímco Confidential AI řeší, co se děje, když je přístup udělen. Jsou to komplementární vrstvy.

Standardy přístupu samy o sobě nemohou zabránit kompromisům runtime, posunům zásad nebo neautorizovanému použití dat. Myslete na to tímto způsobem: MCP vám dává standardizovaný způsob, jak připojit agenty k vašim systémům. Confidential AI vám dává kryptografické záruky, že jednou připojené, tyto agenty mohou dělat pouze to, co jsou autorizovány dělat, a můžete to prokázat.

Confidential AI dodává tyto záruky v runtime napříč daty, identitou, kódem a komunikací. Poskytuje ověřitelný důkaz provedení a zajišťuje, že soukromí a vynucování zásad se nezastaví na hranici přístupu, ale přetrvávají, jak AI aktivně uvažuje, generuje a jedná. Bez něj je MCP pevným základem. Ale základy samy o sobě nedělají budovu bezpečnou.

V praktických termínech, co vypadá ověřitelná důvěra pro podnik, který běží autonomní AI agenty napříč kritickými pracovními postupy?

Ověřitelná důvěra znamená, že mohu prokázat, jaký kód běžel, kde běžel, pod jakými zásadami, která data byla přístupná a jak se systém choval v průběhu času.

V praxi vezměte pojišťovnu, která používá AI agenty ke zpracování požadavků. Před provedením hardwarová autentizace ověřuje identitu agenta a integritu prostředí. Během provedení kryptografické vazby zásad v hardwarově podporovaném Prostředí důvěry (TEE) zajišťuje, že data zůstávají chráněna a že zásady jsou vynuceny. Po provedení neporušitelná auditní stopa zaznamenává přesně, co se stalo.

Riziko v agentic pracovních postupech není, že agent selže. Skutečné riziko je, že nemůžete prokázat, zda zásada byla vynucena nebo zda citlivá data byla chráněna, zatímco agenty byly provozovány – před, během a po. To je to, co vypadá ověřitelná důvěra.

Jak agentic systémy fungují na rychlosti strojů, proč se tradiční lidská kontrola rozpadá a jak by organizace měly přehodnotit správu v tomto novém prostředí?

Po desetiletí měl internet neviditelnou zábranu: nás. Lidé četli obsah, klikali záměrně a nedělali tiché akce napříč stovkami systémů současně.

Agentic AI vymaže tyto předpoklady přes noc. Agenty fungují nepřetržitě, dělají rozhodnutí na rychlosti strojů a mohou být manipulovány prostředím navrženým pro lidi, ale využitelným stroji. Škodlivá webová stránka nemusí oklamat AI způsobem, jakým oklame osobu; může ji jednoduše instruovat.

Při pouhém 1% riziku na agenta, síť 100 agentů čelí 63% pravděpodobnosti porušení. Škálovat na tisíc a jste na 99,99%. Lidská kontrola v smyčce nemůže držet krok s těmito čísly. Kontrola musí přejít z reakční revize na runtime záruky. To znamená nulovou důvěru, vynucování zásad výchozím nastavením a ověřitelnou exekuci, která nezávisí na lidském odhalení selhání po skutečnosti.

Jaké jsou nejčastější bezpečnostní selhání, která vidíte, když podniky experimentují s agentic AI bez vestavěné vrstvy důvěry?

Nejčastější vzorec, který vidím, je, že podniky umožňují agentům jednat a koordinovat bez kryptografických záruk kolem jejich chování. Procesují citlivé IP na naději.

Co následuje, je předvídatelné, a dokumentovali jsme konkrétní vzorce v našem výzkumu AI Leak Surface. Kompromisy runtime obcházejí tradiční perimetrové obrany, protože agent je již uvnitř sítě. Autonomní agentní řetězce vytvářejí řetězové selhání. Jedenexploitovaný agent spustí dominový efekt napříč propojenými systémy. Vlastní logika prosakuje prostřednictvím datové exhalace, kterou nikdo nemyslel monitorovat. Agenty ztrácejí schopnost rozlišovat podnikový úmysl od škodlivého vstupu, protože tam není ověřitelná identita nebo vazba zásad runtime.

Tato nejsou hypotetická. Zmapovali jsme 46 vektorů, kde data unikají z jejich zamýšlených kontrol, i když nic není rozbité. AI agenty generují a sdílejí data na rychlosti strojů. Bez ověřitelných runtime záruk vestavěných do pracovního postupu, selhání se šíří rychleji, než může jakákoli bezpečnostní tým detekovat nebo reagovat.

Jak vedoucí organizace vyvažují potřebu odemknout pokročilé AI schopnosti, zatímco chrání svá nejcitlivější datové aktiva?

Organizace, které to dělají správně, považují soukromí a správu za urychlovače, ne brzdy. To je klíčový vhled.

Co vidím v terénu, je, že vedoucí podniky spojují pokročilé AI schopnosti s platformami Confidential AI, které dodávají ověřitelné záruky, ne pouze kontrolní seznamy souladu. Odemykají citlivá data pro AI inovace, zatímco zajišťují, že vlastnické informace zůstanou chráněny, i když pracovní postupy běží autonomně.

Staré rámcování bylo schopnost versus bezpečnost. Organizace, které se pohybují nejrychleji, odmítly tento obchod úplně. Budují ověřitelnou důvěru do základny své AI strategie, umožňující jim použít svá nejcennější data. Současně konkurenti jsou stále uvíznuti v pilotním režimu, běhají AI na sanitizovaných datech, která nehněte jehlu.

Založeno na tom, co vidíte dnes, jak očekáváte, že se podnikové AI governance modely vyvinou v příštích několika letech, jakmile agentic systémy přejdou z pilotů do plné produkce?

Správa se bude vyvíjet z papíru na důkaz. To je nejjednodušší způsob, jak to mohu říci. Rané modely správy byly postaveny pro lidskou rychlost softwaru: zásady na papíru, schválení před nasazením, revize po tom, co něco šlo špatně. Agentic systémy láme každý z těchto předpokladů. Fungují nepřetržitě, jednají autonomně a generují řetězové účinky na rychlosti strojů.

Co vidíme, je, že správa se přesouvá k runtime ověřitelnosti jako nové bezpečnostní hranici, podporované kryptografickými zárukami, které prokazují chování napříč každým stadiem životního cyklu agenta, před, během a po. Stejný vzorec, který jsme viděli s HTTPS, se stává výchozím pro webový provoz. Nikdo již nedebatuje o tom, zda šifrovat webové spojení. Během několika let nikdo nebude debatovat o tom, zda ověřit provedení AI v runtime. To bude samozřejmost.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit OPAQUE.