Aaron Fulkerson, generální ředitel OPAQUE – série rozhovorů

Aaron Fulkerson, generální ředitel společnosti OPAQUE, je zkušený podnikatel v oblasti podnikového softwaru a průkopník open source. Více než dvě desetiletí buduje a rozvíjí technologické platformy zaměřené na důvěru, data a digitální transformaci. Než v roce 2023 nastoupil do OPAQUE, založil MindTouch a pomohl z něj vybudovat široce používanou podnikovou znalostní platformu, kterou později koupila společnost NICE Systems. Následně vedl uvedení ServiceNow Impact, jedné z nejrychleji rostoucích obchodních jednotek v historii společnosti ServiceNow. Během své kariéry působil na pomezí nových technologií, podnikového softwaru a otevřených ekosystémů a zároveň radil několika technologickým startupům a organizacím. V poslední době se stal výrazným zastáncem Confidential AI, tedy AI zajišťující důvěrnost dat. Podle něj budou ochrana soukromí, řízení a ověřitelná důvěra základními požadavky, jakmile se systémy AI stanou součástí kritických podnikových procesů.

OPAQUE je společnost zaměřená na Confidential AI, která vznikla v renomované laboratoři RISELab na UC Berkeley, ve stejném výzkumném prostředí, které přispělo ke vzniku technologií jako Apache Spark a Databricks. Vyvinula platformu, jež podnikům umožňuje provozovat modely AI, agenty a pracovní postupy nad vysoce citlivými daty s kryptograficky ověřitelnými zárukami ochrany soukromí a souladu s předpisy. Místo toho, aby organizace musely volit mezi inovacemi v AI a zabezpečením dat, využívá OPAQUE důvěrné výpočty, šifrovaná běhová prostředí a hardwarově atestované spouštění, které chrání citlivé informace před zpracováním pomocí AI, během něj i po něm. Technologie je určena pro přísně regulovaná odvětví včetně financí, pojišťovnictví, zdravotnictví a vyspělých technologií. Mezi zákazníky a partnery patří ServiceNow (NOW ), Anthropic, Accenture a další podniky, které chtějí převést projekty AI z pilotní fáze do produkčního provozu bez odhalení vlastních či regulovaných dat.

Během své kariéry jste vybudoval a rozšířil několik podnikových platforem. Co vás přivedlo do role generálního ředitele OPAQUE a k rozhodnutí věnovat další kapitolu důvěře, soukromí a řízení AI?

Téměř dvě desetiletí jsem budoval podnikové platformy, nejprve v MindTouch, který stále používá miliarda uživatelů ročně, a poté v ServiceNow, kde jsem vytvořil jejich nejrychleji rostoucí produkt. Obě zkušenosti mě naučily totéž: i ta nejvýkonnější technologie uspěje jen tehdy, když jí lidé důvěřují.

Když jsem se setkal se spoluzakladateli OPAQUE, Ralucou Adou Popa, Ionem Stoicou a Rishabhem Poddarem, viděl jsem vzácnou kombinaci talentu a vize. Raluca patří mezi nejvýznamnější světové výzkumnice v oblasti soukromí a bezpečnosti. Ion spoluzaložil Databricks. Rishabh vybudoval klíčové kryptografické systémy, které se staly základem OPAQUE.

V laboratoři RISELab na UC Berkeley vytvořili něco, v čem jsem okamžitě rozpoznal průlom s významem pro celou generaci: kryptografický důkaz, že data zůstávají soukromá v každém pracovním postupu AI. Ne sliby. Ne zásady. Důkaz.

Díval jsem se, kam AI směřuje: k agentům, kteří autonomně jednají napříč podnikovými systémy rychlostí strojů. A viděl jsem stejnou mezeru, před níž Vint Cerf varuje už 30 let: chybějící vrstvu důvěry. Internet bez ní přežil, protože ochrannou bariérou byli lidé. Web řízený agenty tento luxus mít nebude. Právě to mě přitáhlo.

MCP (Model Context Protocol, standard umožňující agentům AI bezpečný přístup k nástrojům, aplikacím a datům) se stává společným základem. Jak podle vás změní způsob, jakým podniky nasazují a škálují agentní AI?

MCP je důležitým krokem pro nasazování a škálování agentní AI v podnicích. Představte si ho jako univerzální konektor pro pracovní postupy AI. Standardizuje připojování agentů k nástrojům, aplikacím a datům, odstraňuje skutečné překážky a urychluje experimentování.

Samotná standardizace přístupu ale nezaručí bezpečnost ani škálovatelnost agentní AI. S rostoucím počtem připojení, agentů, nástrojů a datových zdrojů se s každou novou integrací rozšiřuje i prostor pro únik dat. Každý bod připojení, kde se za běhu nevynucují pravidla, představuje potenciální cestu k odhalení dat. Když agenti AI pracují s citlivými systémy a proprietární logikou, šifrování uložených dat a síťové kontroly nestačí. Bezpečnostní hranice se přesunula do samotného běhu systému a s rozšiřováním ekosystému je tento posun stále naléhavější.

Ověřitelnost v těchto klíčových bodech připojení bude pro podniky zásadní. Agentní AI mohou škálovat tehdy, když přístup ve stylu MCP doplní kryptografickým důkazem o tom, jaký kód běžel, kde běžel a jakými pravidly se řídil – před spuštěním, během něj i po něm. Přístup plus ověřitelnost. Právě tato kombinace umožňuje produkční nasazení.

MCP standardizuje přístup agentů. Kde dnes vidíte největší mezery v bezpečnosti, vynucování zásad a důvěře v systémy řízené agenty?

Dokončili jsme výzkum AI Leak Surface pro rok 2026 a zveřejnili shrnutí našich zjištění s názvem „Dvanáct způsobů, jakými z vašeho prostředí AI unikají data“, které se tomu věnuje. Identifikovali jsme 46 cest k odhalení dat v 8 kategoriích pokrývajících celou hranici důvěry v AI: výpočty, řízení, aplikace a předávání mezi nimi. A to nebereme v úvahu útočníky. Jde o situace, kdy nic není rozbité, protokoly vypadají v pořádku, a přesto ze systému unikají data.

Největší mezery nespočívají v konektivitě; tu řeší MCP. Jsou v tom, co se děje po připojení agenta. Většina organizací nedokáže odpovědět na tři základní otázky: Jak se naše AI skutečně chová? Kdo ji ovládá? A jak prokážeme, že se zásady skutečně vynucovaly?

Náš výzkum ukázal, že hranice jsou nakonfigurované, ale nikdy se nevynucují. Zásada existuje v dokumentu, konfiguračním souboru nebo nastavení při nasazení, ale běžící systém jí není omezen. Asistent AI pro vedení firmy vloží podstatné neveřejné informace do pozvánky v kalendáři. Asistent využívající RAG předá finanční údaje určené představenstvu juniorskému analytikovi. SDK dodavatele během 12 měsíců potichu odešle mimo systém 10 milionů dotazů. Ve všech případech byly kontroly přístupu zavedené. Data přesto unikla.

Dokud podniky neuzavřou mezeru mezi nakonfigurovanými a skutečně vynucovanými zásadami, MCP standardizuje vstupní dveře. Dům ale zůstává nehlídaný.

Když agenti AI získají přístup k citlivým systémům a vlastním podnikovým datům, jaká nová rizika pro soukromí a soulad s předpisy vznikají, na která podniky často nejsou připravené?

Většina podniků uvažuje o soukromí z pohledu uložených nebo přenášených dat. V agentních pracovních postupech tento model selhává, protože největším rizikem je odhalení dat během jejich používání.

Uvedu příklad. Výrobce sportovních vozů používá AI na své montážní lince. Surová data vypadají neškodně: údaje ze senzorů, časové sekvence a kontroly kvality. Velký jazykový model ale nyní dokáže z datových stop vznikajících při provozu rekonstruovat proprietární výrobní postupy. Co bylo před pěti lety šumem, je dnes návodem pro konkurenta.

Náš výzkum AI Leak Surface tento vzorec dokumentuje v desítkách scénářů. Nástroje provozní telemetrie standardně zachycují celý datový obsah AI. U jedné evropské banky proudilo 2,1 milionu promptů s osobně identifikovatelnými údaji do americké instance SaaS, protože nikdo nezměnil výchozí nastavení monitorování výkonu aplikací (APM). Paměť agentů propouští kontext mezi relacemi. Záznamy řetězců uvažování odhalují kompletní vyšetřovací záznamy platformám pro sledování systémů, ke kterým mají přístup externí dodavatelé. Tradiční rámce pro soulad s předpisy nebyly navrženy k odhalování takových úniků. Předpokládaly, že data přesouvají lidé lidskou rychlostí.

Proč se Confidential AI stává nezbytným doplňkem MCP a jak řeší problémy, na které samotné standardy přístupu nestačí?

MCP řeší, kdo má přístup k čemu a jak, zatímco Confidential AI řeší, co se děje po udělení přístupu. Jde o vzájemně se doplňující vrstvy.

Samotné standardy přístupu nedokážou zabránit narušení bezpečnosti za běhu, postupnému odchylování zásad od zamýšleného stavu ani neoprávněnému používání dat. Představte si to takto: MCP poskytuje standardizovaný způsob připojení agentů k vašim systémům. Confidential AI poskytuje kryptografické záruky, že připojení agenti mohou dělat jen to, k čemu mají oprávnění – a vy to můžete prokázat.

Confidential AI tyto záruky poskytuje za běhu pro data, identitu, kód i komunikaci. Přináší ověřitelný důkaz o vykonání kódu a zajišťuje, že ochrana soukromí a vynucování zásad nekončí na hranici přístupu, ale pokračují, zatímco AI aktivně uvažuje, generuje a jedná. Bez toho je MCP pevným základem. Samotné základy však bezpečnost budovy nezajistí.

Jak v praxi vypadá ověřitelná důvěra u podniku, který používá autonomní agenty AI v kritických pracovních postupech?

Ověřitelná důvěra znamená, že mohu prokázat, jaký kód běžel, kde běžel, jakými zásadami se řídil, ke kterým datům přistupoval a jak se systém choval v průběhu času.

Vezměme například pojišťovnu, která používá agenty AI ke zpracování dopisů s nároky na náhradu škody. Před spuštěním hardwarová atestace ověří identitu agenta a integritu prostředí. Během vykonávání kódu kryptografické navázání na zásady v hardwarově chráněném důvěryhodném výpočetním prostředí (Trusted Execution Environment, TEE) zajišťuje ochranu dat a vynucování zásad. Po skončení auditní stopa odolná proti manipulaci zaznamená přesně to, co se stalo.

Rizikem agentních pracovních postupů není to, že se agent vymkne kontrole. Skutečným rizikem je, že nedokážete doložit, zda se vynucovala zásada nebo zda byla citlivá data chráněna v době, kdy agenti pracovali – před spuštěním, během něj i po něm. Právě to znamená ověřitelná důvěra.

Proč tradiční lidský dohled selhává, když agentní systémy pracují rychlostí strojů, a jak by organizace měly v tomto novém prostředí přehodnotit řízení?

Internet měl po desetiletí neviditelnou ochrannou bariéru: nás. Lidé čtou obsah, klikají záměrně a nejednají potichu ve stovce systémů současně.

Agentní AI tyto předpoklady ze dne na den ruší. Agenti pracují nepřetržitě, rozhodují se rychlostí strojů a lze je manipulovat prostřednictvím prostředí navržených pro lidi, ale zneužitelných stroji. Škodlivá webová stránka nemusí AI oklamat tak jako člověka; může jí jednoduše dát pokyn.

Při pouhém 1% riziku na agenta čelí síť 100 agentů 63% pravděpodobnosti narušení bezpečnosti. Při tisíci agentech je to 99,99 %. Řízení s člověkem zapojeným do procesu takovým číslům nestačí. Dohled se musí přesunout od reaktivních kontrol k zárukám za běhu. To znamená pracovní postupy založené na nulové důvěře, standardně vynucované zásady a ověřitelné vykonávání kódu, které nezávisí na tom, že člověk zpětně odhalí selhání.

Jaká nejčastější bezpečnostní selhání vídáte, když podniky experimentují s agentní AI bez zabudované vrstvy důvěry?

Nejčastěji vidím, že podniky nechávají agenty jednat a koordinovat se bez jakýchkoli kryptografických záruk jejich chování. Zpracovávají citlivé duševní vlastnictví a spoléhají na naději.

Následky jsou předvídatelné a konkrétní vzorce jsme zdokumentovali ve výzkumu AI Leak Surface. Narušení bezpečnosti za běhu obchází tradiční ochranu perimetru, protože agent už je uvnitř sítě. Autonomní řetězce agentů vytvářejí kaskády selhání. Jeden zneužitý agent spustí dominový efekt v propojených systémech. Proprietární logika uniká prostřednictvím datových stop, které nikoho nenapadlo sledovat. Agenti ztrácejí schopnost rozlišit záměr podniku od škodlivého vstupu, protože za běhu chybí ověřitelná identita nebo vazba na zásady.

Nejde o hypotetické situace. Zmapovali jsme 46 cest, jimiž data unikají mimo zamýšlené kontroly, i když nic nevypadá rozbitě. Agenti AI generují a sdílejí data rychlostí strojů. Bez ověřitelných ochranných opatření za běhu zabudovaných do pracovního postupu se selhání šíří rychleji, než je jakýkoli bezpečnostní tým dokáže odhalit nebo na ně reagovat.

Jak přední organizace vyvažují využívání pokročilých možností AI s ochranou svých nejcitlivějších dat?

Organizace, které to dělají správně, vnímají soukromí a řízení jako urychlovače, nikoli brzdy. To je klíčový poznatek.

V praxi vidím, že přední podniky spojují pokročilé možnosti AI s platformami Confidential AI, které poskytují ověřitelné záruky, nejen kontrolní seznamy souladu s předpisy. Zpřístupňují citlivá data pro inovace v AI a zároveň zajišťují, aby vlastní podnikové informace zůstaly chráněné, i když pracovní postupy běží autonomně.

Dříve se situace popisovala jako volba mezi schopnostmi a bezpečností. Nejrychleji postupující organizace tento kompromis zcela odmítly. Ověřitelnou důvěru začleňují do samotných základů své strategie AI, a mohou tak využít svá nejcennější data. Konkurenti mezitím stále vězí v pilotní fázi a provozují AI nad očištěnými datovými sadami, které nepřinášejí významné výsledky.

Jak podle toho, co dnes vidíte, očekáváte vývoj podnikových modelů řízení AI v příštích několika letech, až agentní systémy přejdou z pilotní fáze do plného produkčního provozu?

Řízení se posune od papírování k důkazu. Jednodušeji to říci nedokážu. Rané modely řízení byly navrženy pro software fungující lidským tempem: zásady na papíře, schvalování před nasazením a kontroly poté, co se něco pokazilo. Agentní systémy narušují každý z těchto předpokladů. Pracují nepřetržitě, jednají autonomně a vyvolávají řetězové účinky rychlostí strojů.

Vidíme posun řízení k ověřitelnosti za běhu jako nové bezpečnostní hranici, podpořené kryptografickými zárukami, které dokládají chování v každé fázi životního cyklu agenta – před spuštěním, během něj i po něm. Stejný vzorec, který jsme viděli u HTTPS, se stává standardem webového provozu. Nikdo už nediskutuje o tom, zda webová spojení šifrovat. Za několik let se nebude diskutovat o tom, zda ověřovat vykonávání AI za běhu. Bude to základní požadavek.

Děkuji za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více, mohou navštívit OPAQUE.