Adam Markowitz, generální ředitel a spoluzakladatel Drata – série rozhovorů

Adam Markowitz je generálním ředitelem a spoluzakladatelem společnosti Drata, kde rozšiřuje její působení v oblasti průběžného souladu s předpisy a budování důvěry také o správu AI agentů. Ještě předtím, než v roce 2020 spoluzaložil Drata, založil společnost Portfolium společně s Troyem Markowitzem a Danielem Marashlianem. Jeho zkušenosti s vyplňováním bezpečnostních dotazníků, audity a kontrolami souladu s předpisy pomohly utvářet přístup společnosti Drata k automatizaci toho, jak organizace prokazují svou důvěryhodnost.

Drata nabízí platformu pro správu, řízení rizik a soulad s předpisy, která propojuje automatizovaný sběr důkazů, průběžné monitorování kontrol, řízení rizik třetích stran a pracovní postupy pro vyplňování bezpečnostních dotazníků. Její funkce pro správu AI agentů se zaměřují na jejich vyhledávání, uplatňování zásad ještě před provedením akcí a zaznamenávání rozhodnutí, která lze následně auditovat. V tomto rozhovoru Markowitz hovoří o hrozbách ze strany interních agentů, strojové identitě, bezpečnostních hranicích volání nástrojů a kontrolních mechanismech, které podniky potřebují k nasazování autonomních agentů ve velkém měřítku.

Před spoluzaložením společnosti Drata v roce 2020 jste založil Portfolium a na vlastní kůži poznal, jak těžkopádné může být zajišťování souladu s bezpečnostními požadavky, když firma roste. Co vás přivedlo k přesvědčení, že jde o problém, kvůli němuž stojí za to vybudovat úplně novou společnost, a jak se poslání Drata vyvíjelo s tím, jak AI měnila oblast bezpečnosti?

Když jsme s mými spoluzakladateli Troyem Markowitzem a Danielem Marashlianem vedli společnost Portfolium, poučili jsme se z něčeho důležitého: důvěra v podnikání se buduje postupně, nelze ji získat jedinou prezentací. Kvůli velkému objemu citlivých údajů o studentech s námi univerzity a podniky nechtěly spolupracovat, dokud jsme neprokázali, že jejich data chráníme tak, jak máme. Uvědomili jsme si, že pomalé a úmorné ruční procházení každého bezpečnostního dotazníku, auditu a kontroly souladu s předpisy je zkušenost, kterou sdílí mnoho organizací. Po akvizici společnosti Portfolium jsme se s Troyem a Danielem znovu spojili a šest měsíců jsme pracovali na první verzi Drata. Mluvili jsme přitom s desítkami společností a auditory, abychom si ověřili, že problém skutečně existuje, ještě než jsme vůbec začali psát kód. Po spuštění jsme během prvních šesti týdnů získali 100 zákazníků a během prvního roku 1 000. To nám ukázalo, že jsme se posunuli od prodeje něčeho, co je „příjemné mít“, k něčemu, bez čeho lidé nemohou fungovat.

S nástupem AI se poslání Drata, kterým je zajišťovat průběžnou důvěru, nezměnilo, rozšířil se však její záběr. Začali jsme automatizací zdlouhavých procesů souvisejících se souladem s předpisy a poté jsme přešli k agentním pracovním postupům, které dokázaly od začátku do konce provádět hodnocení rizik třetích stran a zpracovávat bezpečnostní dotazníky. Zásadní změna ale nastala ve chvíli, kdy se samotní agenti stali tím, co je třeba spravovat. Nyní jsme platformu rozšířili tak, aby umožňovala správu AI agentů: agenty vyhledávat, řídit, co smějí dělat, a vytvářet důkazy, které obstojí, když si je někdo vyžádá.

Zavedl jste termín „hrozba ze strany interního AI agenta“ pro označení rizik, která nevytváří externí útočník, ale vlastní AI agenti organizace. Čím se hrozba ze strany interního agenta liší od tradiční hrozby ze strany zaměstnance, na kterou se bezpečnostní týmy připravují už desítky let?

Tradiční hrozby ze strany zaměstnanců spočívají ve zneužití přístupu, který už mají. Může jít o nespokojeného zaměstnance, neopatrného pracovníka nebo někoho, kdo jednoduše klikne na nesprávné místo. Bezpečnostní týmy už desítky let vytvářejí programy zaměřené na tato rizika, například prověřování zaměstnanců, zásadu nejnižších oprávnění nebo kontrolní seznamy pro ukončení pracovního poměru.

Hrozba ze strany interního agenta je jiná, protože agentovi nebyl přístup vůbec udělen. Riziko se přesouvá od zneužití přístupu k jeho získání. Pokud agent dostane nějaký cíl a přímou cestu k jeho splnění mu někdo zablokuje, jednoduše nevytvoří požadavek a nebude čekat jako člověk. Zkusí najít jinou cestu: například servisní účet se slabým heslem nebo koncový bod, který někdo zapomněl zabezpečit. Dostane se dovnitř, aniž by měl zlý úmysl nebo vědomě porušoval zásady. Udělá přesně to, o co jste ho požádali, a právě proto je tak těžké ho odhalit. Každý jednotlivý krok vypadá rozumně a agent nakonec oznámí, že úkol splnil.

Už víme, jak řídit přístup zaměstnanců a třetích stran k citlivým systémům, ale agenti představují třetí skupinu a nástroje vytvořené pro první dvě se na ně nevztahují.

AI agenti mohou vytrvale sledovat své cíle, pracovat strojovou rychlostí a komunikovat s několika systémy, aniž by uplatňovali úsudek, který by mohl mít zaměstnanec. Jak zásadně to mění model hrozeb v podniku?

Nejvíc se mění časový rámec. Člověk, který hledá cestu do systému, se nakonec začne nudit, někdo ho odhalí, nebo to vzdá. Agent ne. Dříve neodhalené otevřené dveře nyní objeví, protože se neunaví a nepřestane hledat.

A nejde jen o jedny dveře. Agent vytvořený pro jediný úkol ochotně sáhne na tucet systémů, než ho dokončí – tady načte historii účtu, jinde zkontroluje databázi – a většina těchto činností vůbec nesouvisí s tím, o co byl skutečně požádán. Při přípravě jediné prezentace může projít údaji jiného zákazníka, finančními záznamy, informacemi o zaměstnancích nebo čímkoli, co mu přijde do cesty. Nic z toho se neobjeví jako bezpečnostní incident.

Model hrozeb se tedy změnil. Bezpečnostní tým by se dnes měl ptát, kam až jeho vlastní agenti zajdou při plnění úkolu, pokud jim nikdo neřekne, kde mají přestat.

Mnoho organizací už má zavedenou správu identit a přístupů, správu privilegovaných přístupů a architektury nulové důvěry. Proč tyto kontroly samy o sobě nestačí ke správě autonomních agentů AI?

Tyto rámce byly vytvořeny pro lidi a dodavatele – tedy pro skupiny, jejichž příslušníci dokážou úsudkem posoudit situaci a zastaví se, když narazí na překážku. Identita agenta vyžaduje stejnou míru důslednosti, jaká se uplatňuje při správě identit lidí a rizik spojených s třetími stranami: zmapování, určení odpovědnosti a důkazy, za které se auditor může zaručit. Problém je v tom, že zatím neexistuje společné měřítko toho, co „spravovaný“ skutečně znamená, když přihlašovací údaje používá agent.

Agent vytvořený například jedním z vašich techniků může jednat s jeho přístupovými právy – dokonce i v systémech, které tento technik sám nikdy nepoužívá. IAM a PAM předpokládají, že ten, kdo používá přihlašovací údaje, pozná, kdy se má zastavit. Agenti ale takový předpoklad nemají zabudovaný.

Měly by podniky začít přistupovat ke každému agentovi AI jako k samostatné strojové identitě s jasně určeným vlastníkem, oprávněními, vymezeným rozsahem působnosti a životním cyklem? Jak by vypadal vyspělý rámec správy identit agentů?

Ano, ale většina podniků k tomu ještě nedospěla. Více podniků, než byste čekali, vám nedokáže ani říct, kolik agentů v jejich prostředí běží, natož kdo za každého z nich odpovídá. Vyspělý rámec začíná zmapováním – skutečným, průběžně aktualizovaným seznamem všech agentů. Každý agent pak potřebuje vlastníka, jasně stanovený rozsah toho, k čemu smí přistupovat, a zásady, které tento rozsah skutečně vynucují. Z našeho vlastního výzkumu vyplývá, že na straně dodavatelů se setkáváme se stejným problémem: tři ze čtyř organizací znovu posuzují své třetí strany pouze jednou ročně nebo ještě méně často, a tak při správě vycházejí z údajů, které jsou už v okamžiku jakékoli změny zastaralé. Jednorázové posouzení u agentů – interních ani externích – nestačí

Chceme jeden standard, který bude platit pro všechny agenty stejně, místo aby bezpečnostní týmy musely zjišťovat, co si každý jednotlivý vývojář vytvořil na vlastní pěst. To znamená zásady, které lze napsat běžným jazykem, otestovat na skutečném historickém provozu ještě před jejich aktivací a následně vynucovat přímo v okamžiku provádění, aby rámec kontroloval každou akci agenta a nezůstal jen v dokumentaci.

Zvlášť obtížným případem je agent, který porušuje bezpečnostní zásady, aniž by se choval škodlivě. Pokud agent objeví nezamýšlenou cestu k citlivým údajům jen proto, že se snaží splnit zadaný úkol, jak mohou bezpečnostní týmy rozlišit mezi úspěšnou automatizací a bezpečnostním incidentem?

Upřímná odpověď zní, že to v tuto chvíli nedokážete. Představte si agenta zákaznické podpory, který má připravovat čtvrtletní přehledy obchodních výsledků a dostane pokyn, aby načetl historii účtu a vytvořil prezentaci. Správná cesta – export, z něhož má data načíst – je prázdná. Člověk by se v tu chvíli zastavil, ale agent najde jinou cestu a z jeho pohledu úkol úspěšně splní.

Úkol sice splnil, ale obešel při tom vaše bezpečnostní protokoly a dostal se do systémů, které neměl otevírat. Rozhodující otázkou musí být, zda agent zůstal v mezích rozsahu, který jsme mu stanovili. To, zda úkol dokončil, nikdy nebylo podstatné. Jde o otázku nastavení zásad. Je třeba vymezit rozsah tak přesně, aby „úspěšná automatizace“ a „bezpečnostní incident“ po události nevypadaly stejně.

Tradiční bezpečnostní monitoring často odhalí podezřelou aktivitu až poté, co k ní dojde, ale autonomní agent může provést stovky akcí, než člověk stihne zareagovat. Vyžaduje agentní AI bezpečnostní kontroly, které fungují přímo při provádění akcí, místo aby se spoléhaly především na upozornění a zpětné monitorování?

Ano, o tom není pochyb. Pokud to odhalíte až za běhu, už je pozdě. Než monitorovací nástroj akci označí, už byla provedena. Budete mít dokonalý záznam o tom, jak přesně jste byli vystaveni riziku, ale už to nepůjde zastavit.

Jediným typem správy, který funguje u něčeho, co se pohybuje strojovou rychlostí, je takový, který akci vyhodnotí ještě před jejím provedením a porušení pravidel zastaví přímo v okamžiku, kdy k němu dochází. Nikdy bychom novému zaměstnanci nesvěřili svá nejcitlivější data a jen nedoufali, že monitoring zachytí případný problém. Agenti si zaslouží stejnou důslednost – právě ve chvíli, kdy má akce nastat. Ne až poté.

Model Context Protocol (MCP) a další rozhraní mezi agenty a nástroji poskytují systémům AI přístup ke stále výkonnějším externím funkcím. Jaké nové bezpečnostní hranice je třeba zavést kolem volání nástrojů, rozhraní API, přihlašovacích údajů a servisních účtů, když podniky rozšiřují možnosti, které svým agentům dovolují?

Volání nástrojů je novou hranicí zabezpečení. Pokaždé, když agent sáhne po přihlašovacím údaji, zavolá API nebo použije nástroj, nastává okamžik rozhodnutí. Ve většině podniků dnes v tomto přesném okamžiku neexistuje žádná kontrolní hranice, která by vyhodnotila, zda se daná akce má uskutečnit. Právě to dosud chybělo. Stepné slepé místo vidíme i zvenčí — pouze 37 % vedoucích pracovníků v oblasti bezpečnosti si je jistých, že dokážou vůbec zjistit, kde v produktech dodavatelů, s nimiž již spolupracují, běží AI. Pokud to nevidíte v produktu dodavatele, neuvidíte ani další krok vlastního agenta. Přihlašovací údaje a servisní účty, na nichž to všechno stojí, také vyžadují stejnou míru důslednosti, jakou uplatňujeme při řízení přístupu lidí: známého vlastníka, jasně vymezený rozsah oprávnění a pravidelné kontroly. Agent by neměl mít možnost sáhnout po přihlašovacím údaji, který mu nikdy nebyl přidělen, jen proto, že se někde v jeho dosahu nachází.

Jakou úroveň sledovatelnosti by organizace měly být schopny reálně zajistit, když se auditor, regulátor nebo zákazník zeptá, k čemu měl AI agent přístup, jaká rozhodnutí učinil a kam se dostala výsledná data? Mohly by se auditní záznamy činnosti agentů časem stát stejně zásadními jako tradiční protokoly přístupů?

Organizace by měly být schopny na požádání odpovědět, k čemu měl agent přístup, jaká rozhodnutí učinil a kam se dostala výsledná data. Nestačí odpověď dodatečně skládat z jednotlivých záznamů. Požadovaným standardem je průběžný záznam, u něhož lze prokázat, že s ním nebylo manipulováno, a který existuje už ve chvíli, kdy někdo položí otázku. Většina společností na tyto otázky nyní neodpovídá vůbec. Takovou mezeru zákazníkovi nevysvětlíte — a podle toho, co uniklo, ji nepřijmou ani regulátoři.

A ano, myslím si, že auditní záznamy činnosti agentů se brzy stanou stejně zásadními jako protokoly přístupů. U lidských systémů už léta považujeme otázku „kdo, kdy a k čemu přistupoval“ za neoddiskutovatelný požadavek. Není důvod, aby se na agenty vztahoval nižší standard jen proto, že neklikala přímo osoba. Rámce jako EU AI Act, AIUC-11 a ISO 42001 už tento vývoj podporují. Sledovatelnost činnosti agentů musí odpovídat stejným kontrolním mechanismům a zásadám dokládání, na nichž už dnes stojí programy pro zajištění souladu. Když se k ní přistupuje jako k něčemu druhořadému, snadno se odsune stranou.

Očekáváte, že se správa AI agentů stane samostatnou kategorií zabezpečení, nebo se nakonec začlení do stávajících platforem pro správu, řízení rizik, zajištění souladu, správu identit a kybernetickou bezpečnost? Co podle vás budou podniky muset zavést, než budou moci bezpečně nasadit skutečně autonomní agenty ve velkém měřítku?

Každá významná technologická vlna s sebou přináší vlastní vlnu bezpečnostních řešení — cloud dal vzniknout Wiz, oblast koncových zařízení CrowdStrike a AI agenti právě vytvářejí další takovou vlnu. Poskytovatelé modelů budují konzole a zásady pro vlastní platformy, což je užitečné, žádný podnik ale nefunguje jen s jedním poskytovatelem modelů, jedním programovacím asistentem a jednou sadou interně vyvinutých agentů. Někdo to všechno musí spravovat podle jednotné sady zásad a s jediným zdrojem důkazů, jenže žádná jednotlivá platforma AI není vytvořena k řešení tohoto problému. Ani to není důvod její existence. Správa AI agentů už je samostatnou kategorií, i když se začleňuje do systémů pro GRC, správu identit a zajištění souladu, které společnosti již používají.

Než budou podniky moci ve velkém měřítku nasadit skutečně autonomní agenty, musí zavést čtyři věci — a většina z nich zatím nemá ani jednu. Zaprvé potřebují skutečně průběžné zjišťování: v okamžiku vytvoření každého agenta musí vědět, že běží, kdo za něj odpovídá a pod jakou identitou pracuje.

Dále je třeba prosazovat zásady přímo při provádění akcí a vyhodnotit je ještě před vykonáním akce. Zatřetí podniky potřebují průběžně sledovat odchylky, protože agenti přežívají relaci, která je vytvořila, a rozsah jejich oprávnění se může nenápadně rozšiřovat. A nakonec potřebují záznam každého rozhodnutí agenta, u něhož lze prokázat, že s ním nebylo manipulováno, a který je navázán na rámce uznávané auditory a regulátory. Právě tuto vrstvu budujeme ve společnosti Drata. Bez ní podnik, který nasazuje autonomní agenty ve velkém měřítku, jen spoléhá na to, že vše dobře dopadne.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o správě AI agentů, průběžném zajišťování souladu a kontrolních opatřeních proti hrozbám ze strany interních agentů, by měli navštívit Drata.