Vin Sharma, spoluzakladatel a generální ředitel společnosti Vijil – rozhovor

Vin Sharma je spoluzakladatelem a generálním ředitelem společnosti Vijil a přináší více než 30 let zkušeností z oblasti kybernetické bezpečnosti, open source, cloud computingu a infrastruktury AI. Před založením společnosti vedl v AWS práce na vývoji hlubokého učení pro Amazon SageMaker a Amazon Bedrock, vyvíjel infrastrukturu datových center ve společnosti Intel a zastával produktové a technické pozice ve společnosti Hewlett-Packard. Svou kariéru zahájil automatizovaným testováním důvěryhodných systémů UNIX pomocí metod red teamu. Právě tato zkušenost ovlivňuje jeho zaměření na spolehlivost, zabezpečení a bezpečnost podnikových agentů AI.

Vijil poskytuje infrastrukturu pro budování důvěry v podnikové agenty AI a pomáhá organizacím vyhodnocovat jejich chování, prosazovat kontrolní opatření a zvyšovat odolnost v průběhu celého životního cyklu agentů. Její přístup spojuje testování, zabezpečení a průběžnou zpětnou vazbu, aby chování agentů odpovídalo zamýšlenému účelu a zásadám organizace. V tomto rozhovoru Sharma hovoří o tom, jak důvěru definovat a měřit, proč se testování agentů liší od běžného zabezpečení softwaru a jaký dohled podniky potřebují, když agenti získávají větší autonomii.

Více než 30 let jste působil ve společnostech včetně AWS, Intel a Hewlett-Packard, než jste založil Vijil. Co vás nakonec přesvědčilo, že důvěra a zabezpečení AI představují natolik závažný a dosud nevyřešený problém, aby stálo za to kvůli němu založit společnost?

Než jsem před 30 lety nastoupil do startupu zaměřeného na zabezpečení, studoval jsem na postgraduálním studiu AI a strojové učení. Od té doby jsem působil v produktových týmech, které zabudovávaly zabezpečení vojenské úrovně do operačních systémů založených na Unixu a Linuxu, vytvářely zabezpečené webové servery pro online bankovnictví, důvěryhodná prostředí pro provádění kódu v cloud computingu a šifrování do platforem pro analýzu dat. Naposledy jsem se vrátil na začátek kruhu a podílel se na budování podnikových služeb AI/ML v AWS. Tato cesta mě utvrdila v přesvědčení, že zabudovat důvěru do inteligentního systému je náročnější než vytvořit samotný inteligentní systém. Zatímco odvětví AI se podle všeho široce zaměřuje na zvyšování schopností agentů, domnívám se, že bychom měli věnovat stejné množství prostředků budování škálovatelných mechanismů dohledu a kontroly přímo v agentech. Bez těchto metrik a mechanismů přizpůsobených potřebám konkrétních organizací počáteční vlna nadšeného zavádění opadne na mělčinách rizik a návratnosti investic (ROI), protože firmy nebudou schopny prokázat, že jejich agenti jednají v jejich nejlepším zájmu.

Vijil vychází z myšlenky, že mnoho agentů AI se nikdy nedostane do produkčního provozu, protože podniky nedokážou dostatečně ověřit jejich spolehlivost, zabezpečení a bezpečnost. Kde se podle vás objevují největší mezery v důvěře, když firmy přecházejí od prototypů AI k nasazení v produkčním prostředí?

Úzkým hrdlem při nasazování stále autonomnějších agentů je otázka, zda organizace dokážou určit jejich zamýšlené chování a ověřit, že se skutečně chovají podle očekávání. A nejen to — musí to zvládnout v měřítku a rychlostí, v jakých agenti pracují. Je proto logické, že potřebujeme způsob, jak agentům umožnit měřit a upravovat chování jiných agentů. Dvěma největšími mezerami jsou nejasnost v tom, co měřit (co znamená, že agenti fungují dobře), a v tom, co upravovat (které části systému agenta je třeba ladit, aby se dosáhlo chování požadovaného jeho zadavatelem: model a jeho parametry, systémový prompt, pokyny uživatele, prostředí agenta, nebo graf multiagentních systémů).

Jak Vijil definuje a měří „důvěru“ v agenta AI a které signály či srovnávací testy jsou nejdůležitější při rozhodování, zda je agent připraven pracovat v podnikovém prostředí?

Důvěru definujeme jako očekávaný přínos delegování úkolů autonomnímu agentovi po odečtení rizika, že zradí naše záměry. Agentovi tedy můžeme důvěřovat, pokud se chová správně za běžných, zašuměných i nepřátelských podmínek a pokud v případě selhání minimalizuje rozsah škod. Důvěru pak můžeme měřit ve třech oblastech: spolehlivosti, zabezpečení a bezpečnosti. Agenti jsou spolehliví, když za různých podmínek podávají očekávaný výkon; jsou zabezpečení, když se očekávaně chovají i v nepřátelských podmínkách; a jsou bezpeční, když dokážou minimalizovat obchodní, právní a technická rizika.

Agenti AI se mohou chovat nepředvídatelně, protože propojují modely, nástroje, zdroje dat, paměť a externí systémy. V čem se testování agenta liší od tradičního testování zabezpečení aplikací nebo běžného vyhodnocování modelů?

Tradiční software selhává způsoby, které dnes už dobře známe. Obecně sem patří neschopnost zpracovat chybně formátované vstupy, nedostatky v logice a návrhu systému, chyby v implementaci, skryté zranitelnosti vůči útokům a nezamýšlené vedlejší účinky výstupů. Testování těchto selhání je přirozeně předvídatelné. U agentů se však oblast možných selhání rozšiřuje natolik, že ji nelze plně pokrýt vyhodnocováním modelů, jednotkovými testy, integračními testy, testy zabezpečení aplikací, penetračními testy ani kontrolami souladu s předpisy. K testování této nové oblasti rizik spojených s agenty potřebujeme nové metriky a mechanismy, které vyhodnotí chování agenta ve vztahu k jeho účelu stanovenému zadavatelem, k osobnostním profilům jeho uživatelů a k zásadám organizace, odvětví i regionu, v němž působí.

Ve své kariéře jste vedl inženýrské týmy zaměřené na hluboké učení v rámci Amazon SageMaker a Amazon Bedrock. Které poznatky z budování infrastruktury pro umělou inteligenci v AWS nejvíce ovlivnily váš přístup k zabezpečení a spolehlivosti agentů ve společnosti Vijil?

Nejzásadnějším poznatkem pro mě bylo, že odhalovat problémy se spolehlivostí, zabezpečením a dodržováním předpisů už v rané fázi vývoje je mnohem účinnější a efektivnější než přijít na ně těsně před uvedením služby na trh, jak bývalo zvykem, nebo ještě hůř až po jejím nasazení do provozu, kdy vás probudí telefonát, že služba nefunguje.

Vijil se zaměřuje nejen na testování agentů před nasazením, ale také na jejich ochranu a průběžné zlepšování v produkčním prostředí. Jaká rizika se projeví až ve chvíli, kdy agent začne komunikovat se skutečnými uživateli, pracovat s reálnými daty a používat podnikové systémy?

Skutečný svět nás může překvapit nekonečně mnoha způsoby. A agent, který je zaskočený, dělá chyby. Když agent udělá chybu při tvorbě memu, nikoho to nezajímá. Agent navržený tak, aby pomáhal finančnímu poradci, právnímu asistentovi, advokátovi, zdravotní sestře, lékaři, pacientovi nebo kterémukoli jinému odborníkovi v oboru, kde je nutné prokazovat jednání v nejlepším zájmu klienta či pacienta, nemůže fungovat, pokud nejsou jeho toleranční limity přesně vymezené, pečlivě sledované a jeho chování rychle napravené.

Jak se musí vyvíjet bezpečnostní model, když podniky nasazují stále autonomnější agenty, kteří dokážou provádět akce, nejen generovat odpovědi? Stačí tradiční koncepty, jako jsou oprávnění, identita a řízení přístupu?

Ne. Jakmile se agenti stanou aktéry v organizaci, musí získat jedinečné identity, které lze ověřit. Je třeba jim přidělit role, jež závazně určují jejich chování i funkční komponenty — nástroje s oprávněními k přístupu ke zdrojům — a uplatňují zásady povinného řízení přístupu. Je také nutné nepřetržitě sledovat, zda se jejich chování neodchyluje od zamýšleného účelu, a usměrňovat je tak, aby si zachovali odolnost vůči útokům.

Vijil se posunul od počátečního seedového kola ve výši 6 milionů dolarů k investičnímu kolu série A ve výši 17 milionů dolarů, vybudoval přibližně dvacetičlenný zakládající tým a dosáhl prvního milionu dolarů v ročních opakujících se výnosech. Která rozhodnutí byla nejdůležitější pro přechod od raného technického konceptu ke komerčnímu uplatnění?

Od začátku jsme se rozhodli budovat vrstvu důvěry, která se integruje s platformou, kterou si zákazník zvolí. Zároveň jsme předpokládali, že podniky budou stále více požadovat větší možnosti přizpůsobení, podrobnější kontrolu a nižší náklady při správě systémů s více agenty využívajících otevřené modely. Dlouhodobá strategie budovat platformní vrstvu namísto samostatného produktu nám přináší konkurenční výhody, ale zároveň vytváří náročné podmínky: najít podniky připravené na správu agentů ve velkém měřítku není tak snadné jako prodat službu typu lift-and-shift.

Svou kariéru jste zahájil v roce 1995 vývojem automatizovaných testů v rámci red teamingu pro důvěryhodné systémy UNIX. Jak se za téměř tři desetiletí změnily principy red teamingu, když testovaným systémem je agent umělé inteligence schopný uvažovat, přizpůsobovat se a používat externí nástroje?

Historicky znamenal red teaming testování obrany organizace proti koordinovanému útoku. Základní principy stále platí. I nadále potřebujeme koordinovat útoky v kontrolovaných podmínkách, abychom odhalili slabá místa testované organizace. Scénářově připravená cvičení red teamů, která se v určitém období používala k testování softwarových systémů, už ale nestačí, protože agenti umělé inteligence nejsou deterministický software — jsou navrženi tak, aby se přizpůsobovali svému prostředí, takže stejný útok nelze předvídatelně zopakovat. Tvrdím, že s agenty bychom měli zacházet jako s korporacemi. Testování agentů red teamem se proto musí přizpůsobovat jejich účelu, zkoumat, zda se jejich chování neodchyluje od záměrů uživatelů, a ověřovat jejich ochotu i schopnost obcházet zásady platné v jejich prostředí.

Očekáváte, že se nezávislé testování a měřitelné standardy důvěryhodnosti agentů umělé inteligence stanou nezbytnou podmínkou jejich nasazení v podnicích? A co se musí v celém odvětví změnit, aby se taková úroveň záruk stala běžnou praxí?

Dnes tvůrci hodnotí schopnosti agentů, red teamy testují jejich odolnost vůči útokům vkládáním pokynů a jailbreakům a týmy GRC teprve začínají ověřovat jejich soulad s předpisy. Jen velmi málo organizací zavádí systém průběžného ověřování chování, který běží na pozadí po celý životní cyklus agenta a zohledňuje změny modelů, nástrojů, zdrojů, pracovních postupů i cílového prostředí. Ještě důležitější je, že Vijil pomáhá podnikům jedinečným způsobem: skutečné chování agenta v produkčním prostředí propojuje s jeho specifikací prostřednictvím zpětnovazební smyčky, která agenta průběžně zlepšuje. Útokům odolají ti agenti, kteří se dokážou přizpůsobit a zachovat si odolnost.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o testování, ochraně a průběžném zlepšování podnikových agentů umělé inteligence, mohou navštívit web Vijil.