Strategie kybernetické bezpečnosti při vývoji agentů s nízkým a vysokým podílem kódu

S tím, jak organizace nasazují agenty umělé inteligence napříč podnikovými systémy, spolu úzce souvisejí rychlost vývoje a bezpečnostní dohled. Strategie kybernetické bezpečnosti při vývoji agentů s nízkým a vysokým podílem kódu musí zohledňovat, jak jednotlivé přístupy udělují přístup k informacím a umožňují provádět různé činnosti. Cílená ochranná opatření mohou tyto rozdíly řešit, zatímco společná správa zajišťuje, aby činnost agentů zůstala v souladu s povolenými úkoly i při rozšiřování jejich nasazení.

V čem se liší vývoj agentů umělé inteligence s nízkým a vysokým podílem kódu

Platformy s nízkým podílem kódu umožňují vývojářům sestavovat agenty pomocí vizuálních rozhraní a předpřipravených konektorů, které propojují podnikové služby. Vývoj s vysokým podílem kódu poskytuje programátorům větší flexibilitu při určování chování agentů prostřednictvím vlastního kódu, integrací nástrojů a prostředí pro vykonávání kódu. U obou přístupů je nutné dohlížet na informace, k nimž agenti mají přístup, i na činnosti, které mohou provádět.

Bezpečnostní odpovědnost se liší, protože kontrola se v každém případě nachází jinde. Vývojáři pracující s platformami s nízkým podílem kódu využívají nastavení platformy, která určují pravidla sdílení a přístupu prostřednictvím konektorů, a proto jsou rozhodnutí o konfiguraci obzvlášť důležitá. Týmy vyvíjející řešení s vysokým podílem kódu nesou větší odpovědnost za software a prostředí, v nichž se vykonávají pokyny agentů, včetně vymezení přístupu k souborům a přihlašovacím údajům.

The Cybersecurity and Infrastructure Security Agency uvádí několik rizik spojených s agentní umělou inteligencí, která představují užitečný rámec pro oba přístupy. Rozšířená plocha útoku označuje další vstupní body, zatímco postupné rozšiřování oprávnění znamená hromadění přístupových práv. Nesoulad chování se projevuje odchylkami od zamýšlených úkolů a neprůhledné záznamy událostí komplikují vyšetřování. Široce používaný konektor a neomezený nástroj příkazového řádku mohou vést k různým podobám týchž problémů.

Bezpečnostní rizika a jejich řešení u agentů s nízkým podílem kódu

Díky přístupnosti řešení s nízkým podílem kódu mohou agenty vytvářet i zaměstnanci mimo tradiční vývojářské týmy. Bezpečnostní dohled je třeba rozšířit i na tyto tvůrce, aby snadné propojování služeb zůstalo v souladu s povoleným využitím v podniku.

Kde nízkokódová prostředí zaostávají v zabezpečení

Občanští vývojáři mohou agenta propojit se sdílenými soubory nebo podnikovými aplikacemi, aniž by plně rozuměli jeho oprávněním. Přístup udělený prostřednictvím těchto propojení může odhalit citlivé informace nebo umožnit činnosti přesahující zamýšlený pracovní postup. Široké možnosti sdílení a nejasné určení odpovědnosti mohou toto riziko ještě zvýšit.

Rozsah zavádění těchto řešení zvyšuje důležitost jednotného dohledu napříč odděleními. Forrester ve své analýze trhu z roku 2024 uvádí, že 87 % podnikových vývojářů používá platformy s nízkým podílem kódu při některých vývojářských činnostech. Toto zjištění se týká vývoje obecně, takže dokládá široké rozšíření těchto platforem, nikoli konkrétně míru využívání agentů umělé inteligence.

Praktické způsoby, jak zvýšit bezpečnost agentů s nízkým podílem kódu

Týmy by měly ověřit, zda oprávnění konektorů odpovídají úkolu přidělenému každému agentovi, a uplatňovat princip nejnižších oprávnění. Centrální evidence by měla u každého nasazení zaznamenávat vlastníka a propojené služby a u citlivých činností stanovit požadavek na schválení. Bezpečnostní týmy tak získají podklad pro vyhledávání neevidovaných agentů i pro vyšetřování neoprávněného přístupu.

Přístup společnosti Microsoft ke správě dat klade důraz na řízený přístup k podnikovým informacím. Naveen Jangir, hlavní architekt ve společnosti Microsoft Digital, organizacím doporučuje, aby „přístup k nim řídily a chránily je pomocí vhodných omezení“. Tato opatření umožňují oprávněným uživatelům a funkcím umělé inteligence využívat je bez zbytečného vystavování riziku v rámci stanovených hranic oprávnění. Uplatňování zásad pro konektory spolu s jasným určením odpovědnosti může zajistit, že se tato omezení stanou běžnou součástí vývoje.

Bezpečnostní rizika a jejich řešení u agentů s vysokým podílem kódu

Když týmy využívají agenty umělé inteligence pro programování k vytváření vlastních systémů, mohou změny generované těmito agenty vznikat rychleji, než je lidé stihnou prověřit. Zabezpečení při vývoji s vysokým podílem kódu proto vyžaduje kontrolní opatření jak v procesu vývoje, tak v prostředích, v nichž agenti vykonávají úkoly.

Jedinečné bezpečnostní výzvy vývoje s vysokým podílem kódu

Při čtení externích repozitářů obsahujících pokyny vložené útočníky mohou programovací agenti čelit nepřímé injekci promptu. Pokud agent takové pokyny poslechne a zároveň má přístup k vývojovým nástrojům, může spustit nebezpečné příkazy nebo odhalit přihlašovací údaje. Možné následky částečně závisí na tom, ke kterým souborům, nástrojům a externím cílům mu jeho prostředí pro vykonávání kódu dovoluje přístup.

Pokyny společnosti NVIDIA k izolovanému spouštění řeší vystavení přihlašovacích údajů v rámci této hranice vykonávání. Uvádějí, že „prostředí sandboxu by se měla spoléhat na výslovné předávání tajných údajů“, aby se omezil přístup k přihlašovacím údajům. Agenti by neměli přebírat veškeré přihlašovací údaje z prostředí, pokud jejich úkoly vyžadují pouze omezený přístup. Týmy by měly přidělovat přihlašovací údaje potřebné pro konkrétní úkol a držet nesouvisející tajné údaje mimo dosah agenta.

Strategie pro zabezpečení pracovních postupů agentů vyvíjených s vysokou mírou programování

Omezená prostředí pro spouštění by měla omezovat přístup k souborům a odchozí připojení podle povahy daného úkolu. Týmy by také měly u generovaného kódu provádět statické testování zabezpečení aplikací. Nezávislí kontroloři by měli prověřovat rozhodnutí o autorizaci nebo obchodní logiku, které by automatizované kontroly mohly přehlédnout. Tato opatření se zaměřují na hranice prostředí pro spouštění a na slabá místa výsledného softwaru.

Amazon Web Services ve svém rámci kontrol pro kódovací agenty doporučuje oddělit generování kódu od jeho vyhodnocování. Uvádí, že „samostatná relace pomáhá předcházet zkreslení ve prospěch vlastního úsudku“. Dvě relace se stejným modelem však mohou mít stejná skrytá slabá místa i při kontrole. Kde je to možné, může důkladnější prověřování zajistit jiný model pro kontrolu a lidské posouzení změn citlivých z hlediska bezpečnosti.

Jak vytvořit bezpečnostní strategii pro oba přístupy

Zabezpečení AI při vývoji agentů s nízkou i vysokou mírou programování vyžaduje jednotný přehled o aktivitách všude tam, kde si agenti vyměňují informace. Pracovní postup s nízkou mírou programování může například předat obsah agentovi vytvořenému na míru, který následně zavolá další podnikovou službu. Pokud bezpečnostní týmy kontrolují každou součást zvlášť, mohou jim chybět souvislosti potřebné k pochopení celé posloupnosti.

Odborníci na zabezpečení AI ze společnosti Darktrace tvrdí, že organizace musí kontrolovat výzvy i relace vedle odpovědí napříč podnikovými nástroji generativní AI i oběma přístupy k vývoji. Jejich pohled zahrnuje také prostředí softwaru jako služby a zabezpečeného přístupu ke službám na okraji sítě. Díky takovému přehledu získají organizace kontext, který jim umožní „odhalovat důmyslné konverzační útoky pomocí výzev i škodlivé řetězení“.

Pohled společnosti Darktrace podporuje širší strategii zabezpečení AI při vývoji agentů s nízkou i vysokou mírou programování, protože přehled o výzvách, sledování relací a kontrola identity pomáhají týmům porozumět tomu, jak agenti komunikují prostřednictvím propojených nástrojů. Bezpečnostní týmy by měly prověřovat, jak se pokyny v průběhu propojených relací mění a zda následné činnosti zůstávají v souladu s původním oprávněním. Měly by také zvážit citlivost všech informací uchovávaných pro účely vyšetřování.

Správa a monitorování pro dlouhodobé zabezpečení agentů AI

Každý agent by měl mít odpovědného vlastníka a jasně stanovený rozsah povolených činností bez ohledu na způsob jeho vývoje. V rámci správy by také mělo být určeno, kdo může schvalovat změny tohoto rozsahu a kdo může činnost pozastavit, pokud se agent chová neočekávaně.

Výzkum správy agentů naznačuje, že agenti potřebují ověřitelná oprávnění, která lze auditovat a která pomáhají zajistit odpovědnost. Tento přístup propojuje osobu udělující oprávnění s úkoly, které agent smí vykonávat. Organizace pak mohou ověřit, zda je konkrétní činnost v souladu s daným oprávněním.

Týmy by měly vést záznamy o činnostech, které propojují delegovaná oprávnění s používáním nástrojů a dosaženými výsledky. Při pravidelných kontrolách by měly tato oprávnění znovu posuzovat s ohledem na změny schopností, odebírat přístup, který po dokončení práce zůstal aktivní, a ověřovat, zda jsou údaje o vlastníkovi stále aktuální. Vývojové a bezpečnostní týmy mohou tyto kontroly využívat k tomu, aby provozní opatření zůstala v souladu se schváleným účelem agenta.

Jak držet krok s bezpečnostními riziky agentů AI

Vývoj s nízkou mírou programování vyžaduje pečlivé řízení oprávnění platformy a konektorů, zatímco při vývoji s vysokou mírou programování je třeba věnovat zvláštní pozornost vlastním prostředím pro spouštění a kontrole kódu. Centralizované monitorování a důsledné vyvozování odpovědnosti tvoří společný základ pro dohled nad tím, jak agenti získávají přístup k informacím a jednají napříč propojenými podnikovými systémy. S rozšiřováním jejich schopností by vývojáři měli průběžně přehodnocovat ochranná opatření a přizpůsobovat je změnám nástrojů a odpovědností agentů. Po celou dobu životního cyklu každého nasazení by přitom měli jasně vymezit povolené činnosti.