Kybernetická bezpečnost
Agenti AI jsou chytřejší a jejich útočná plocha se zvětšuje

Klíčové bodyNepředvídatelná autonomie AI agentů vytváří rozsáhlý a dynamický útočný povrch, který…
Zobrazit více
- Nepředvídatelná autonomie AI agentů vytváří rozsáhlý a dynamický útočný povrch, který odolává tradičním bezpečnostním modelům.
- Útoky typu prompt injection manipulují s instrukcemi agentů prostřednictvím běžných vstupů jako jsou dokumenty a webové stránky.
- Systémy s více agenty nebezpečně zesilují riziko kvůli hierarchiím důvěry a nadměrným oprávněním pro přístup ke kritickým systémům.
Ve chvíli, kdy agenti AI začali rezervovat schůzky, spouštět kód a procházet web vaším jménem, se změnila debata o kybernetické bezpečnosti. Ne pomalu, ale naopak přes noc.
Co bývalo uzavřeným, předvídatelným softwarovým systémem, se stalo něčím, co uvažuje, plánuje a jedná prostřednictvím nástrojů a API, o jejichž existenci před rokem sotva vědělo.
To je skutečně vzrušující, a zároveň to je také skutečně děsivé, protože útočný povrch, který s tím souvisí, je enormní, a většina organizací teprve začíná chápat, co to znamená, když se agenti dostanou do jejich infrastruktury.
Od chatbotů k vykonavatelům
Původní slib AI byl jednoduchý: zeptejte se na otázku, získejte odpověď. To je stále pravda pro většinu spotřebitelských interakcí, ale není to, co se děje v podnikových nasazeních. Dnešní agenti dostávají přihlašovací údaje, klíče API a schopnost mazat, vytvářet a přidávat poznámky k datům, stejně jako provádět skutečné akce uvnitř systémů, které mají skutečné důsledky.
Tento posun se udál rychle. Za méně než dva roky se AI agenti změnili z generátorů textu na nástroje umožňující plynulý provoz víceagentových systémů. Čtou e-maily, spouští pracovní postupy, dotazují se databází a v některých případech řídí další agenty pod nimi. Takový přístup dříve vyžadoval dlouhý nákupní proces a zapojení člověka. Nyní stačí konfigurační soubor a několik volání API.
Více přístupu znamená větší vystavení riziku
Tradiční softwarové útoky mají do určité míry předvídatelný profil. Existuje známý vstupní bod, známá zranitelnost, známá oprava. AI agenti porušují tento model, protože jsou záměrně dynamičtí. Nesledují statickou cestu kódu. Rozhodují o tom, co dělat dál, což znamená, že jejich chování je těžší předpovědět a mnohem těžší auditovat zpětně.
Tato nepředvídatelnost je užitečná pro dokončení práce. Je to také výhoda pro každého, kdo se snaží využít systém. Když může agent rozhodnout uprostřed úkolu, aby zavolal externí API nebo využil nástroj třetí strany, není žádný jasně vymezený perimetr, který by se dal bránit.
Bezpečnostní týmy jsou zvyklé chránit známé povrchy a monitorovat náklady na Kubernetes. Agenti neustále objevují nové povrchy a exploity, a nikdo je nemapuje v reálném čase. Než si toho všimnete, někdo může ukrást přihlašovací údaje a získat kontrolu nad celým AI „organismem“ jedním tahem.
Prompt injection je nová SQL injection
Pokud existuje jeden útočný vektor, ke kterému se bezpečnostní výzkumníci neustále vracejí, je to prompt injection. Nápad je jednoduchý: místo toho, aby se využila zranitelnost kódu, útočník manipuluje instrukcemi, které agent obdrží prostřednictvím svých vstupů. Škodlivá instrukce vložená do webové stránky, dokumentu nebo dokonce e-mailu může přesměrovat další jednání agenta.
Zvlášť nebezpečné je, že agenti často dělají přesně to, co se jim řekne. Zpracovávají obsah z webu, z uživatelských zpráv, z nástrojů třetích stran. Jakýkoli takový obsah je potenciální povrch pro injekci. Agent, který čte kompromitovaný dokument a poté provádí volání API na základě jeho obsahu, byl unesen, a pravděpodobně nezaznamená nic, co by jasně ukazovalo řetězec příčin.
Obrany zde jsou reálné, ale neúplné. Izolování akcí agenta v sandboxu, omezování nástrojů, které agent může volat v určitých kontextech, a vytváření lidských kontrolních bodů do pracovních postupů se závažnými důsledky snižují riziko. Neeliminují ho. A většina organizací dosud nezavedla ani základní věci.
Problém důvěry ve víceagentových systémech
Multi-agentní systémy zavádějí vrstvu složitosti, kterou je snadné podceňovat. Když jeden agent řídí několik dalších, existuje hierarchie důvěry. Řídící agent předává instrukce dolů, a sub-agenti je následují. Pokud je řídící agent kompromitován, každý podřízený agent je v praxi také kompromitován, a rozsah škod se rychle zvětšuje.
Existuje také problém s nadměrným oprávněním. Agenti často dostávají více přístupu, než potřebují, protože je snazší poskytnout široká oprávnění dopředu než je postupně upřesňovat. Výzkumný agent nepotřebuje přístup pro zápis do produkční databáze.
Agent plánující schůzky nepotřebuje přístup k finančním záznamům. Ano, mít vše propojené působí uklidňujícím dojmem, ale je to prostě příliš riskantní na to, aby bylo možné zachovat přínosy bez jejich poklesu. Ale hranice se stírají v praxi, a principy nejnižších potřebných oprávnění, které fungují dobře v teorii, jsou tiše opuštěny ve spěchu při uvádění produktu na trh.
Jak zde vypadá rozumné zabezpečení
Není žádné jediné řešení, které by učinilo nasazení agentů bezpečným. Je to vrstvený problém a vyžaduje vrstvenou odpověď. Organizace, které to dělají dobře, obvykle začínají s kontrolami přístupu: dávají každému agentovi definovaný, úzký rozsah a začleňují kontrolní kroky do každé akce, která se dotýká citlivých systémů nebo externích služeb.
Pozorovatelnost je stejně důležitá jako prevence. Pokud agent udělá něco neočekávaného, týmy potřebují úplnou stopu toho, jaké instrukce obdržel, které nástroje zavolal a co vrátil. Většina konfigurací protokolování s takovou podrobností nepočítá a doplnit ji zpětně je obtížné. Vyplatí se ji zabudovat od začátku navzdory komplikacím.
Adversářské testování je také nedostatečně využíváno. Red-teaming agentů, konkrétně pokusy o vložení škodlivých instrukcí a sledování, co se stane, odhaluje zranitelnosti, které statická kontrola kódu nikdy nezachytí. Je to nepříjemné si to představit, ale lidé, kteří se později pokusí tyto systémy zneužít, už takové testy provádějí. Jediným rozumným krokem je předběhnout je.
Závěrečné myšlenky
AI agenti se stanou větší částí toho, jak organizace fungují, a tento posun je již v plném proudu. Debata o bezpečnosti musí rychle dohnat vývoj. Rizika jsou reálná, útočné vektory jsou nové, a časový prostor k jejich předstihnutí se zužuje.
Pochopení prostředí hrozeb pro autonomní AI systémy již není volitelné. Je to jedna z nejdůležitějších věcí, které bezpečnostní a inženýrské týmy mohou dělat právě teď, a čas na správné vyřešení tohoto problému již začal běžet.












