Od generativní k agentic AI: Posun od rizika obsahu k expozici provedení

Podniková AI se vyvíjí rychle. Co začalo jako generativní AI kopiloti, kteří připravovali e-maily a souhrny dokumentů, se nyní stává něčím mnohem autonomnějším: systémy, které plánují, rozhodují a provádějí úkoly napříč nástroji a prostředími.

Toto je posun od generativní k agentic AI. Je to vidět, jak se riziko mění.

GenAI přineslo rizika obsahu, včetně halucinací, úniku dat prostřednictvím příkazů a zkreslených výstupů. Agentic AI expozice nastává prostřednictvím svých autonomních systémů, které mají oprávnění, paměť a schopnost přístupu ke všem dostupným nástrojům rychlostí strojů.

Toto je příležitost pro odborníky na bezpečnost, governance nebo AI, aby přehodnotili svou pozici na těchto nových rizicích.

Co je agentic AI riziko?

Agentic AI riziko se týká bezpečnostních, provozních a governance rizik, která jsou vyvolána AI systémy, které fungují autonomně, nejen generují text, ale také provádějí vícekrokové pracovní postupy na podnikových systémech.

Na rozdíl od tradičních velkých jazykových modelů (LLM) mohou agentic systémy rozložit úkoly do dynamických pracovních postupů, provádět externí API požadavky a vyvolávat interní aplikace a ukládat a vzpomínat na paměť. Mohou také fungovat pod delegovanými identitami a komunikovat s jinými agenty.

Jinými slovy, jsou méně jako chatboty a více jako mladší digitální zaměstnanci. To představuje obrovský nárůst útočného povrchu AI agenta.

Generativní vs agentic AI: Co se mění?

Generativní AI riziko se zaměřuje na výstupy. Bezpečnostní týmy se ptají, zda model únik dat, zda by mohl halucinovat, nebo zda by mohl generovat škodlivé nebo nekompatibilní obsah.

Lidé jsou pevně v smyčce. AI navrhuje, lidé schvalují.

Agentic AI riziko je akčně orientované. Nyní se bezpečnostní týmy musí ptát, s jakými systémy by agent mohl interagovat, jaká oprávnění by mohl zdědit, jak daleko by mohl jeho plán dosáhnout a co by se stalo, kdyby byl oklámán při běhu.

Rozdíl může být velmi malý, ale je významný: Generativní AI vytváří obsah. Agentic AI vytváří důsledky. Toto je posun od rizika obsahu k expozici provedení.

Jak agentic AI rozšiřuje podnikový útočný povrch?

Agentic AI nemá pouze přidat novou aplikaci. Vytváří novou provozní vrstvu. Zde je, jak se útočný povrch zvětšuje:

1. Privilegovaní AI agenti

Existuje mnoho agentů, kteří jednají jménem uživatelů nebo servisních účtů. Když je rozsah oprávnění volný, stávají se cennými cíli.

To může vést k problémům s deputy, eskalaci oprávnění a laterálnímu pohybu. To je problém, když cloud, SaaS a interní systémy poskytují dynamický nebo zděděný přístup k agentům.

2. Dynamické výkonné cesty

Kontrolní toky v tradičních aplikacích jsou deterministické. Kontrolní toky v agentic AI systémech nejsou.

Rozhodují o cílech, akcích, reflektují, upravují a vyvolávají nástroje nedeterministickým způsobem. To vede k obtížně analyzovatelným selháním, složitým závislostem a kaskádovým selháním ve vícekrokových systémech. Bezpečnostní kontroly vyvinuté pro deterministické kontrolní toky nejsou zde použitelné.

3. Trvalá paměť

Útočný povrch vyvolaný agentem pamětí je trvalý.

Když je krátkodobá nebo dlouhodobá paměť kompromitována, může škodlivý stav ovlivnit rozhodnutí napříč několika relacemi. To se liší od jediného vstřiku příkazu, protože korekce paměti poskytuje trvalost.

4. Rizika rozhodování rychlostí strojů

Autonomní agenti činí rozhodnutí rychlostí, kterou nelze sledovat. To přináší rizika rozhodování rychlostí strojů, jako je rychlá propagace chyb, zneužívání cyklů mnohem rychleji než lidská reakce a eskalace před detekcí.

V systémech s více agenty je rozsah vlivu rychlý. Škodlivý agent může spouštět selhání v koordinačních řetězcích.

Proč tradiční kontroly selhávají u agentic AI

Většina tradičních podnikových bezpečnostních modelů se spoléhá na statické aplikace, předvídatelné volání grafů, lidské schvalování a jasnou separaci mezi zpracováním dat a provedením. Agentic AI činí tyto předpoklady neplatnými.

Vezměme si například tradiční kontrolu, jako je validace vstupu. To chrání hranice systému. Avšak agentic riziko obvykle appears uprostřed smyčky, ve fázi plánování, reflexe nebo nástrojů.

Tradiční skenování zranitelností se také zaměřuje na infrastrukturu a software. Avšak AI provedení rizika sídlí ve vrstvě rozumu a akce agenta.

Otázka je: Jak chránit něco, co si může zvolit svou vlastní další akci? Nemůžete pouze zabalit kontroly kolem jediného modelového volání. Musíte zabezpečit pracovní postup.

Zabezpečení agentic AI: Co skutečně funguje?

Když se jedná o zabezpečení agentic AI, musí dojít k posunu od perimetrového myšlení k myšlení životního cyklu. Agenti by neměli být povolena k reinterpretaci cílů neomezeně a existuje několik způsobů, jak toho dosáhnout.

Zavedení povolených sekvencí cílů, regulace hloubky stromů plánování, monitorování odchylky rozumu a zákaz sebevytvořených cílů mimo rozsah jsou všechny nezbytné kontroly. Neočekávané variace v rozumu jsou často předchůdci manipulace.

Zpevněte provedení nástrojů. Nástroje jsou tam, kde se plán setkává s realitou, a bezpečnost musí pokrývat kontrolu oprávnění před provedením nástrojů, sandboxové prostředí, přísnou validaci parametrů a just-in-time přenos pověření. Každé provedení nástrojů by mělo být zaznamenáno jako první třída bezpečnostní události.

Izolujte paměť a rozsah oprávnění. Paměť musí být léčena jako citlivá infrastruktura. To znamená validaci operací zápisu, partitionování paměti, omezení rozsahu pro čtení operací na úkol, použití krátkodobých pověření a prevenci zděděných oprávnění. Nevalidovaná akumulace oprávnění je významným agentic AI rizikem.

Zabezpečte multiagentní koordinaci. V distribuovaných agentních systémech se komunikace sama stává útočným vektorem. To by mělo znamenat agentní autentizaci, validaci schématu zprávy, omezené komunikační kanály a monitorování anomálních vlivů. Když koordinace odchyluje od očekávaných toků, měla by nastat automatická izolace.

Od expozice managementu k expozici hodnocení pro AI systémy

Toto je místo, kde se široká bezpečnostní filozofie stává klíčovou. Tradiční správa zranitelností identifikuje známé slabiny. Avšak autonomní AI systémy zavádějí emergentní expozici: rizika, která vznikají z konfigurace, designu oprávnění, integračních cest a dynamického chování.

To odpovídá tomu, co průmysl nazývá expozicí managementem a nedávno expozicí hodnocením.

Expoziční management se týká toho, mít nepřetržitou viditelnost do toho, jak systémy (včetně cloudových aktiv, identit, aplikací a nyní AI agentů) vytvářejí cesty, které mohou být zneužity špatnými aktéry.

Pro autonomní AI systémy bezpečnost to znamená ptát se: Co může tento agent dosáhnout? Jaká oprávnění agreguje? Jaké systémy orchestruje? A kde se provedení setkává s citlivými daty?

Týmy, které již používají expozicí založené strategie ke snížení kybernetických rizik, jsou v dobré pozici, aby tyto principy rozšířily do svých AI prostředí. Například platformy, které sjednocují identitu, cloud a viditelnost zranitelností, poskytují způsob, jak pochopit, jak se privilegovaní AI agenti setkávají se stávajícími útočnými cestami.

Klíč je v tom, že se nejedná o dodavatelské nástroje per se. Je to přístup:

Nesekurujete agentic AI chráněním modelu. Sekurujete ho tím, že neustále měříte a snižujete jeho expozici.

Spravování rizik vrstvy provedení v agentic AI

Značka agentic AI bezpečnosti je tato: Útočný povrch není odpověď, ale pracovní postup.

Rizika vrstvy provedení jsou mnohá, včetně neautentizovaného použití nástrojů, identity spoofingu, eskalace oprávnění, otravy paměti, manipulace mezi agenty a lidského faktoru v ohrožení.

Snižování těchto rizik znamená mít viditelnost do vztahů identit, zdědění oprávnění, závislostí API, runtime aktivity a telemetrie provedení.

Toto již není jen GenAI bezpečnost; je to také AI provozní bezpečnost.

Agentic AI riziko je architektonické, ne hypotetické

Agentic AI je dalším krokem v evoluci podnikové AI adopce. Skrývá slib efektivnosti, automatizace a škálovatelnosti. Avšak také přináší riziko od toho, co AI říká, k tomu, co AI dělá.

Přechod od generativní k agentic AI ovlivňuje následující:

• Riziko obsahu na riziko provedení
• Statické příkazy na dynamické výkonné toky
• Lidské schvalování na autonomní provedení
• Aplikační bezpečnost na expozicí management

Bezpečnostní lídři, kteří rozumějí tomuto přechodu první, mohou navrhnout zábrany, které škálovat s autonomií. Ostatní budou mít digitální insider bez insider kontrol.

Budoucnost AI v podniku je agentic. Budoucnost AI bezpečnosti musí být expozicí řízená, pracovním postupem vědomá a navržená pro strojové operace.

Protože jednou, co AI agenti mají schopnost provést, jediný životaschopný přístup je neustále pochopit (a snížit) to, čeho jsou vystaveni.