Od generativní k agentic AI: Posun od rizika obsahu k expozici provádění

Podniková AI se vyvíjí rychle. Co začalo jako generativní AI kopiloti, kteří připravují e-maily a shrnují dokumenty, se nyní stává něco mnohem autonomnějšího: systémy, které plánují, rozhodují a provádějí úkoly napříč nástroji a prostředími.

Toto je posun od generativní k agentic AI. Je to vidět na proměně rizika.

GenAI zavedla rizika obsahu, včetně halucinací, úniku dat prostřednictvím dotazů a zkreslených výstupů. Agentic AI expozice nastává prostřednictvím svých autonomních systémů, které mají oprávnění, paměť a schopnost přístupu ke všem dostupným nástrojům rychlostí strojů.

Toto je příležitost pro odborníky na bezpečnost, řízení a AI, aby přehodnotili svou pozici na těchto nových rizicích.

Co je agentic AI riziko?

Agentic AI riziko se týká bezpečnostních, provozních a řídících rizik, která jsou spojena s AI systémy, které fungují autonomně, nejen generují text, ale také provádějí vícekrokové pracovní postupy na podnikových systémech.

Na rozdíl od tradičních velkých jazykových modelů (LLM) mohou agentic systémy rozložit úkoly do dynamických pracovních postupů, provádět externí API požadavky a vyvolávat interní aplikace, a ukládat a vyvolávat paměť. Mohou také fungovat pod delegovaným identitou a komunikovat s jinými agenty.

To znamená, že jsou méně podobné chatbotům a více podobné junior digitálním zaměstnancům. To představuje obrovský nárůst útočného povrchu AI agenta.

Generativní vs agentic AI: Co se mění?

Generativní AI riziko se soustředí na výstupy. Bezpečnostní týmy se ptají, zda model neuniká data, zda může halucinovat, nebo zda nevytváří škodlivý nebo nekompatibilní obsah.

Lidé jsou pevně v smyčce. AI navrhuje, lidé schvalují.

Agentic AI riziko je akčně orientované. Nyní se bezpečnostní týmy musí ptát, s jakými systémy může agent interagovat, jaká oprávnění bude mít, jak daleko může jeho plán dosáhnout, a co by se stalo, kdyby byl oklamaný během běhu.

Rozdíl může být velmi malý, ale je významný: Generativní AI vytváří obsah. Agentic AI vytváří důsledky. To je posun od rizika obsahu k expozici provádění.

Jak agentic AI rozšiřuje útočný povrch podniků?

Agentic AI nedělá pouze nový aplikaci. Vytváří novou provozní vrstvu. Zde je, jak se útočný povrch zvětšuje:

1. Privilegovaní AI agenti

Existuje mnoho agentů, kteří jednají jménem uživatelů nebo servisních účtů. Když je rozsah oprávnění není těsný, stávají se cennými cíli.

To může vést k problémům s rozrušeným zástupcem, eskalací oprávnění a laterálním pohybem. To je problém, když cloud, SaaS a interní systémy poskytují dynamický nebo zděděný přístup k agentům.

2. Dynamické prováděcí cesty

Řídicí toky v tradičních aplikacích jsou deterministické. Řídicí toky v agentic AI systémech nejsou.

Rozhodují o cílech, akcích, reflektují, upravují a vyvolávají nástroje nedeterministickým způsobem. To vede k obtížně analyzovatelným selháním, komplexním závislostním grafům a kaskádovým selháním v multiagentních systémech. Bezpečnostní kontroly vyvinuté pro deterministické řídicí toky nejsou zde použitelné.

3. Trvalá paměť

Útočný povrch způsobený agentní pamětí je trvalý.

Když je krátkodobá nebo dlouhodobá paměť kompromitována, může škodlivý stav ovlivnit rozhodnutí napříč několika relacemi. To se liší od jediného vstřiku dotazu, protože paměťová korekce poskytuje trvalost.

4. Rizika rozhodování rychlostí strojů

Autonomní agenti dělají rozhodnutí rychlostí, která je nemožné lidsky sledovat. To přináší výzvy rozhodování rychlostí strojů, jako je rychlá propagace chyb, zneužívání cyklů mnohem rychlejší než lidská reakce a eskalace před detekcí.

V multiagentních systémech je rozsah vlivu rychlý. Škodlivý agent může spustit kaskádové selhání v koordinačních řetězcích.

Proč tradiční kontroly selhávají s agentic AI

Většina tradičních podnikových bezpečnostních modelů se spoléhá na statické aplikace, předvídatelné volání grafů, lidská schvalování a jasnou separaci mezi zpracováním dat a prováděním. Agentic AI činí tyto předpoklady neplatnými.

Vezměte si například tradiční kontrolu, jako je validace vstupu. To chrání hranici systému. Avšak agentic riziko obvykle nastává uprostřed smyčky, ve fázi plánování, reflexe nebo nástrojové fáze.

Tradiční skenování zranitelností se také zaměřuje na infrastrukturu a software. Avšak AI prováděcí riziko sídlí ve vrstvě rozumu a akce agenta.

Otázka je: Jak chránit něco, co může zvolit svou vlastní další akci? Nemůžete pouze zabalit kontroly kolem jediného modelového volání. Musíte zabezpečit pracovní postup.

Zabezpečení agentic AI: Co skutečně funguje?

Při zabezpečení agentic AI je nutné provést posun od perimetrového myšlení k myšlení životního cyklu. Agenti by neměli být povoleni k reinterpretaci cílů neomezeně, a existuje několik způsobů, jak toho dosáhnout.

Stanovit povolené sekvence cílů, regulovat hloubku stromu expanze plánu, monitorovat odchylky rozumu a zakazovat samoautorské cíle mimo rozsah jsou všechny nezbytné kontroly. Neočekávané variace v rozumu jsou často předchůdci manipulace.

Zpevnit provádění nástrojů. Nástroje jsou tam, kde se plán setkává s realitou, a bezpečnost musí pokrývat kontroly oprávnění před prováděním nástrojů, sandboxové prostředí, přísnou validaci parametrů a just-in-time přenos pověření. Každé provádění nástroje musí být zaznamenáno jako první třída bezpečnostní události.

Izolovat paměť a rozsah oprávnění. Paměť musí být léčena jako citlivá infrastruktura. To znamená validaci zápisových operací, partitionování paměti, omezení rozsahu pro čtecí operace na úkol, použití krátkodobých pověření a prevenci zděděných oprávnění. Nevalidovaná akumulace oprávnění je významným agentic AI rizikem.

Zabezpečit multiagentní koordinaci. V distribuovaných agentních systémech se komunikace sama stává útočným vektorem. To by mělo znamenat agentní autentizaci, validaci schématu zpráv, omezené komunikační kanály a monitorování anomálních vlivových vzorců. Když koordinace odchyluje od očekávaných toků, měla by nastat izolace automaticky.

Od expozice řízení k expozici hodnocení pro AI systémy

To je místo, kde se široká bezpečnostní filozofie stává klíčovou. Tradiční řízení zranitelností identifikuje známá slabá místa. Avšak autonomní AI systémy zavádějí emergentní expozici: rizika, která vznikají z konfigurace, designu oprávnění, integračních cest a dynamického chování.

To odpovídá tomu, co průmysl nazývá expozicí řízení a exposicí hodnocením.

Expoziční řízení je vše o tom, mít nepřetržitou viditelnost do toho, jak systémy (včetně cloudových aktiv, identit, aplikací a nyní AI agentů) vytvářejí cesty, které mohou být zneužity špatnými aktéry.

Pro autonomní AI systémy bezpečnost to znamená ptát se: Co může tento agent dosáhnout? Jaká oprávnění agreguje? Jaké systémy orchestruje? A kde se provádění setkává s citlivými daty?

Týmy, které již používají expozicí založené strategie ke snížení kybernetického rizika, jsou v dobré pozici, aby tyto principy rozšířily do svých AI prostředí. Například platformy, které sjednocují identitu, cloud a viditelnost zranitelností, poskytují způsob, jak pochopit, jak se privilegovaní AI agenti protínají se stávajícími útočnými cestami.

Klíč není dodavatel nástrojů jako takový. Je to myšlení:

Nemůžete zabezpečit agentic AI chráněním modelu. Můžete ho zabezpečit pouze neustálým měřením a snižováním jeho expozice.

Rizikům prováděcí vrstvy agentic AI

Značka agentic AI bezpečnosti je tato: Útočný povrch není odpověď, ale pracovní postup.

Rizikům prováděcí vrstvy jsou mnohé, včetně neautentizovaného použití nástrojů, identity padělání, eskalace oprávnění, paměťového otrávení, meziagentní manipulace a lidské v-smyčce systémy pod tlakem.

Snižování těchto rizik znamená mít viditelnost do vztahů identit, zděděných oprávnění, závislostí API, runtime aktivity a prováděcí telemetrie.

To již není jen GenAI bezpečnost; je to AI provozní bezpečnost.

Agentic AI riziko je architektonické, ne hypotetické

Agentic AI je další krok v evoluci podnikové AI adopce. Slibuje efektivitu, automatizaci a škálovatelnost. Avšak také přináší riziko z toho, co AI říká, na to, co AI dělá.

Přechod od generativní k agentic AI ovlivňuje následující:

• Riziko obsahu na riziko provádění
• Statické dotazy na dynamické prováděcí toky
• Lidské hodnocení na autonomní provádění
• Aplikační bezpečnost na expozici řízení

Bezpečnostní lídři, kteří pochopí tuto transformaci jako první, mohou navrhnout ochranné zábrany, které škálovat s autonomií. Ostatní budou mít digitální insider bez insider kontrol.

Budoucnost AI v podniku je agentic. Budoucnost AI bezpečnosti musí být expozicí řízená, pracovní postupem vědomá a navržená pro strojové operace.

Protože jednou, co AI agenti mají schopnost provádět, je jediným životaschopným přístupem neustálé chápání (a snižování) toho, co jsou vystaveni.