Skrytá hrozba AI agentů vyžaduje nový bezpečnostní model

Agentic AI systémy se staly mainstreamem za poslední rok. Používají se pro několik funkcí, včetně ověřování uživatelů, přesunu kapitálu, spouštění pracovních postupů dodržování předpisů a koordinace napříč podnikovými prostředími s minimálním lidským dohledem.

Nicméně, tišší problém se objevuje s rostoucí autonomií, ne na úrovni podnětů nebo politik, ale na úrovni infrastruktury důvěry. Agentic systémy jsou přiznány vnitřní autoritu, zatímco stále běží na výpočetních prostředích, které nebyly navrženy pro ochranu autonomních rozhodovatelů před infrastrukturou pod nimi.

Tradiční bezpečnost předpokládá, že software je pasivní, ale agentic systémy nejsou. Rozhodují, pamatují a jednají neustále, autonomně a s delegovanou autoritou.

Je třeba také pamatovat, že AI agenti pravděpodobně budou mít přístup k osobním údajům, v závislosti na jejich použití, jako jsou e-maily a záznamy hovorů, mezi jinými věcmi.

Kromě toho, zatímco hardwarové ochrany, jako jsou důvěrné virtuální stroje a zabezpečené enklávy, existují, nejsou dosud výchozím základem pro většinu agentic AI nasazení. V důsledku toho mnoho agentů stále běží v prostředích, kde citlivé údaje jsou vystaveny základní infrastruktuře během runtime.

Agenti jsou vnitřní, ne nástroje

Bezpečnostní týmy již znají, jak je obtížné izolovat vnitřní hrozby, problém, který je zdůrazněn ve Verizonově zprávě o porušení dat z roku 2025, která ukazuje, že proniknutí do systému bylo odpovědné za více než 53 % potvrzených porušení v minulém roce. V 22 % těchto případů útočníci použili ukradené přihlašovací údaje k získání přístupu, což ukazuje, jak často se jim daří pomocí legitimitních identit místo利用 technických chyb.

Nyní zvažte agenta, který se skládá z logiky podnětů, nástrojů a pluginů, přihlašovacích údajů, jakož i politik. Může nejen spouštět kód a procházet web, ale také dotazovat CRM, číst e-maily a odesílat tikety, mezi mnoha jinými věcmi. Co kombinace funkcí přinesla, je tradiční útočná plocha do moderního rozhraní.

Nebezpečí, které představují takové vnitřní hrozby, není spekulativní. Projekt Open Web Application Security (OWASP) nyní uvádí „vstupní injekci“ jako kritickou zranitelnost pro aplikace LLM, přičemž zdůrazňuje její zvláštní nebezpečí pro agentic systémy, které řetězí akce. Tým Microsoft Threat Intelligence také zveřejnil doporučení, varující, že AI systémy s přístupem k nástrojům mohou být podvrženy k provedení krádeže dat, pokud nejsou zajišťovací opatření architektonicky vynucena.

Tyto zprávy poskytují včasnou připomínku, že agenti, kteří mají legitimní přístup k systémům a údajům, mohou být obráceni proti svým vlastníkům. Nicméně, rizikový krajina pro agentic systémy není jednotná. Útoky na úrovni aplikace, jako je vstupní injekce a zneužití nástrojů, pocházejí z neschopnosti modelu rozlišovat důvěryhodné instrukce od nespolehlivých uživatelských vstupů, návrhového omezení, které nelze žádným způsobem opravit.

Odlišný a stejně důležitý problém existuje na úrovni infrastruktury: někteří agenti běží v plaintext paměti, což znamená, že citlivé informace, jako jsou historie chatu, odpovědi API a dokumenty, mohou být viditelné, zatímco jsou zpracovávány, a mohou zůstat přístupné později. OWASP identifikuje toto riziko jako Sensitive Information Disclosure (LLM02) a System Prompt Leakage (LLM07) a navrhuje použití kontextové izolace, segmentace namespace a sandboxingu paměti jako důležitá bezpečnostní opatření.

Uživatelé by neměli tyto agenty považovat pouze za aplikace, protože jsou dynamickými, rozumovými výkony, které vyžadují bezpečnostní model, který zohledňuje jejich jedinečnou povahu jako nehumánních entit s agenturou. Tento přístup musí zahrnovat jak softwarové kontroly, které omezují, jak model jedná, tak hardwarové ochrany, které udržují data v bezpečí, zatímco jsou používána.

Architektura důvěry má kritickou vadu

Současné bezpečnostní postupy se zaměřují na ochranu dat v klidu a během přenosu. Poslední hranice, data při použití, zůstává téměř úplně vystavená. Když AI agent vyvozuje závěry z důvěrného datového souboru k schválení půjčky, analýze zdravotních záznamů nebo provedení obchodu, data jsou obvykle dešifrována a zpracována v plaintextu v serverové paměti.

Ve standardních cloudových modelech může kdokoli s dostatečnou kontrolou nad infrastrukturou, včetně správců hypervizoru nebo útočníků-co-tenantů, potenciálně nahlédnout, co se děje, zatímco se běží zatížení. Pro AI agenty je toto vystavení zvláště nebezpečné, protože potřebují přístup k citlivým informacím, aby mohli dělat svou práci, což může potenciálně stát se útočnou plochou.

Jak Lumia Security demonstroval, útočníci s přístupem k místnímu stroji mohou získat JWT a session klíče přímo z procesní paměti aplikací ChatGPT, Claude a Copilot. Tyto ukradené přihlašovací údaje mohou umožnit, aby se vydávali za jiného uživatele, ukradli historii konverzace a vložili podněty do probíhajících relací, které mohou změnit chování agenta nebo zasadit falešné vzpomínky.

Příkladem toho může být incident s AWS CodeBuild, kdy útočníci tajně přidali škodlivý kód do projektu a když systém běžel, kód nahlédl do paměti počítače a ukradl skryté přihlašovací tokeny uložené tam. S těmito tokeny mohli útočníci změnit kód projektu a potenciálně získat přístup k jiným systémům.

Pro finanční instituce je tichá manipulace existenční. Banky, pojišťovny a investiční firmy již absorbují průměrné náklady na porušení dat ve výši více než 10 milionů dolarů a chápou, že integrita má stejnou důležitost jako důvěrnost. Podle nedávné zprávy Informatica, „paradox důvěry“ byl vysvětlen takto: organizace nasazují autonomní agenty rychleji, než mohou ověřit jejich výstupy. Výsledkem je automatizace, která může pevně zapracovat chyby nebo předpojatost přímo do základních procesů, fungujících na rychlosti strojů.

Důvěrné výpočty a případ pro izolaci

Inkrementální opravy nevyřeší problém, i když přísnější kontroly přístupu a lepší monitorování mohou pomoci. Nicméně, ani jeden z nich nemůže změnit základní problém. Problém je architektonický a dokud výpočet probíhá v exponované paměti, agenti budou zranitelní v okamžiku, kdy jsou nejvíce důležití, což je při vyvozování závěrů.

Důvěrné výpočty, definované Konsorciem pro důvěrné výpočty (CCC) jako ochrana dat při použití prostřednictvím hardwarově založených důvěrných prostředí (TEEs), přímo řeší základní vadu.

Pro AI agenty je toto hardwarové izolace transformační, protože umožňuje, aby identifikační údaje agenta, jeho modelové váhy, proprietární podněty a citlivé uživatelské údaje, které zpracovává, zůstaly zašifrované nejen na disku nebo přes síť, ale aktivně v paměti během provádění. Oddělení definitivně rozbité tradiční model, kde kontrola nad infrastrukturou zajišťuje kontrolu nad zatížením.

Vzdálená autentizace poskytuje verifikovatelné kryptografické důkazy, že konkrétní žádost o inferenci byla provedena uvnitř hardwarově podporovaného důvěrného prostředí, ať už se jedná o CPU nebo GPU. Důkaz je generován z hardwarových měření a dodán spolu s odpovědí, umožňující nezávislou verifikaci, kde a jak se zatížení provedlo.

Autentizační záznamy neodhalují kód, který byl proveden. Místo toho je každé zatížení spojeno s jedinečným ID zatížení nebo transakčním ID a TEE autentizační záznam je spojen s tímto identifikátorem. Autentizace potvrzuje, že výpočet proběhl uvnitř důvěrného prostředí, aniž by odhalil jeho obsah.

Nastavení vytváří nový základ pro dodržování předpisů a auditovatelnost, umožňující spojit akce agenta s konkrétní verzí kódu, která byla autentizována a známou sadou vstupních dat.

Smerem k odpovědné autonomii

Dopady systému popsaného výše sahají za hranice základní bezpečnosti. Zvažte zákony, které upravují finance, zdravotnictví a osobní informace. Mnoho jurisdikcí uplatňuje pravidla suverenity dat, která omezují, kde mohou být informace zpracovány. V Číně, zákon o ochraně osobních informací a zákon o bezpečnosti dat vyžadují, aby určité kategorie dat, důležité osobní údaje, byly uloženy doma a přezkoumány před přenosem do zahraničí.

Podobně, několik zemí v Perském zálivu, jako je Spojené arabské emiráty a Saúdská Arábie, přijaly podobné přístupy, zejména pro finanční, vládní a kritické infrastrukturální údaje.

Důvěrné výpočty mohou posílit bezpečnost a auditovatelnost chráněním dat během jejich zpracování a umožňováním autentizace runtime prostředí. Nicméně, nezmění, kde se zpracování provádí. Kde pravidla suverenity dat vyžadují místní zpracování nebo ukládají podmínky pro přeshraniční transfery, důvěrná prostředí mohou podporovat kontroly dodržování předpisů, ne nahrazovat právní požadavky.

Kromě toho, důvěrné výpočty umožňují bezpečnou spolupráci v multi-agentních systémech, kde agenti z různých organizací nebo z různých oddělení často potřebují sdílet informace nebo ověřovat výstupy bez vystavení proprietárních dat.

A když je tato technologie kombinována se zero-trust architekturou, výsledkem je mnohem silnější základ. Zero-trust kontinuálně ověřuje identitu a přístup, zatímco důvěrné výpočty chrání hardwarovou paměť před neoprávněným extrahováním a zabraňují tomu, aby citlivé informace byly získány v plaintextu.

Společně, brání tomu, co skutečně záleží, například logice rozhodnutí, citlivým vstupům a kryptografickým klíčům, které autorizují akci.

Nový základ pro autonomní systémy

Pokud každá interakce vystavuje lidi riziku vystavení, nebudou dovolit AI, aby se starala o věci, jako jsou zdravotnické záznamy nebo finanční rozhodnutí. Podobně, společnosti nebudou automatizovat své nejdůležitější úkoly, pokud by to mohlo vést k regulatorním problémům nebo ztrátě důležitých dat.

Seriozní stavitelé uznávají, že opravy na úrovni aplikace samy o sobě jsou nedostatečné ve vysokém prostředí zajištění.

Když jsou agenti svěřeni finanční autoritou, regulovanými daty nebo mezioorganizační koordinací, infrastrukturální vystavení se stává více než teoretickou otázkou. A bez důvěrného provedení v takových kontextech, mnoho agentů zůstává měkkým cílem, se svými klíči království a logikou měnitelnou. Velikost moderních porušení dat ukazuje přesně, kam vede tato cesta.

Privátnost a integrita nejsou volitelnými funkcemi, které lze přidat po nasazení. Musí být architektonicky navrženy od základu. Proto, pro agentic AI, aby škálovala bezpečně, hardwarově vynucená důvěrnost nemůže být považována pouze za konkurenční výhodu, ale za základ.