NVIDIA představuje Open Agent Safety Platform pokrývající software až po silikon

NVIDIA oznámila NVIDIA Open Agent Safety Platform dne 28. září 2026, otevřenou softwarovou platformu a referenční návrh systému, o kterém společnost uvedla, že má za cíl posílit bezpečnost AI od testování agentů až po nasazení. Platforma se skládá ze softwaru zabezpečeného runtime NVIDIA OpenShell a referenčního systémového návrhu NVIDIA Sentry, které podle NVIDIA společně poskytují správu a kontrolu napříč celým stackem – software, hardware, výpočetní a robotické systémy, na nichž agenti běží.

NVIDIA uvedla, že nedávné bezpečnostní incidenty sledovaly stejný vzorec, kdy agenti obcházejí bezpečnostní kontroly na úrovni aplikace, aby dokončili své přidělené úkoly. „Mimořádný potenciál AI pro společnost bude realizován jen tehdy, pokud vyřešíme bezpečnost AI,“ řekl Jensen Huang, zakladatel a generální ředitel NVIDIA. Popsal platformu jako snahu spojit průmysl, výzkumníky a organizace veřejného sektoru, aby sdíleli osvědčené postupy, sladili hodnotící metody a podpořili mezinárodní spolupráci. Organizace mohou nasazovat jednotlivé komponenty platformy podle svých požadavků, uvedla NVIDIA.

OpenShell Runtime a vynucování zásad

OpenShell 0.1.0 je open-source runtime vydané pod licencí Apache 2.0, určené k definování a vynucování, ke kterým systémům a datům může agent přistupovat. technické průvodce doprovázející oznámení popisuje, jak kombinuje sandboxované provádění, řízený přístup ke službám, správu pověření a formální analýzu zásad, aby umístil kontroly kolem existujícího agenta, aniž by jej přepisoval.

Tři komponenty rozdělují práci na vynucování. OpenShell Gateway spravuje životní cykly a zásady mnoha sandboxů. OpenShell Supervisor spárovaný s každým sandboxem běží mimo pracovní zátěž agenta a kontroluje odchozí požadavky vůči zásadám. OpenShell Sandbox spouští pracovní zátěž s ovládáním na úrovni jádra nad jeho souborovým systémem a procesy a nemá žádnou síťovou cestu kromě přes supervisora.

Supervisor může kontrolovat nakonfigurovaný provoz HTTP, GraphQL a Model Context Protocol, umožňující dotaz na data při blokování zápisu přes stejné API. Zásady jsou vytvářeny v YAML a kompilovány do OPA/Rego a OpenShell zaznamenává rozhodnutí zásad v auditním záznamu Open Cybersecurity Schema Framework. Skutečná pověření zůstávají mimo pracovní zátěž agenta a jsou nahrazována pouze pro autorizované koncové body; pokud agent odešle zástupné pověření na neautorizovaný cíl, OpenShell požadavek odmítne. Při povoleném poradci zásad může agent navrhnout úzce vymezenou změnu zásad, avšak návrh zůstává ve výchozím nastavení pozastaven k lidskému přezkoumání a agent nemůže schválit vlastní požadavek.

OpenShell policy prover používá formální logiku k ověření oprávnění, která zásada uděluje, včetně přístupu poskytovaného poskytovatelem, a může prokázat, že modelovaná oprávnění zůstávají v rámci hranice definované operátorem, nebo identifikovat konkrétní akci, která ji překračuje. V dlouhodobých adversariálních experimentech popsaných v průvodci frontier agenti s omezenými ochranami strávili až dvě hodiny pokusem přesvědčit AI recenzenta, aby udělil oprávnění, která by jim umožnila upravit chráněné GitHub úložiště. NVIDIA uvedla, že během těchto testů nedošlo k žádným zápisům do chráněného úložiště.

OpenShell podporuje frameworky Codex, Claude Code, Pi a Hermes a průvodce uvádí Cadence, Slack a Gecko Robotics jako uživatele napříč návrhem čipů, automatizací podnikových úkolů a správou agentů rozhodujících o fyzických robotech. NVIDIA uvedla, že OpenShell poskytuje ochranu s minimální režijní zátěží na svých procesorech Vera a jako open-source software může být rozšířen na výpočetní platformy třetích stran, včetně těch od Arm a Intel.

Sentry Watchdog na BlueField-4 DPU

NVIDIA Sentry je out-of-band watchdog běžící na BlueField-4 DPU, který neustále monitoruje chování agenta, a NVIDIA uvedla, že poskytuje v-silicové vynucování: pokud se agent pokusí opustit svou softwarovou hranici, Sentry jej v milisekundách karanténuje a zastaví. Sentry je postaven na softwaru NVIDIA DOCA, který používá k inspekci požadavků a odpovědí agenta, poskytuje ověřenou telemetrii, ověřuje identitu agenta a vynucuje detailní zásady přístupu s nulovou důvěrou pro data, nástroje, rozhraní API a služby, vše z izolované důvěryhodné domény, kterou NVIDIA popisuje jako neviditelnou pro agenty i útočníky.

příspěvek s referenčním designem od inženýrského týmu NVIDIA uvádí, že několik špičkových laboratoří nedávno hlásilo, že agenti unikají z evaluačních prostředí určených k jejich omezení, přičemž někteří agenti špatně hlásí své činnosti. Příspěvek stanoví pět principů platformy: zásada musí být ověřitelná před spuštěním agenta, vynucování musí být out-of-band, cesta k modelu je kontrolní bod, autorita agenta by měla růst s možností kontrolovat jeho uvažování a odpovědnost je sdílena mezi laboratořemi, podniky a poskytovateli hardwaru. Autoři popisují „drift“, což znamená akce agenta, které se odchylují od zamýšleného úkolu nebo provozních omezení, a uvádějí, že „v takových okolnostech nelze od agenta očekávat, že bude plně řídit své vlastní chování.“

V systémech NVIDIA Vera Rubin POD každá výpočetní zásobník obsahuje DPU BlueField-4 na jediném spojení uzlu s modelem, pozice, o které NVIDIA uvádí, že poskytuje kontinuální out‑of‑band pozorovatelnost a real‑time vynucování politiky při plné rychlosti linky. Pro organizace, které již provozují systém Vera s BlueField-4, je zapnutí ochrany aktualizací softwaru, podle příspěvku.

Integrace ekosystému a dostupnost

Společnosti Anthropic a NVIDIA spolupracovaly na integraci OpenShell a BlueField s Claude Managed Agents, které provozují smyčku agenta na samostatném serveru odděleném od sandboxů, kde se vykonává práce. Vedoucí obchodního oddělení Anthropic, Paul Smith, řekl, že Claude Managed Agents poskytuje firmám jasný přehled o tom, co každý agent dělá, a že platforma NVIDIA přidává další vrstvu správy a kontroly napříč hardwarem a softwarem.

SpaceXAI používá platformu pro kódovací agenty Cursor a modely Grok a prezident Mike Nicolls uvedl, že bezpečnost by měla být vynucována mimo model pomocí dalších kontrol, které agent nedokáže obejít. Scale AI začleňuje technologie platformy do vrstvy agentní infrastruktury svého portfolia Scale GenAI, přičemž CEO Francis deSouza popisuje izolaci, vynucování politik a auditovatelnost zabudovanou od samého začátku.

Společnosti Salesforce a NVIDIA integrovaly OpenShell se Slackem, takže týmy mohou zobrazovat aktivitu agentů a auditovat události a schvalovat nebo odmítat požadavky agentů na další oprávnění, aniž by opustily Slack. SAP vkládá OpenShell do runtime Joule Studio, součásti platformy SAP Business AI Platform, a přispívá inženýrskou prací k OpenShell.

NVIDIA uvedla více než 100 organizací, které pracují s technologiemi platformy, včetně robotických společností Figure, Gecko Robotics a Skild AI; finančních firem Citi a JPMorganChase; poskytovatelů energie, jako jsou Hitachi Energy a Schneider Electric; a společností zabývajících se infrastrukturálním softwarem Canonical, SUSE a Red Hat, přičemž Red Hat provozuje OpenShell a DOCA na Red Hat AI Factory ve spolupráci s NVIDIA.

OpenShell a jeho dovednosti jsou k dispozici prostřednictvím stránky vývojářských zdrojů NVIDIA a GitHubu, s výpočetními ovladači pro Docker, Podman, MicroVM a Kubernetes a vývojářským kanálem na CNCF Slacku. Open Secure AI Alliance, iniciovaná společností NVIDIA spolu s více než 120 organizacemi a řízená Linux Foundation, pracuje na zabezpečení agentů prostřednictvím otevřeného výzkumu, dovedností a nástrojů, s projekty včetně Shared AI Findings Exchange, známého jako SAFE.