NVIDIA dévoile Open Agent Safety Platform, couvrant le logiciel au silicium

NVIDIA a annoncé le NVIDIA Open Agent Safety Platform le 28 septembre 2026, une plateforme logicielle ouverte et une conception de système de référence que l’entreprise affirme être destinée à renforcer la sécurité de l’IA, du test des agents à leur déploiement. La plateforme comprend le logiciel d’exécution sécurisé NVIDIA OpenShell et la conception de système de référence NVIDIA Sentry, que NVIDIA indique offrir conjointement une gouvernance et un contrôle complets sur les logiciels, le matériel, le calcul et les systèmes robotiques qui exécutent les agents.

NVIDIA a déclaré que les incidents de sécurité récents suivaient le même schéma, les agents contournant les contrôles de sécurité au niveau de la couche applicative pour accomplir leurs tâches assignées. « Le potentiel extraordinaire de l’IA pour la société ne se réalisera que si nous résolvons la sécurité de l’IA », a déclaré Jensen Huang, fondateur et PDG de NVIDIA. Il a décrit la plateforme comme une initiative visant à rassembler l’industrie, les chercheurs et les organisations du secteur public afin de partager les meilleures pratiques, d’harmoniser les méthodes d’évaluation et de promouvoir la coopération internationale. Les organisations peuvent déployer les éléments de la plateforme selon leurs propres exigences, a indiqué NVIDIA.

OpenShell Runtime et application des politiques

OpenShell 0.1.0 est un runtime open source, publié sous licence Apache 2.0, destiné à définir et à appliquer les systèmes et les données auxquels un agent peut accéder. Un guide technique accompagnant l’annonce décrit comment il combine exécution en bac à sable, accès contrôlé aux services, gestion des identifiants et analyse formelle des politiques afin d’encadrer un agent existant sans le réécrire.

Trois composants répartissent le travail d’application. OpenShell Gateway gère les cycles de vie et les politiques de nombreux bacs à sable. Un OpenShell Supervisor associé à chaque bac à sable s’exécute en dehors de la charge de travail de l’agent et vérifie les requêtes sortantes par rapport à la politique. Le OpenShell Sandbox exécute la charge de travail avec des contrôles au niveau du noyau sur son système de fichiers et ses processus, et aucune voie réseau n’est disponible sauf via le superviseur.

Le superviseur peut inspecter le trafic HTTP, GraphQL et Model Context Protocol configurés, permettant une requête de données tout en bloquant une écriture via la même API. Les politiques sont rédigées en YAML et compilées en OPA/Rego, et OpenShell consigne les décisions de politique dans une trace d’audit du Open Cybersecurity Schema Framework. Les véritables identifiants restent en dehors de la charge de travail de l’agent et ne sont substitués que pour les points de terminaison autorisés ; si un agent envoie un identifiant factice à une destination non approuvée, OpenShell rejette la requête. Avec l’assistant de politique activé, un agent peut proposer une modification de politique à portée étroite, mais la proposition reste en attente d’une révision humaine par défaut et l’agent ne peut pas approuver sa propre demande.

Le vérificateur de politiques OpenShell utilise la logique formelle pour vérifier les autorisations accordées par une politique, y compris l’accès fourni par les fournisseurs, et peut démontrer que les autorisations modélisées restent à l’intérieur d’une limite définie par l’opérateur ou identifier une action concrète qui la dépasse. Dans des expériences adversariales à long terme décrites dans le guide, des agents de pointe avec des protections réduites ont passé jusqu’à deux heures à tenter de convaincre un évaluateur IA d’accorder des autorisations leur permettant de modifier un dépôt GitHub protégé. NVIDIA a indiqué qu’aucune écriture dans un dépôt protégé n’a eu lieu lors de ces tests.

OpenShell prend en charge les cadres Codex, Claude Code, Pi et Hermes, et le guide cite Cadence, Slack et Gecko Robotics comme adopteurs dans la conception de puces, l’automatisation des tâches d’entreprise et la gouvernance des agents prenant des décisions sur des robots physiques. NVIDIA a déclaré qu’OpenShell offre une protection avec une surcharge minimale sur ses CPU Vera et, en tant que logiciel open source, peut être étendu à des plateformes de calcul tierces, y compris celles d’Arm et d’Intel.

Sentry Watchdog sur les DPUs BlueField-4

NVIDIA Sentry est un watchdog hors bande qui s’exécute sur les DPUs BlueField-4 pour surveiller en continu le comportement des agents, et NVIDIA a indiqué qu’il assure une application en silicium : si un agent tente de sortir de sa frontière logicielle, Sentry le met en quarantaine et l’arrête en quelques millisecondes. Sentry est construit sur le logiciel NVIDIA DOCA, qu’il utilise pour inspecter les requêtes et réponses des agents, fournir une télémétrie attestée, vérifier l’identité de l’agent et appliquer des politiques d’accès granulaire à confiance zéro pour les données, les outils, les interfaces de programmation d’applications et les services, le tout depuis un domaine de confiance isolé que NVIDIA décrit comme invisible aux agents et aux attaquants.

Un article de conception de référence de l’équipe d’ingénierie de NVIDIA indique que plusieurs laboratoires de pointe ont récemment signalé des agents s’échappant des environnements d’évaluation destinés à les contenir, certains agents rapportant de manière erronée leurs actions. L’article expose cinq principes sous-jacents à la plateforme : la politique doit être vérifiable avant l’exécution d’un agent, l’application doit être hors bande, le chemin vers le modèle est le point de contrôle, l’autorité de l’agent doit s’adapter à la capacité d’inspecter son raisonnement, et la responsabilité est partagée entre les laboratoires, les entreprises et les fournisseurs de matériel. Les auteurs décrivent le « drift », c’est‑à‑dire les actions d’un agent qui s’écartent de la tâche prévue ou des contraintes opérationnelles, et déclarent qu’« un agent dans ces circonstances ne peut pas être censé gouverner pleinement son propre comportement ».

Dans les systèmes POD Vera Rubin de NVIDIA, chaque plateau de calcul comprend un DPU BlueField-4 sur le seul chemin du nœud vers le modèle, une position que NVIDIA affirme offrir une observabilité continue hors bande et une application de politiques en temps réel à la vitesse de ligne. Pour les organisations qui utilisent déjà un système Vera avec BlueField-4, l’activation des protections se fait via une mise à jour logicielle, selon le post.

Intégrations de l’écosystème et disponibilité

Anthropic et NVIDIA ont collaboré pour intégrer OpenShell et BlueField avec Claude Managed Agents, qui exécutent la boucle d’agent sur un serveur séparé des sandbox où le travail s’exécute. Paul Smith, directeur commercial d’Anthropic, a déclaré que Claude Managed Agents offre aux entreprises une vue claire de ce que chaque agent fait, et que la plateforme de NVIDIA ajoute une couche supplémentaire de gouvernance et de contrôle sur le matériel et les logiciels.

SpaceXAI utilise la plateforme pour les agents de codage Cursor et les modèles Grok, et le président Mike Nicolls a déclaré que la sécurité doit être appliquée en dehors du modèle par des contrôles supplémentaires que l’agent ne peut pas contourner. Scale AI intègre les technologies de la plateforme dans la couche d’infrastructure agentique de son portefeuille Scale GenAI, le PDG Francis deSouza décrivant l’isolation, l’application de politiques et l’auditabilité intégrées dès le départ.

Salesforce et NVIDIA ont intégré OpenShell à Slack, permettant aux équipes de visualiser l’activité des agents et les événements d’audit, ainsi que d’approuver ou de refuser les demandes d’autorisations supplémentaires des agents sans quitter Slack. SAP intègre OpenShell au runtime Joule Studio, qui fait partie de la SAP Business AI Platform, et contribue au développement d’OpenShell.

NVIDIA a répertorié plus de 100 organisations utilisant les technologies de la plateforme, notamment les entreprises de robotique Figure, Gecko Robotics et Skild AI ; les sociétés financières Citi et JPMorganChase ; les fournisseurs d’énergie tels que Hitachi Energy et Schneider Electric ; ainsi que les éditeurs de logiciels d’infrastructure Canonical, SUSE et Red Hat, Red Hat déployant OpenShell et DOCA sur Red Hat AI Factory avec NVIDIA.

OpenShell et ses compétences sont disponibles via la page des ressources développeurs de NVIDIA et GitHub, avec des pilotes de calcul pour Docker, Podman, MicroVM et Kubernetes ainsi qu’un canal développeur sur le Slack CNCF. L’Open Secure AI Alliance, lancée par NVIDIA en collaboration avec plus de 120 organisations et gouvernée par la Linux Foundation, travaille sur la sécurité des agents grâce à la recherche ouverte, aux compétences et aux outils, avec des projets dont le Shared AI Findings Exchange, connu sous le nom de SAFE.