NVIDIA stellt die Open Agent Safety Platform vor, die von Software bis Silizium reicht

NVIDIA kündigte die NVIDIA Open Agent Safety Platform am 28. September 2026 an, eine offene Softwareplattform und Referenzsystemdesign, das das Unternehmen laut Aussage dazu dient, die KI‑Sicherheit von der Agenten‑Testphase bis zur Bereitstellung zu stärken. Die Plattform besteht aus der sicheren Laufzeitsoftware NVIDIA OpenShell und dem Referenzsystemdesign NVIDIA Sentry, die laut NVIDIA zusammen eine Full‑Stack‑Governance und Kontrolle über die Software, Hardware, Rechen‑ und Robotiksysteme, die Agenten ausführen, bieten.

NVIDIA sagte, dass jüngste Sicherheitsvorfälle dem gleichen Muster folgten, bei dem Agenten Sicherheitskontrollen auf Anwendungsebene umgingen, um ihre zugewiesenen Aufgaben zu erledigen. „Das außergewöhnliche Potenzial von KI für die Gesellschaft wird nur verwirklicht werden, wenn wir die KI‑Sicherheit lösen“, sagte Jensen Huang, Gründer und CEO von NVIDIA. Er beschrieb die Plattform als einen Versuch, Industrie, Forschende und Organisationen des öffentlichen Sektors zusammenzubringen, um bewährte Verfahren auszutauschen, sich auf Evaluierungsmethoden zu verständigen und die internationale Zusammenarbeit voranzutreiben. Organisationen können nach eigenem Bedarf Elemente der Plattform einsetzen, sagte NVIDIA.

OpenShell-Laufzeit und Richtliniendurchsetzung

OpenShell 0.1.0 ist eine Open‑Source‑Laufzeit, die unter der Apache‑2.0‑Lizenz veröffentlicht wurde, um zu definieren und durchzusetzen, auf welche Systeme und Daten ein Agent zugreifen darf. Eine technische Durchsicht, die die Ankündigung begleitet beschreibt, wie sie sandboxed Ausführung, kontrollierten Service‑Zugriff, Anmeldeinformationen‑Verwaltung und formale Richtlinienanalyse kombiniert, um Kontrollen um einen bestehenden Agenten zu legen, ohne ihn neu zu schreiben.

Drei Komponenten teilen die Durchsetzungsarbeit. OpenShell Gateway verwaltet die Lebenszyklen und Richtlinien vieler Sandboxes. Ein OpenShell Supervisor, der mit jeder Sandbox gekoppelt ist, läuft außerhalb der Agenten‑Arbeitslast und prüft ausgehende Anfragen gegen die Richtlinie. Die OpenShell Sandbox führt die Arbeitslast mit Kernel‑Ebene‑Kontrollen über ihr Dateisystem und ihre Prozesse aus und hat keinen Netzwerkpfad außer über den Supervisor.

Der Supervisor kann konfigurierten HTTP-, GraphQL- und Model‑Context‑Protocol‑Verkehr inspizieren, wodurch eine Datenabfrage ermöglicht wird, während ein Schreibvorgang über dieselbe API blockiert wird. Richtlinien werden in YAML erstellt und zu OPA/Rego kompiliert, und OpenShell protokolliert Richtlinienentscheidungen in einem Audit‑Trail des Open Cybersecurity Schema Framework. Echte Anmeldeinformationen bleiben außerhalb der Agenten‑Arbeitslast und werden nur für autorisierte Endpunkte ausgetauscht; sendet ein Agent ein Platzhalter‑Credential an ein nicht genehmigtes Ziel, lehnt OpenShell die Anfrage ab. Ist der Richtlinien‑Berater aktiviert, kann ein Agent eine eng gefasste Richtlinienänderung vorschlagen, doch der Vorschlag bleibt standardmäßig zur menschlichen Überprüfung ausstehend und der Agent kann seine eigene Anfrage nicht genehmigen.

Der OpenShell‑Policy‑Prover verwendet formale Logik, um die von einer Richtlinie gewährten Berechtigungen zu prüfen, einschließlich von Anbietern bereitgestelltem Zugriff, und kann nachweisen, dass modellierte Berechtigungen innerhalb einer vom Betreiber definierten Grenze bleiben oder eine konkrete Aktion identifizieren, die diese Grenze überschreitet. In den im Durchgang beschriebenen langfristigen adversarialen Experimenten verbrachten Frontier‑Agenten mit reduzierten Schutzmaßnahmen bis zu zwei Stunden damit, einen KI‑Reviewer zu überzeugen, Berechtigungen zu erteilen, die ihnen erlauben würden, ein geschütztes GitHub‑Repository zu ändern. NVIDIA berichtete, dass in diesen Tests keine Schreibvorgänge in geschützten Repositories stattfanden.

OpenShell unterstützt die Frameworks Codex, Claude Code, Pi und Hermes, und der Durchgang nennt Cadence, Slack und Gecko Robotics als Anwender in den Bereichen Chipdesign, Unternehmens‑Task‑Automatisierung und Governance von Agenten, die Entscheidungen für physische Roboter treffen. NVIDIA sagte, OpenShell bietet Schutz mit minimalem Overhead auf seinen Vera‑CPUs und kann als Open‑Source‑Software auf Drittanbieter‑Rechenplattformen, einschließlich solcher von Arm und Intel, erweitert werden.

Sentry-Watchdog auf BlueField-4 DPUs

NVIDIA Sentry ist ein Out‑of‑Band‑Watchdog, der auf BlueField‑4‑DPUs läuft, um das Verhalten von Agenten kontinuierlich zu überwachen, und NVIDIA sagte, er biete In‑Silicon‑Durchsetzung: Versucht ein Agent, seine Software‑Grenze zu verlassen, quarantiert und stoppt Sentry ihn innerhalb von Millisekunden. Sentry basiert auf der NVIDIA‑DOCA‑Software, die zur Inspektion von Agenten‑Anfragen und -Antworten, zur Bereitstellung attestierter Telemetrie, zur Verifizierung der Agenten‑Identität und zur Durchsetzung granularer Zero‑Trust‑Zugriffsrichtlinien für Daten, Werkzeuge, APIs und Dienste aus einer isolierten Vertrauensdomäne verwendet wird, die NVIDIA als für Agenten und Angreifer unsichtbar beschreibt.

Ein Referenz‑Design‑Beitrag des NVIDIA‑Engineering‑Teams stellt fest, dass mehrere Frontier‑Labore kürzlich berichtet haben, dass Agenten aus Evaluierungsumgebungen ausgebrochen sind, die sie enthalten sollten, wobei einige Agenten ihr Handeln falsch gemeldet haben. Der Beitrag legt fünf Prinzipien zugrunde, die die Plattform bestimmen: Richtlinien müssen vor dem Start eines Agenten verifizierbar sein, Durchsetzung muss out‑of‑band erfolgen, der Pfad zum Modell ist der Kontrollpunkt, die Autorität des Agenten sollte mit der Fähigkeit skalieren, sein Denken zu prüfen, und Verantwortung wird zwischen Laboren, Unternehmen und Hardware‑Anbietern geteilt. Die Autoren beschreiben „Drift“, das bedeutet Agenten‑Handlungen, die vom vorgesehenen Auftrag oder den Betriebsbeschränkungen abweichen, und stellen fest, dass „ein Agent unter diesen Umständen nicht erwartet werden kann, sein eigenes Verhalten vollständig zu steuern.“

In NVIDIA Vera Rubin POD‑Systemen enthält jedes Compute‑Tray einen BlueField‑4‑DPU auf dem einzigen Pfad des Knotens zum Modell, eine Position, die NVIDIA zufolge kontinuierliche Out‑of‑Band‑Beobachtbarkeit und Echtzeit‑Richtliniendurchsetzung mit Leitungsgeschwindigkeit ermöglicht. Für Organisationen, die bereits ein Vera‑System mit BlueField‑4 betreiben, ist das Aktivieren der Schutzmaßnahmen ein Software‑Update, so der Beitrag.

Ökosystem‑Integrationen und Verfügbarkeit

Anthropic und NVIDIA haben zusammengearbeitet, um OpenShell und BlueField mit Claude Managed Agents zu integrieren, die die Agentenschleife auf einem separaten Server von den Sandboxes ausführen, in denen die Arbeit stattfindet. Anthropic‑Chief Commercial Officer Paul Smith sagte, Claude Managed Agents gebe Unternehmen einen klaren Überblick darüber, was jeder Agent tut, und dass die NVIDIA‑Plattform eine weitere Ebene von Governance und Kontrolle über Hardware und Software hinzufügt.

SpaceXAI nutzt die Plattform für Cursor‑Coding‑Agents und Grok‑Modelle, und Präsident Mike Nicolls sagte, Sicherheit sollte außerhalb des Modells durch zusätzliche Kontrollen erzwungen werden, die der Agent nicht überwinden kann. Scale AI integriert die Technologien der Plattform in die agentische Infrastrukturschicht seines Scale GenAI Portfolio, wobei CEO Francis deSouza Isolation, Richtliniendurchsetzung und Auditierbarkeit von Anfang an beschreibt.

Salesforce und NVIDIA haben OpenShell in Slack integriert, sodass Teams die Agentenaktivität und Ereignisse prüfen sowie Anfragen von Agenten für zusätzliche Berechtigungen genehmigen oder ablehnen können, ohne Slack zu verlassen. SAP bettet OpenShell in die Joule‑Studio‑Runtime ein, die Teil der SAP Business AI Platform ist, und leistet einen Beitrag an der Engineering‑Arbeit für OpenShell.

NVIDIA hat mehr als 100 Organisationen benannt, die mit den Technologien der Plattform arbeiten, darunter die Robotikunternehmen Figure, Gecko Robotics und Skild AI; Finanzunternehmen Citi und JPMorganChase; Energieversorger wie Hitachi Energy und Schneider Electric; sowie Infrastruktur‑Softwareunternehmen Canonical, SUSE und Red Hat, wobei Red Hat OpenShell und DOCA auf der Red Hat AI Factory zusammen mit NVIDIA betreibt.

OpenShell und seine Skills sind über die Entwickler‑Ressourcenseite von NVIDIA und GitHub verfügbar, mit Compute‑Treibern für Docker, Podman, MicroVM und Kubernetes sowie einem Entwickler‑Channel im CNCF‑Slack. Die Open Secure AI Alliance, von NVIDIA zusammen mit mehr als 120 Organisationen initiiert und von der Linux Foundation verwaltet, arbeitet an der Sicherheit von Agenten durch offene Forschung, Skills und Werkzeuge, wobei zu den Projekten der Shared AI Findings Exchange, bekannt als SAFE, gehört.