NVIDIA schenkt OpenShell aan CNCF en voegt opensourcetools voor AI-fabrieken toe

NVIDIA maakte bekend dat het op 10 november 2026 tijdens KubeCon + CloudNativeCon zijn OpenShell-runtime voor agentbeveiliging bijdraagt aan de Sandbox van de Cloud Native Computing Foundation (CNCF) en drie opensourcecomponenten uitbrengt voor zijn DSX AI Factory Platform.

De aankondigingen verbinden het beheer van agents met de infrastructuur die nodig is om agents efficiënt uit te voeren. NVIDIA draagt ook bij aan het door Google geïnitieerde project Agent Substrate en voegt Kubernetes Engine, Kubernetes Recipes en Snapshot toe aan DSX. Daarmee worden sessie-uitvoering, clusterbeheer en herstel van inferentie ondersteund.

OpenShell zet stappen richting beheer door de community

OpenShell past deterministische maatregelen toe wanneer autonome agents tools gebruiken, inferentiediensten benaderen en workloads uitvoeren. Het voert agents uit in sandboxes die op kernelniveau zijn geïsoleerd, met declaratieve YAML-beleidsregels voor toegang tot het bestandssysteem, het netwerk, processen en inloggegevens van providers. Inloggegevens worden alleen toegevoegd aan verzoeken die voor goedgekeurde eindpunten zijn bestemd. Daarnaast controleert formele verificatie vóór goedkeuring of een voorgestelde beleidswijziging riskante nieuwe toegangsrechten zou verlenen.

Voor de runtime geldt de Apache 2.0-licentie. NVIDIA meldt dat honderden organisaties de runtime hebben gebruikt, dat er in minder dan een jaar tienduizenden bijdragen zijn binnengekomen en dat organisaties die de technologie in producten integreren, betrokken zullen zijn bij het beheer van de Sandbox. De overgang is nog gaande: een projectaankondiging meldt dat de ontwikkeling verhuist naar de organisatie ai-openshell. Tijdens die overgang blijven de code, meldingen en pull requests staan bij NVIDIA/OpenShell.

Agent Substrate richt zich op ongebruikte rekencapaciteit

Agent Substrate pakt de kosten aan van het actief houden van agentsessies. Agents wachten vaak op prompts, resultaten van tools of reacties van modellen. Een speciaal daarvoor bestemde, warme Kubernetes-pod houdt tijdens die wachttijden resources bezet, terwijl het opnieuw aanmaken van de pod statusverlies en een nieuwe koude start met zich meebrengt. NVIDIA en Google werken ook samen aan een OpenShell-integratie voor agents in verschillende clouds en on-premisesystemen.

Het ontwerp van Agent Substrate verdeelt veel sessies met behoud van status over een kleinere pool van warme workers. Het maakt checkpoints van inactieve sessies, inclusief de geheugen- en bestandssysteemstatus, maakt de workers vrij en herstelt de sessies op beschikbare workers zonder de gebruikelijke procedure voor het aanmaken van een Kubernetes-pod opnieuw te doorlopen. De workers blijven gewone Kubernetes-pods, waardoor de plannings-, quota- en plaatsingsbeleidsregels van het cluster van kracht blijven. Beoogde workloads zijn onder meer programmeerassistenten, omgevingen voor reinforcement learning en kortstondige GPU-sandboxes voor onderzoek.

NVIDIA ontwikkelt interoperabiliteit met Dynamo voor inferentie en KAI Scheduler voor gedeelde clusterresources. Dynamo kan verwachte waarden aanleveren voor de tijd tot het eerste token en de verzadiging van de GPU-pool, zodat Agent Substrate kan bepalen of een agent actief blijft, wordt gepauzeerd of wordt hervat. De API’s veranderen nog, de GPU-ondersteuning wordt opnieuw opgebouwd rond Kubernetes Dynamic Resource Allocation en delen van de Dynamo-integratie zijn experimenteel.

DSX voegt clusterbeheer en sneller herstel toe

NVIDIA Kubernetes Engine en NVIDIA Kubernetes Recipes (NVKE en NVKR) zijn beschikbaar als openbare preview onder Apache 2.0. NVIDIA geeft aan dat hun API’s, configuratie en werking kunnen veranderen en raadt het gebruik ervan voor productieworkloads voorlopig af. NVKR bouwt reproduceerbare node-images, containerimages, binaire bestanden en Helm-charts op basis van bronnen met vastgezette versies en legt de gebruikte invoer vast. NVKE gebruikt die artefacten om clusters in te richten en te beheren via een REST-API en controllers, maar de projecten kunnen ook los van elkaar worden gebruikt.

NVKE maakt clusters voor workloads van klanten met afzonderlijke Kubernetes-controlplanes, etcd-instanties en nodepools. Het verkrijgt capaciteit op bare metal via NVIDIA Infra Controller en de bijbehorende Cluster API-provider, CAPNICo. Een node moet een geattesteerde SPIFFE-identiteit tonen voordat deze inloggegevens ontvangt om zich bij het cluster aan te sluiten. Firmus en SK Telecom integreren de projecten in hun AI-fabrieken. Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud en vCluster hebben plannen om integraties te realiseren met hun infrastructuurplatforms, beheerde Kubernetes-diensten of netwerkautomatisering.

NVIDIA Snapshot pakt koude starts bij inferentie aan door checkpoints te maken van het CPU- en GPU-geheugen van een volledig geïnitialiseerde workload. Voor herstel zijn hetzelfde GPU-model en dezelfde driver vereist; het opnieuw laden van gewichten, compileren en vastleggen van CUDA-grafieken kan worden overgeslagen.

Voor B200-GPU’s met VAST NFS-opslag rapporteert NVIDIA hersteltijden van 3,6 tot 42,7 seconden voor configuraties met vLLM, SGLang en TensorRT LLM, met versnellingen van 8x tot 36x ten opzichte van koude starts. De tests liepen uiteen van een model met 600 miljoen parameters tot configuraties met acht GPU’s en checkpoints van bijna 1 TB. Het maken van een checkpoint duurde 15 seconden tot 5,5 minuten. In elke geteste configuratie was de gecombineerde tijd voor het maken en herstellen van een checkpoint korter dan één koude start.

Deze cijfers geven niet de opstarttijd van een volledige machine weer: het inrichten van de infrastructuur en het laden van containerimages vallen buiten de gemeten hersteltijd. De key-value-cache wordt bovendien vóór elk checkpoint vrijgegeven en niet in het artefact bewaard. De resultaten hebben dus betrekking op het herstellen van een geïnitialiseerde workload op compatibele infrastructuur.

Bij de eigen GLM-5.3-test van Crusoe op NVIDIA HGX B300 werd een checkpoint gebruikt met 594 GB aan GPU-statusgegevens. Crusoe mat een hersteltijd van de GPU-status van 15.0 seconden vanaf lokale NVMe, tegenover 33.3 seconden vanaf NFS. Met het artefact op NVMe duurde het vanaf het aanmaken van de pod tot deze gereed was 31 seconden, tegenover ongeveer acht minuten bij een koude start. Dat maakt duidelijk dat opslag een belangrijke factor is voor de herstelprestaties. Crusoe heeft ook prestatieverbeteringen en diagnostische wijzigingen bijgedragen aan de upstreamcode.

Alles bij elkaar brengen de projecten meer onderdelen van het besturingsvlak en herstelpad van de AI-fabriek onder in open repositories, maar ze bevinden zich in verschillende stadia van volwassenheid: de governance-overdracht van OpenShell is nog niet afgerond, Agent Substrate is in ontwikkeling en NVKE en NVKR zijn nog previewversies. De benchmarks van Snapshot laten de duidelijkste meetbare operationele verbetering zien, terwijl de compatibiliteitsvereisten en de opslagresultaten van Crusoe aantonen dat sneller herstel afhangt van zowel herbruikbare workloadstatus als de infrastructuur eromheen.