NVIDIA donerer OpenShell til CNCF og tilføjer open source-værktøjer til AI-fabrikker

NVIDIA meddelte den 10. november 2026 på KubeCon + CloudNativeCon, at virksomheden bidrager med sin OpenShell-runtime til agentsikkerhed til Cloud Native Computing Foundation (CNCF) Sandbox og frigiver tre open source-komponenter til sin DSX AI Factory Platform.

Meddelelserne forbinder styring af agenter med den infrastruktur, der skal til for at køre agenter effektivt. NVIDIA bidrager også til det Google-oprindelige projekt Agent Substrate og føjer Kubernetes Engine, Kubernetes Recipes og Snapshot til DSX, så platformen dækker eksekvering af sessioner, klyngehåndtering og gendannelse af inferens.

OpenShell bevæger sig mod styring i fællesskab

OpenShell anvender deterministiske kontrolmekanismer, mens autonome agenter bruger værktøjer, tilgår inferenstjenester og afvikler arbejdsbelastninger. Agenterne kører i sandkasser isoleret på kerneniveau med deklarative YAML-politikker, der dækker adgang til filsystem, netværk, processer og udbyderlegitimationsoplysninger. Legitimationsoplysninger indsættes kun i forespørgsler, der er rettet mod godkendte slutpunkter, og formel verifikation kontrollerer, om en foreslået ændring af politikken vil give ny risikabel adgang, inden den godkendes.

Runtimen er licenseret under Apache 2.0. NVIDIA oplyser, at hundredvis af organisationer har brugt den, at der er kommet titusindvis af bidrag på under et år, og at organisationer, der indarbejder den i produkter, vil få indflydelse på styringen af Sandbox-projektet. Overgangen er stadig i gang: En projektmeddelelse oplyser, at udviklingen flyttes til organisationen ai-openshell, mens kode, issues og pull requests forbliver hos NVIDIA/OpenShell under flytningen.

Agent Substrate skal reducere omkostningerne ved inaktiv beregningskapacitet

Agent Substrate adresserer omkostningerne ved at holde agentsessioner aktive. Agenter venter ofte på prompts, resultater fra værktøjer eller svar fra modeller; en dedikeret, varm Kubernetes Pod holder ressourcer reserveret i disse pauser, mens en ny Pod mister tilstanden og medfører endnu en koldstart. NVIDIA og Google samarbejder også om en OpenShell-integration til agenter på tværs af cloudmiljøer og lokale systemer.

Agent Substrates design knytter mange tilstandsbevarende sessioner til en mindre pulje af varme arbejdere. Det opretter checkpoints af inaktive sessioner, herunder hukommelses- og filsystemtilstand, frigør deres arbejdere og gendanner sessionerne på ledige arbejdere uden at gentage den normale proces for oprettelse af Kubernetes Pods. Arbejderne forbliver almindelige Kubernetes Pods, så klyngens planlægning, kvoter og placeringspolitikker fortsat gælder. De tilsigtede arbejdsbelastninger omfatter kodningsassistenter, miljøer til forstærkningslæring og kortlivede GPU-sandkasser til forskning.

NVIDIA udvikler interoperabilitet med Dynamo til inferens og KAI Scheduler til delte klyngeressourcer. Dynamo kan levere den forventede tid til første token og oplysninger om mætning af GPU-puljen, så Agent Substrate kan afgøre, om en agent skal forblive aktiv, sættes på pause eller genoptages. API’erne ændres stadig, GPU-understøttelsen bygges om med udgangspunkt i Kubernetes Dynamic Resource Allocation, og dele af Dynamo-integrationen er eksperimentelle.

DSX tilføjer klyngehåndtering og hurtigere gendannelser

NVIDIA Kubernetes Engine og NVIDIA Kubernetes Recipes (NVKE og NVKR) er tilgængelige som offentlig forhåndsvisning under Apache 2.0. NVIDIA oplyser, at deres API’er, konfiguration og funktionalitet kan ændre sig, og anbefaler dem endnu ikke til produktionsarbejdsbelastninger. NVKR bygger reproducerbare nodeaftryk, containeraftryk, binærfiler og Helm-diagrammer fra kilder fastlåst til bestemte versioner og registrerer inputtene. NVKE bruger disse artefakter til at klargøre og drive klynger via en REST API og controllere, men projekterne kan også tages i brug uafhængigt af hinanden.

NVKE opretter klynger til kundernes arbejdsbelastninger med separate Kubernetes-control planes, etcd-instanser og nodepuljer. Tjenesten skaffer bare metal-kapacitet via NVIDIA Infra Controller og dens Cluster API-udbyder, CAPNICo; en node skal fremvise en attesteret SPIFFE-identitet, før den modtager legitimationsoplysninger til at tilslutte sig klyngen. Firmus og SK Telecom integrerer projekterne i deres AI-fabrikker, mens Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud og vCluster har planer om integrationer, der omfatter deres infrastrukturplatforme, administrerede Kubernetes-tilbud eller netværksautomatisering.

NVIDIA Snapshot afhjælper kolde starter for inferens ved at oprette checkpoints af CPU- og GPU-hukommelsen i en fuldt initialiseret arbejdsbelastning. Gendannelse kræver samme GPU-model og driver og springer gentagen indlæsning af vægte, kompilering og optagelse af CUDA-grafer over.

På B200-GPU’er med VAST NFS-lagring rapporterer NVIDIA gendannelsestider på 3,6 til 42,7 sekunder på tværs af konfigurationer med vLLM, SGLang og TensorRT LLM, med hastighedsforøgelser på 8x til 36x sammenlignet med kolde starter. Testene omfattede alt fra en model med 600 millioner parametre til konfigurationer med otte GPU’er og checkpoints på næsten 1 TB. Oprettelsen af checkpoints tog 15 sekunder til 5,5 minutter, og den samlede tid til checkpoint og gendannelse var kortere end én koldstart i alle testede konfigurationer.

Disse tal måler ikke opstarten af en hel maskine: Klargøring af infrastrukturen og indlæsning af containeraftryk indgår ikke i den målte gendannelsesproces. Nøgle-værdi-cachen frigives også før hvert checkpoint i stedet for at blive bevaret i artefaktet, så resultaterne handler om at gendanne en initialiseret arbejdsbelastning på kompatibel infrastruktur.

Crusoes egen test af GLM-5.3 på NVIDIA HGX B300 benyttede et kontrolpunkt med 594 GB GPU-tilstand. Crusoe målte, at det tog 15,0 sekunder at gendanne GPU-tilstanden fra lokal NVMe mod 33,3 sekunder fra NFS. Når artefaktet lå på NVMe, gik der 31 sekunder fra oprettelsen af en pod, til den var klar, sammenlignet med omkring otte minutter ved en koldstart. Det viser, at lageret er en væsentlig faktor for gendannelsesydelsen. Crusoe har også bidraget med forbedringer af ydeevne og diagnosticering til upstream-projekter.

Samlet set flytter projekterne mere af AI-fabrikkens kontrolplan og gendannelsesforløb over i åbne kodearkiver, men de befinder sig på forskellige modenhedsniveauer: OpenShells styringsændring er ikke fuldført, Agent Substrate er under udvikling, og NVKE og NVKR er stadig forhåndsvisninger. Snapshots benchmarks dokumenterer den tydeligste målte driftsforbedring, mens kompatibilitetskravene og Crusoes lagerresultater viser, at hurtigere gendannelse afhænger både af genanvendelig arbejdsbelastningstilstand og af den omgivende infrastruktur.