NVIDIA gir OpenShell til CNCF og legger til verktøy for åpen kildekode i AI-fabrikken

NVIDIA kunngjorde 10. november 2026 på KubeCon + CloudNativeCon at selskapet bidrar med sitt kjøretidsmiljø for agentsikkerhet, OpenShell, til Cloud Native Computing Foundation (CNCF) Sandbox og lanserer tre komponenter med åpen kildekode for DSX AI Factory Platform.

Kunngjøringene knytter styring av agenter sammen med infrastrukturen som trengs for å kjøre dem effektivt. NVIDIA bidrar også til Agent Substrate-prosjektet, som har sitt opphav hos Google, og legger til Kubernetes Engine, Kubernetes Recipes og Snapshot i DSX. Dette dekker kjøring av økter, klyngeadministrasjon og gjenoppretting av inferens.

OpenShell beveger seg mot styring i fellesskap

OpenShell bruker deterministiske kontroller når autonome agenter benytter verktøy, får tilgang til inferenstjenester og kjører arbeidsoppgaver. Agentene kjører i sandkasser isolert på kjernenivå, med deklarative YAML-policyer som regulerer tilgang til filsystem, nettverk, prosesser og leverandørlegitimasjon. Legitimasjon legges bare til forespørsler som er adressert til godkjente endepunkter, og formell verifikasjon kontrollerer om en foreslått policyendring vil gi ny, risikofylt tilgang før den godkjennes.

Kjøretidsmiljøet er lisensiert under Apache 2.0. NVIDIA opplyser at hundrevis av organisasjoner har brukt det, at det har kommet titusenvis av bidrag på under ett år, og at organisasjoner som bygger det inn i produkter, vil delta i styringen av Sandbox. Overgangen pågår fortsatt: En prosjektmelding sier at utviklingen flyttes til organisasjonen ai-openshell, mens kode, saker og pull-forespørsler blir liggende hos NVIDIA/OpenShell mens flyttingen pågår.

Agent Substrate skal redusere kostnadene ved inaktiv datakraft

Agent Substrate skal redusere kostnadene ved å holde agentøkter aktive. Agenter venter ofte på instruksjoner, resultater fra verktøy eller svar fra modeller. En egen, varm Kubernetes-pod holder ressursene klare i disse pausene, mens det å opprette poden på nytt fører til at tilstanden går tapt og utløser en ny kaldstart. NVIDIA og Google samarbeider også om en OpenShell-integrasjon for agenter på tvers av skyer og lokale systemer.

Utformingen av Agent Substrate fordeler mange tilstandsbaserte økter på en mindre gruppe varme worker-instanser. Den lagrer kontrollpunkter for inaktive økter, inkludert minne- og filsystemtilstand, frigjør worker-instansene og gjenoppretter øktene på tilgjengelige instanser uten å gå gjennom den vanlige prosessen for å opprette Kubernetes-poder på nytt. Worker-instansene er fortsatt vanlige Kubernetes-poder, så reglene for klyngeplanlegging, kvoter og plassering gjelder fortsatt. Aktuelle arbeidsoppgaver omfatter kodeassistenter, miljøer for forsterkningslæring og kortvarige GPU-sandkasser for forskning.

NVIDIA utvikler samvirke med Dynamo for inferens og KAI Scheduler for delte klyngeressurser. Dynamo kan levere anslag for tiden fram til første token og metningen i GPU-poolen, slik at Agent Substrate kan avgjøre om en agent skal holdes aktiv, settes på pause eller gjenopptas. API-ene er fortsatt under endring, GPU-støtten bygges opp på nytt rundt Kubernetes Dynamic Resource Allocation, og deler av Dynamo-integrasjonen er eksperimentelle.

DSX får klyngeadministrasjon og raskere gjenoppretting

NVIDIA Kubernetes Engine og NVIDIA Kubernetes Recipes (NVKE og NVKR) er tilgjengelige som offentlig forhåndsversjon under Apache 2.0. NVIDIA opplyser at API-ene, konfigurasjonen og virkemåten kan endres, og anbefaler foreløpig ikke løsningene for produksjonsarbeidsoppgaver. NVKR bygger reproduserbare nodebilder, containerbilder, binærfiler og Helm-diagrammer fra versjonslåste kilder og registrerer inndataene. NVKE bruker disse artefaktene til å klargjøre og drifte klynger via et REST-API og kontrollere, men prosjektene kan tas i bruk hver for seg.

NVKE oppretter klynger for kundenes arbeidsoppgaver med separate Kubernetes-kontrollplan, etcd-instanser og nodepooler. Løsningen skaffer kapasitet på fysiske servere gjennom NVIDIA Infra Controller og leverandøren CAPNICo for Cluster API. Før en node får påloggingslegitimasjon, må den fremvise en attestert SPIFFE-identitet. Firmus og SK Telecom integrerer prosjektene i AI-fabrikkene sine, mens Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud og vCluster har planer om integrasjoner knyttet til infrastrukturplattformene sine, administrerte Kubernetes-tjenester eller nettverksautomatisering.

NVIDIA Snapshot skal redusere kalde starter for inferens ved å lagre kontrollpunkter for CPU- og GPU-minnet i en fullstendig initialisert arbeidsoppgave. Gjenoppretting krever samme GPU-modell og driver, og hopper over gjentatt lasting av vekter, kompilering og opptak av CUDA-grafer.

For B200-GPU-er med VAST NFS-lagring rapporterer NVIDIA gjenopprettingstider på 3,6 til 42,7 sekunder på tvers av konfigurasjoner med vLLM, SGLang og TensorRT LLM, med hastighetsøkninger på 8x til 36x sammenlignet med kalde starter. Testene omfattet alt fra en modell med 600 millioner parametere til konfigurasjoner med åtte GPU-er og kontrollpunkter på nærmere 1 TB. Opprettelsen av kontrollpunkter tok fra 15 sekunder til 5,5 minutter, og tiden for å opprette et kontrollpunkt og deretter gjenopprette var kortere enn én kaldstart i alle konfigurasjonene som ble testet.

Tallene måler ikke oppstarten av en hel maskin: Klargjøring av infrastrukturen og lasting av containerbilder inngår ikke i den tidsmålte gjenopprettingsprosessen. Nøkkel-verdi-bufferen frigjøres også før hvert kontrollpunkt opprettes, i stedet for å beholdes i artefakten. Resultatene gjelder derfor gjenoppretting av en initialisert arbeidsoppgave på kompatibel infrastruktur.

Crusoes egen GLM-5.3-test på NVIDIA HGX B300 brukte et sjekkpunkt med 594 GB GPU-tilstand. Crusoe målte gjenoppretting av GPU-tilstanden til 15,0 sekunder fra lokal NVMe, mot 33,3 sekunder fra NFS. Med artefakten på NVMe tok det 31 sekunder fra opprettelsen av poden til den var klar, sammenlignet med rundt åtte minutter ved en kaldstart. Dette viser at lagring er en viktig faktor for gjenopprettingsytelsen. Crusoe har også bidratt med ytelses- og diagnostikkendringer oppstrøms.

Samlet sett gjør prosjektene at mer av AI-fabrikkens kontrollplan og gjenopprettingsløp ligger i åpne kodearkiver, men på ulike modenhetsnivåer: Styringsoverføringen for OpenShell er ikke fullført, Agent Substrate er under utvikling, og NVKE og NVKR er fortsatt forhåndsversjoner. Referansetester fra Snapshot viser den tydeligste målte driftsgevinsten, mens kompatibilitetskravene og Crusoes lagringsresultater viser at raskere gjenoppretting avhenger både av gjenbrukbar tilstand for arbeidsbelastninger og av infrastrukturen rundt dem.