NVIDIA Menyumbangkan OpenShell ke CNCF dan Menambahkan Perangkat Sumber Terbuka untuk Pabrik AI

NVIDIA mengumumkan pada 10 November 2026, di KubeCon + CloudNativeCon, bahwa perusahaan tersebut menyumbangkan runtime keamanan agen OpenShell ke program Sandbox di Cloud Native Computing Foundation (CNCF) dan merilis tiga komponen sumber terbuka untuk Platform DSX AI Factory.

Pengumuman tersebut menghubungkan tata kelola agen dengan infrastruktur yang diperlukan untuk menjalankan agen secara efisien. NVIDIA juga berkontribusi pada proyek Agent Substrate yang berasal dari Google dan menambahkan Kubernetes Engine, Kubernetes Recipes, serta Snapshot ke DSX untuk menangani eksekusi sesi, pengelolaan klaster, dan pemulihan inferensi.

OpenShell Beralih ke Tata Kelola Komunitas

OpenShell menerapkan kontrol deterministik saat agen otonom menggunakan alat, mengakses layanan inferensi, dan menjalankan beban kerja. OpenShell menjalankan agen di lingkungan sandbox yang diisolasi pada tingkat kernel, dengan kebijakan YAML deklaratif yang mencakup akses ke sistem berkas, jaringan, proses, dan kredensial penyedia. Kredensial hanya disisipkan ke dalam permintaan yang ditujukan ke titik akhir yang disetujui, sementara verifikasi formal memeriksa apakah perubahan kebijakan yang diusulkan akan memberikan akses baru yang berisiko sebelum disetujui.

Runtime ini berlisensi Apache 2.0. NVIDIA melaporkan bahwa ratusan organisasi telah menggunakannya, puluhan ribu kontribusi telah masuk dalam waktu kurang dari setahun, dan tata kelola Sandbox akan melibatkan organisasi yang mengintegrasikannya ke dalam produk. Peralihan ini masih berlangsung: sebuah pemberitahuan proyek menyatakan bahwa pengembangan akan berpindah ke organisasi ai-openshell, sementara kode, isu, dan permintaan tarik tetap berada di NVIDIA/OpenShell selama proses peralihan.

Agent Substrate Menargetkan Komputasi yang Menganggur

Agent Substrate mengatasi biaya untuk mempertahankan sesi agen tetap aktif. Agen sering kali menunggu perintah, hasil alat, atau respons model; Pod Kubernetes yang disiapkan khusus dan tetap aktif mempertahankan sumber daya selama jeda tersebut, sedangkan membuat ulang Pod akan menghilangkan status dan memerlukan cold start lagi. NVIDIA dan Google juga bekerja sama mengembangkan integrasi OpenShell untuk agen di berbagai sistem cloud dan lokal.

Rancangan Agent Substrate memetakan banyak sesi berstatus ke kumpulan worker aktif yang lebih kecil. Sistem ini membuat checkpoint sesi yang menganggur, termasuk status memori dan sistem berkas, membebaskan worker yang digunakan, lalu memulihkan sesi ke worker yang tersedia tanpa mengulangi proses pembuatan Pod Kubernetes seperti biasanya. Worker tetap berupa Pod Kubernetes biasa, sehingga penjadwalan klaster, kuota, dan kebijakan penempatan tetap berlaku. Beban kerja yang ditargetkan mencakup asisten pemrograman, lingkungan pembelajaran penguatan, dan lingkungan sandbox riset GPU berumur singkat.

NVIDIA sedang mengembangkan interoperabilitas dengan Dynamo untuk inferensi dan KAI Scheduler untuk sumber daya klaster bersama. Dynamo dapat menyediakan perkiraan waktu hingga token pertama dan tingkat kejenuhan kumpulan GPU agar Agent Substrate dapat memutuskan apakah agen perlu tetap aktif, ditangguhkan, atau dilanjutkan kembali. API-nya masih berubah, dukungan GPU sedang dibangun ulang dengan berlandaskan Kubernetes Dynamic Resource Allocation, dan sebagian integrasi Dynamo masih bersifat eksperimental.

DSX Menambahkan Pengelolaan Klaster dan Pemulihan yang Lebih Cepat

NVIDIA Kubernetes Engine dan NVIDIA Kubernetes Recipes (NVKE dan NVKR) tersedia dalam pratinjau publik dengan lisensi Apache 2.0. NVIDIA menyatakan bahwa API, konfigurasi, dan perilakunya dapat berubah, serta belum merekomendasikannya untuk beban kerja produksi. NVKR membangun citra node yang dapat direproduksi, citra kontainer, biner, dan bagan Helm dari sumber yang versinya telah ditetapkan, serta mencatat semua masukan yang digunakan. NVKE menggunakan artefak tersebut untuk menyediakan dan mengoperasikan klaster melalui API REST dan pengontrol, meskipun kedua proyek ini dapat diadopsi secara terpisah.

NVKE membuat klaster beban kerja pelanggan dengan bidang kontrol Kubernetes, instans etcd, dan kumpulan node yang terpisah. NVKE memperoleh kapasitas bare metal melalui NVIDIA Infra Controller dan penyedia Cluster API-nya, CAPNICo; sebuah node harus menunjukkan identitas SPIFFE yang telah dibuktikan sebelum menerima kredensial untuk bergabung. Firmus dan SK Telecom sedang mengintegrasikan proyek-proyek ini ke dalam pabrik AI mereka, sementara Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud, dan vCluster berencana mengintegrasikannya dengan platform infrastruktur, layanan Kubernetes terkelola, atau otomatisasi jaringan mereka.

NVIDIA Snapshot mengatasi cold start inferensi dengan membuat checkpoint memori CPU dan GPU dari beban kerja yang telah sepenuhnya diinisialisasi. Pemulihan memerlukan model GPU dan pengandar yang sama, serta menghindari pemuatan bobot, kompilasi, dan perekaman CUDA Graph berulang.

Pada GPU B200 dengan penyimpanan VAST NFS, NVIDIA melaporkan waktu pemulihan 3,6 hingga 42,7 detik pada berbagai konfigurasi vLLM, SGLang, dan TensorRT LLM, dengan peningkatan kecepatan 8x hingga 36x dibandingkan cold start. Pengujian mencakup model dengan 600 juta parameter hingga konfigurasi delapan GPU dengan checkpoint yang ukurannya mendekati 1 TB. Pembuatan checkpoint memerlukan waktu 15 detik hingga 5,5 menit, dan waktu untuk membuat checkpoint sekaligus memulihkan beban kerja lebih singkat daripada satu cold start pada setiap konfigurasi yang diuji.

Angka-angka tersebut tidak mengukur waktu untuk menyalakan seluruh mesin: penyediaan infrastruktur dan pemuatan citra kontainer tidak termasuk dalam proses pemulihan yang diukur waktunya. Cache key-value juga dilepas sebelum setiap checkpoint dibuat, bukan disimpan dalam artefak, sehingga hasil ini berkaitan dengan pemulihan beban kerja yang telah diinisialisasi pada infrastruktur yang kompatibel.

Uji GLM-5.3 milik Crusoe sendiri pada NVIDIA HGX B300 menggunakan checkpoint yang memuat 594 GB status GPU. Crusoe mengukur pemulihan status GPU selama 15.0 detik dari NVMe lokal, dibandingkan dengan 33.3 detik dari NFS. Saat artefak disimpan di NVMe, waktu dari pembuatan pod hingga siap digunakan adalah 31 detik, dibandingkan dengan sekitar delapan menit pada proses mulai dingin. Hal ini menunjukkan bahwa penyimpanan merupakan faktor utama dalam kinerja pemulihan. Crusoe juga telah menyumbangkan perubahan untuk meningkatkan kinerja dan diagnostik ke proyek hulu.

Secara keseluruhan, proyek-proyek ini menempatkan lebih banyak bidang kendali pabrik AI dan jalur pemulihan ke dalam repositori terbuka, tetapi dengan tingkat kematangan yang berbeda: langkah tata kelola OpenShell belum tuntas, Agent Substrate masih berkembang, dan NVKE serta NVKR masih berstatus pratinjau. Tolok ukur Snapshot menunjukkan peningkatan operasional terukur yang paling jelas, sementara persyaratan kompatibilitasnya dan hasil pengujian penyimpanan Crusoe menunjukkan bahwa pemulihan yang lebih cepat bergantung pada status beban kerja yang dapat digunakan kembali serta infrastruktur pendukungnya.