NVIDIA tặng OpenShell cho CNCF và bổ sung các công cụ AI Factory mã nguồn mở

NVIDIA thông báo vào ngày 10 tháng 11 năm 2026, tại KubeCon + CloudNativeCon, rằng công ty sẽ đóng góp OpenShell, môi trường chạy bảo mật tác tử của mình, cho chương trình Sandbox của Cloud Native Computing Foundation (CNCF), đồng thời phát hành ba thành phần mã nguồn mở cho nền tảng DSX AI Factory.

Các thông báo kết nối hoạt động quản trị tác tử với hạ tầng cần thiết để vận hành tác tử hiệu quả. NVIDIA cũng đóng góp cho dự án Agent Substrate khởi nguồn từ Google, đồng thời bổ sung Kubernetes Engine, Kubernetes Recipes và Snapshot vào DSX, phục vụ việc thực thi phiên, quản lý cụm và khôi phục suy luận.

OpenShell hướng tới cơ chế quản trị do cộng đồng điều hành

OpenShell áp dụng các biện pháp kiểm soát mang tính tất định khi tác tử tự hành sử dụng công cụ, truy cập dịch vụ suy luận và thực thi khối lượng công việc. Nền tảng này vận hành tác tử trong các môi trường cô lập ở cấp nhân hệ điều hành, với các chính sách YAML khai báo quy định quyền truy cập hệ thống tệp, mạng, quy trình và thông tin xác thực của nhà cung cấp. Thông tin xác thực chỉ được chèn vào các yêu cầu gửi đến những điểm cuối đã được phê duyệt; đồng thời, kiểm chứng hình thức xác định liệu một thay đổi chính sách được đề xuất có cấp thêm quyền truy cập rủi ro hay không trước khi thay đổi được phê duyệt.

Môi trường chạy này được cấp phép theo Apache 2.0. NVIDIA cho biết hàng trăm tổ chức đã sử dụng nền tảng, hàng chục nghìn đóng góp đã được gửi đến trong chưa đầy một năm, và cơ chế quản trị Sandbox sẽ có sự tham gia của các tổ chức tích hợp nền tảng vào sản phẩm. Quá trình chuyển đổi vẫn đang diễn ra: thông báo của dự án cho biết hoạt động phát triển đang được chuyển sang tổ chức ai-openshell, trong khi mã nguồn, vấn đề và yêu cầu kéo vẫn được lưu tại NVIDIA/OpenShell trong thời gian chuyển đổi.

Agent Substrate nhắm đến tài nguyên tính toán nhàn rỗi

Agent Substrate giải quyết chi phí duy trì các phiên tác tử. Tác tử thường phải chờ lời nhắc, kết quả từ công cụ hoặc phản hồi từ mô hình; một Pod Kubernetes được duy trì ở trạng thái sẵn sàng sẽ giữ tài nguyên trong những khoảng chờ này, còn việc tạo lại Pod khiến trạng thái bị mất và phát sinh thêm một lần khởi động lạnh. NVIDIA và Google cũng đang hợp tác tích hợp OpenShell cho các tác tử hoạt động trên nhiều đám mây và hệ thống tại chỗ.

Thiết kế Agent Substrate ánh xạ nhiều phiên có trạng thái lên một nhóm nhỏ hơn gồm các worker luôn sẵn sàng. Nền tảng này tạo điểm kiểm tra cho các phiên nhàn rỗi, bao gồm trạng thái bộ nhớ và hệ thống tệp, giải phóng worker của chúng rồi khôi phục các phiên lên những worker còn khả dụng mà không cần lặp lại quy trình tạo Pod Kubernetes thông thường. Các worker vẫn là những Pod Kubernetes thông thường, vì vậy các chính sách lập lịch cụm, hạn mức và bố trí vẫn tiếp tục được áp dụng. Khối lượng công việc mục tiêu bao gồm trợ lý lập trình, môi trường học tăng cường và các môi trường thử nghiệm GPU ngắn hạn phục vụ nghiên cứu.

NVIDIA đang phát triển khả năng tương tác với Dynamo cho suy luận và KAI Scheduler để chia sẻ tài nguyên cụm. Dynamo có thể cung cấp thời gian dự kiến đến token đầu tiên và mức độ bão hòa của nhóm GPU, giúp Agent Substrate quyết định nên duy trì tác tử trên tài nguyên, tạm ngưng hay khôi phục tác tử. Các API của hệ thống vẫn đang thay đổi, khả năng hỗ trợ GPU đang được xây dựng lại dựa trên Kubernetes Dynamic Resource Allocation, và một số phần tích hợp Dynamo vẫn đang ở giai đoạn thử nghiệm.

DSX bổ sung khả năng quản lý cụm và khôi phục nhanh hơn

NVIDIA Kubernetes Engine và NVIDIA Kubernetes Recipes (NVKE và NVKR) hiện có bản xem trước công khai theo giấy phép Apache 2.0. NVIDIA cho biết API, cấu hình và cách thức hoạt động của các dự án này có thể thay đổi, đồng thời chưa khuyến nghị sử dụng chúng cho khối lượng công việc trong môi trường sản xuất. NVKR tạo ảnh nút, ảnh bộ chứa, tệp nhị phân và biểu đồ Helm có thể tái tạo từ các nguồn được ghim phiên bản, đồng thời ghi lại các đầu vào. NVKE sử dụng những tạo phẩm này để cấp phát và vận hành cụm thông qua REST API và các bộ điều khiển, dù hai dự án có thể được áp dụng độc lập.

NVKE tạo các cụm phục vụ khối lượng công việc của khách hàng, với mặt phẳng điều khiển Kubernetes, phiên bản etcd và nhóm nút riêng biệt. Dự án lấy năng lực phần cứng không qua ảo hóa thông qua NVIDIA Infra Controller và nhà cung cấp Cluster API của dự án này, CAPNICo; trước khi nhận thông tin xác thực để tham gia cụm, một nút phải cung cấp danh tính SPIFFE đã được chứng thực. Firmus và SK Telecom đang tích hợp các dự án này vào AI Factory của họ, trong khi Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud và vCluster có kế hoạch tích hợp liên quan đến các nền tảng hạ tầng, dịch vụ Kubernetes được quản lý hoặc giải pháp tự động hóa mạng của mình.

NVIDIA Snapshot giải quyết tình trạng khởi động lạnh khi suy luận bằng cách tạo điểm kiểm tra cho bộ nhớ CPU và GPU của một khối lượng công việc đã khởi tạo đầy đủ. Để khôi phục, cần sử dụng cùng mẫu GPU và trình điều khiển; quá trình này bỏ qua các bước nạp trọng số, biên dịch và ghi lại đồ thị CUDA vốn sẽ phải lặp lại.

Trên GPU B200 sử dụng bộ lưu trữ VAST NFS, NVIDIA báo cáo thời gian khôi phục từ 3,6 đến 42,7 giây trong các cấu hình vLLM, SGLang và TensorRT LLM, với tốc độ nhanh hơn từ 8x đến 36x so với khởi động lạnh. Các thử nghiệm trải từ mô hình 600 triệu tham số đến những cấu hình dùng tám GPU, với điểm kiểm tra có dung lượng gần 1 TB. Quá trình tạo điểm kiểm tra mất từ 15 giây đến 5,5 phút; trong mọi cấu hình được thử nghiệm, tổng thời gian tạo điểm kiểm tra và khôi phục đều ngắn hơn một lần khởi động lạnh.

Các số liệu này không đo toàn bộ thời gian khởi động máy: việc cấp phát hạ tầng và tải ảnh bộ chứa nằm ngoài quy trình khôi phục được tính giờ. Bộ nhớ đệm khóa-giá trị cũng được giải phóng trước mỗi lần tạo điểm kiểm tra thay vì lưu lại trong tạo phẩm, vì vậy kết quả chỉ phản ánh việc khôi phục một khối lượng công việc đã khởi tạo trên hạ tầng tương thích.

Thử nghiệm GLM-5.3 do chính Crusoe thực hiện trên NVIDIA HGX B300 sử dụng một điểm kiểm tra chứa 594 GB trạng thái GPU. Crusoe đo được thời gian khôi phục trạng thái GPU là 15,0 giây khi dùng NVMe cục bộ, so với 33,3 giây khi dùng NFS. Khi lưu tạo tác trên NVMe, thời gian từ lúc tạo pod đến khi sẵn sàng là 31 giây, so với khoảng tám phút khi khởi động lạnh, cho thấy lưu trữ là yếu tố quan trọng ảnh hưởng đến hiệu suất khôi phục. Crusoe cũng đã đóng góp các thay đổi về hiệu năng và chẩn đoán cho dự án thượng nguồn.

Xét tổng thể, các dự án đưa nhiều thành phần hơn của mặt phẳng điều khiển và quy trình khôi phục của nhà máy AI vào các kho mã nguồn mở, nhưng ở những mức độ hoàn thiện khác nhau: quá trình chuyển đổi cơ chế quản trị của OpenShell chưa hoàn tất, Agent Substrate vẫn đang phát triển, còn NVKE và NVKR vẫn là các bản xem trước. Các bài kiểm tra của Snapshot cung cấp bằng chứng rõ ràng nhất về mức cải thiện vận hành đã được đo lường, trong khi những yêu cầu về khả năng tương thích của Snapshot và kết quả lưu trữ của Crusoe cho thấy việc khôi phục nhanh hơn phụ thuộc vào cả trạng thái khối lượng công việc có thể tái sử dụng lẫn cơ sở hạ tầng hỗ trợ.