NVIDIA, OpenShell을 CNCF에 기부하고 오픈소스 AI 팩토리 도구 추가

NVIDIA는 2026년 11월 10일 KubeCon + CloudNativeCon에서 자사의 OpenShell 에이전트 보안 런타임을 Cloud Native Computing Foundation (CNCF) Sandbox에 기여하고 DSX AI Factory Platform용 오픈소스 구성 요소 3개를 공개한다고 발표했다.

이번 발표는 에이전트 거버넌스와 에이전트를 효율적으로 실행하는 데 필요한 인프라를 연결한다. NVIDIA는 Google에서 시작된 Agent Substrate 프로젝트에도 기여하고 있으며, 세션 실행, 클러스터 관리, 추론 복구를 지원하는 Kubernetes Engine, Kubernetes Recipes, Snapshot을 DSX에 추가하고 있다.

OpenShell, 커뮤니티 거버넌스 체계로 전환

OpenShell은 자율 에이전트가 도구를 사용하고 추론 서비스에 접근하며 워크로드를 실행할 때 결정론적 제어를 적용한다. 에이전트는 파일 시스템, 네트워크, 프로세스, 서비스 제공업체 자격 증명에 대한 접근을 규정하는 선언형 YAML 정책과 함께 커널 격리 샌드박스에서 실행된다. 자격 증명은 승인된 엔드포인트로 향하는 요청에만 삽입되며, 형식 검증을 통해 제안된 정책 변경으로 위험한 새 접근 권한이 부여되는지 승인 전에 확인한다.

이 런타임은 Apache 2.0 라이선스로 제공된다. NVIDIA에 따르면 수백 개 조직이 이를 사용했고, 1년도 안 되는 기간에 수만 건의 기여가 이루어졌다. 또한 Sandbox 거버넌스에는 이 런타임을 제품에 통합하는 조직들이 참여할 예정이다. 전환은 아직 진행 중이다. 프로젝트 공지에 따르면 개발은 ai-openshell 조직으로 옮겨가며, 이전이 진행되는 동안 코드, 이슈, 풀 리퀘스트는 NVIDIA/OpenShell에 남는다.

Agent Substrate, 유휴 컴퓨팅 자원 문제 해결에 나서

Agent Substrate는 에이전트 세션을 계속 유지하는 데 드는 비용을 해결한다. 에이전트는 프롬프트, 도구 결과 또는 모델 응답을 기다리는 경우가 많다. 전용 웜 Kubernetes Pod는 이러한 대기 시간 동안 리소스를 유지하지만, Pod를 다시 만들면 상태가 사라지고 콜드 스타트를 다시 거쳐야 한다. NVIDIA와 Google은 클라우드와 온프레미스 시스템 전반에서 에이전트가 사용할 수 있도록 OpenShell 통합도 함께 개발하고 있다.

Agent Substrate 설계는 상태를 유지하는 여러 세션을 더 적은 수의 웜 워커 풀에 배치한다. 메모리와 파일 시스템 상태를 포함해 유휴 세션의 체크포인트를 생성하고, 해당 워커를 비운 뒤 일반적인 Kubernetes Pod 생성 절차를 다시 거치지 않고 사용 가능한 워커에서 세션을 복원한다. 워커는 일반 Kubernetes Pod로 유지되므로 클러스터 스케줄링, 할당량, 배치 정책이 계속 적용된다. 대상 워크로드에는 코딩 어시스턴트, 강화 학습 환경, 단기간 사용하는 GPU 연구용 샌드박스가 포함된다.

NVIDIA는 추론을 위한 Dynamo 및 클러스터 리소스 공유를 위한 KAI Scheduler와의 상호 운용성을 개발하고 있다. Dynamo는 예상 첫 토큰 생성 시간과 GPU 풀 포화도를 제공해 Agent Substrate가 에이전트를 계속 상주 상태로 둘지, 일시 중지할지, 재개할지를 결정하도록 할 수 있다. API는 아직 변경 중이고, GPU 지원은 Kubernetes Dynamic Resource Allocation을 기반으로 재구축되고 있으며, Dynamo 통합의 일부는 실험 단계다.

DSX, 클러스터 관리 및 복원 속도 개선 기능 추가

NVIDIA Kubernetes Engine과 NVIDIA Kubernetes Recipes(NVKE 및 NVKR)는 Apache 2.0 라이선스로 공개 미리 보기 중이다. NVIDIA는 API, 구성, 동작 방식이 변경될 수 있다고 밝혔으며, 아직 프로덕션 워크로드에는 사용을 권장하지 않는다. NVKR은 버전이 고정된 소스에서 재현 가능한 노드 이미지, 컨테이너 이미지, 바이너리, Helm 차트를 만들고 입력 항목을 기록한다. NVKE는 이러한 아티팩트를 사용해 REST API와 컨트롤러를 통해 클러스터를 프로비저닝하고 운영하지만, 두 프로젝트는 각각 독립적으로 도입할 수도 있다.

NVKE는 별도의 Kubernetes 컨트롤 플레인, etcd 인스턴스, 노드 풀을 갖춘 고객 워크로드 클러스터를 생성한다. NVIDIA Infra Controller와 해당 Cluster API 제공자인 CAPNICo를 통해 베어메탈 용량을 확보한다. 노드는 조인 자격 증명을 받기 전에 증명된 SPIFFE ID를 제시해야 한다. Firmus와 SK Telecom은 이 프로젝트를 자사의 AI 팩토리에 통합하고 있으며, Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud, vCluster는 각자의 인프라 플랫폼, 관리형 Kubernetes 서비스 또는 네트워크 자동화에 통합할 계획이다.

NVIDIA Snapshot은 완전히 초기화된 워크로드의 CPU 및 GPU 메모리를 체크포인트로 저장해 추론 콜드 스타트 문제를 해결한다. 복원하려면 동일한 GPU 모델과 드라이버가 필요하며, 가중치 로딩, 컴파일, CUDA 그래프 캡처를 반복하지 않아도 된다.

NVIDIA에 따르면 B200 GPU와 VAST NFS 스토리지를 사용했을 때 vLLM, SGLang, TensorRT LLM 구성 전반에서 복원 시간은 3.6~42.7초였으며, 콜드 스타트보다 8~36배 빨랐다. 테스트에는 매개변수가 6억 개인 모델부터 GPU 8개를 사용하는 구성까지 포함됐고, 체크포인트 용량은 1TB에 육박했다. 체크포인트 생성에는 15초~5.5분이 걸렸으며, 테스트한 모든 구성에서 체크포인트 생성과 복원을 합친 시간이 콜드 스타트 한 번보다 짧았다.

이 수치는 전체 시스템 시작 시간을 측정한 것이 아니다. 인프라 프로비저닝과 컨테이너 이미지 로딩은 복원 시간 측정 범위에 포함되지 않는다. 또한 각 체크포인트를 생성하기 전에 키-값 캐시를 해제하고 아티팩트에 보존하지 않는다. 따라서 이 결과는 호환되는 인프라에서 초기화된 워크로드를 복원하는 경우에 해당한다.

Crusoe가 NVIDIA HGX B300에서 진행한 자체 GLM-5.3 테스트에서는 GPU 상태 594GB가 포함된 체크포인트를 사용했다. Crusoe는 GPU 상태를 복원하는 데 로컬 NVMe에서는 15.0초, NFS에서는 33.3초가 걸린다고 측정했다. 아티팩트를 NVMe에 저장했을 때는 파드 생성부터 준비 완료까지 31초가 걸렸으며, 콜드 스타트에 대략 8분이 걸린 것과 비교하면 복원 성능에 스토리지가 주요 요인임을 알 수 있다. Crusoe는 성능 및 진단 관련 변경 사항도 업스트림에 기여했다.

이 프로젝트들을 종합하면 AI 팩토리의 제어 영역과 복구 경로가 더 많이 오픈 저장소에 들어가고 있지만, 각 프로젝트의 성숙도는 서로 다르다. OpenShell의 거버넌스 전환은 아직 완료되지 않았고, Agent Substrate는 계속 발전 중이며, NVKE와 NVKR은 아직 프리뷰 단계다. Snapshot의 벤치마크는 측정된 운영상 개선 효과를 가장 명확하게 보여 준다. 한편, 호환성 요건과 Crusoe의 스토리지 측정 결과는 더 빠른 복구를 위해 재사용 가능한 워크로드 상태와 이를 뒷받침하는 인프라가 모두 필요하다는 점을 보여 준다.