Modal, 샌드박스에 NVIDIA Vera 도입 계획…첫 Arm 기반 전환

Modal은 2026년 10월 19일 회사 블로그 게시물에서 Modal Sandboxes를 구동하기 위해 NVIDIA의 Arm 기반 Vera CPU 지원을 도입할 계획이라고 밝혔다. Modal이 x86 기반 시스템만으로 구성된 인프라에서 벗어나는 것은 이번이 처음이다. Modal이 공개한 벤치마크 결과에 따르면, 부하가 걸린 상태에서 Vera는 동급 x86 시스템보다 작업 처리량을 최대 2배 높였다.

Modal에 따르면 NVIDIA는 발표 전 주에 Vera CPU를 탑재한 첫 서버를 샌프란시스코에 있는 Modal 사무실로 직접 전달했다. Vera는 NVIDIA의 Arm 호환 프로세서로, Vera Rubin GPU 플랫폼용으로 설계됐지만 독립형 CPU 서버로도 이용할 수 있다. Arm을 인프라에 도입하려면 Modal의 인프라 전반과 이미지 빌드 시스템을 변경해야 한다. Modal은 오랜 기간 x86 시스템만 사용해 온 만큼 이번 변화가 대대적인 작업이라고 설명했다.

멀티테넌트 환경의 간섭과 버스트 용량

Sandbox 제품을 운영하려면 각 클라우드 호스트에서 수백 개의 컨테이너와 가상 머신을 동시에 실행해야 하며, Modal은 이로 인해 멀티테넌트 클러스터에 간섭이 발생한다고 밝혔다. 리소스 사용량은 급격히 변할 수 있다. 샌드박스는 언어 모델의 응답을 기다리느라 대부분 유휴 상태일 수 있지만, npm 설치나 비용이 많이 드는 grep 명령을 실행하면 CPU 사용량이 기준치보다 10배 치솟을 수 있다. 각 워크로드의 특성은 실행 시점에야 파악할 수 있으므로 필요한 리소스 규모를 추정하기 어려운 경우가 많다. 또한 서로 다른 유형의 테넌트가 하나의 컴퓨팅 풀에 함께 배치되면 이웃 테넌트 간 간섭이 발생해 한 고객의 동작이 다른 고객의 성능을 떨어뜨릴 수 있다.

최대 사용량에 맞춘 고정 용량을 예약하도록 하는 대신, Modal Sandboxes는 버스트 처리를 지원한다. 이를 통해 사용자는 P50 사용량에 해당하는 용량을 보장받도록 예약하고, 호스트 노드 내 여유 용량이 일시적인 급증을 흡수할 것이라고 기대할 수 있다. Modal은 이 방식으로 사용자들이 수백만 달러를 절약했다고 밝혔지만, 엄격한 제한을 적용했다면 피할 수 있었을 이웃 테넌트 간 간섭에 더 많이 노출되는 점도 인정했다.

Modal은 Sandbox의 대표적인 사용 사례로 백그라운드 에이전트와 강화 학습 롤아웃, 두 가지를 꼽았다. 백그라운드 에이전트의 예로는 Ramp Inspect와 Niteshift에서 실행되는 에이전트를 들었다. Modal에 따르면 대부분의 학습 환경은 여전히 동기식이므로, CPU를 사용하는 롤아웃이 여러 작업으로 분산된 경우 유휴 GPU가 다음 단계로 넘어가기 전에 모든 작업이 완료되어야 한다. 따라서 CPU에서 절약한 시간은 GPU에서 절약한 시간이기도 하다. 백그라운드 에이전트의 경우 실행 속도가 빨라지면 답변을 더 빨리 제공하고 CPU 사용 시간도 줄어 매출원가를 낮출 수 있다고 Modal은 설명했다.

Agentless Agent Bench

Vera의 성능을 측정하기 위해 Modal은 Agentless Agent Bench를 제작해 공개했다. 여기에는 네트워크 호출을 모두 제거하고 동시 실행되는 Docker 컨테이너에서 미리 준비한 Terminal-Bench 오라클 솔루션 및 검증기 50개가 포함된다. Modal은 샌드박스 서버에서 수행되는 작업 대부분이 CPU에 크게 의존하지 않기 때문에 에이전트 성능을 측정하는 벤치마크를 만들기 어렵다고 밝혔다. 이에 실제 에이전트와 강화 학습 프로세스가 CPU에서 수행하는 작업을 반영해 컴파일, 파일 검색, git 작업, 장치 에뮬레이션을 포함한 여러 작업을 동시 실행할 수 있도록 구성하고, 작업 유형도 다양하게 조합했다. 공개 저장소에 따르면 이 벤치마크는 terminal-bench-2.1 작업 데이터셋을 기반으로 하며, Arm 호환성을 위해 Dockerfile을 이식했다. 작업 검증기를 통과해야만 실행이 완료된 것으로 집계된다.

단일 작업의 순수 지연 시간을 측정하는 비부하 상태의 순차 테스트에서 Vera는 테스트한 다른 프로세서인 Intel GNR, AMD Zen 5, AWS Graviton 4 및 5보다 대체로 빨랐다. 하지만 항상 그런 것은 아니었으며, 차이가 특별히 큰 것도 아니었다. 게시물 작성자는 처음에는 결과를 회의적으로 바라봤다고 밝혔다.

Modal은 부하가 걸리자 결과에 차이가 나타났다고 밝혔다. 처리량 테스트에서는 시스템에서 동시에 실행하는 컨테이너 수를 늘리고, 정해진 시간 동안 검증을 통과한 작업을 최대한 많이 완료하도록 반복 실행한다. Modal에 따르면 초기 벤치마크에서 Vera는 동급 x86 GNR 시스템보다 작업 처리량이 최대 2배 높았으며, 개별 작업의 지연 시간은 x86과 같거나 더 짧았다. 대부분의 시스템에서는 배치 밀도가 높아지다가 CPU가 포화 상태에 이르면 처리량과 지연 시간이 서로 맞바뀌지만, Modal은 Vera의 경우 작업이 쌓여도 속도가 느려지지 않고 기존 속도로 작업을 계속 완료했다고 밝혔다.

Modal은 논리 CPU 수가 늘어날수록 Vera의 성능이 계속 향상된 반면, 테스트한 다른 프로세서들은 처리량이 일찍 정체됐다고 밝혔다. 테스트한 시스템의 물리 코어 수는 Intel GNR이 128개, Graviton과 GNR 가상 머신이 각각 96개, Vera가 88개였다. 대안으로 테스트한 프로세서들이 일찍 정체된 만큼, Modal은 이 결과를 바탕으로 자신들이 사용할 수 있었던 단일 벤치마크 노드의 한계를 넘어 Vera의 성능을 더 끌어올릴 수 있을 것으로 내다봤다.

Modal은 부하가 집중된 상황에서 Vera가 우위를 보이는 이유로 높은 메모리 대역폭을 꼽았다. 이 대역폭 덕분에 CPU 성능을 제한하지 않고도 코어마다 훨씬 더 많은 컨테이너 워크로드를 배치할 수 있다는 설명이다. Modal의 스케줄러에서는 배치 밀도가 높아지고 버스트 보호 기능이 더 유연하게 작동하며, Sandbox 사용자는 지연 시간을 희생하지 않으면서도 절대적인 규모와 처리량을 높일 수 있다고 회사는 밝혔다.

Vera의 설계와 생산 현황

NVIDIA는 GTC 컨퍼런스에서 2026년 3월 16일 Vera를 출시하며, 에이전트형 AI와 강화 학습에 특화해 설계한 프로세서라고 소개했다. 이 칩에는 NVIDIA가 자체 설계한 맞춤형 Olympus 코어 88개가 탑재되어 있으며, 각 코어는 NVIDIA가 Spatial Multithreading이라고 부르는 기능을 통해 두 가지 작업을 실행할 수 있다. 또한 LPDDR5X 기반의 2세대 저전력 메모리 하위 시스템을 갖춰 최대 1.2TB/s의 대역폭을 제공한다. NVIDIA는 Vera가 기존 CPU보다 두 배 높은 효율과 50% 빠른 속도로 결과를 제공한다고 주장한다.

출시 행사에서 NVIDIA는 수랭식 CPU 256개를 통합한 Vera CPU 랙도 공개했다. NVIDIA는 이 랙이 동시에 22,500개가 넘는 CPU 환경을 지원하며, 각 환경은 독립적으로 최고 성능을 발휘한다고 밝혔다. 또한 Vera가 본격 생산에 들어갔으며 2026년 하반기부터 파트너사에 공급될 예정이라고 전했다. CPU를 도입할 계획인 클라우드 제공업체로는 Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale, Oracle Cloud Infrastructure를 언급했다.

Modal은 Vera 도입이 진행됨에 따라 NVIDIA 및 클라우드 제공업체와 긴밀히 협력해 Vera 서버 규모를 확대할 계획이라고 밝혔다.