Modal planea incorporar NVIDIA Vera a Modal Sandboxes en su primer paso hacia Arm

Modal anunció en una publicación del blog de la empresa el 19 de octubre de 2026 que planea incorporar compatibilidad con la CPU Vera de NVIDIA basada en Arm para impulsar Modal Sandboxes. Será su primer alejamiento de una flota exclusivamente x86, tras publicar resultados de pruebas comparativas que mostraron hasta el doble de rendimiento en tareas que una máquina x86 equivalente bajo carga.

NVIDIA entregó personalmente el primer servidor con CPU Vera de Modal en las oficinas de la empresa en San Francisco durante la semana previa al anuncio, según Modal. Vera es el procesador de NVIDIA compatible con Arm, diseñado para la plataforma de GPU Vera Rubin, pero también disponible como servidor independiente con CPU. Incorporar Arm a la flota exigiría cambios en toda la infraestructura de Modal y en su sistema de creación de imágenes, algo que la empresa describió como un cambio enorme tras una larga trayectoria usando exclusivamente máquinas x86.

Ruido multiinquilino y capacidad para picos de demanda

Orquestar un producto de entornos aislados implica ejecutar cientos de contenedores y máquinas virtuales simultáneos en cada host de la nube, y Modal señaló que los clústeres multiinquilino resultantes generan mucho ruido. El uso de recursos puede presentar picos extremos: un entorno aislado puede permanecer casi inactivo mientras espera a un modelo de lenguaje y, luego, registrar un aumento del uso de CPU de hasta 10 veces el nivel habitual debido a una instalación de npm o a un comando grep costoso. El perfil de cada carga de trabajo solo se conoce durante la ejecución, por lo que dimensionar los recursos suele ser una cuestión de cálculo aproximado; además, concentrar inquilinos heterogéneos en un mismo conjunto de recursos de cómputo provoca problemas de «vecino ruidoso», en los que el comportamiento de un cliente perjudica el rendimiento de otro.

En lugar de exigir reservas fijas dimensionadas para el uso máximo, Modal Sandboxes admite picos de demanda: los usuarios pueden reservar capacidad garantizada para su uso P50 y confiar en que el margen disponible dentro del nodo anfitrión absorberá los aumentos transitorios. Modal afirmó que este enfoque ha ahorrado millones de dólares a los usuarios, pero reconoció que aumenta la exposición a los efectos de vecino ruidoso que, de otro modo, evitarían los límites estrictos.

Modal señaló dos casos de uso habituales para Sandbox: los agentes en segundo plano, y citó Ramp Inspect y los agentes que se ejecutan en Niteshift, y las ejecuciones de aprendizaje por refuerzo. Según la empresa, la mayoría de los sistemas de entrenamiento siguen siendo síncronos, por lo que todas las ejecuciones paralelas limitadas por CPU deben terminar antes de que las GPU inactivas puedan pasar al siguiente paso; esto significa que el tiempo ahorrado en la CPU también se ahorra en la GPU. En el caso de los agentes en segundo plano, explicó la empresa, una ejecución más rápida se traduce en respuestas más rápidas y menos tiempo de CPU, lo que reduce el costo de los bienes vendidos.

El banco de pruebas de agentes sin agente

Para medir Vera, Modal creó y publicó Banco de pruebas de agentes sin agente, una colección de 50 soluciones de referencia y verificadores de Terminal-Bench, sin llamadas de red y precalentados en contenedores Docker simultáneos. Modal explicó que crear una prueba comparativa para agentes es difícil porque la mayor parte del trabajo realizado en sus servidores de entornos aislados no está limitado por la CPU. Por eso, reunió una combinación simultánea y heterogénea de las tareas que los agentes y los procesos de aprendizaje por refuerzo realizan realmente en la CPU, entre ellas compilación, búsqueda de archivos con grep, operaciones de git y emulación de dispositivos. Según el repositorio público, la prueba se basa en el conjunto de datos de tareas terminal-bench-2.1, con archivos Dockerfile adaptados para ser compatibles con Arm, y una ejecución solo se considera completada si el verificador de la tarea la aprueba.

En pruebas secuenciales con una máquina sin carga, que miden la latencia directa de cada tarea, Modal descubrió que Vera solía ser más rápida que los demás procesadores evaluados —Intel GNR, AMD Zen 5 y AWS Graviton 4 y 5—, aunque no siempre ni por un margen especialmente amplio. El autor de la publicación contó que al principio se mostró escéptico ante los resultados.

Modal informó que, bajo carga, los resultados fueron distintos. La prueba de rendimiento aumenta la cantidad de contenedores simultáneos en la máquina y repite tantas tareas verificadas como sea posible dentro de un tiempo fijo. Según Modal, las primeras pruebas comparativas mostraron que Vera alcanzaba hasta el doble de rendimiento en tareas que una máquina GNR x86 equivalente, mientras que la latencia de cada tarea era igual o menor que en x86. En la mayoría de los sistemas, el rendimiento y la latencia se contraponen a medida que aumenta la densidad de empaquetamiento, hasta que la CPU se satura. Sin embargo, Modal señaló que Vera no se ralentizó al acumularse los trabajos y siguió completando tareas al ritmo inicial.

Modal informó que el rendimiento de Vera siguió mejorando a medida que aumentaba la cantidad de CPU lógicas, mientras que los demás procesadores evaluados alcanzaron pronto una meseta de rendimiento. Las máquinas evaluadas tenían 128 núcleos físicos en el caso de Intel GNR, 96 en el de Graviton y la máquina virtual GNR, y 88 en el de Vera. Como las alternativas alcanzaron pronto esa meseta, Modal señaló que los resultados sugieren que podría llevar a Vera aún más lejos que el único nodo de pruebas comparativas al que tuvo acceso.

La empresa atribuye la ventaja de Vera bajo contención a su gran ancho de banda de memoria, que, según explicó, permite concentrar muchas más cargas de trabajo de contenedores en cada núcleo sin limitar la CPU. Para el planificador de Modal, esto se traduce en una mayor densidad de empaquetamiento y una protección más flexible frente a los picos de demanda; para quienes usan Sandbox, según la empresa, significa mayor escala absoluta y rendimiento sin sacrificar latencia.

Diseño y estado de producción de Vera

NVIDIA lanzó Vera el 16 de marzo de 2026 en su conferencia GTC y lo describió como un procesador diseñado específicamente para la IA agéntica y el aprendizaje por refuerzo. El chip cuenta con 88 núcleos Olympus personalizados diseñados por NVIDIA, cada uno capaz de ejecutar dos tareas mediante una función que NVIDIA denomina Spatial Multithreading, y un subsistema de memoria de bajo consumo de segunda generación basado en LPDDR5X que ofrece un ancho de banda de hasta 1,2 TB/s. NVIDIA afirma que Vera ofrece resultados con el doble de eficiencia y un 50 % más rápido que las CPU tradicionales.

En el lanzamiento, NVIDIA también presentó un bastidor de CPU Vera que integra 256 CPU refrigeradas por líquido y que, según la compañía, puede mantener más de 22.500 entornos de CPU simultáneos, cada uno ejecutándose de forma independiente a pleno rendimiento. NVIDIA afirmó que Vera ya está en plena producción y que estará disponible a través de sus socios durante el segundo semestre de 2026. Entre los proveedores de servicios en la nube que tienen previsto implementar la CPU, mencionó Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale y Oracle Cloud Infrastructure.

Modal dijo que tiene previsto colaborar estrechamente con NVIDIA y los proveedores de servicios en la nube para ampliar su flota de Vera a medida que avance el despliegue.