Modal planeja implementar a Vera da NVIDIA em seus sandboxes, em sua primeira iniciativa com Arm

Em uma publicação no blog da empresa em 19 de outubro de 2026, a Modal afirmou que planeja implementar o suporte à CPU Vera, baseada em Arm, da NVIDIA para equipar o Modal Sandboxes. Essa será a primeira vez que a empresa se afasta de uma frota exclusivamente x86. Os resultados de benchmark publicados pela Modal mostraram que, sob carga, a máquina pode processar até o dobro de tarefas que uma máquina x86 equivalente.

A NVIDIA entregou pessoalmente o primeiro servidor com CPU Vera da Modal ao escritório da empresa em São Francisco na semana anterior ao anúncio, informou a Modal. Vera é o processador da NVIDIA compatível com Arm, desenvolvido para a plataforma de GPU Vera Rubin, mas também disponível em um servidor com CPU independente. A adoção de Arm na frota exigiria mudanças em toda a infraestrutura e no sistema de compilação de imagens da Modal, uma alteração enorme, segundo a empresa, após uma longa história de uso exclusivo de máquinas x86.

Ruído entre locatários e capacidade de absorção de picos

Orquestrar um produto de sandbox significa executar centenas de contêineres e máquinas virtuais em paralelo em cada host de nuvem. Segundo a Modal, os clusters multi-inquilinos resultantes são ruidosos. O uso de recursos pode apresentar picos extremos: um sandbox pode ficar quase ocioso enquanto aguarda um modelo de linguagem e, em seguida, ter o uso de CPU subir para 10 vezes o nível normal por causa de uma instalação do npm ou de um comando grep que consome muitos recursos. Como só se conhece o perfil de cada carga de trabalho durante a execução, o dimensionamento dos recursos costuma ser uma estimativa; além disso, a concentração de inquilinos com perfis diferentes em um único conjunto de capacidade computacional cria problemas de «vizinho barulhento», nos quais o comportamento de um cliente prejudica o desempenho de outro.

Em vez de exigir reservas fixas dimensionadas para o uso máximo, o Modal Sandboxes permite picos de uso: os usuários podem reservar capacidade garantida para seu nível de uso P50 e confiar que a margem disponível no nó host absorverá os picos temporários. Segundo a Modal, essa abordagem já economizou milhões de dólares para os usuários, mas a empresa reconheceu que ela aumenta a exposição aos efeitos de «vizinho barulhento» que limites rígidos evitariam.

A Modal identificou dois casos de uso comuns para o Sandbox: agentes em segundo plano, citando o Ramp Inspect e os agentes executados no Niteshift, e execuções de aprendizado por reforço. A empresa afirmou que a maioria das configurações de treinamento ainda é síncrona: é preciso concluir todas as execuções paralelas limitadas pela CPU antes que as GPUs ociosas possam passar à etapa seguinte, o que significa que o tempo economizado na CPU também é tempo economizado na GPU. Para os agentes em segundo plano, acrescentou a empresa, uma execução mais rápida significa respostas mais rápidas e menos tempo de CPU, reduzindo o custo dos produtos vendidos.

O Agentless Agent Bench

Para medir o desempenho da Vera, a Modal criou e lançou o Agentless Agent Bench, uma coleção de 50 soluções de referência e verificadores do Terminal-Bench, sem chamadas de rede, pré-aquecida em contêineres Docker concorrentes. A Modal afirmou que é difícil criar um benchmark para agentes porque a maior parte do trabalho realizado em seus servidores de sandbox não é limitada pela CPU. Por isso, reuniu uma combinação concorrente e heterogênea de tarefas que agentes e processos de aprendizado por reforço realmente executam na CPU, incluindo compilação, busca de texto em arquivos, operações do git e emulação de dispositivos. De acordo com o repositório público, o benchmark usa o conjunto de dados de tarefas terminal-bench-2.1, com Dockerfiles adaptados para compatibilidade com Arm; uma execução só é considerada concluída se o verificador da tarefa for aprovado.

Em testes sequenciais numa máquina sem carga, que medem a latência direta de cada tarefa, a Modal constatou que a Vera era frequentemente mais rápida que os outros processadores testados — Intel GNR, AMD Zen 5 e AWS Graviton 4 e 5 —, mas não sempre nem por uma margem particularmente grande. O autor da publicação descreveu ter inicialmente duvidado dos resultados.

Sob carga, informou a Modal, os resultados foram diferentes. O teste de throughput aumenta o número de contêineres concorrentes na máquina e executa em loop o maior número possível de tarefas verificadas durante um período fixo. Segundo a Modal, suas primeiras rodadas de benchmark mostraram que a Vera alcançava até o dobro do throughput de tarefas de uma máquina GNR x86 equivalente, enquanto a latência individual das tarefas era igual ou inferior à observada em x86. Na maioria dos sistemas, throughput e latência entram em conflito à medida que aumenta a densidade de tarefas, até a CPU atingir sua capacidade máxima. A Modal afirmou, porém, que a Vera não ficou mais lenta à medida que os trabalhos se acumulavam e continuou concluindo tarefas no ritmo inicial.

A Modal informou que o desempenho da Vera continuou melhorando à medida que aumentava o número de CPUs lógicas, enquanto os outros processadores testados atingiram rapidamente um platô de throughput. As máquinas testadas tinham 128 núcleos físicos no caso da Intel GNR, 96 no caso do Graviton e da máquina virtual GNR, e 88 no caso da Vera. Como as alternativas atingiram o platô cedo, a Modal afirmou que seus resultados sugerem que poderia levar a Vera ainda mais longe do que permitia o único nó de benchmark a que teve acesso.

A empresa atribui a vantagem da Vera sob contenção à alta largura de banda de memória, que, segundo ela, permite concentrar significativamente mais cargas de trabalho de contêineres em cada núcleo sem limitar a CPU. Para o escalonador da Modal, isso significa maior densidade de tarefas e uma proteção contra picos mais flexível; para os usuários do Sandbox, significa maior escala absoluta e throughput sem sacrificar a latência, afirmou a empresa.

Projeto e estado de produção da Vera

A NVIDIA lançou Vera em 16 de março de 2026, durante sua conferência GTC, apresentando-a como um processador projetado especificamente para IA agêntica e aprendizado por reforço. O chip conta com 88 núcleos Olympus personalizados, projetados pela NVIDIA, cada um capaz de executar duas tarefas por meio de um recurso chamado pela NVIDIA de Spatial Multithreading, além de um subsistema de memória de baixo consumo de segunda geração, baseado em LPDDR5X, que oferece largura de banda de até 1,2 TB/s. A NVIDIA afirma que Vera oferece resultados com o dobro da eficiência e é 50% mais rápida que as CPUs tradicionais.

No lançamento, a NVIDIA também apresentou um rack de CPUs Vera que integra 256 CPUs resfriadas a líquido e que, segundo a empresa, pode manter mais de 22.500 ambientes de CPU simultâneos, cada um funcionando de forma independente com desempenho máximo. A NVIDIA afirmou que Vera está em plena produção e que estará disponível por meio de parceiros no segundo semestre de 2026. Entre os provedores de nuvem que planejam implantar a CPU, citou Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale e Oracle Cloud Infrastructure.

A Modal afirmou que pretende trabalhar em estreita colaboração com a NVIDIA e provedores de nuvem para expandir sua frota de Vera à medida que a implantação avançar.