Modal pianifica l’adozione di NVIDIA Vera per i sandbox: la prima svolta verso Arm

In un post sul blog aziendale del 19 ottobre 2026, Modal ha dichiarato di voler introdurre il supporto alla CPU Vera basata su Arm di NVIDIA per alimentare Modal Sandboxes, segnando il primo allontanamento dell’azienda da una flotta interamente x86. I risultati dei benchmark pubblicati da Modal mostrano che, sotto carico, la CPU può offrire un throughput dei task fino al doppio rispetto a una macchina x86 equivalente.

NVIDIA ha consegnato di persona il primo server CPU Vera di Modal alla sede dell’azienda a San Francisco nella settimana precedente all’annuncio, ha dichiarato Modal. Vera è il processore di NVIDIA compatibile con Arm, progettato per la piattaforma GPU Vera Rubin ma disponibile anche come server CPU autonomo. Integrare Arm nella flotta richiederebbe modifiche all’infrastruttura e al sistema di creazione delle immagini di Modal: l’azienda ha descritto l’intervento come un cambiamento enorme, dopo una lunga storia di utilizzo esclusivo di macchine x86.

Rumore multi-tenant e capacità di gestire i picchi

Orchestrare un prodotto Sandbox significa eseguire centinaia di container e macchine virtuali contemporaneamente su ogni host cloud; Modal ha dichiarato che i cluster multi-tenant che ne risultano sono soggetti a interferenze. L’uso delle risorse può presentare picchi estremi: un sandbox può restare quasi inattivo mentre attende un modello linguistico e poi registrare un’impennata nell’utilizzo della CPU, fino a 10 volte il livello di base, a causa dell’installazione di un pacchetto npm o di un comando grep particolarmente oneroso. La configurazione di ciascun carico di lavoro si conosce solo in fase di esecuzione, quindi spesso il dimensionamento delle risorse è una stima; inoltre, la presenza di tenant eterogenei in un unico pool di calcolo può creare problemi di interferenza tra vicini, per cui il comportamento di un cliente peggiora le prestazioni di un altro.

Invece di imporre prenotazioni fisse dimensionate sul consumo massimo, Modal Sandboxes supporta l’uso di risorse oltre la capacità prenotata: gli utenti possono riservare una capacità garantita per il proprio consumo P50 e fare affidamento sulle risorse aggiuntive disponibili nel nodo host per assorbire i picchi temporanei. Modal ha dichiarato che questo approccio ha fatto risparmiare agli utenti milioni di dollari, ma ha riconosciuto che aumenta l’esposizione agli effetti di interferenza tra vicini, che limiti rigidi eviterebbero.

Modal ha individuato due casi d’uso frequenti per Sandbox: gli agenti in background, citando Ramp Inspect e gli agenti in esecuzione su Niteshift, e le esecuzioni di reinforcement learning. La maggior parte degli ambienti di addestramento è ancora sincrona, ha dichiarato l’azienda: l’intero gruppo di esecuzioni parallele vincolate dalla CPU deve terminare prima che le GPU inattive possano passare alla fase successiva. Ciò significa che il tempo risparmiato sulla CPU si traduce in tempo risparmiato sulla GPU. Per gli agenti in background, ha aggiunto Modal, un’esecuzione più rapida comporta risposte più rapide e un minore tempo di utilizzo della CPU, riducendo il costo del venduto.

Il banco di prova Agentless per agenti

Per misurare le prestazioni di Vera, Modal ha creato e pubblicato il banco di prova Agentless per agenti, una raccolta di 50 soluzioni di riferimento e verificatori di Terminal-Bench, privata di tutte le chiamate di rete e precaricata in container Docker eseguiti contemporaneamente. Modal ha dichiarato che è difficile realizzare un benchmark per agenti, perché la maggior parte delle operazioni svolte sui server sandbox dell’azienda non è vincolata dalla CPU. Per questo ha riunito un insieme eterogeneo di attività concorrenti, effettivamente eseguite sulla CPU da agenti e processi di reinforcement learning, tra cui compilazione, ricerca di stringhe nei file, operazioni Git ed emulazione di dispositivi. Secondo il repository pubblico, il benchmark si basa sul set di dati di attività terminal-bench-2.1, con Dockerfile adattati per la compatibilità con Arm; un’esecuzione viene considerata completata solo se il verificatore dell’attività la convalida.

Nei test in serie condotti su una macchina non sotto carico, che misurano la latenza di ciascun task eseguito singolarmente, Modal ha rilevato che Vera era spesso più veloce degli altri processori testati — Intel GNR, AMD Zen 5 e AWS Graviton 4 e 5 — ma non sempre, e senza un margine particolarmente ampio. L’autore del post ha raccontato di essere inizialmente scettico sui risultati.

Modal ha riferito che, sotto carico, i risultati erano diversi. Il test di throughput aumenta il numero di container simultanei sulla macchina e, in un intervallo di tempo prestabilito, esegue il maggior numero possibile di task verificati. Secondo Modal, i primi test hanno mostrato che Vera raggiungeva un throughput dei task fino al doppio rispetto a una macchina GNR x86 equivalente, mentre la latenza dei singoli task risultava pari o inferiore a quella su x86. Nella maggior parte dei sistemi, all’aumentare della densità di allocazione, throughput e latenza entrano in competizione, finché la CPU non raggiunge la saturazione. Modal ha invece affermato che Vera non rallentava con l’accumularsi dei processi e continuava a completare i task al ritmo iniziale.

Modal ha riferito che le prestazioni di Vera continuavano a migliorare all’aumentare del numero di CPU logiche, mentre gli altri processori testati raggiungevano presto un plateau di throughput. Il numero di core fisici delle macchine testate era 128 per Intel GNR, 96 per Graviton e per la macchina virtuale GNR, e 88 per Vera. Poiché le alternative raggiungevano presto il plateau, Modal ha dichiarato che i risultati suggeriscono la possibilità di spingere Vera ancora oltre, superando i limiti del singolo nodo di benchmark a sua disposizione.

L’azienda attribuisce il vantaggio di Vera in condizioni di contesa all’elevata larghezza di banda della memoria, che, secondo Modal, consente di concentrare su ciascun core un numero molto maggiore di carichi di lavoro in container senza che la CPU venga rallentata. Per lo scheduler di Modal, questo significa una maggiore densità di allocazione e una protezione dai picchi più flessibile; per gli utenti di Sandbox, ha dichiarato l’azienda, significa maggiore capacità complessiva e throughput più elevato, senza sacrificare la latenza.

Progettazione e stato della produzione di Vera

NVIDIA ha lanciato Vera il 16 marzo 2026 alla conferenza GTC, descrivendolo come un processore progettato appositamente per l’IA agentica e l’apprendimento per rinforzo. Il chip integra 88 core Olympus personalizzati, progettati da NVIDIA, ciascuno in grado di eseguire due attività grazie a una funzionalità che NVIDIA chiama Spatial Multithreading, oltre a un sottosistema di memoria a basso consumo di seconda generazione basato su LPDDR5X, che offre una larghezza di banda fino a 1,2 TB/s. NVIDIA sostiene che Vera offre risultati con un’efficienza doppia e prestazioni superiori del 50% rispetto alle CPU tradizionali.

Al lancio, NVIDIA ha presentato anche un rack di CPU Vera che integra 256 CPU raffreddate a liquido e che, secondo quanto dichiarato, può supportare oltre 22.500 ambienti CPU simultanei, ciascuno in esecuzione indipendente alla massima prestazione. NVIDIA ha dichiarato che Vera è in piena produzione e che sarà disponibile tramite i partner nella seconda metà del 2026; tra i provider cloud che intendono implementare la CPU ha citato Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale e Oracle Cloud Infrastructure.

Modal ha dichiarato di voler collaborare a stretto contatto con NVIDIA e con i provider cloud per ampliare la propria flotta di Vera man mano che procede la distribuzione.