Modal planerar att rulla ut NVIDIA Vera för sandlådor i sin första Arm-satsning

Modal uppgav i ett blogginlägg från företaget den 19 oktober 2026 att företaget planerar att införa stöd för den Arm-baserade processorn Vera från NVIDIA för att driva Modal Sandboxes. Det blir första gången Modal frångår en flotta som enbart består av x86-maskiner. Benchmarkresultat som företaget publicerade visade att en likvärdig x86-maskin under belastning kunde hantera upp till dubbelt så många uppgifter per tidsenhet.

NVIDIA levererade personligen Modals första Vera-CPU-server till företagets kontor i San Francisco veckan före tillkännagivandet, uppgav Modal. Vera är NVIDIAs Arm-kompatibla processor, utvecklad för Vera Rubin-GPU-plattformen men också tillgänglig som fristående CPU-server. Att införa Arm i flottan skulle kräva ändringar i hela Modals infrastruktur och system för att bygga avbildningar. Företaget beskrev det som en stor förändring efter en lång historia av att enbart köra x86-maskiner.

Störningar i miljöer med flera hyresgäster och kapacitet för tillfälliga toppar

Att driva en Sandbox-produkt innebär att köra hundratals containrar och virtuella maskiner samtidigt på varje molnvärd, och enligt Modal är de multitenantkluster som uppstår därför störningskänsliga. Resursanvändningen kan variera kraftigt: en sandlåda kan vara nästan inaktiv medan den väntar på en språkmodell, för att sedan se CPU-användningen skjuta i höjden till 10 gånger basnivån på grund av en npm-installation eller ett resurskrävande grep-kommando. Arbetsbelastningens karaktär blir känd först vid körning, så dimensioneringen av resurser bygger ofta på en uppskattning. När hyresgäster med olika behov placeras i samma beräkningspool uppstår dessutom problem med störningar mellan grannar, där en kunds aktivitet försämrar en annans prestanda.

I stället för att kräva fasta reservationer dimensionerade för maximal användning har Modal Sandboxes stöd för tillfälliga kapacitetstoppar. Det gör att användare kan reservera garanterad kapacitet för sin P50-användning och lita på att kapacitetsmarginalen i värdnoden absorberar tillfälliga toppar. Modal uppgav att tillvägagångssättet har sparat användarna miljontals dollar, men medgav att det ökar exponeringen för störningar mellan grannar, som strikta begränsningar annars skulle förhindra.

Modal pekade ut två vanliga användningsområden för Sandbox: bakgrundsagenter, med Ramp Inspect och agenter som körs på Niteshift som exempel, samt körningar inom förstärkningsinlärning. Enligt företaget är de flesta träningsupplägg fortfarande synkrona, vilket innebär att en hel grupp CPU-bundna körningar måste bli klara innan inaktiva GPU:er kan gå vidare till nästa steg. Det betyder att sparad CPU-tid också är sparad GPU-tid. För bakgrundsagenter innebär snabbare körning snabbare svar och kortare CPU-tid, vilket sänker kostnaden för sålda varor, uppgav företaget.

Den agentlösa agenttestsviten

För att mäta Veras prestanda byggde och släppte Modal Agentlös agenttestsvit, en samling med 50 orakellösningar och verifierare för Terminal-Bench, där alla nätverksanrop tagits bort och som förvärmts i samtidiga Docker-containrar. Modal uppgav att det är svårt att bygga ett agentbaserat benchmark eftersom det mesta av arbetet på företagets sandlådeservrar inte är CPU-bundet. Därför sammanställde företaget en blandad uppsättning samtidiga uppgifter som motsvarar det arbete agenter och processer för förstärkningsinlärning faktiskt utför på processorn, däribland kompilering, filsökningar med grep, Git-operationer och enhetsemulering. Enligt det offentliga kodarkivet bygger benchmarken på uppgiftsdatasetet terminal-bench-2.1, med Docker-filer som anpassats för Arm-kompatibilitet, och en körning räknas som slutförd endast om uppgiftens verifierare godkänner resultatet.

Vid sekventiella tester på en obelastad maskin, som mäter den direkta fördröjningen för varje uppgift, fann Modal att Vera ofta var snabbare än de andra testade processorerna – Intel GNR, AMD Zen 5 samt AWS Graviton 4 och 5 – men inte alltid och inte med särskilt stor marginal. Inläggets författare beskrev att hen till en början var skeptisk till resultaten.

Under belastning skilde sig resultaten åt, rapporterade Modal. I genomströmningstestet ökas antalet samtidiga containrar på maskinen, och så många verifierade uppgifter som möjligt körs klart inom en bestämd tid. Enligt Modal visade de första benchmarkkörningarna upp till dubbelt så hög genomströmning för Vera som för en likvärdig x86-maskin med GNR, samtidigt som fördröjningen för enskilda uppgifter var lika låg som eller lägre än på x86. I de flesta system innebär högre packningstäthet en avvägning mellan genomströmning och fördröjning, ända tills processorn blir överbelastad. Modal uppgav dock att Vera inte blev långsammare när jobben hopade sig, utan fortsatte att slutföra uppgifter i samma takt som tidigare.

Modal rapporterade att Veras prestanda fortsatte att förbättras när antalet logiska processorer ökade, medan de andra testade processorerna tidigt nådde en platå i genomströmningen. De testade maskinernas gränser för antalet fysiska kärnor var 128 för Intel GNR, 96 för Graviton och den virtuella GNR-maskinen samt 88 för Vera. Eftersom alternativen nådde en platå tidigt menar Modal att resultaten tyder på att företaget skulle kunna pressa Vera ännu längre än den enda benchmarknod det hade tillgång till.

Företaget tillskriver Veras fördel under konkurrerande belastning dess höga minnesbandbredd, som enligt företaget gör att betydligt fler containerarbetsbelastningar kan packas på varje kärna utan att processorn stryps. För Modals schemaläggare innebär det högre packningstäthet och större utrymme för tillfälliga belastningstoppar. För användare av Sandbox innebär det högre absolut skala och genomströmning utan att fördröjningen försämras, uppgav företaget.

Veras konstruktion och produktionsstatus

NVIDIA lanserade Vera den 16 mars 2026 vid sin GTC-konferens och beskrev den som en processor specialbyggd för agentisk AI och förstärkningsinlärning. Kretsen har 88 specialanpassade Olympus-kärnor utformade av NVIDIA, som var och en kan köra två uppgifter med hjälp av en funktion som NVIDIA kallar Spatial Multithreading, samt ett andra generationens strömsnåla minnessystem baserat på LPDDR5X, med en bandbredd på upp till 1,2 TB/s. NVIDIA hävdar att Vera levererar resultat med dubbelt så hög effektivitet och 50 % snabbare än traditionella processorer.

Vid lanseringen presenterade NVIDIA också ett Vera-CPU-rack med 256 vätskekylda processorer. Enligt företaget kan det hantera mer än 22 500 samtidiga CPU-miljöer, som var och en körs oberoende med full prestanda. NVIDIA uppgav att Vera är i full produktion och blir tillgänglig för partner under andra halvåret 2026. Bland de molnleverantörer som planerar att använda processorn nämnde företaget Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale och Oracle Cloud Infrastructure.

Modal uppgav att företaget avser att samarbeta nära med NVIDIA och molnleverantörer för att utöka sin Vera-flotta i takt med att utrullningen fortskrider.