Modal planlægger at indføre NVIDIA Vera til Modal Sandboxes som sit første skridt mod Arm

Modal oplyste i et blogindlæg fra virksomheden den 19. oktober 2026, at virksomheden planlægger at indføre understøttelse af den Arm-baserede NVIDIA Vera-CPU til drift af Modal Sandboxes. Det bliver første gang, virksomheden går væk fra en flåde, der udelukkende består af x86-maskiner, efter at offentliggjorte benchmarkresultater viste op til dobbelt så stor opgavegennemstrømning som på en tilsvarende x86-maskine under belastning.

NVIDIA leverede personligt Modals første Vera-CPU-server til virksomhedens kontor i San Francisco i ugen op til annonceringen, oplyste Modal. Vera er NVIDIAs Arm-kompatible processor, der er udviklet til Vera Rubin-GPU-platformen, men som også fås som en selvstændig CPU-server. At indføre Arm i flåden ville kræve ændringer i hele Modals infrastruktur og system til opbygning af images. Virksomheden beskrev det som en omfattende ændring efter en lang historik med udelukkende at køre x86-maskiner.

Støj fra flere lejere og kapacitet til spidsbelastninger

At orkestrere et sandkasseprodukt indebærer, at der køres hundredvis af samtidige containere og virtuelle maskiner på hver cloudvært, og Modal oplyste, at de resulterende klynger med flere lejere er støjende. Ressourceforbruget kan svinge voldsomt: En sandkasse kan for det meste være inaktiv, mens den venter på en sprogmodel, og derefter opleve, at CPU-forbruget stiger til 10 gange grundniveauet på grund af en npm-installation eller en ressourcekrævende grep-kommando. Først under afviklingen bliver det klart, hvordan den enkelte arbejdsbelastning ser ud, så dimensioneringen af ressourcer er ofte et gæt. Når lejere med forskellige behov samles i én beregningspulje, opstår der desuden problemer med støjende naboer, hvor én kundes adfærd forringer en andens ydeevne.

I stedet for at kræve faste reservationer, der er dimensioneret efter det maksimale forbrug, understøtter Modal Sandboxes burstkapacitet. Det giver brugerne mulighed for at reservere garanteret kapacitet til deres P50-forbrug og stole på, at den ekstra kapacitet på værtsnoden kan absorbere kortvarige spidsbelastninger. Modal oplyste, at tilgangen har sparet brugerne for millioner af dollars, men erkendte, at den øger risikoen for effekter fra støjende naboer, som stramme grænser ellers ville forhindre.

Modal fremhævede to udbredte anvendelser af sandkasser: baggrundsagenter, herunder Ramp Inspect og agenter, der kører på Niteshift, samt kørsler til forstærkningslæring. De fleste træningsopsætninger er stadig synkrone, oplyste virksomheden, så en hel gruppe CPU-bundne kørsler skal fuldføres, før inaktive GPU’er kan gå videre til næste trin. Det betyder, at tid sparet på CPU’en også er tid sparet på GPU’en. For baggrundsagenter betyder hurtigere afvikling ifølge virksomheden hurtigere svar og kortere CPU-tid, hvilket sænker omkostningerne ved de solgte ydelser.

Benchmarken Agentless Agent Bench

For at måle Vera udviklede og udgav Modal Agentless Agent Bench, en samling af 50 fasitløsninger og verifikatorer til Terminal-Bench, hvor alle netværkskald er fjernet, og som er forvarmet i samtidige Docker-containere. Modal oplyste, at det er vanskeligt at udvikle en agentisk benchmark, fordi det meste af arbejdet på virksomhedens sandkasseservere ikke er CPU-bundet. Derfor sammensatte virksomheden en samtidig og varieret blanding af de opgaver, som agenter og processer til forstærkningslæring rent faktisk udfører på CPU’en, herunder kompilering, filsøgning med grep, git-handlinger og enhedsemulering. Ifølge det offentlige kodearkiv er benchmarken baseret på opgavedatasættet terminal-bench-2.1, og Dockerfiles er blevet tilpasset, så de er kompatible med Arm. En kørsel tæller kun som fuldført, hvis opgaveverifikatoren godkender den.

Ved serielle test på en maskine uden belastning, som måler den direkte latenstid for hver enkelt opgave, fandt Modal, at Vera ofte var hurtigere end de øvrige testede processorer — Intel GNR, AMD Zen 5 samt AWS Graviton 4 og 5 — men ikke altid og ikke med nogen særlig stor margin. Indlæggets forfatter beskrev, at vedkommende i første omgang var skeptisk over for resultaterne.

Modal oplyste, at resultaterne skilte sig ud under belastning. I gennemstrømningstesten øges antallet af samtidige containere på maskinen, hvorefter der gennemføres så mange verificerede opgaver som muligt inden for et fast tidsrum. Ifølge Modal viste de tidlige benchmarkkørsler op til dobbelt så stor opgavegennemstrømning på Vera som på en tilsvarende x86 GNR-maskine, mens latenstiden for de enkelte opgaver var den samme som eller lavere end på x86. I de fleste systemer sker der en afvejning mellem gennemstrømning og latenstid, efterhånden som pakningstætheden stiger, indtil CPU’en når sin maksimale kapacitet. Modal oplyste imidlertid, at Vera ikke blev langsommere, efterhånden som flere job blev tilføjet, men fortsatte med at fuldføre opgaver i samme tempo som før.

Modal rapporterede, at Veras ydeevne fortsatte med at stige, efterhånden som antallet af logiske CPU’er blev øget, mens de øvrige testede processorer tidligt nåede et loft for gennemstrømningen. Grænsen for antallet af fysiske kerner var 128 på maskinen med Intel GNR, 96 på både Graviton-maskinen og den virtuelle GNR-maskine samt 88 på Vera-maskinen. Da alternativerne tidligt nåede deres loft, mener Modal, at resultaterne tyder på, at virksomheden kunne presse Vera endnu længere end med den ene benchmarknode, den havde adgang til.

Virksomheden tilskriver Veras fordel under konkurrerende belastning dens høje hukommelsesbåndbredde, som ifølge Modal gør det muligt at placere betydeligt flere containerarbejdsbelastninger på hver kerne uden CPU-begrænsning. For Modals planlægger betyder det større pakningstæthed og mere fleksibel beskyttelse mod spidsbelastninger. For brugere af sandkasser betyder det ifølge virksomheden større absolut skala og gennemstrømning uden at gå på kompromis med latenstiden.

Veras design og produktionsstatus

NVIDIA lancerede Vera den 16. marts 2026 på sin GTC-konference og beskrev den som en processor, der er specialudviklet til agentisk AI og forstærkningslæring. Chippen har 88 specialdesignede Olympus-kerner udviklet af NVIDIA, som hver kan køre to opgaver via en funktion, NVIDIA kalder Spatial Multithreading, samt et andengenerations hukommelsessystem med lavt strømforbrug, der er baseret på LPDDR5X og leverer en båndbredde på op til 1,2 TB/s. NVIDIA hævder, at Vera leverer resultater med dobbelt så høj effektivitet og er 50 % hurtigere end traditionelle CPU’er.

Ved lanceringen præsenterede NVIDIA også et Vera-CPU-rack med 256 væskekølede CPU’er, som ifølge virksomheden kan understøtte mere end 22.500 samtidige CPU-miljøer, der hver kører uafhængigt med fuld ydeevne. NVIDIA oplyste, at Vera er i fuld produktion, og at partnerne får adgang til den i anden halvdel af 2026. Blandt de cloududbydere, der planlægger at implementere CPU’en, nævnte virksomheden Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale og Oracle Cloud Infrastructure.

Modal oplyste, at virksomheden har til hensigt at arbejde tæt sammen med NVIDIA og cloududbydere for at udvide sin Vera-flåde, efterhånden som udrulningen skrider frem.