Modal planlegger utrulling av NVIDIA Vera for Modal Sandboxes i sin første Arm-satsing

Modal opplyste i et blogginnlegg fra selskapet 19. oktober 2026 at selskapet planlegger å innføre støtte for den Arm-baserte Vera-prosessoren fra NVIDIA for å drive Modal Sandboxes. Dette blir selskapets første avvik fra en flåte som utelukkende består av x86-maskiner. Benchmarkresultater Modal publiserte, viste at løsningen under belastning kunne gi opptil dobbelt så høy oppgavegjennomstrømning som en tilsvarende x86-maskin.

NVIDIA leverte personlig Modal sin første Vera-prosessorserver til selskapets kontor i San Francisco uken før kunngjøringen, opplyste Modal. Vera er NVIDIAs Arm-kompatible prosessor, utviklet for Vera Rubin-GPU-plattformen, men den er også tilgjengelig som en frittstående prosessorserver. Å innlemme Arm i flåten ville kreve endringer i hele Modals infrastruktur og system for bygging av avbilder. Selskapet beskrev dette som en stor endring etter en lang historie med utelukkende x86-maskiner.

Støy mellom leietakere og kapasitet til å håndtere belastningstopper

Å orkestrere et Sandbox-produkt innebærer å kjøre hundrevis av samtidige containere og virtuelle maskiner på hver skyvert, og Modal opplyste at klyngene med flere leietakere som dette skaper, er preget av mye støy. Ressursbruken kan svinge svært kraftig: En sandkasse kan stort sett være inaktiv mens den venter på en språkmodell, før CPU-bruken plutselig stiger til ti ganger grunnnivået på grunn av en npm-installasjon eller en krevende grep-kommando. Før en arbeidsbelastning kjøres, vet man ikke hvordan den vil arte seg, så dimensjonering av ressurser blir ofte gjetning. Når leietakere med ulike behov samles i én felles beregningsressurspool, oppstår det dessuten problemer med «støyende naboer», der én kundes aktivitet svekker ytelsen for en annen.

I stedet for å kreve faste reserveringer dimensjonert for maksimalt forbruk, lar Modal Sandboxes brukerne midlertidig overskride den reserverte kapasiteten. Brukerne kan reservere garantert kapasitet for P50-forbruket sitt og stole på at ledig kapasitet i vertsnoden håndterer midlertidige topper. Modal opplyste at denne tilnærmingen har spart brukerne for millioner av dollar, men erkjente at den øker eksponeringen for effektene av støyende naboer, som strenge begrensninger ellers ville ha forhindret.

Modal trakk fram to vanlige bruksområder for Sandbox: bakgrunnsagenter, med Ramp Inspect og agenter som kjører på Niteshift som eksempler, og kjøringer for forsterkningslæring. De fleste oppsett for modelltrening er fortsatt synkrone, opplyste selskapet. Det betyr at alle CPU-bundne kjøringer i en parallellisert gruppe må fullføres før inaktive GPU-er kan gå videre til neste trinn, slik at spart CPU-tid også betyr spart GPU-tid. For bakgrunnsagenter betyr raskere kjøring raskere svar og mindre CPU-tid, noe som reduserer kostnadene ved de solgte tjenestene, opplyste selskapet.

Ytelsestesten Agentless Agent Bench

For å måle ytelsen til Vera utviklet og lanserte Modal Agentless Agent Bench, en samling med 50 fasitløsninger og verifikatorer for Terminal-Bench, der alle nettverkskall er fjernet, og som er forhåndsoppvarmet i samtidige Docker-containere. Modal opplyste at det er vanskelig å lage en benchmark for agentbaserte arbeidsoppgaver fordi det meste av arbeidet på selskapets sandkasseservere ikke er CPU-bundet. Derfor satte selskapet sammen en samtidig og variert blanding av oppgavene som agenter og prosesser for forsterkningslæring faktisk utfører på CPU-en, blant annet kompilering, filsøk med grep, git-operasjoner og enhetsemulering. Ifølge det offentlige kodelageret bygger benchmarken på datasettet med oppgaver fra terminal-bench-2.1, med Docker-filer som er overført for Arm-kompatibilitet. En kjøring regnes bare som fullført dersom oppgaveverifikatoren godkjenner den.

I serielle tester på en maskin uten belastning, som måler ren latenstid per oppgave, fant Modal at Vera ofte var raskere enn de andre testede prosessorene – Intel GNR, AMD Zen 5 og AWS Graviton 4 og 5 – men ikke alltid, og heller ikke med særlig stor margin. Forfatteren av innlegget beskrev at vedkommende først var skeptisk til resultatene.

Modal rapporterte at resultatene skilte lag under belastning. I gjennomstrømningstesten økes antallet samtidige containere på maskinen, og testen gjentar så mange verifiserte oppgavefullføringer som mulig innenfor et fast tidsrom. Modal opplyste at de første benchmarkkjøringene viste opptil dobbelt så høy oppgavegjennomstrømning på Vera som på en tilsvarende x86 GNR-maskin, mens latenstiden for enkeltoppgaver var den samme som eller lavere enn på x86. I de fleste systemer innebærer høyere pakketetthet en avveining mellom gjennomstrømning og latenstid, helt til CPU-en blir mettet. Modal opplyste imidlertid at Vera ikke ble tregere etter hvert som jobbene hopet seg opp, men fortsatte å fullføre oppgaver i samme tempo som før.

Modal rapporterte at Veras ytelse fortsatte å øke etter hvert som antallet logiske CPU-er steg, mens de andre testede prosessorene tidlig nådde et tak for gjennomstrømningen. Grensen for antallet fysiske kjerner var 128 på maskinen med Intel GNR, 96 på både Graviton-maskinen og den virtuelle GNR-maskinen, og 88 på Vera-maskinen. Ettersom alternativene tidlig nådde sitt tak, mener Modal at resultatene tyder på at selskapet kunne presse Vera enda lenger enn med den ene benchmarknoden det hadde tilgang til.

Selskapet mener at Veras fortrinn under belastning skyldes den høye minnebåndbredden, som ifølge Modal gjør det mulig å samle betydelig flere containerarbeidsbelastninger på hver kjerne uten CPU-struping. For Modals planlegger betyr det høyere pakketetthet og mer romslig beskyttelse mot belastningstopper. For Sandbox-brukerne betyr det, opplyste selskapet, større absolutt skala og høyere gjennomstrømning uten at latenstiden forringes.

Veras design og produksjonsstatus

NVIDIA lanserte Vera 16. mars 2026 på GTC-konferansen sin og beskrev den som en prosessor spesialutviklet for agentbasert KI og forsterkningslæring. Brikken har 88 spesialutviklede Olympus-kjerner designet av NVIDIA, som hver kan kjøre to oppgaver ved hjelp av en funksjon NVIDIA kaller Spatial Multithreading, samt et andre generasjons minneundersystem med lavt strømforbruk, basert på LPDDR5X, som leverer en båndbredde på opptil 1,2 TB/s. NVIDIA hevder at Vera leverer resultater med dobbelt så høy effektivitet og 50 % høyere hastighet enn tradisjonelle CPU-er.

Ved lanseringen introduserte NVIDIA også et Vera-CPU-rack med 256 væskekjølte CPU-er. Ifølge NVIDIA kan dette håndtere mer enn 22 500 samtidige CPU-miljøer, som hvert kjører uavhengig med full ytelse. NVIDIA opplyste at Vera er i full produksjon, og at den blir tilgjengelig hos partnere i andre halvår av 2026. Blant skyleverandørene som planlegger å ta i bruk CPU-en, nevnte selskapet Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale og Oracle Cloud Infrastructure.

Modal sa at selskapet har til hensikt å samarbeide tett med NVIDIA og skyleverandører for å øke kapasiteten i Vera-flåten etter hvert som utrullingen skrider frem.