Modal plant uitrol van NVIDIA Vera voor sandboxes in eerste Arm-stap

Modal zei op 19 oktober 2026 in een blogbericht van het bedrijf dat het van plan is ondersteuning uit te rollen voor NVIDIA’s op Arm gebaseerde Vera-CPU, om Modal Sandboxes aan te drijven. Daarmee neemt het bedrijf voor het eerst afscheid van een volledig x86-vloot, na de publicatie van benchmarkresultaten waaruit bleek dat de taakdoorvoer onder belasting tot twee keer zo hoog was als die van een gelijkwaardige x86-machine.

NVIDIA leverde de eerste Vera-CPU-server van Modal persoonlijk af bij het kantoor van het bedrijf in San Francisco, in de week vóór de aankondiging, aldus Modal. Vera is NVIDIA’s Arm-compatibele processor, ontwikkeld voor het Vera Rubin GPU-platform, maar ook verkrijgbaar als zelfstandige CPU-server. Arm aan de vloot toevoegen zou wijzigingen vereisen in de infrastructuur en het systeem voor het bouwen van images van Modal. Het bedrijf omschreef dit als een ingrijpende verandering, na een lange geschiedenis waarin het uitsluitend x86-machines gebruikte.

Ruis bij meerdere tenants en piekcapaciteit

Een Sandbox-product orkestreren betekent dat er op elke cloudhost honderden containers en virtuele machines tegelijk draaien. Modal zei dat de clusters met meerdere tenants die daaruit ontstaan, veel ruis veroorzaken. Het resourcegebruik kan extreem grillig zijn: een sandbox kan grotendeels inactief zijn terwijl die op een taalmodel wacht, waarna het CPU-gebruik plotseling kan oplopen tot 10 keer het basisniveau door bijvoorbeeld een npm-installatie of een zware grep-opdracht. De aard van elke workload is pas tijdens de uitvoering bekend, waardoor de benodigde resources vaak op basis van een schatting worden toegewezen. Verschillende tenants die samen één rekenpool delen, veroorzaken bovendien problemen met buren die elkaars prestaties verstoren: het gedrag van de ene klant kan de prestaties van een andere klant verslechteren.

In plaats van vaste reserveringen te vereisen die op het maximale gebruik zijn afgestemd, ondersteunt Modal Sandboxes piekbelasting. Gebruikers kunnen daarmee gegarandeerde capaciteit reserveren voor hun P50-gebruik en erop vertrouwen dat de extra ruimte op de hostnode tijdelijke pieken opvangt. Volgens Modal heeft deze aanpak gebruikers miljoenen dollars bespaard, maar het bedrijf erkende ook dat hierdoor de blootstelling aan verstoringen door andere tenants toeneemt. Strikte limieten zouden die anders voorkomen.

Modal noemde twee veelvoorkomende toepassingen van Sandbox: achtergrondagents, met Ramp Inspect en agents die op Niteshift draaien als voorbeelden, en roll-outs voor reinforcement learning. De meeste trainingsopstellingen werken nog synchroon, aldus het bedrijf. Daarom moet een volledige reeks CPU-gebonden roll-outs zijn afgerond voordat inactieve GPU’s aan de volgende stap kunnen beginnen. Tijdwinst op de CPU betekent dus ook tijdwinst op de GPU. Voor achtergrondagents betekent snellere uitvoering volgens het bedrijf snellere antwoorden en minder CPU-tijd, waardoor de kostprijs van verkochte goederen daalt.

De benchmark voor agenten zonder agent

Om Vera te meten, bouwde en publiceerde Modal een benchmark voor agenten zonder agent: een verzameling van 50 Terminal-Bench-oracle-oplossingen en -verificatiescripts, waarbij alle netwerkoproepen waren verwijderd en die vooraf waren opgewarmd in gelijktijdig draaiende Docker-containers. Modal zei dat het lastig is om een benchmark voor agentische systemen te bouwen, omdat het meeste werk op de sandboxservers van het bedrijf niet CPU-gebonden is. Daarom stelde het een gelijktijdige, heterogene mix samen van de taken die agents en reinforcement-learningprocessen daadwerkelijk op de CPU uitvoeren, waaronder compileren, bestanden doorzoeken met grep, git-bewerkingen en apparaatemulatie. Volgens de openbare repository is de benchmark gebaseerd op de taakdataset terminal-bench-2.1, met Dockerfiles die zijn aangepast voor Arm-compatibiliteit. Een uitvoering geldt alleen als voltooid wanneer de taakverificatie slaagt.

Bij seriële tests op een niet-belaste machine, die de rechtstreekse latentie per taak meten, ontdekte Modal dat Vera vaak sneller was dan de andere geteste processors — Intel GNR, AMD Zen 5 en AWS Graviton 4 en 5 — maar niet altijd en ook niet met een bijzonder ruime marge. De auteur van het bericht zei aanvankelijk sceptisch te zijn geweest over de resultaten.

Onder belasting liepen de resultaten uiteen, meldde Modal. Bij de doorvoertest wordt het aantal gelijktijdige containers op de machine verhoogd en wordt gedurende een vaste tijd een zo groot mogelijk aantal geverifieerde taken voltooid. Volgens Modal lieten de eerste benchmarkruns een tot twee keer hogere taakdoorvoer zien op Vera dan op een gelijkwaardige x86 GNR-machine, terwijl de latentie van afzonderlijke taken gelijk was aan of lager lag dan op x86. In de meeste systemen gaan doorvoer en latentie tegen elkaar in wanneer de verpakkingsdichtheid toeneemt, totdat de CPU verzadigd raakt. Modal zei echter dat Vera niet vertraagde naarmate er meer opdrachten bijkwamen en taken in hetzelfde tempo bleef voltooien.

Modal meldde dat de prestaties van Vera bleven verbeteren naarmate het aantal logische CPU’s toenam, terwijl de andere geteste processors al vroeg een plafond in de doorvoer bereikten. De fysieke kernen van de geteste machines waren als volgt verdeeld: 128 voor Intel GNR, 96 voor Graviton en de GNR-virtuele machine, en 88 voor Vera. Omdat de alternatieven al vroeg hun plafond bereikten, zei Modal dat de resultaten erop wijzen dat het Vera nog verder zou kunnen opvoeren dan op de enige benchmarknode waartoe het toegang had.

Het bedrijf schrijft Vera’s voordeel bij zware belasting toe aan de hoge geheugenbandbreedte. Die maakt het volgens Modal mogelijk om aanzienlijk meer containerworkloads per kern te draaien zonder dat de CPU wordt afgeremd. Voor de scheduler van Modal betekent dit een hogere verpakkingsdichtheid en meer ruimte om pieken op te vangen; voor gebruikers van Sandbox betekent het volgens het bedrijf een hogere absolute schaal en doorvoer, zonder dat dit ten koste gaat van de latentie.

Ontwerp en productiestatus van Vera

NVIDIA lanceerde Vera op 16 maart 2026 tijdens zijn GTC-conferentie en omschreef de processor als speciaal ontworpen voor agentische AI en reinforcement learning. De chip bevat 88 op maat gemaakte, door NVIDIA ontworpen Olympus-cores, die elk via een functie die NVIDIA Spatial Multithreading noemt twee taken kunnen uitvoeren, en een energiezuinig geheugensubsysteem van de tweede generatie op basis van LPDDR5X, met een bandbreedte tot 1,2 TB/s. Volgens NVIDIA levert Vera resultaten met twee keer zoveel efficiëntie en is de processor 50% sneller dan traditionele CPU’s.

Bij de lancering introduceerde NVIDIA ook een Vera-CPU-rack met 256 vloeistofgekoelde CPU’s. Volgens het bedrijf kan dit rack meer dan 22.500 gelijktijdige CPU-omgevingen ondersteunen, die elk onafhankelijk op volle prestaties draaien. NVIDIA zei dat Vera volledig in productie is en dat het product in de tweede helft van 2026 beschikbaar komt via partners. Het noemde Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale en Oracle Cloud Infrastructure als enkele van de cloudproviders die de CPU willen inzetten.

Modal zei nauw te willen samenwerken met NVIDIA en cloudproviders om zijn Vera-vloot uit te breiden naarmate de uitrol vordert.