Modal suunnittelee NVIDIA Veran käyttöönottoa hiekkalaatikoissa – ensimmäinen siirto Arm-arkkitehtuuriin

Modal kertoi yrityksen blogikirjoituksessa 19. lokakuuta 2026 suunnittelevansa tuen käyttöönottoa NVIDIA:n Arm-pohjaiselle Vera-suorittimelle Modal Sandboxes -palvelun käyttöön. Tämä olisi yhtiön ensimmäinen poikkeama täysin x86-pohjaisesta laitekannasta. Modalin julkaisemat vertailutestien tulokset osoittivat, että kuormitettuna Vera pystyi käsittelemään jopa kaksinkertaisen määrän tehtäviä vastaavaan x86-koneeseen verrattuna.

NVIDIA toimitti Modalin ensimmäisen Vera-suorittimella varustetun palvelimen henkilökohtaisesti yhtiön San Franciscon-toimistoon ilmoitusta edeltäneellä viikolla, Modal kertoi. Vera on NVIDIA:n Arm-yhteensopiva suoritin, joka on suunniteltu Vera Rubin -grafiikkasuoritinalustalle mutta jota on saatavilla myös erillisenä suoritinpalvelimena. Arm-arkkitehtuurin tuominen laitekantaan edellyttäisi muutoksia Modalin infrastruktuuriin ja levykuvien rakennusjärjestelmään. Yhtiö kuvaili muutosta suureksi, sillä se oli pitkään käyttänyt yksinomaan x86-koneita.

Usean asiakkaan kuormitushäiriöt ja purskekapasiteetti

Sandbox-tuotteen orkestrointi tarkoittaa satojen samanaikaisten säiliöiden ja virtuaalikoneiden ajamista jokaisella pilvipalvelimen isäntäkoneella, ja Modalin mukaan tästä syntyvissä usean asiakkaan klustereissa esiintyy häiriökuormaa. Resurssien käyttö voi vaihdella erittäin voimakkaasti: hiekkalaatikko voi olla enimmäkseen käyttämättömänä kielimallia odottaessaan, minkä jälkeen suorittimen käyttö voi nousta kymmenkertaiseksi perustasoon nähden esimerkiksi npm-asennuksen tai raskaan grep-komennon vuoksi. Kunkin työkuorman luonne selviää vasta ajon aikana, joten tarvittavien resurssien mitoitus on usein arvausta. Kun erilaisia asiakkaita sijoitetaan samaan laskentaresurssien joukkoon, voi syntyä häiriönaapuriongelmia: yhden asiakkaan toiminta heikentää toisen suorituskykyä.

Sen sijaan, että käyttäjiltä vaadittaisiin enimmäiskäytön mukaan mitoitettuja kiinteitä varauksia, Modal Sandboxes tukee purskekäyttöä. Käyttäjät voivat varata taatun kapasiteetin P50-käyttöään varten ja luottaa siihen, että isäntäsolmun vapaa kapasiteetti kattaa tilapäiset kuormituspiikit. Modalin mukaan tämä lähestymistapa on säästänyt käyttäjiltä miljoonia dollareita, mutta yhtiö myönsi sen lisäävän altistumista häiriönaapurivaikutuksille, jotka tiukoilla rajoilla muuten vältettäisiin.

Modal nimesi kaksi yleistä Sandbox-käyttötapausta: tausta-agentit, joista esimerkkeinä se mainitsi Ramp Inspectin ja Niteshiftissä toimivat agentit, sekä vahvistusoppimisen ajot. Yhtiön mukaan useimmat koulutusjärjestelyt toimivat yhä synkronisesti, joten koko suorittimen laskentaa vaativien ajojen rinnakkaisjoukon on valmistuttava, ennen kuin käyttämättömät grafiikkasuorittimet voivat siirtyä seuraavaan vaiheeseen. Siksi suorittimella säästetty aika säästää myös grafiikkasuorittimen aikaa. Tausta-agenttien kohdalla nopeampi suoritus tarkoittaa yhtiön mukaan nopeampia vastauksia ja lyhyempää suorittimen käyttöaikaa, mikä alentaa myytyjen suoritteiden kustannuksia.

Agentless Agent Bench -vertailutesti

Veran suorituskyvyn mittaamiseksi Modal rakensi ja julkaisi Agentless Agent Bench -vertailutestin, joka sisältää 50 Terminal-Benchin oraakkeliratkaisua ja verifioijaa, joista kaikki verkkokutsut on poistettu, ja esiladatut tehtävät ajetaan samanaikaisissa Docker-säiliöissä. Modalin mukaan agenttipohjaisen vertailutestin rakentaminen on vaikeaa, sillä suurin osa yhtiön hiekkalaatikkopalvelimilla tehtävästä työstä ei kuormita suoritinta. Siksi se kokosi samanaikaisesti ajettavan ja monipuolisen joukon tehtäviä, joita agentit ja vahvistusoppimisprosessit todella suorittavat suorittimella. Tehtäviin kuuluvat kääntäminen, tiedostojen haku grep-komennolla, git-operaatiot ja laite-emulointi. Julkisen tietovaraston mukaan vertailutesti perustuu terminal-bench-2.1-tehtäväaineistoon, ja sen Dockerfile-tiedostot on muunnettu Arm-yhteensopiviksi. Ajo lasketaan suoritetuksi vain, jos tehtävän verifioija hyväksyy sen.

Sarjatesteissä kuormittamattomalla koneella, joissa mitataan yksittäisen tehtävän viivettä, Modal havaitsi Veran olevan usein nopeampi kuin muut testatut suorittimet – Intel GNR, AMD Zen 5 sekä AWS Graviton 4 ja 5 – mutta ei aina eikä erityisen suurella erolla. Kirjoituksen laatija kertoi suhtautuneensa tuloksiin aluksi epäilevästi.

Modalin mukaan tulokset erosivat kuormitettuna. Läpäisykykytestissä koneessa ajettavien samanaikaisten säiliöiden määrää kasvatetaan, ja määräajassa pyritään suorittamaan mahdollisimman monta verifioitua tehtävää. Modal kertoi alustavien vertailutestiensä osoittaneen, että Vera käsitteli jopa kaksinkertaisen määrän tehtäviä vastaavaan x86-pohjaiseen GNR-koneeseen verrattuna, ja yksittäisten tehtävien viive oli x86-koneen tasolla tai sitä lyhyempi. Useimmissa järjestelmissä läpäisykyvyn ja viiveen välillä on vaihtokauppa kuormitustiheyden kasvaessa, kunnes suoritin kyllästyy. Modalin mukaan Vera ei kuitenkaan hidastunut töiden kertyessä, vaan jatkoi tehtävien suorittamista alkuperäisellä tahdillaan.

Modal kertoi Veran suorituskyvyn parantuneen edelleen loogisten suoritinmäärien kasvaessa, kun taas muiden testattujen suorittimien läpäisykyky tasaantui varhain. Testattujen koneiden fyysisten suoritinydinten määrät olivat seuraavat: Intel GNR:ssä 128, Gravitonissa ja GNR-virtuaalikoneessa 96 sekä Verassa 88. Koska vaihtoehtojen läpäisykyky tasaantui varhain, Modalin mukaan tulokset viittaavat siihen, että se voisi viedä Veran suorituskykyä vielä pidemmälle kuin käytettävissään olleella ainoalla vertailutestisolmulla.

Yhtiö selittää Veran etua kilpailutilanteessa sen suurella muistiväylän kaistanleveydellä, jonka ansiosta kullekin ytimelle voidaan sijoittaa huomattavasti enemmän säiliötyökuormia ilman suorittimen tehonrajoitusta. Modalin ajoittimelle tämä merkitsee suurempaa kuormitustiheyttä ja joustavampaa suojaa kuormituspiikeiltä. Hiekkalaatikkopalvelun käyttäjille se tarkoittaa yhtiön mukaan suurempaa kokonaiskapasiteettia ja läpäisykykyä viiveestä tinkimättä.

Veran rakenne ja tuotantotilanne

NVIDIA julkisti Veran 16. maaliskuuta 2026 GTC-konferenssissaan ja kuvaili sitä suorittimeksi, joka on suunniteltu erityisesti agenttiseen tekoälyyn ja vahvistusoppimiseen. Suorittimessa on 88 NVIDIA:n suunnittelemaa mukautettua Olympus-ydintä, joista kukin pystyy suorittamaan kahta tehtävää samanaikaisesti NVIDIA:n Spatial Multithreading -ominaisuuden avulla. Siinä on myös toisen sukupolven vähävirtainen LPDDR5X-muistiin perustuva muistijärjestelmä, jonka kaistanleveys on jopa 1,2 TB/s. NVIDIA:n mukaan Vera tuottaa tuloksia kaksinkertaisella tehokkuudella ja 50 % nopeammin kuin perinteiset suorittimet.

Julkistuksen yhteydessä NVIDIA esitteli myös Vera-suoritintelineen, johon on integroitu 256 nestejäähdytteistä suoritinta. Yhtiön mukaan se pystyy ylläpitämään yli 22 500 samanaikaista suoritinympäristöä, joista kukin toimii itsenäisesti täydellä suorituskyvyllä. NVIDIA kertoi Veran olevan täydessä tuotannossa ja tulevan kumppaneiden saataville vuoden 2026 jälkipuoliskolla. Se nimesi Alibaba Cloudin, ByteDancen, CoreWeaven, Lambdan, Nebiuksen, Nscalen ja Oracle Cloud Infrastructuren pilvipalveluntarjoajiksi, jotka suunnittelevat suorittimen käyttöönottoa.

Modal kertoi aikovansa tehdä tiivistä yhteistyötä NVIDIAn ja pilvipalveluntarjoajien kanssa kasvattaakseen Vera-kalustoaan käyttöönoton edetessä.