Modal plánuje nasadit NVIDIA Vera pro sandboxy, což bude jeho první krok směrem k Arm

Modal 19. října 2026 v příspěvku na firemním blogu uvedl, že plánuje zavést podporu procesoru NVIDIA Vera založeného na architektuře Arm, který bude pohánět Modal Sandboxes. Půjde o první odklon společnosti od infrastruktury tvořené výhradně stroji x86. Výsledky benchmarků, které Modal zveřejnil, ukázaly, že při zátěži dokáže Vera dosáhnout až dvojnásobné propustnosti úloh oproti srovnatelnému stroji x86.

NVIDIA podle společnosti Modal doručila její první server s procesorem Vera osobně do kanceláře v San Franciscu týden před oznámením. Vera je procesor NVIDIA kompatibilní s architekturou Arm, navržený pro platformu GPU Vera Rubin, ale dostupný také jako samostatný server s CPU. Zařazení architektury Arm do infrastruktury by si vyžádalo změny napříč infrastrukturou Modal i systémem sestavování obrazů. Společnost to označila za zásadní změnu po dlouhé historii provozování výhradně strojů x86.

Hluk ve víceklientském prostředí a kapacita pro špičkové zatížení

Provozování produktu Sandbox znamená spouštění stovek souběžných kontejnerů a virtuálních strojů na každém cloudovém hostiteli. Modal uvedl, že výsledné clustery s více klienty jsou hlučné. Využití prostředků může výrazně kolísat: sandbox může většinu času téměř nečinně čekat na jazykový model a pak se jeho využití CPU může kvůli instalaci npm nebo náročnému příkazu grep náhle zvýšit na desetinásobek běžné úrovně. Charakter zátěže je známý až za běhu, takže dimenzování prostředků je často jen odhadem. Různorodí klienti sdílející jeden výpočetní fond navíc vytvářejí problémy s hlučným sousedem, kdy chování jednoho zákazníka zhoršuje výkon jiného.

Modal Sandboxes namísto požadavku na pevné rezervace dimenzované podle maximálního využití podporuje nárazové čerpání výkonu. Uživatelé si tak mohou rezervovat garantovanou kapacitu pro svou spotřebu na úrovni P50 a spolehnout se, že kapacitní rezerva v hostitelském uzlu pokryje přechodné špičky. Modal uvedl, že tento přístup uživatelům ušetřil miliony dolarů, zároveň však připustil, že zvyšuje jejich vystavení efektům hlučného souseda, kterým by se jinak předešlo přísnými limity.

Modal označil za dva rozšířené způsoby využití Sandboxu agenty běžící na pozadí, mezi něž zařadil Ramp Inspect a agenty provozované na Niteshift, a běhy při posilovaném učení. Většina trénovacích systémů je podle společnosti stále synchronní, takže před přechodem nečinných GPU k dalšímu kroku musí být dokončena celá skupina paralelních běhů omezených výkonem CPU. Čas ušetřený na CPU se proto promítá do úspory času na GPU. U agentů běžících na pozadí podle společnosti rychlejší provádění znamená rychlejší odpovědi a kratší dobu využití CPU, což snižuje náklady na prodané zboží.

Benchmark Agentless Agent

Modal vytvořil a zveřejnil benchmark Agentless Agent pro měření výkonu procesoru Vera. Jde o soubor 50 referenčních řešení a ověřovacích nástrojů pro Terminal-Bench, z něhož byly odstraněny všechny síťové požadavky; řešení jsou předem připravena v souběžně spuštěných kontejnerech Docker. Modal uvedl, že vytvořit benchmark pro agentní systémy je obtížné, protože většina úloh prováděných na jeho sandboxových serverech není omezena výkonem CPU. Proto sestavil souběžnou a různorodou směs úloh, které agenti a procesy posilovaného učení skutečně vykonávají na CPU, včetně kompilace, vyhledávání v souborech pomocí grep, operací git a emulace zařízení. Podle veřejného repozitáře je benchmark založen na datové sadě úloh terminal-bench-2.1 a obsahuje soubory Dockerfile upravené pro kompatibilitu s architekturou Arm. Běh se považuje za dokončený pouze tehdy, pokud ověřovací nástroj úlohy uspěje.

Při sériovém testování na nezatíženém stroji, které měří přímou latenci jednotlivých úloh, Modal zjistil, že Vera byla často rychlejší než ostatní testované procesory — Intel GNR, AMD Zen 5 a AWS Graviton 4 a 5 — ne však vždy a rozdíl nebyl nijak zvlášť výrazný. Autor příspěvku uvedl, že byl zpočátku k výsledkům skeptický.

Podle Modal se výsledky při zátěži lišily. Test propustnosti zvyšuje počet souběžných kontejnerů na stroji a během pevně stanoveného času opakuje co nejvíce úspěšně ověřených dokončení úloh. Modal uvedl, že jeho první benchmarkové běhy vykázaly u procesoru Vera až dvojnásobnou propustnost úloh oproti srovnatelnému stroji x86 s procesorem GNR, zatímco naměřená latence jednotlivých úloh byla stejná nebo nižší než u x86. Ve většině systémů se s rostoucí hustotou umístění úloh propustnost a latence dostávají do vzájemného kompromisu, až se CPU nasytí. Modal však uvedl, že Vera nezpomalovala ani při přibývání úloh a dál je dokončovala původním tempem.

Modal uvedl, že výkon procesoru Vera se s rostoucím počtem logických CPU nadále zlepšoval, zatímco ostatní testované procesory brzy narazily na strop propustnosti. Počet fyzických jader testovaných strojů činil 128 u Intel GNR, 96 u Graviton a virtuálního stroje GNR a 88 u Vera. Protože ostatní možnosti narazily na strop brzy, Modal uvedl, že výsledky naznačují, že by procesor Vera mohl posunout ještě dál než na jediném benchmarkovém uzlu, který měl k dispozici.

Společnost připisuje výhodu procesoru Vera při souběžné zátěži jeho vysoké propustnosti paměti. Ta podle ní umožňuje umístit na každé jádro výrazně více kontejnerových úloh, aniž by docházelo k omezování výkonu CPU. Pro plánovač Modal to znamená vyšší hustotu umístění úloh a větší rezervu pro nárazové špičky; uživatelům Sandboxu to podle společnosti přináší vyšší celkový výkon a propustnost, aniž by se zhoršila latence.

Konstrukce procesoru Vera a stav jeho výroby

Společnost NVIDIA uvedla procesor Vera na trh 16. března 2026 na své konferenci GTC a popsala jej jako procesor navržený přímo pro agentní umělou inteligenci a posilované učení. Čip obsahuje 88 vlastních jader Olympus navržených společností NVIDIA. Každé z nich dokáže pomocí funkce, kterou NVIDIA nazývá Spatial Multithreading, zpracovávat dva úkoly. Součástí čipu je také druhogenerační nízkoenergetický paměťový subsystém založený na LPDDR5X, který nabízí propustnost až 1,2 TB/s. NVIDIA tvrdí, že Vera dosahuje výsledků s dvojnásobnou efektivitou a o 50 % rychleji než tradiční procesory.

Při uvedení na trh NVIDIA představila také rack s procesory Vera, který obsahuje 256 kapalinou chlazených procesorů. Podle společnosti dokáže současně provozovat více než 22 500 prostředí CPU, z nichž každé běží nezávisle při plném výkonu. NVIDIA uvedla, že Vera je v plné výrobě a u partnerů bude dostupná ve druhé polovině roku 2026. Mezi poskytovatele cloudových služeb, kteří plánují procesor nasadit, zařadila Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale a Oracle Cloud Infrastructure.

Společnost Modal uvedla, že hodlá úzce spolupracovat se společností NVIDIA a poskytovateli cloudových služeb na rozšíření své flotily procesorů Vera v průběhu jejich nasazování.