Modal planuje wdrożyć procesory NVIDIA Vera w środowisku Sandbox — to jego pierwszy krok w kierunku Arm

Modal poinformował wpisie na firmowym blogu z 19 października 2026 r., że planuje wdrożyć obsługę procesora NVIDIA Vera opartego na architekturze Arm, który ma zasilać Modal Sandboxes. Będzie to pierwsze odejście firmy od floty opartej wyłącznie na x86. Opublikowane przez Modal wyniki testów porównawczych wykazały, że pod obciążeniem przepustowość zadań może być nawet dwukrotnie większa niż w przypadku równoważnej maszyny x86.

Jak poinformował Modal, NVIDIA dostarczyła osobiście pierwszy serwer Modal z procesorem Vera do biura firmy w San Francisco w tygodniu poprzedzającym ogłoszenie. Vera to procesor NVIDIA zgodny z architekturą Arm, zaprojektowany z myślą o platformie GPU Vera Rubin, ale dostępny także jako samodzielny serwer CPU. Wprowadzenie Arm do floty wymagałoby zmian w całej infrastrukturze Modal i systemie budowania obrazów. Firma określiła to jako ogromną zmianę po długim okresie korzystania wyłącznie z maszyn x86.

Wielodostępność, zakłócenia i obsługa skoków obciążenia

Orkiestracja produktu Sandbox oznacza uruchamianie setek kontenerów i maszyn wirtualnych jednocześnie na każdym hoście w chmurze. Modal poinformował, że powstałe w ten sposób klastry wielodostępne są podatne na zakłócenia. Wykorzystanie zasobów może gwałtownie się zmieniać: sandbox może przez większość czasu pozostawać niemal bezczynny podczas oczekiwania na model językowy, a następnie odnotować skok użycia CPU do poziomu 10 razy wyższego niż wartość bazowa, na przykład z powodu instalacji npm lub kosztownego polecenia grep. Charakter każdego obciążenia jest znany dopiero w czasie jego wykonywania, dlatego dobór zasobów często odbywa się na wyczucie. Umieszczenie w jednej puli obliczeniowej najemców o różnych profilach obciążenia powoduje też problemy określane jako efekt głośnego sąsiada — zachowanie jednego klienta pogarsza wydajność drugiego.

Zamiast wymagać stałych rezerwacji zasobów obliczonych na podstawie maksymalnego wykorzystania, Modal Sandboxes obsługuje skokowe zwiększanie obciążenia. Użytkownicy mogą dzięki temu zarezerwować gwarantowaną pojemność odpowiadającą ich wykorzystaniu P50 i polegać na tym, że zapas zasobów w węźle hosta pochłonie przejściowe skoki. Modal poinformował, że takie podejście pozwoliło użytkownikom zaoszczędzić miliony dolarów, przyznał jednak, że zwiększa ono podatność na efekt głośnego sąsiada, któremu zapobiegłyby ścisłe limity.

Modal wskazał dwa najczęstsze zastosowania Sandbox: agentów działających w tle, w tym Ramp Inspect i agentów uruchamianych w Niteshift, oraz przebiegi uczenia przez wzmacnianie. Jak poinformowała firma, większość konfiguracji treningowych nadal działa synchronicznie, więc zanim nieużywane procesory GPU przejdą do kolejnego etapu, muszą zakończyć się wszystkie równolegle uruchomione przebiegi obciążające CPU. Oznacza to, że czas zaoszczędzony na CPU przekłada się na oszczędność czasu pracy GPU. W przypadku agentów działających w tle szybsze wykonywanie zadań oznacza szybsze odpowiedzi i krótszy czas pracy CPU, co obniża koszt własny sprzedaży.

Agentless Agent — test porównawczy

Aby zmierzyć wydajność Vera, Modal opracował i udostępnił test porównawczy Agentless Agent — zbiór 50 wzorcowych rozwiązań z Terminal-Bench i weryfikatorów, z którego usunięto wszystkie wywołania sieciowe; zadania przygotowano wcześniej w równolegle działających kontenerach Docker. Modal poinformował, że stworzenie testu porównawczego dla agentów jest trudne, ponieważ większość pracy wykonywanej na serwerach sandbox tej firmy nie obciąża CPU. Dlatego zestawił równoległe i zróżnicowane zadania, które agenci i procesy uczenia przez wzmacnianie faktycznie wykonują na CPU, w tym kompilację, wyszukiwanie w plikach za pomocą grep, operacje Git i emulację urządzeń. Zgodnie z informacjami w publicznym repozytorium test opiera się na zbiorze zadań terminal-bench-2.1, a pliki Dockerfile przystosowano do architektury Arm. Zadanie uznaje się za ukończone tylko wtedy, gdy przejdzie weryfikację.

W testach szeregowych na nieobciążonej maszynie, mierzących opóźnienie pojedynczego zadania, Modal stwierdził, że Vera często działała szybciej niż pozostałe testowane procesory — Intel GNR, AMD Zen 5 oraz AWS Graviton 4 i 5 — ale nie zawsze, a przewaga nie była szczególnie duża. Autor wpisu przyznał, że początkowo podchodził do tych wyników sceptycznie.

Jak poinformował Modal, pod obciążeniem wyniki się rozeszły. W teście przepustowości stopniowo zwiększa się liczbę jednocześnie działających kontenerów na maszynie, a następnie przez określony czas wykonuje jak najwięcej zadań, których ukończenie zostało zweryfikowane. Według Modal wczesne testy porównawcze wykazały, że przepustowość zadań na Vera była nawet dwukrotnie większa niż na równoważnej maszynie x86 GNR, a opóźnienie pojedynczego zadania było takie samo jak w przypadku x86 lub krótsze. W większości systemów wraz ze wzrostem upakowania zadań przepustowość i opóźnienie stają się wartościami, które trzeba równoważyć — aż do nasycenia CPU. Modal poinformował jednak, że Vera nie zwalniała w miarę przybywania zadań i nadal kończyła je w pierwotnym tempie.

Modal poinformował, że wydajność Vera nadal rosła wraz ze zwiększaniem liczby logicznych procesorów, podczas gdy pozostałe testowane procesory szybko osiągały plateau przepustowości. Liczba rdzeni fizycznych w testowanych maszynach wynosiła: 128 w przypadku Intel GNR, 96 w przypadku Graviton i maszyny wirtualnej GNR oraz 88 w przypadku Vera. Ponieważ alternatywne procesory szybko osiągnęły plateau, Modal stwierdził, że wyniki sugerują możliwość dalszego zwiększania wydajności Vera ponad poziom osiągnięty na jedynym dostępnym węźle testowym.

Firma przypisuje przewagę Vera przy rywalizacji o zasoby dużej przepustowości pamięci, która — jak twierdzi — pozwala umieścić na każdym rdzeniu znacznie więcej obciążeń kontenerowych bez ograniczania szybkości CPU. Dla harmonogramu zadań Modal oznacza to większe zagęszczenie obciążeń i większy margines ochrony przed skokami ich intensywności. Jak poinformowała firma, użytkownicy Sandbox zyskują natomiast większą skalę i przepustowość bez pogorszenia opóźnień.

Projekt Vera i status produkcji

NVIDIA wprowadziła na rynek procesor Vera 16 marca 2026 r. podczas konferencji GTC, przedstawiając go jako procesor zaprojektowany specjalnie z myślą o agentowej sztucznej inteligencji i uczeniu ze wzmocnieniem. Układ ma 88 niestandardowych rdzeni Olympus zaprojektowanych przez NVIDIA, z których każdy może wykonywać dwa zadania dzięki funkcji nazwanej przez NVIDIA Spatial Multithreading, a także podsystem pamięci LPDDR5X drugiej generacji o niskim poborze mocy, zapewniający przepustowość do 1,2 TB/s. NVIDIA twierdzi, że Vera zapewnia dwukrotnie wyższą efektywność i działa o 50% szybciej niż tradycyjne procesory.

Podczas premiery NVIDIA zaprezentowała również szafę serwerową Vera, integrującą 256 procesorów chłodzonych cieczą. Według firmy może ona obsługiwać ponad 22 500 równoczesnych środowisk CPU, z których każde działa niezależnie z pełną wydajnością. NVIDIA poinformowała, że Vera jest już w pełnej produkcji, a partnerzy uzyskają do niej dostęp w drugiej połowie 2026 r. Wśród dostawców usług chmurowych planujących wdrożenie procesora wymieniła Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale i Oracle Cloud Infrastructure.

Modal poinformowała, że zamierza ściśle współpracować z NVIDIA i dostawcami usług chmurowych, aby rozbudowywać swoją flotę Vera w miarę postępów wdrożenia.