Modal pregătește implementarea NVIDIA Vera pentru sandboxuri, într-o premieră cu Arm

Modal a anunțat într-o postare pe blogul companiei, publicată pe 19 octombrie 2026, că intenționează să adauge suport pentru procesorul Vera de la NVIDIA, bazat pe Arm, pentru a alimenta mediile Modal Sandboxes. Aceasta ar fi prima abatere a companiei de la o flotă formată exclusiv din sisteme x86, după ce rezultatele testelor comparative publicate de Modal au arătat că, în condiții de încărcare, debitul de procesare a sarcinilor poate fi de până la două ori mai mare decât pe o mașină x86 echivalentă.

NVIDIA a livrat personal primul server cu procesor Vera al Modal la sediul companiei din San Francisco, în săptămâna dinaintea anunțului, a declarat Modal. Vera este procesorul NVIDIA compatibil cu Arm, conceput pentru platforma GPU Vera Rubin, dar disponibil și ca server cu procesor de sine stătător. Integrarea Arm în flotă ar necesita modificări la nivelul infrastructurii Modal și al sistemului de creare a imaginilor, o schimbare majoră, după o lungă perioadă în care compania a folosit exclusiv mașini x86, a explicat Modal.

Interferențe într-un mediu cu mai mulți utilizatori și capacitatea de a gestiona vârfurile de încărcare

Coordonarea unui produs Sandbox presupune rularea a sute de containere și mașini virtuale simultan pe fiecare gazdă cloud, iar Modal a declarat că grupurile de clustere rezultate, cu mai mulți utilizatori, sunt afectate de interferențe. Utilizarea resurselor poate varia extrem de brusc: un sandbox poate rămâne aproape inactiv în timp ce așteaptă un model lingvistic, apoi utilizarea procesorului poate crește brusc de 10 ori față de nivelul de bază din cauza instalării unui pachet npm sau a unei comenzi grep costisitoare. Profilul fiecărei sarcini este cunoscut abia în momentul rulării, astfel că dimensionarea resurselor este adesea o estimare, iar utilizatorii cu cerințe diferite, grupați într-un singur fond de resurse de calcul, creează probleme de interferență între vecini, în care comportamentul unui client degradează performanța altuia.

În loc să impună rezervări fixe, dimensionate pentru utilizarea maximă, Modal Sandboxes permite creșterea temporară a resurselor: utilizatorii pot rezerva capacitate garantată pentru nivelul lor de utilizare P50 și se pot baza pe spațiul de rezervă din nodul gazdă pentru a absorbi creșterile temporare. Modal a declarat că această abordare le-a economisit utilizatorilor milioane de dolari, dar a recunoscut că îi expune mai mult la efectele interferențelor dintre vecini, pe care limitele stricte le-ar evita.

Modal a identificat două cazuri de utilizare frecvente pentru Sandbox: agenți de fundal, menționând Ramp Inspect și agenții care rulează pe Niteshift, și rulări de învățare prin consolidare. Majoritatea configurațiilor de antrenare sunt încă sincrone, a declarat compania, astfel că toate rulările distribuite, limitate de procesor, trebuie să se încheie înainte ca GPU-urile inactive să poată trece la pasul următor; asta înseamnă că timpul economisit pe procesor este timp economisit pe GPU. Pentru agenții de fundal, a adăugat compania, o execuție mai rapidă înseamnă răspunsuri mai rapide și un timp mai scurt de utilizare a procesorului, ceea ce reduce costul bunurilor vândute.

Setul de evaluare a agenților fără agent

Pentru a măsura performanța Vera, Modal a creat și a lansat Setul de testare pentru agenți fără agent, o colecție de 50 de soluții-oracol și verificatoare pentru Terminal-Bench, cu toate apelurile de rețea eliminate și preîncărcată în containere Docker care rulează simultan. Modal a declarat că este dificil să creezi un test comparativ pentru agenți autonomi, deoarece cea mai mare parte a activității desfășurate pe serverele sale sandbox nu solicită intens procesorul. Prin urmare, compania a alcătuit un amestec de sarcini concurente și eterogene, pe care agenții și procesele de învățare prin consolidare le execută efectiv pe procesor, inclusiv compilare, căutări în fișiere cu grep, operațiuni Git și emularea dispozitivelor. Potrivit depozitului public, testul comparativ se bazează pe setul de date cu sarcini terminal-bench-2.1, cu fișiere Dockerfile adaptate pentru compatibilitate cu Arm, iar o rulare este considerată încheiată numai dacă verificatorul sarcinii o validează.

În testele seriale efectuate pe o mașină neîncărcată, care măsoară latența individuală a fiecărei sarcini în condiții directe, Modal a constatat că Vera a fost adesea mai rapid decât ceilalți procesoare testați — Intel GNR, AMD Zen 5 și AWS Graviton 4 și 5 — dar nu întotdeauna și nici cu o marjă deosebit de mare; autorul postării a spus că inițial a privit rezultatele cu scepticism.

Modal a raportat că, în condiții de încărcare, rezultatele au fost diferite. Testul de debit mărește numărul de containere care rulează simultan pe mașină și repetă cât mai multe sarcini verificate într-un interval de timp fix. Modal a declarat că primele sale teste comparative au arătat un debit al sarcinilor de până la două ori mai mare pe Vera decât pe o mașină GNR x86 echivalentă, în timp ce latența măsurată pentru fiecare sarcină era egală cu sau mai mică decât pe x86. În majoritatea sistemelor, debitul și latența fac un compromis pe măsură ce crește densitatea de încărcare, până când procesorul ajunge la saturație. Modal a spus însă că Vera nu a încetinit pe măsură ce se acumulau sarcini și a continuat să le finalizeze în ritmul inițial.

Modal a raportat că performanța Vera a continuat să crească odată cu numărul de procesoare logice, în timp ce celelalte procesoare testate au atins rapid un plafon de debit. Numărul de nuclee fizice al mașinilor testate era de 128 pentru Intel GNR, 96 pentru Graviton și mașina virtuală GNR și 88 pentru Vera. Deoarece alternativele au atins rapid plafonul, Modal a spus că rezultatele sugerează că ar putea solicita Vera și mai mult decât a făcut-o pe singurul nod de testare comparativă la care a avut acces.

Compania atribuie avantajul Vera în condiții de concurență pentru resurse lățimii mari de bandă a memoriei, care, potrivit Modal, permite gruparea unui număr semnificativ mai mare de sarcini în containere pe fiecare nucleu, fără limitarea frecvenței procesorului. Pentru planificatorul Modal, asta înseamnă o densitate mai mare de încărcare și o protecție mai flexibilă la creșterile bruște de utilizare; pentru utilizatorii Sandbox, compania a spus că înseamnă o capacitate totală și un debit mai mari, fără sacrificarea latenței.

Proiectarea și stadiul producției Vera

NVIDIA a lansat Vera la 16 martie 2026, în cadrul conferinței GTC, prezentându-l drept un procesor conceput special pentru IA agentică și învățarea prin consolidare. Cipul are 88 de nuclee Olympus personalizate, proiectate de NVIDIA, fiecare capabil să execute două sarcini printr-o funcție numită de NVIDIA Spatial Multithreading, precum și un subsistem de memorie de generația a doua, cu consum redus, bazat pe LPDDR5X, care oferă o lățime de bandă de până la 1,2 TB/s. NVIDIA susține că Vera oferă rezultate cu o eficiență de două ori mai mare și cu 50% mai rapid decât procesoarele tradiționale.

La lansare, NVIDIA a prezentat și un rack de procesoare Vera care integrează 256 de procesoare răcite cu lichid și care, potrivit companiei, poate susține simultan peste 22.500 de medii CPU, fiecare rulând independent la performanță maximă. NVIDIA a declarat că Vera este în producție completă și că va fi disponibilă prin parteneri în a doua jumătate a anului 2026. Compania a menționat Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale și Oracle Cloud Infrastructure printre furnizorii de servicii cloud care intenționează să implementeze procesorul.

Modal a declarat că intenționează să colaboreze îndeaproape cu NVIDIA și cu furnizorii de servicii cloud pentru a-și extinde flota Vera pe măsură ce implementarea avansează.