Modal plant die Einführung von NVIDIA Vera für Sandboxes – der erste Schritt hin zu Arm

Modal erklärte am 19. Oktober 2026 in einem Blogbeitrag des Unternehmens, dass das Unternehmen NVIDIA-CPUs mit Arm-Architektur namens Vera künftig unterstützen will, um Modal Sandboxes zu betreiben. Damit würde Modal erstmals von einer Flotte ausschließlich mit x86-Prozessoren abweichen. Benchmark-Ergebnisse, die Modal veröffentlichte, zeigten, dass der Durchsatz bei Aufgaben unter Last bis zu doppelt so hoch war wie bei einer vergleichbaren x86-Maschine.

NVIDIA lieferte Modal in der Woche vor der Ankündigung persönlich den ersten Vera-CPU-Server in das Büro des Unternehmens in San Francisco, wie Modal mitteilte. Vera ist der Arm-kompatible Prozessor von NVIDIA. Er wurde für die Vera-Rubin-GPU-Plattform entwickelt, ist aber auch als eigenständiger CPU-Server erhältlich. Die Aufnahme von Arm in die Flotte würde Änderungen an der Infrastruktur und am System zum Erstellen von Images bei Modal erfordern. Das Unternehmen bezeichnete dies als tiefgreifende Umstellung nach einer langen Zeit, in der ausschließlich x86-Maschinen zum Einsatz kamen.

Störungen durch mehrere Mandanten und Kapazität für Lastspitzen

Der Betrieb eines Sandbox-Produkts bedeutet, auf jedem Cloud-Host Hunderte Container und virtuelle Maschinen gleichzeitig auszuführen. Laut Modal sind die dadurch entstehenden Cluster mit mehreren Mandanten störanfällig. Die Ressourcennutzung kann extrem sprunghaft sein: Eine Sandbox kann die meiste Zeit nahezu untätig sein, während sie auf ein Sprachmodell wartet, und anschließend kann die CPU-Auslastung wegen einer npm-Installation oder eines aufwendigen grep-Befehls auf das Zehnfache des Ausgangswerts ansteigen. Da sich die Art der jeweiligen Arbeitslast erst zur Laufzeit zeigt, ist die Dimensionierung der Ressourcen häufig eine Schätzung. Außerdem führen unterschiedliche Mandanten, die sich einen gemeinsamen Rechenressourcenpool teilen, zu Problemen durch benachbarte Mandanten: Das Verhalten eines Kunden beeinträchtigt dabei die Leistung eines anderen.

Statt feste Reservierungen zu verlangen, die auf den maximalen Verbrauch ausgelegt sind, unterstützt Modal Sandboxes die Nutzung von Lastspitzen. Nutzer können damit garantierte Kapazität für ihren P50-Verbrauch reservieren und darauf vertrauen, dass der Puffer im Host-Knoten vorübergehende Spitzen abfängt. Modal zufolge hat dieser Ansatz den Nutzern Millionen von Dollar eingespart. Das Unternehmen räumte jedoch ein, dass dadurch die Anfälligkeit für Störungen durch benachbarte Mandanten steigt, die durch strenge Begrenzungen ansonsten vermieden würden.

Modal nannte zwei häufige Einsatzbereiche für Sandboxes: Hintergrundagenten, darunter Ramp Inspect und Agenten, die auf Niteshift laufen, sowie Rollouts beim bestärkenden Lernen. Die meisten Trainingsumgebungen arbeiten laut dem Unternehmen noch synchron. Deshalb muss eine ganze Gruppe parallel gestarteter, CPU-gebundener Rollouts abgeschlossen sein, bevor ungenutzte GPUs mit dem nächsten Schritt beginnen können. Auf der CPU eingesparte Zeit bedeutet somit auch Zeitersparnis auf der GPU. Bei Hintergrundagenten führen schnellere Abläufe laut Modal zu schnelleren Antworten und einer kürzeren CPU-Laufzeit, wodurch die Umsatzkosten sinken.

Der Benchmark für agentenlose Agenten

Um Vera zu messen, entwickelte und veröffentlichte Modal den Benchmark für agentenlose Agenten: eine Sammlung von 50 Oracle-Referenzlösungen und Prüfern für Terminal-Bench, bei denen sämtliche Netzwerkaufrufe entfernt und die in parallel laufenden Docker-Containern vorgewärmt wurden. Modal erklärte, dass die Entwicklung eines Benchmarks für agentische Systeme schwierig sei, weil die meiste Arbeit auf den Sandbox-Servern des Unternehmens nicht CPU-gebunden sei. Daher stellte Modal eine parallele und heterogene Mischung aus Aufgaben zusammen, die Agenten und Prozesse des bestärkenden Lernens tatsächlich auf der CPU ausführen, darunter Kompilierung, die Suche nach Dateien mit grep, Git-Vorgänge und Geräteemulation. Dem öffentlichen Repository zufolge basiert der Benchmark auf dem Aufgabensatz terminal-bench-2.1; die Dockerfiles wurden für Arm-Kompatibilität angepasst. Ein Durchlauf gilt nur dann als abgeschlossen, wenn der Aufgabenprüfer die Aufgabe erfolgreich bestätigt.

Bei sequenziellen Tests auf einer nicht ausgelasteten Maschine, mit denen die reine Latenz einzelner Aufgaben gemessen wird, stellte Modal fest, dass Vera häufig schneller war als die übrigen getesteten Prozessoren – Intel GNR, AMD Zen 5 sowie AWS Graviton 4 und 5 –, aber nicht immer und auch nicht mit besonders großem Abstand. Der Autor des Beitrags erklärte, den Ergebnissen zunächst skeptisch gegenübergestanden zu haben.

Unter Last gingen die Ergebnisse laut Modal auseinander. Beim Durchsatztest wird die Zahl der gleichzeitig auf der Maschine laufenden Container erhöht, und innerhalb eines festgelegten Zeitraums werden so viele erfolgreich geprüfte Aufgaben wie möglich abgeschlossen. Frühe Benchmark-Läufe hätten auf Vera einen bis zu doppelt so hohen Aufgabendurchsatz wie auf einer vergleichbaren x86-Maschine mit GNR gezeigt, teilte Modal mit. Die Latenz einzelner Aufgaben sei dabei genauso niedrig oder niedriger gewesen als auf x86. Bei den meisten Systemen gehen Durchsatz und Latenz mit zunehmender Packungsdichte in einen Zielkonflikt über, bis die CPU ausgelastet ist. Vera sei laut Modal jedoch nicht langsamer geworden, als sich die Aufträge häuften, sondern habe die Aufgaben weiterhin im ursprünglichen Tempo abgeschlossen.

Modal berichtete, dass sich die Leistung von Vera mit steigender Zahl logischer CPUs weiter verbesserte, während die anderen getesteten Prozessoren früh eine Durchsatzgrenze erreichten. Die Zahl der physischen Kerne der getesteten Maschinen lag bei 128 für Intel GNR, 96 für Graviton und die virtuelle GNR-Maschine sowie 88 für Vera. Da die Alternativen früh an ihre Grenzen stießen, legen die Ergebnisse laut Modal nahe, dass das Unternehmen Vera noch stärker auslasten könnte als auf dem einzigen verfügbaren Benchmark-Knoten.

Das Unternehmen führt Veras Vorteil unter hoher Auslastung auf die hohe Speicherbandbreite zurück. Diese ermögliche es, deutlich mehr Container-Arbeitslasten auf jedem Kern unterzubringen, ohne die CPU zu drosseln. Für den Scheduler von Modal bedeutet das eine höhere Packungsdichte und einen größeren Spielraum beim Abfangen von Lastspitzen. Für Nutzer von Sandboxes bedeute es laut Unternehmen einen höheren absoluten Umfang und Durchsatz, ohne Einbußen bei der Latenz.

Design und Produktionsstatus von Vera

Auf seiner GTC-Konferenz stellte NVIDIA Vera am 16. März 2026 vor und beschrieb sie als Prozessor, der speziell für agentische KI und bestärkendes Lernen entwickelt wurde. Der Chip verfügt über 88 speziell von NVIDIA entwickelte Olympus-Kerne, von denen jeder über eine Funktion, die NVIDIA Spatial Multithreading nennt, zwei Aufgaben ausführen kann, sowie über ein Speicher-Subsystem der zweiten Generation mit geringem Stromverbrauch auf Basis von LPDDR5X, das eine Bandbreite von bis zu 1,2 TB/s bietet. NVIDIA zufolge liefert Vera Ergebnisse mit doppelter Effizienz und 50 % schneller als herkömmliche CPUs.

Bei der Vorstellung präsentierte NVIDIA außerdem ein Vera-CPU-Rack mit 256 flüssigkeitsgekühlten CPUs. Dieses könne nach Angaben des Unternehmens mehr als 22.500 CPU-Umgebungen gleichzeitig betreiben, die jeweils unabhängig voneinander mit voller Leistung laufen. NVIDIA erklärte, Vera befinde sich in voller Produktion und werde in der zweiten Hälfte des Jahres 2026 bei Partnern verfügbar sein. Als Cloud-Anbieter, die den Einsatz der CPU planen, nannte das Unternehmen Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale und Oracle Cloud Infrastructure.

Modal erklärte, das Unternehmen wolle eng mit NVIDIA und Cloud-Anbietern zusammenarbeiten, um seine Vera-Flotte im Zuge der fortschreitenden Einführung auszubauen.