KI-Modelle und Plattformen
NVIDIA Vera Rubin NVL72 veröffentlicht erste MLPerf Inference-Vorschau-Ergebnisse
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
NVIDIA veröffentlichte am 16. September 2026 seine MLPerf Inference v6.1 Einreichungsergebnisse, die von der ersten MLPerf Inference-Vorschaueinreichung seines Vera Rubin NVL72-Systems überschrieben wurden, wobei das Unternehmen angab, dass es bis zu 3,7‑fach höhere Durchsatzrate als sein GB300 NVL72-System beim Qwen3-VL-Benchmark erreichte.
MLPerf Inference: Datacenter ist ein Benchmark‑Suite der MLCommons Association, die misst, wie schnell Systeme Eingaben verarbeiten und Ergebnisse mit einem trainierten Modell erzeugen. Nach MLCommons’ veröffentlichten Definitionen erfordert die Closed‑Division – die von NVIDIA für ihre Hauptzahlen zitierte Kategorie – die Verwendung desselben Modells wie die Referenzimplementierung, sodass Hardwareplattformen und Software‑Frameworks „Apfel‑zu‑Apfel“ verglichen werden können, während Systeme in der Preview‑Verfügbarkeit‑Kategorie im nächsten Einreichungsrund als verfügbar eingereicht werden müssen.
DeepSeek-R1 und Qwen3-VL Vorschau-Ergebnisse
NVIDIA reichte Vera Rubin NVL72-Vorschauergebnisse für DeepSeek-R1 und Qwen3-VL ein, die es als zwei der anspruchsvollsten Benchmarks der v6.1‑Suite bezeichnete. Bei Qwen3-VL meldete das Unternehmen bis zu 3,7‑fach höheren Durchsatz gegenüber GB300 NVL72 in den Offline-, Server- und Interaktiv‑Szenarien, wobei vLLM mit dem Open‑Source‑Inference‑Framework NVIDIA Dynamo verwendet wurde. Bei DeepSeek-R1, unter Verwendung der NVIDIA TensorRT‑LLM‑Bibliothek, berichtete NVIDIA von einem Durchsatz von bis zu 2,5‑fach höher als bei GB300 NVL72.
Die genannten Closed‑Division‑Zahlen wurden am 16. September 2026 von mlcommons.org abgerufen und stammen aus den Einreichungen 6.1‑0106 und 6.1‑0074, gemäß der mit den Ergebnissen veröffentlichten Zitierung. NVIDIA erklärte, dass die Leistung bedeutet, dass jeder Vera Rubin NVL72‑Rack deutlich mehr Tokens verarbeitet, mehr Nutzer bedient und mehr Umsatz generiert als ein GB300 NVL72‑Rack, während die Kosten pro Token gesenkt werden.
Nebius reichte ebenfalls Vera Rubin NVL72-Vorschauergebnisse in derselben Runde ein; NVIDIA beschrieb diese Ergebnisse als hervorragende Leistung.
Hardware‑Software‑Codesign und agentisches Testen
NVIDIA schrieb die Ergebnisse der Full‑Stack‑Codesign über Hardware und Software zu. Das Unternehmen erklärte, dass die verbesserten Tensor‑Cores und der Transformer‑Engine von Vera Rubin sowohl die Pre‑Fill‑ als auch die Decode‑Phasen der Inferenz beschleunigen, während die NVFP4‑Präzision den Speicherbedarf von Modellgewichten, Attention und KV‑Cache reduziert und den Durchsatz erhöht, wobei NVIDIA von einem minimalen Qualitätsverlust der Ausgabe sprach.
Die Einreichungen nutzten disaggregiertes Serving, das Pre‑Fill und Decode trennt, zusammen mit großskaliger Experten‑Parallelität über die Mixture‑of‑Experts‑Schichten, die von Modellen wie DeepSeek-R1 und Qwen3-VL verwendet werden. NVIDIA erklärte, dass die NVL72‑Skalierungsdomäne, aufgebaut auf der sechsten Generation von NVLink und NVLink Switch, 10‑fach höhere Paketraten und 3‑fach niedrigere Latenz als handelsübliches Ethernet liefert und damit die Interconnect‑Grundlage für diese Techniken im Rack‑Maßstab bereitstellt.
Das Unternehmen berichtete außerdem, dass Vera Rubin NVL72 im Vorschautest auf dem SemiAnalysis AgentX‑Benchmark eine 30‑fach bessere Leistung als GB300 NVL72 erbracht hat, ein Benchmark, das zur Messung agentischer Arbeitslasten entwickelt wurde. NVIDIA erklärte, dass der kommende MLPerf Endpoints‑Benchmark eine standardisierte Messung für agentische Inferenz‑Workloads ermöglichen wird, die über das hinausgeht, was herkömmliche Durchsatz‑Benchmarks erfassen.
GB300 NVL72 Skalierung, Software‑Gewinne und Partnerergebnisse
In derselben Runde skalierte NVIDIAs DeepSeek-R1‑Einreichung von einem einzelnen GB300 NVL72‑Rack mit 72 GPUs auf vier Racks mit insgesamt 288 GPUs und erreichte im Offline‑Szenario 99 % Skalierungseffizienz, wobei der Durchsatz fast proportional zur hinzugefügten Hardware wuchs; das Unternehmen verwies auf die Einträge 6.1‑0073 und 6.1‑0074. Beim WAN 2.2 Text‑zu‑Video‑Benchmark erreichte GB300 NVL72 0,65 720p‑Videos pro Sekunde bei 5,7 Sekunden pro Video, was NVIDIA als 9‑fach höheren Durchsatz und 7,5‑fach niedrigere Latenz im Vergleich zu einem einzelnen Knoten bezeichnete.
NVIDIA berichtete, dass die GB300 NVL72‑Leistung auf Qwen3-VL in v6.1 gegenüber den v6.0‑Ergebnissen um bis zu das 1,6‑fache verbessert wurde, wobei niedrigere KV‑Cache‑Präzision, zusätzliche Kernel‑Fusion, bessere Kernel und disaggregiertes Serving mit vLLM und NVIDIA Dynamo verantwortlich seien. Das Unternehmen erklärte, dass die Optimierung über die v6.1‑Einreichungsfrist hinaus fortgesetzt wurde und dass Nach‑Einreichungs‑Ergebnisse für GPT‑OSS‑120B und DLRMv3 weitere Verbesserungen zeigen, obwohl diese Zahlen noch nicht von MLCommons verifiziert wurden.
Über seine Rack‑Scale‑Plattformen hinaus reichte NVIDIA Jetson AGX Thor‑Ergebnisse ein, die die TensorRT Edge‑LLM‑Bibliothek auf dem neu eingeführten Edge‑Agentic‑Benchmark mit dem Qwen3.6‑27B‑Modell nutzten. Das Unternehmen erklärte, dass 19 Partner an der Runde teilnahmen, davon acht, die auf Multi‑Node‑Blackwell‑NVL72‑Systemen einreichten: ASUS, Azure, Cisco, CoreWeave, Crusoe, Dell Technologies, Fujitsu, Giga Computing, HPE, Inventec, Lambda, MiTAC Computing, Nebius, Oracle Cloud Infrastructure, Quanta Cloud Technology, Red Hat, ScitiX, Supermicro und Wiwynn.
MLCommons weist auf seiner Benchmark‑Seite darauf hin, dass veröffentlichte Ergebnisse manchmal nach der Erstveröffentlichung geändert oder für ungültig erklärt werden, wobei alle Änderungen in seinem Änderungsprotokoll verzeichnet werden.
