AI-modellen en platforms
NVIDIA Vera Rubin NVL72 publiceert eerste MLPerf Inference Preview‑resultaten
Voeg Unite.AI toe aan je voorkeursbronnen op Google
NVIDIA heeft op 16 september 2026 haar MLPerf Inference v6.1 indieningsresultaten gepubliceerd, met als kop de eerste MLPerf Inference preview‑indiening van haar Vera Rubin NVL72‑systeem, waarvan het bedrijf zegt dat het tot 3,7 × hogere doorvoer levert dan haar GB300 NVL72‑systeem op de Qwen3‑VL‑benchmark.
MLPerf Inference: Datacenter is een benchmark‑suite van de MLCommons Association die meet hoe snel systemen invoer verwerken en resultaten produceren met behulp van een getraind model. Volgens de MLCommons’ gepubliceerde definities vereist de Closed‑divisie — de categorie die NVIDIA citeerde voor haar kopcijfers — het gebruik van hetzelfde model als de referentie‑implementatie zodat hardwareplatformen en software‑frameworks “apple‑to‑apple” kunnen worden vergeleken, terwijl systemen in de Preview‑beschikbaarheidscategorie in de volgende indieningsronde als Available moeten kunnen worden ingediend.
DeepSeek‑R1 en Qwen3‑VL previewresultaten
NVIDIA heeft preview‑resultaten van Vera Rubin NVL72 ingediend voor DeepSeek‑R1 en Qwen3‑VL, die zij beschreef als twee van de meest veeleisende benchmarks in de v6.1‑suite. Op Qwen3‑VL meldde het bedrijf tot 3,7 × hogere doorvoer dan GB300 NVL72 in de offline‑, server‑ en interactieve scenario’s, met gebruik van vLLM en het open‑source inferentiekader NVIDIA Dynamo. Voor DeepSeek‑R1, met de NVIDIA TensorRT‑LLM‑bibliotheek, rapporteerde NVIDIA een doorvoer tot 2,5 × hoger dan GB300 NVL72.
De genoemde Closed‑divisie‑cijfers werden op 16 september 2026 van mlcommons.org opgehaald en zijn afkomstig uit indieningsentries 6.1-0106 en 6.1-0074, volgens de citaat die met de resultaten is gepubliceerd. NVIDIA stelt dat de prestaties betekenen dat elke Vera Rubin NVL72‑rack aanzienlijk meer tokens levert, meer gebruikers bedient en meer omzet genereert dan een GB300 NVL72‑rack, terwijl de kosten per token dalen.
Nebius heeft in dezelfde ronde ook Vera Rubin NVL72‑previewresultaten ingediend; NVIDIA beschreef die resultaten als een uitstekende prestatie.
Hardware‑Software codesign en agentisch testen
NVIDIA schrijft de resultaten toe aan full‑stack codesign van hardware en software. Het bedrijf stelt dat de verbeterde Tensor Cores en Transformer Engine van Vera Rubin zowel de prefill‑ als decode‑fasen van inferentie versnellen, terwijl NVFP4‑precisie de geheugenvoetafdruk van modelgewichten, attention en KV‑cache verkleint, waardoor de doorvoer stijgt met wat NVIDIA beschrijft als minimaal verlies in outputkwaliteit.
De indieningen maakten gebruik van gedisaggregeerde serving, die prefill en decode scheidt, gecombineerd met grootschalige expert‑parallelisme over de mixture‑of‑experts‑lagen die door modellen zoals DeepSeek‑R1 en Qwen3‑VL worden gebruikt. NVIDIA stelt dat het NVL72‑scale‑up‑domein, gebouwd op de zesde generatie NVLink en NVLink Switch, 10 × hogere pakketrates en 3 × lagere latentie levert dan standaard Ethernet, en zo de interconnect‑basis vormt voor die technieken op rack‑schaal.
Het bedrijf meldde bovendien dat Vera Rubin NVL72 in preview‑tests op de SemiAnalysis AgentX‑benchmark 30 × betere prestaties leverde dan GB300 NVL72, een benchmark die is ontworpen om agentische workloads te meten. NVIDIA stelt dat de komende MLPerf Endpoints‑benchmark gestandaardiseerde metingen zal introduceren voor agentische inferentieworkloads, verder dan wat traditionele doorvoermetingen vastleggen.
GB300 NVL72-schaalvergroting, softwarevoordelen en partnerresultaten
In dezelfde ronde schaalde NVIDIA’s DeepSeek‑R1‑indiening van één GB300 NVL72‑rack met 72 GPU’s naar vier racks met in totaal 288 GPU’s, met een schaal‑efficiëntie van 99 % in het offline‑scenario, waarbij de doorvoer bijna evenredig toenam met de toegevoegde hardware; het bedrijf verwees naar entries 6.1‑0073 en 6.1‑0074. Op de WAN 2.2 text‑to‑video‑benchmark bereikte GB300 NVL72 0,65 720p‑video’s per seconde met 5,7 seconden per video, wat volgens NVIDIA staat voor 9 × hogere doorvoer en 7,5 × lagere latentie dan een enkele node.
NVIDIA meldde dat de prestaties van GB300 NVL72 op Qwen3‑VL in v6.1 tot 1,6 × beter waren dan de resultaten in v6.0, dankzij lagere KV‑cache‑precisie, extra kernel‑fusie, betere kernels en gedisaggregeerde serving met vLLM en NVIDIA Dynamo. Het bedrijf stelt dat optimalisatie doorging na de v6.1‑indieningsdeadline, en dat post‑indieningsresultaten op GPT‑OSS‑120B en DLRMv3 verdere verbeteringen laten zien, hoewel die cijfers nog niet door MLCommons zijn geverifieerd.
Naast haar rack‑scale platforms heeft NVIDIA Jetson AGX Thor‑resultaten ingediend met behulp van de TensorRT Edge‑LLM‑bibliotheek op de nieuw geïntroduceerde Edge‑Agentic‑benchmark met het Qwen3.6‑27B‑model. Het bedrijf meldt dat 19 partners deelnamen aan de ronde, waarvan acht inzendingen deden op multi‑node Blackwell NVL72‑systemen: ASUS, Azure, Cisco, CoreWeave, Crusoe, Dell Technologies, Fujitsu, Giga Computing, HPE, Inventec, Lambda, MiTAC Computing, Nebius, Oracle Cloud Infrastructure, Quanta Cloud Technology, Red Hat, ScitiX, Supermicro en Wiwynn.
MLCommons merkt op haar benchmark‑pagina dat gepubliceerde resultaten soms worden aangepast of ongeldig worden verklaard na de eerste publicatie, met eventuele wijzigingen die worden vastgelegd in haar wijzigingslog.
