NVIDIA Vera Rubin NVL72 pubblica i primi risultati preliminari di MLPerf Inference

NVIDIA, il 16 settembre 2026, ha pubblicato i suoi risultati della sottomissione MLPerf Inference v6.1, evidenziati dalla prima sottomissione preliminare di MLPerf Inference del suo sistema Vera Rubin NVL72, che l’azienda ha dichiarato abbia fornito fino a 3,7x più throughput rispetto al suo sistema GB300 NVL72 nel benchmark Qwen3-VL.

MLPerf Inference: Datacenter è una suite di benchmark dell’Associazione MLCommons che misura la velocità con cui i sistemi elaborano gli input e producono risultati utilizzando un modello addestrato. Secondo le definizioni pubblicate da MLCommons, la divisione Closed — la categoria citata da NVIDIA per i suoi dati principali — richiede l’uso dello stesso modello dell’implementazione di riferimento affinché le piattaforme hardware e i framework software possano essere confrontati “a pari pari”, mentre i sistemi nella categoria di disponibilità Preview devono poter essere presentati come Available nel prossimo round di sottomissione.

Risultati preliminari di DeepSeek-R1 e Qwen3-VL

NVIDIA ha inviato i risultati preliminari di Vera Rubin NVL72 su DeepSeek-R1 e Qwen3-VL, che ha descritto come due dei benchmark più impegnativi della suite v6.1. Su Qwen3-VL, l’azienda ha segnalato fino a 3,7x più throughput rispetto a GB300 NVL72 nei scenari offline, server e interattivo, utilizzando vLLM con il framework di inferenza open source NVIDIA Dynamo. Su DeepSeek-R1, utilizzando la libreria NVIDIA TensorRT-LLM, NVIDIA ha riportato un throughput fino a 2,5x superiore a quello di GB300 NVL72.

I dati della divisione Closed citati sono stati prelevati da mlcommons.org il 16 settembre 2026 e derivano dalle voci di sottomissione 6.1-0106 e 6.1-0074, secondo la citazione pubblicata con i risultati. NVIDIA ha affermato che le prestazioni significano che ogni rack Vera Rubin NVL72 fornisce un numero significativamente maggiore di token, serve più utenti e genera più entrate rispetto a un rack GB300 NVL72, riducendo al contempo il costo per token.

Nebius ha anch’essa inviato i risultati preliminari di Vera Rubin NVL72 nello stesso round; NVIDIA ha descritto tali risultati come dimostrazione di eccellenti prestazioni.

Co-progettazione hardware-software e test agentici

NVIDIA ha attribuito i risultati alla co-progettazione full-stack tra hardware e software. L’azienda ha dichiarato che i Tensor Cores potenziati e il Transformer Engine di Vera Rubin accelerano sia le fasi di prefill che di decode dell’inferenza, mentre la precisione NVFP4 riduce l’impronta di memoria dei pesi del modello, dell’attenzione e della cache KV, aumentando il throughput con quella che NVIDIA ha definito una perdita minima della qualità dell’output.

Le sottomissioni hanno utilizzato il serving disaggregato, che separa prefill e decode, insieme a un parallelismo esperto su larga scala attraverso gli strati mixture-of-experts impiegati da modelli come DeepSeek-R1 e Qwen3-VL. NVIDIA ha affermato che il dominio di scalabilità NVL72, basato su NVLink di sesta generazione e NVLink Switch, offre velocità di pacchetto 10 volte superiori e latenza 3 volte inferiore rispetto all’Ethernet standard, fornendo la base di interconnessione per tali tecniche a livello di rack.

L’azienda ha inoltre riportato che Vera Rubin NVL72 ha fornito prestazioni 30 volte migliori rispetto a GB300 NVL72 nei test preliminari sul benchmark SemiAnalysis AgentX, progettato per misurare carichi di lavoro agentici. NVIDIA ha dichiarato che il prossimo benchmark MLPerf Endpoints introdurrà una misurazione standardizzata dei carichi di lavoro di inferenza agentica, andando oltre ciò che i benchmark tradizionali di throughput catturano.

Scalabilità GB300 NVL72, miglioramenti software e risultati dei partner

Nello stesso round, la sottomissione DeepSeek-R1 di NVIDIA è passata da un singolo rack GB300 NVL72 con 72 GPU a quattro rack per un totale di 288 GPU, raggiungendo un’efficienza di scalabilità del 99% nello scenario offline, con un throughput che cresce quasi in proporzione all’hardware aggiunto; l’azienda ha citato le voci 6.1-0073 e 6.1-0074. Nel benchmark WAN 2.2 text-to-video, GB300 NVL72 ha raggiunto 0,65 video 720p al secondo con 5,7 secondi per video, che NVIDIA ha dichiarato rappresentare un throughput 9 volte superiore e una latenza 7,5 volte inferiore rispetto a un singolo nodo.

NVIDIA ha riferito che le prestazioni di GB300 NVL72 su Qwen3-VL sono migliorate fino a 1,6 volte nella versione v6.1 rispetto ai risultati v6.0, attribuendo il miglioramento a una precisione più bassa della cache KV, a ulteriori fusioni di kernel, a kernel migliori e al serving disaggregato con vLLM e NVIDIA Dynamo. L’azienda ha dichiarato che l’ottimizzazione è proseguita oltre la scadenza della sottomissione v6.1 e che i risultati post-sottomissione su GPT-OSS-120B e DLRMv3 mostrano ulteriori guadagni, sebbene tali cifre non siano ancora state verificate da MLCommons.

Oltre alle sue piattaforme su scala rack, NVIDIA ha inviato i risultati Jetson AGX Thor utilizzando la libreria TensorRT Edge-LLM sul benchmark Edge-Agentic appena introdotto con il modello Qwen3.6-27B. L’azienda ha dichiarato che 19 partner hanno partecipato al round, otto dei quali hanno inviato risultati su sistemi Blackwell NVL72 multi-node: ASUS, Azure, Cisco, CoreWeave, Crusoe, Dell Technologies, Fujitsu, Giga Computing, HPE, Inventec, Lambda, MiTAC Computing, Nebius, Oracle Cloud Infrastructure, Quanta Cloud Technology, Red Hat, ScitiX, Supermicro e Wiwynn.

MLCommons osserva nella sua pagina del benchmark che i risultati pubblicati a volte vengono modificati o invalidati dopo la pubblicazione iniziale, con eventuali modifiche registrate nel suo registro delle modifiche.