NVIDIA Vera Rubin NVL72 Memublikasikan Hasil Pratinjau MLPerf Inference Pertama

NVIDIA pada 16 September 2026, memublikasikan hasil pengajuan MLPerf Inference v6.1, dengan judul pengajuan pratinjau MLPerf Inference pertama dari sistem Vera Rubin NVL72-nya, yang dikatakan perusahaan memberikan throughput hingga 3.7x lebih tinggi dibandingkan sistem GB300 NVL72 pada benchmark Qwen3-VL.

MLPerf Inference: Datacenter adalah rangkaian benchmark Asosiasi MLCommons yang mengukur seberapa cepat sistem memproses masukan dan menghasilkan hasil menggunakan model terlatih. Berdasarkan definisi yang dipublikasikan oleh MLCommons, divisi Closed — kategori yang dikutip NVIDIA untuk angka utama — mengharuskan penggunaan model yang sama dengan implementasi referensi sehingga platform perangkat keras dan kerangka kerja perangkat lunak dapat dibandingkan secara setara, sementara sistem dalam kategori ketersediaan Preview harus dapat diajukan sebagai Available pada putaran pengajuan berikutnya.

Hasil Pratinjau DeepSeek-R1 dan Qwen3-VL

NVIDIA mengirimkan hasil pratinjau Vera Rubin NVL72 pada DeepSeek-R1 dan Qwen3-VL, yang digambarkan sebagai dua benchmark paling menuntut dalam rangkaian v6.1. Pada Qwen3-VL, perusahaan melaporkan throughput hingga 3.7x lebih tinggi dibandingkan GB300 NVL72 pada skenario offline, server, dan interaktif, menggunakan vLLM dengan kerangka kerja inferensi sumber terbuka NVIDIA Dynamo. Pada DeepSeek-R1, dengan menggunakan pustaka NVIDIA TensorRT-LLM, NVIDIA melaporkan throughput hingga 2.5x lebih tinggi dibandingkan GB300 NVL72.

Angka divisi Closed yang disebutkan diambil dari mlcommons.org pada 16 September 2026, dan diambil dari entri pengajuan 6.1-0106 dan 6.1-0074, menurut kutipan yang dipublikasikan bersama hasilnya. NVIDIA mengatakan bahwa kinerja tersebut berarti setiap rak Vera Rubin NVL72 memberikan token yang jauh lebih banyak, melayani lebih banyak pengguna, dan menghasilkan pendapatan lebih tinggi dibandingkan rak GB300 NVL72 sekaligus menurunkan biaya per token.

Nebius juga mengirimkan hasil pratinjau Vera Rubin NVL72 pada putaran yang sama; NVIDIA menggambarkan hasil tersebut sebagai menunjukkan kinerja yang luar biasa.

Ko-desain Perangkat Keras-Perangkat Lunak dan Pengujian Agenik

NVIDIA mengaitkan hasil tersebut pada ko-desain full-stack antara perangkat keras dan perangkat lunak. Perusahaan mengatakan Tensor Cores dan Transformer Engine yang ditingkatkan pada Vera Rubin mempercepat tahap prefill dan decode pada inferensi, sementara presisi NVFP4 mengurangi jejak memori bobot model, attention, dan cache KV, meningkatkan throughput dengan apa yang disebut NVIDIA sebagai kehilangan kualitas output yang minimal.

Pengajuan tersebut menggunakan layanan terpisah (disaggregated serving), yang memisahkan prefill dan decode, bersama dengan paralelisme pakar berskala besar pada lapisan mixture-of-experts yang dipakai oleh model seperti DeepSeek-R1 dan Qwen3-VL. NVIDIA mengatakan domain skala NVL72, yang dibangun di atas NVLink generasi keenam dan NVLink Switch, memberikan laju paket 10x lebih tinggi dan latensi 3x lebih rendah dibandingkan Ethernet standar, menyediakan fondasi interkoneksi untuk teknik tersebut pada skala rak.

Perusahaan juga melaporkan bahwa Vera Rubin NVL72 memberikan kinerja 30x lebih baik dibandingkan GB300 NVL72 dalam pengujian pratinjau pada benchmark SemiAnalysis AgentX, yang dirancang untuk mengukur beban kerja agenik. NVIDIA mengatakan benchmark MLPerf Endpoints yang akan datang akan memperkenalkan pengukuran standar untuk beban kerja inferensi agenik di luar apa yang ditangkap oleh benchmark throughput tradisional.

Skala GB300 NVL72, Peningkatan Perangkat Lunak, dan Hasil Mitra

Pada putaran yang sama, pengajuan DeepSeek-R1 NVIDIA meningkat dari satu rak GB300 NVL72 dengan 72 GPU menjadi empat rak dengan total 288 GPU, mencapai efisiensi skala 99% pada skenario offline, dengan throughput hampir sebanding dengan penambahan perangkat keras; perusahaan menyebutkan entri 6.1-0073 dan 6.1-0074. Pada benchmark WAN 2.2 teks-ke-video, GB300 NVL72 mencapai 0,65 video 720p per detik dengan 5,7 detik per video, yang menurut NVIDIA mewakili throughput 9x lebih tinggi dan latensi 7,5x lebih rendah dibandingkan node tunggal.

NVIDIA melaporkan bahwa kinerja GB300 NVL72 pada Qwen3-VL meningkat hingga 1,6x pada v6.1 dibandingkan hasil v6.0, berkat presisi cache KV yang lebih rendah, fusi kernel tambahan, kernel yang lebih baik, dan layanan terpisah dengan vLLM serta NVIDIA Dynamo. Perusahaan mengatakan optimasi berlanjut setelah batas waktu pengajuan v6.1, dan bahwa hasil pasca-pengajuan pada GPT-OSS-120B dan DLRMv3 menunjukkan peningkatan lebih lanjut, meskipun angka tersebut belum diverifikasi oleh MLCommons.

Di luar platform skala rak, NVIDIA mengirimkan hasil Jetson AGX Thor menggunakan pustaka TensorRT Edge-LLM pada benchmark Edge-Agentic yang baru diperkenalkan dengan model Qwen3.6-27B. Perusahaan mengatakan 19 mitra berpartisipasi dalam putaran ini, delapan di antaranya mengirimkan pada sistem Blackwell NVL72 multi-node: ASUS, Azure, Cisco, CoreWeave, Crusoe, Dell Technologies, Fujitsu, Giga Computing, HPE, Inventec, Lambda, MiTAC Computing, Nebius, Oracle Cloud Infrastructure, Quanta Cloud Technology, Red Hat, ScitiX, Supermicro, dan Wiwynn.

Catatan MLCommons di halaman benchmarknya menyatakan bahwa hasil yang dipublikasikan terkadang diubah atau dibatalkan setelah publikasi awal, dengan setiap perubahan dicatat dalam log perubahan mereka.