NVIDIA Luncurkan Model Ucapan Berbobot Terbuka dan Dataset Audio Berdurasi 463.062 Jam

Pada 28 Oktober 2026, NVIDIA merilis Nemotron 3.5 Transcribe, model ucapan berbobot terbuka yang menggabungkan transkripsi multibahasa, atribusi penutur, penerjemahan, dan tanya jawab audio dalam satu checkpoint, bersamaan dengan Granary v2, dataset ucapan terbuka beserta alur kurasi yang manifes publiknya mencakup 463.062 jam dalam 48 bahasa.

Menurut pengumuman NVIDIA di Hugging Face, model ini mentranskripsikan 40 bahasa, menerjemahkan 31 di antaranya ke atau dari bahasa Inggris, serta mengidentifikasi penutur dalam 13 bahasa. Model ini dapat menangani rekaman berdurasi hingga satu jam dan memberi label hingga delapan penutur. Kartu model mencantumkan tanggal rilis 28 Oktober 2026 di Hugging Face, GitHub melalui NVIDIA NeMo Speech, NGC, dan Build.Nvidia.com. Bobot model dirilis dengan lisensi OpenMDW-1.1, dan model ini siap digunakan secara komersial maupun nonkomersial. Baseten, DeepInfra, dan Simplismart menyediakan endpoint terhosting, sementara demo interaktif tersedia di Hugging Face Spaces dan ModelScope Studios.

Arsitektur dan Pemberian Prompt

Transcribe menggabungkan encoder ucapan dengan model dasar bahasa dalam satu checkpoint berparameter 34B, dengan sekitar 4,3B parameter aktif untuk setiap token dan konteks sepanjang 65.536 token. Bagian pemrosesan ucapan memadukan encoder ASR Transformer berparameter 600M, encoder penutur Nemotron-3-Diarization berparameter sekitar 99M, serta head klasifikasi temporal koneksionis untuk menentukan stempel waktu kata. Bagian pemrosesan bahasa menggunakan Nemotron-3.5 Lightning 30B-A3B dari NVIDIA, model campuran pakar hibrida Mamba-2–Transformer. Bobot tersedia dalam format BF16, bersama varian terkuantisasi FP8 dan NVFP4 serta model draf DFlash2 opsional untuk dekode spekulatif.

Prompt berbahasa alami mengendalikan keluaran: pengembang dapat meminta transkrip verbatim atau transkrip tertulis yang telah dirapikan, memberikan kosakata kontekstual seperti istilah produk atau medis, meminta tag penutur dan stempel waktu pada tingkat kata, menerjemahkan ujaran ke atau dari bahasa Inggris, atau mengajukan pertanyaan tentang audio. Model dilatih untuk menjawab pertanyaan tentang audio dalam bahasa Inggris. Matriks bahasa pada kartu model memberi peringkat kualitas setiap dari 40 bahasa untuk tiap tugas, mulai dari Unggul hingga Didukung, dan mencatat bahwa pemahaman audio serta kemampuan mengikuti instruksi lisan hanya dievaluasi dalam bahasa Inggris. Kartu model menegaskan bahwa Transcribe adalah model luring: pemotongan audio internal tidak menjadikannya layanan streaming waktu nyata.

Pelatihan menggunakan sekitar 1,72 juta jam audio unik yang terindeks dari sekitar 372 juta contoh, ditambah 5,6 miliar token teks unik, dengan sumber yang mencakup Granary v2, korpus rapat multipe­nutur, data pemahaman audio, dan ujaran sintetis yang memperhatikan informasi identitas pribadi (PII). Sebagian data pelatihan dilisensikan dari David AI; kartu model menyatakan bahwa set evaluasi DAI-ASR-I18N milik David AI tidak digunakan dalam pelatihan.

Hasil Tolok Ukur yang Dilaporkan NVIDIA

NVIDIA melaporkan bahwa Transcribe menempati peringkat pertama di antara model berbobot terbuka pada papan peringkat bahasa Inggris Hugging Face Open ASR, dengan tingkat kesalahan kata rata-rata 5,33%; model API tidak disertakan. Model ini juga mencatat hasil multibahasa terendah, yakni rata-rata WER 4,62% untuk tujuh bahasa, serta hasil terendah untuk audio berdurasi panjang, yakni 10,98%, di antara model berbobot terbuka dalam perbandingan pada kartu model. Dalam tabel kartu model yang datanya diambil pada 12 Oktober 2026, rata-rata WER bahasa Inggris untuk sembilan dataset adalah 4,71%, dibandingkan dengan 4,94% untuk Qwen3-ASR-1.7B, model berbobot terbuka dengan hasil terbaik berikutnya. Rata-rata cpWER untuk banyak penutur adalah 15,80, dibandingkan dengan 16,83 untuk DiCoW v3.3 yang dipasangkan dengan DiariZen.

Pada indeks ucapan-ke-teks Artificial Analysis, NVIDIA menyatakan bahwa Transcribe berbagi posisi pertama di antara model berbobot terbuka dengan AA-WER 2,8%, sembari mengaktifkan sekitar 4B parameter per token, dibandingkan dengan 24B untuk model yang berbagi posisi tersebut. Untuk atribusi penutur, pengumuman itu melaporkan bahwa Transcribe mencatat tingkat kesalahan diarization terendah di antara 14 sistem pada jalur diarization DAI-ASR-I18N milik David AI yang mencakup 21 bahasa, yaitu 18,26%, sedikit lebih baik daripada Nemotron 3 Diarization milik NVIDIA sendiri yang mencatat 18,38%. Model ini juga menempati posisi pertama di antara 14 sistem pada Diarization-Bench bahasa Inggris milik VoiceArena, dengan cpWER 32,4%; penghapusan mencakup 8,32% kata referensi, dibandingkan median sekitar 31%.

Dataset dan Alur Granary v2

Granary v2, yang dirilis bersamaan dengan model tersebut, merupakan inisiatif data terbuka yang menjadi dasar pelatihannya. Manifes publiknya mencakup 463.062 jam dalam 48 bahasa dan 16 korpus sumber, meningkat dari 25 bahasa pada Granary v1. NVIDIA mencatat bahwa angka-angka ini menggambarkan rilis dataset, bukan keseluruhan campuran data pelatihan Transcribe. Dibangun dengan NVIDIA NeMo Curator, alur ini menghasilkan tiga bentuk transkrip untuk setiap rekaman (verbatim dengan normalisasi teks, dinormalisasi balik dengan ketidaklancaran ujaran, dan dinormalisasi balik tanpa ketidaklancaran ujaran), serta keterangan, pemulihan alih kode, pasangan tanya jawab yang didasarkan pada ujaran, istilah pembias kontekstual, dan terjemahan yang disertai skor kualitas otomatis.

Alur ini berjalan dalam empat tahap: penyiapan metadata dan audio; transkripsi menggunakan model ASR utama dan pemulihan yang dikendalikan oleh pemeriksaan halusinasi; pembuatan label tugas dengan pemeriksaan kesesuaian; serta filter fidelitas tinggi yang, untuk korpus VoxPopuli, menyusutkan 354.000 jam menjadi 111.000 jam dalam 22 bahasa Eropa. Manifes memuat petunjuk entitas, pasangan instruksi, informasi asal-usul, dan penanda kualitas untuk setiap rekaman. Audio sumber diunduh secara terpisah sesuai lisensi asli tiap korpus, dan alur ini berjalan menggunakan backend Ray dan NVIDIA Dynamo.

Studi Kasus Penyetelan Lanjutan Medis dan Penerapan

Untuk menunjukkan proses adaptasi, pengumuman NVIDIA menguraikan studi kasus medis menggunakan tolok ukur terbuka Eka Care yang terdiri atas 3.619 rekaman dari dokter dan mahasiswa kedokteran di India. Dengan menyebutkan bahasa Inggris dan alfabet Latin dalam prompt, WER pada seluruh tolok ukur turun dari 30.8% menjadi 23.8%, lalu mencapai 11.8% setelah penyetelan halus. Pada 2.764 klip yang disisihkan untuk pengujian dan dinilai menggunakan pipeline KARMA dari Eka Care, penyetelan halus menurunkan WER dari 22.44% menjadi 12.17%, atau penurunan relatif sebesar 45.8%; WER kata kunci turun dari 9.2% menjadi 6.5% dan WER semantik dari 10.0% menjadi 7.6%, sementara WER LibriSpeech test-clean sedikit naik dari 1.54% menjadi 1.69%. Adaptasi ini menggabungkan sekitar 153 jam ujaran sintetis dengan 29 jam bahasa Inggris beraksen dari Common Voice dan 63 jam rekaman medis dari MultiMed, serta memerlukan sekitar 14 jam GPU pada satu NVIDIA GB300.

Model ini berjalan pada satu GPU NVIDIA, mulai dari Jetson AGX Thor dan DGX Spark hingga sistem pusat data Blackwell. NVIDIA melaporkan bahwa dengan implementasi NIM yang dioptimalkan, satu GPU RTX PRO 6000 Blackwell Server Edition mentranskripsikan hingga 2,238 detik audio per detik menggunakan presisi NVFP4 dengan dekode spekulatif DFlash2. Pengumuman tersebut juga menyebutkan bahwa model ini memproses 100 jam audio dalam waktu kurang dari tiga menit dalam NVFP4, menggunakan klip berdurasi 30 detik dengan konkurensi tinggi; kartu model menyatakan bahwa optimasi penyajian ini belum menjadi bagian dari rilis sumber terbuka. Penyajian menggunakan vLLM 0.32.0 dengan plugin NeMo Speech atau inferensi lokal melalui NeMo-Speech.cpp, sementara keterampilan agen penyetelan halus memungkinkan agen pemrograman menjalankan alur kerja adaptasi. ModelScope juga mendukung penyetelan halus melalui kerangka kerja ms-swift.