NVIDIA, Açık Ağırlıklı Konuşma Modelini ve 463.062 Saatlik Ses Veri Kümesini Piyasaya Sürdü

NVIDIA, 28 Ekim 2026’da çok dilli transkripsiyonu, konuşmacı atamasını, çeviriyi ve sesli soru yanıtlamayı tek bir kontrol noktasında birleştiren açık ağırlıklı konuşma modeli Nemotron 3.5 Transcribe’ı piyasaya sürdü. Modelin yanı sıra, herkese açık manifestosu 48 dilde 463.062 saati kapsayan açık bir konuşma veri kümesi ve veri derleme hattı olan Granary v2 de yayımlandı.

Model, NVIDIA’nın Hugging Face’teki duyurusuna göre 40 dilde transkripsiyon yapıyor, bu dillerin 31’ini İngilizceye veya İngilizceden çeviriyor ve 13 dilde konuşmacıları belirliyor. Bir saate kadar uzunluktaki kayıtları işleyebiliyor ve en fazla sekiz konuşmacıyı etiketleyebiliyor. Model kartında, Hugging Face, NVIDIA NeMo Speech aracılığıyla GitHub, NGC ve Build.Nvidia.com’da 28 Ekim 2026 yayın tarihi belirtiliyor; ağırlıkların OpenMDW-1.1 lisansı altında yayımlandığı ve modelin ticari ya da ticari olmayan kullanıma hazır olduğu da kaydediliyor. Baseten, DeepInfra ve Simplismart barındırılan uç noktalar sunarken Hugging Face Spaces ve ModelScope Studios’ta etkileşimli bir demo bulunuyor.

Mimari ve İstemler

Transcribe, konuşma kodlayıcısını bir dil omurgasıyla tek bir 34B parametreli kontrol noktasında birleştiriyor; her belirteç başına yaklaşık 4.3B parametre etkin ve bağlam uzunluğu 65.536 belirteç. Konuşma bileşeni, 600M parametreli bir Transformer ASR kodlayıcısını, yaklaşık 99M parametreli Nemotron-3-Diarization konuşmacı kodlayıcısını ve sözcük zaman damgaları için bir bağlantıcı zamansal sınıflandırma başlığını bir araya getiriyor. Dil bileşeni ise NVIDIA’nın hibrit Mamba-2–Transformer uzman karışımı modeli Nemotron-3.5 Lightning 30B-A3B’den oluşuyor. Ağırlıklar BF16 biçiminde sunuluyor; ayrıca FP8 ve NVFP4 nicemlenmiş varyantlar ile spekülatif kod çözme için isteğe bağlı DFlash2 taslak modeli de mevcut.

Çıktı, doğal dilde verilen istemlerle denetleniyor: geliştiriciler kelimesi kelimesine ya da düzenlenmiş yazılı transkriptler isteyebiliyor, ürün veya tıp terimleri gibi bağlama özgü sözcükler sağlayabiliyor, konuşmacı etiketleri ve sözcük düzeyinde zaman damgaları talep edebiliyor, konuşmayı İngilizceye veya İngilizceden çevirebiliyor ya da ses hakkında sorular sorabiliyor. Sesli soru yanıtlama İngilizce olarak eğitiliyor. Model kartındaki dil matrisi, 40 dilin her birini göreve göre Öncü’den Destekleniyor’a uzanan kalite düzeyleriyle değerlendiriyor ve ses anlama ile sözlü talimatları izleme becerilerinin yalnızca İngilizcede değerlendirildiğini belirtiyor. Model kartında özellikle vurgulandığı üzere Transcribe çevrimdışı çalışan bir model: dahili ses bölümlendirme, onu gerçek zamanlı bir akış hizmetine dönüştürmüyor.

Eğitimde, yaklaşık 372 milyon örneğe yayılan yaklaşık 1,72 milyon benzersiz dizinlenmiş saatlik sesin yanı sıra 5,6 milyar benzersiz metin belirteci kullanıldı. Veriler Granary v2’den, çok konuşmacılı toplantı derlemlerinden, ses anlama verilerinden ve kişisel tanımlayıcı bilgileri (PII) gözeten sentetik konuşmalardan alındı. Bazı eğitim verileri David AI’dan lisanslandı; model kartında, David AI’ın DAI-ASR-I18N değerlendirme kümesinin eğitime dahil edilmediği belirtiliyor.

NVIDIA’nın Bildirdiği Kıyaslama Sonuçları

NVIDIA’nın bildirdiğine göre Transcribe, API modelleri hariç tutulduğunda Hugging Face Open ASR İngilizce sıralamasında %5,33 ortalama sözcük hata oranıyla açık ağırlıklı modeller arasında ilk sırada yer alıyor. Model kartındaki karşılaştırmada, yedi dilde ortalama WER değeri %4,62 ile çok dilli sonuçlar arasında; uzun biçimli sonuçlarda ise %10,98 ile açık ağırlıklı modeller arasında en düşük değeri kaydediyor. 12 Ekim 2026’da alınan model kartının kendi tablolarında, dokuz veri kümesindeki İngilizce ortalama WER değeri %4,71. Bu oran, açık ağırlıklı modeller arasında en iyi ikinci sonuç olan Qwen3-ASR-1.7B’nin %4,94’lük oranından düşük. Çok konuşmacılı ortalama cpWER değeri ise 15,80; DiariZen ile eşleştirilen DiCoW v3.3’ün değeri 16,83.

NVIDIA, Artificial Analysis’ın konuşmadan metne dönüştürme endeksinde Transcribe’ın, belirteç başına yaklaşık 4B parametreyi etkinleştirirken %2,8 AA-WER ile açık ağırlıklı modeller arasında birinciliği paylaştığını söylüyor; birinciliği paylaştığı modelde bu sayı 24B. Konuşmacı atama alanında duyuru, David AI’ın 21 dilli DAI-ASR-I18N konuşmacı ayrıştırma testindeki 14 sistem arasında %18,26 ile en düşük konuşmacı ayrıştırma hata oranını bildirdiğini belirtiyor. Bu oran, NVIDIA’nın kendi Nemotron 3 Diarization modelinin %18,38’lik oranından az farkla daha düşük. Transcribe ayrıca VoiceArena’nın İngilizce Diarization-Bench testinde 14 sistem arasında %32,4 cpWER ile ilk sırada yer alıyor; referans sözcüklerin %8,32’sini siliyor, medyan silme oranı ise yaklaşık %31.

Granary V2 Veri Kümesi ve Veri Hattı

Modelle birlikte yayımlanan Granary v2, modelin eğitimini destekleyen açık veri girişimidir. Herkese açık manifestosu, Granary v1’deki 25 dile kıyasla 48 dilde ve 16 kaynak derlemde toplam 463.062 saati kapsıyor. NVIDIA, bu rakamların Transcribe’ın tüm eğitim karışımını değil, veri kümesi sürümünü tanımladığını belirtiyor. NVIDIA NeMo Curator ile oluşturulan veri hattı, her kayıt için üç transkript biçimi (metin normalizasyonuyla kelimesi kelimesine, normalizasyonu geri alınmış ve akıcılık bozuklukları korunmuş, normalizasyonu geri alınmış ve akıcılık bozuklukları çıkarılmış) üretiyor. Ayrıca altyazılar, kod değiştirme geçişlerinin geri yüklenmesi, konuşmaya dayalı soru-cevap çiftleri, bağlamsal yanlılık terimleri ve otomatik kalite puanları içeren çeviriler oluşturuyor.

Veri hattı dört aşamada çalışıyor: meta verilerin ve sesin hazırlanması; halüsinasyon denetiminden geçen birincil ve yedek ASR modelleriyle transkripsiyon; uzlaşma denetimleriyle görev etiketlerinin oluşturulması; ve VoxPopuli derlemi için 354.000 saati 22 Avrupa dilinde 111.000 saate indiren yüksek doğruluk filtresi. Manifestolarda varlık ipuçları, talimat çiftleri, kaynak bilgileri ve her kayıt için kalite işaretleri yer alıyor. Kaynak ses, her derlemin özgün lisansı kapsamında ayrıca indiriliyor; veri hattı Ray ve NVIDIA Dynamo arka uçlarıyla çalışıyor.

Tıpta İnce Ayar Vaka Çalışması ve Dağıtım

Uyarlamayı göstermek için NVIDIA’nın duyurusu, Hintli doktorlar ve tıp öğrencilerinden alınan 3.619 kayıttan oluşan Eka Care’in açık kıyaslama veri kümesini kullanan bir tıp vaka incelemesini anlatıyor. İstemde İngilizce ve Latin alfabesinin belirtilmesi, tüm kıyaslama veri kümesindeki WER’yi %30,8’den %23,8’e düşürdü; ince ayar ise oranı %11,8’e indirdi. Eka Care’in KARMA işlem hattıyla değerlendirilen, eğitim dışında tutulan 2.764 klipte ince ayar WER’yi %22,44’ten %12,17’ye düşürerek göreli olarak %45,8’lik bir azalma sağladı; anahtar kelime WER’si %9,2’den %6,5’e, anlamsal WER ise %10,0’dan %7,6’ya gerilerken LibriSpeech test-clean WER’si %1,54’ten %1,69’a hafifçe yükseldi. Uyarlama sürecinde yaklaşık 153 saatlik sentetik konuşma, Common Voice’tan alınan 29 saatlik aksanlı İngilizce konuşma ve MultiMed’den alınan 63 saatlik tıbbi kayıt bir araya getirildi; süreç tek bir NVIDIA GB300 üzerinde yaklaşık 14 GPU-saat sürdü.

Model, Jetson AGX Thor ve DGX Spark’tan Blackwell veri merkezi sistemlerine kadar tek bir NVIDIA GPU üzerinde çalışıyor. NVIDIA’nın bildirdiğine göre, optimize edilmiş NIM uygulamasıyla tek bir RTX PRO 6000 Blackwell Server Edition GPU, DFlash2 spekülatif kod çözme ile NVFP4 hassasiyetini kullanarak saniyede 2.238 saniyeye kadar ses dökümü çıkarıyor. Duyuruda ayrıca modelin, yüksek eşzamanlılıkta 30 saniyelik kliplerde NVFP4 kullanarak 100 saatlik sesi üç dakikadan kısa sürede işlediği belirtiliyor; ancak model kartında bu sunum optimizasyonlarının henüz açık kaynaklı sürüme dahil edilmediği kaydediliyor. Sunum için NeMo Speech eklentisiyle vLLM 0.32.0 veya NeMo-Speech.cpp ile yerel çıkarım kullanılıyor. Ayrıca ince ayar aracısı becerisi, bir kodlama aracısının uyarlama iş akışını yürütmesini sağlarken ModelScope, ms-swift çerçevesi üzerinden ince ayarı destekliyor.