NVIDIA, Nemotron 3 Diarization Açık Ağırlıklı Konuşmacı Modelini Yayınladı

NVIDIA, 23 Eylül 2026 tarihinde Nemotron 3 Diarization’ı yayınladı; bu, canlı veya kaydedilmiş seslerde en fazla sekiz konuşmacıyı tanımlayan açık ağırlıklı konuşmacı diyarizasyon modelidir ve Baseten, aynı gün içinde toplu, akış ve diyarize-transkripsiyon ön ayarlarıyla, her biri tek bir RTX PRO 6000 GPU üzerinde çalışan hizmet desteği duyurdu.

Konuşmacı diyarizasyonu, bir ses akışını her farklı konuşmacının ne zaman konuştuğuna göre bölümlendirir, her ses için zamanlamaları çıktılar ve her dilime tutarlı bir etiket atar; transkripsiyonla eşleştirildiğinde, transkribe edilen kelimeleri söyleyen kişiye atar. Baseten’ın duyurusu Nemotron 3 Diarization’ı, genellikle kullanılan segmentasyon-artı-embedleme hattını ve ayarını tek bir geçişle değiştiren, açık, uçtan uca bir model olarak tanımlıyor ve konuşmacıları, konfigüre edilebilir bir aralıkla, en düşük 320 milisaniyede bir etiketliyor.

Mimari ve Gecikme Profilleri

NVIDIA’nın model kartına göre, model gerçek dünya seslerinde “kim ne zaman konuştu” sorusunu belirleyecek şekilde tasarlanmıştır, hem akış hem de çevrimdışı çıkarımı destekler ve ticari ya da ticari olmayan kullanım için hazırdır. 100 milyon parametreli, 31 katmanlı bir Transformer kodlayıcıdır ve Rotary Positional Embeddings içerir. Gelen 16 kHz tek kanallı ses, 10 milisaniyelik mel‑spektrogram çerçevelerine dönüştürülür, sekiz kat aşağı örneklenerek 80 milisaniyelik kodlayıcı çerçeve hızına indirilir ve kodlayıcının üzerindeki bir Conv1D katmanı tahminleri tekrar 10 milisaniyelik giriş çözünürlüğüne yükseltir. Model, şekli T,8 olan bir tensör olarak konuşmacı başına aktivite olasılıklarını çıktılar ve sekiz konuşmacı kanalı, ses içinde her konuşmacının ilk ortaya çıkışına göre sıralanır.

Akış için, model NVIDIA’nın Streaming Sortformer çalışmasında tanıtılan Arrival-Order Speaker Cache ve FIFO kuyruğunu kullanır: önbellek, önceki parçacıklardan gelen konuşmacı bilgilerini tutar, böylece ilk duyulan ses etiketini korur; kuyruk ise her işleme adımı için son çerçeve bağlamı sağlar. Tasarım, gömme veya kümeleme gerektirmez ve parçalı çıkarım ses süresi üzerinde sabit bir sınırlama getirmez.

Tek bir kontrol noktası, dört önerilen gecikme yapılandırmasına hizmet eder: 0.32, 0.64 ve 1.04 saniye, ayrıca çevrimdışı tarzda 30.4 saniyelik giriş tamponu. Kart, bu gecikmeyi giriş tamponu gecikmesi olarak tanımlar — parça uzunluğu artı sağ bağlam, 80 milisaniye ile çarpılır — ve bu değerin hesaplama süresini içermediğini belirtir. Kontrol noktası, 80 milisaniyeye kadar düşük bir tamponla çalışabilir, ancak 0.32 saniye en düşük önerilen yapılandırmadır ve çıkış çerçeve çözünürlüğü 10 milisaniyelik katlarda yapılandırılabilir.

Raporlanan Doğruluk ve Hız

NVIDIA’nın model kartı, diyarizasyon hata oranını, konuşmacı sayma doğruluğunu ve konuşmacı sayma ortalama mutlak hatasını şu referans modelle karşılaştırarak rapor eder: diar_streaming_sortformer_4spk-v2.1; çakışan konuşma dahil edilerek ve her ölçümde sıfır saniyelik bir tolerans aralığı (CALLHOME-Part2 hariç, bu ölçüm 0.25 saniyelik bir tolerans aralığı kullanır) uygulanarak. DIHARD III üzerinde, kart 30.4 saniyelik profil için %12.73 tam set hata oranı ve 0.32 saniyede %13.55 rapor eder; temel hat için ise %19.09 ve %19.85’dir. NOTSOFAR1 tek kanallı kayıtlarında çevrimdışı profil için %11.00, karşılaştırmalı olarak %30.49; AMI Test SDM’de %11.14 ve %21.42; AliMeeting Test Near’da %6.40 ve %11.57; ve CALLHOME-Part2’de %9.10 ve %10.32 rapor eder. Kart, AMI, AliMeeting ve NOTSOFAR1 puanlarının zorunlu hizalama referans etiketleriyle hesaplandığını ve farklı referans açıklamalarıyla puanlanan sonuçların doğrudan karşılaştırılamaz olduğunu belirtir.

Karttaki bir hız tablosu, gerçek zamanlı faktör hızlandırmasını rapor eder; bu, toplam ses süresinin toplam işleme süresine bölünmesiyle tanımlanır ve çevrimdışı profilde toplu iş boyutu bir olduğunda, RTX PRO 5000 üzerinde BF16 hassasiyetiyle ölçülen, eager yürütme modunda 1.340 ve derlenmiş modda 4.385 olarak bulunur. 0.32 saniyelik profil için ilgili değerler 12.5 ve 54’tür.

Baseten, çakışan konuşma dahil edilerek ve tolerans aralığı olmadan hata oranını da ölçen kendi değerlendirmesini yürüttü. Düşük gecikme profilinde AISHELL-4 üzerinde %9.8 hata oranı rapor eder; Streaming Sortformer v2.1 için %27.2’dir ve 30 saniyelik çevrimdışı profilden 0.32 saniyelik ultra düşük profile geçişin hata oranını yalnızca bir ila iki yüzde puan artırdığını belirtir. Baseten, modelin test ettiği her veri kümesinde, ultra düşük yapılandırmada bile Meta Muse Voice Transcribe’den daha iyi performans gösterdiğini ve yalnızca AMI’de pyannote community-1’e yenildiğini rapor eder.

Eğitim Verileri ve Lisanslama

Model kartı, yaklaşık 10.000 saatlik gerçek konuşmaları (Fisher English, AMI ve ICSI toplantı korpusları, VoxConverse, AISHELL-4, AliMeeting, üçüncü DIHARD yarışması, CALLHOME, NOTSOFAR1, DISPLACE setleri, lisanslı David AI kayıtları ve psödo etiketlerle işaretlenmiş YODAS-v2 alt kümesi dahil) ve yaklaşık 28.000 saatlik tek konuşmacı kayıtlarından, FastMSS araç takımıyla simüle edilen 82.611 saatlik çok konuşmacılı karışımları listeler. Eğitim, NEST özdenetimli kontrol noktasından başlatıldı ve iki aşamada, her biri sekiz A100-80GB GPU içeren sekiz düğümde çalıştırıldı: simüle edilmiş veriler üzerinde çevrimdışı eğitim, ardından gerçek ve simüle seslerin bir kombinasyonu üzerinde akış ince ayarı. Modelin kullanımı, OpenMDW Lisans Anlaşması, sürüm 1.1 tarafından düzenlenir.

Baseten Sunum Ön Ayarları ve Kapasite

Baseten, modelini üç ön ayar aracılığıyla sunuyor; her biri NVIDIA’nın NeMo akış döngüsü etrafında inşa edilmiş bir CUDA-graph motoru üzerinde bir RTX PRO 6000’de çalışıyor, Model Library listesine göre, bu da modeli Streaming Sortformer v2.1’in halefi olarak tanımlıyor. Batch Diarization ön ayarı, kaydedilmiş ses için bir HTTP uç noktasıdır ve konuşmacıların söz aldığı bölümleri istek başına gecikme profiliyle döndürür. Streaming Diarization, bir konuşma sırasında konuşmacı kimliğini yeniden kümeleme yapmadan taşıyan canlı ses için bir WebSocket uç noktasını sağlar. Streaming Diarized Transcription, diyarizasyon modelini NVIDIA’nın Parakeet V2 konuşma tanıma modeliyle, 600 milyon parametreli bir sistemle eşleştirir ve zaman damgaları, konuşmacı bazlı kısımları ve çakışma bayraklarıyla birlikte konuşmacı etiketli kelimeleri döndürür. Baseten, bu ön ayarın konuşmacı aktivite vektörlerini doğrudan Parakeet’in ilk kodlayıcı katmanlarına beslediğini, böylece çakışan konuşmanın tek bir geçişte transkribe edildiğini, konuşmacı etiketlerinin varışta kesinleştiğini ve onaylanan kelimelerin asla revize edilmediğini belirtiyor.

Baseten, bir RTX PRO 6000’nin 1,04 saniyelik profilde 500’den fazla eşzamanlı bir saatlik diyarizasyon akışını, 0,32 saniyelik profilde 200 akışı ve transkripsiyon eklendiğinde her biri bir saat süren 190 akışı sürdürebildiğini, batch ön ayarının ise dakikada 200 altı dakikalık ses dosyasını işlediğini rapor ediyor. Aynı dosyalar ve donanım kullanılarak, Baseten, optimize edilmiş ön ayarının test ettiği NVIDIA referans kurulumuna göre yaklaşık 1,35 kat daha yüksek batch verimliliği sağladığını, k6 tarafından oluşturulan yük altında, boş bir replika üzerinde tek akış kontrolüyle küme içinde rapor ediyor.

Baseten ayrıca, modelin 10 milisaniyelik artışlarla izlenen konuşmacı başına aktivite sinyalinin ses aktivitesi tespiti, belirli bir konuşmacının sözünün bittiğini tespit etmeyi, konuşma sırası geçişlerini ve araya girmeleri yönetmeyi yönlendirebileceğini, ultra düşük gecikme ayarlarında yaklaşık 300 milisaniyede yanıt verdiğini belirtiyor.

Nemotron 3 Diarization, nvidia/Nemotron-3-Diarization deposu altında Hugging Face’de ve Baseten’in Model Library’sinde, NeMo Framework v3.0 entegrasyonu ve NVIDIA Ampere, Ada Lovelace, Hopper ve Blackwell GPU’ları desteğiyle mevcuttur.