NVIDIA udgiver Nemotron 3 Diarization Open-Weight talermodel

NVIDIA udgav den 23. september 2026 Nemotron 3 Diarization, en open-weight talediariseringsmodel, der kan identificere op til otte talere i live- eller optaget lyd, og Baseten annoncerede samme-dags serveringssupport med batch-, streaming- og diariseret-transskriptions‑presets, som hver kører på én RTX PRO 6000 GPU.

Talediarisering segmenterer en lydstrøm efter, hvornår hver særskilt taler taler, udgiver tidsstempler for hver stemme og tildeler hvert interval en ensartet label; i kombination med transskription tilskrives de transskriberede ord den person, der sagde dem. Basetens meddelelse beskriver Nemotron 3 Diarization som en åben, end‑to‑end model, der erstatter den sædvanlige segmentering‑plus‑embedding‑pipeline og dens finjustering med et enkelt gennemløb, som mærker talere med et konfigurerbart interval så lavt som hver 320 millisekunder.

Arkitektur og latenstidsprofiler

Ifølge NVIDIAs modelkort er modellen designet til at bestemme “hvem talte hvornår” i lyd fra den virkelige verden, understøtter både streaming‑ og offline‑inference og er klar til kommerciel eller ikke‑kommerciel brug. Den er en Transformer-encoder med 100 millioner parametre, 31 lag og roterende positionsindlejringer. Indkommende 16 kHz enkelt‑kanal lyd konverteres til 10‑millisekunders mel-spektrogramrammer, nedprøves med en faktor på otte til en 80‑millisekunders encoder‑rammehastighed, og et Conv1D‑lag over encoder’en opskalerer forudsigelserne tilbage til 10‑millisekunders input‑opløsning. Modellen udgiver en tensor af per‑taler aktivitets‑sandsynligheder med formen T, 8, og dens otte talerkanaler er ordnet efter hver talers første ankomst i lyden.

Til streaming bruger modellen Arrival-Order Speaker Cache og FIFO‑køen, som blev introduceret i NVIDIAs Streaming Sortformer‑arbejde: cachen bevarer talerinformation fra tidligere segmenter, så den første hørte stemme beholder sin label, mens køen giver nylig ramme‑kontekst for hvert behandlings‑trin. Designet kræver ingen indlejringer eller klyngedannelse, og segmenteret inference sætter ingen fast grænse for lydens varighed.

Et enkelt checkpoint betjener fire anbefalede latenstidskonfigurationer: 0.32, 0.64 og 1.04 sekunder, samt en offline‑stil 30.4‑sekunders input‑buffer. Kortet definerer denne latenstid som input‑buffer‑latenstid — segmentlængde plus højre kontekst, multipliceret med 80 millisekunder — og bemærker, at tallet ekskluderer beregningstid. Checkpoint’et kan køre med en buffer så lav som 80 millisekunder, selvom 0.32 sekunder er den laveste anbefalede konfiguration, og output‑ramme‑opløsning er konfigurerbar i multipla af 10 millisekunder.

Rapporteret nøjagtighed og hastighed

NVIDIAs modelkort rapporterer diariseringsfejlrate, taleroptællingsnøjagtighed og den gennemsnitlige absolutte fejl i taleroptællingen i forhold til diar_streaming_sortformer_4spk-v2.1 baseline, med overlappende tale inkluderet og en nul‑sekunds margin på hver benchmark undtagen CALLHOME-Part2, som bruger en 0.25‑sekunds margin. På DIHARD III rapporterer kortet en fejlrate for hele datasættet på 12.73 ved 30.4‑sekunds profilen og 13.55 ved 0.32 sekunder, versus 19.09 og 19.85 for baselinen. På NOTSOFAR1 enkelt‑kanal optagelser rapporterer det 11.00 versus 30.49 ved offline‑profilen; på AMI Test SDM, 11.14 versus 21.42; på AliMeeting Test Near, 6.40 versus 11.57; og på CALLHOME-Part2, 9.10 versus 10.32. Kortet angiver, at dets AMI, AliMeeting og NOTSOFAR1 scores blev beregnet med referenceetiketter baseret på tvungen tidsjustering og at resultater scoret mod forskellige reference‑annotationer ikke er direkte sammenlignelige.

En hastighedstabel i kortet rapporterer hastighedsforøgelse i forhold til realtid, defineret som total lydvarighed divideret med total behandlingstid, på 1.340 i eager‑tilstand og 4.385 kompileret ved batch‑størrelse én på offline‑profilen, målt på en RTX PRO 5000 med BF16‑præcision. Ved 0.32‑sekunds profilen er de tilsvarende tal 12.5 og 54.

Baseten gennemførte sin egen evaluering, som også målte fejlrate med overlappende tale inkluderet og uden margin. Den rapporterer en fejlrate på 9.8 % på AISHELL-4 ved profilen med lav latenstid mod 27.2 % for Streaming Sortformer v2.1, og siger at overgangen fra offlineprofilen på 30 sekunder til profilen på 0.32 sekunder med ultralav latenstid kun øger fejlraten med ét til to procentpoint. Baseten rapporterer, at modellen overgik Meta Muse Voice Transcribe på alle datasæt, den testede, selv i konfigurationen med ultralav latenstid, og kun tabte til pyannote community-1 på AMI.

Træningsdata og licensering

Modelkortet angiver ca. 10.000 timers reelle samtaler (inklusive Fisher English, AMI‑ og ICSI‑mødekorpora, VoxConverse, AISHELL‑4, AliMeeting, den tredje DIHARD‑udfordring, CALLHOME, NOTSOFAR1, DISPLACE‑sættene, licenserede David AI‑optagelser og et pseudo‑mærket YODAS‑v2‑undersæt) sammen med 82.611 timers multi‑taler blandinger simuleret med FastMSS‑værktøjssættet fra omkring 28.000 timers enkelt‑taler optagelser. Træningen startede fra et NEST selv‑superviseret checkpoint og kørte på otte noder, hver med otte A100‑80GB GPU’er i to faser: offline‑træning på simulerede data, efterfulgt af streaming‑finjustering på en kombination af reelle og simulerede lydoptagelser. Brug af modellen er reguleret af OpenMDW License Agreement, version 1.1.

Basetens forudindstillinger til modeldrift og kapacitet

Baseten eksponerer modellen gennem tre forudindstillinger, hver kørende på en RTX PRO 6000 bag en CUDA-graph-motor bygget omkring NVIDIAs NeMo streaming-loop, ifølge dens Model Library-oversigt, som også beskriver modellen som efterfølgeren til Streaming Sortformer v2.1. Batch Diarization-forudindstillingen er et HTTP-endpoint for optaget lyd, der returnerer taleture med en latenstidsprofil for hver anmodning. Streaming Diarization er et WebSocket-endpoint for live-lyd, der overfører taleridentitet gennem en samtale uden gen‑klustering. Streaming Diarized Transcription kombinerer diarizeren med NVIDIAs Parakeet V2 talegenkendelsesmodel, et system med 600 millioner parametre, og returnerer taler‑mærkede ord med tidsstempler, per‑taler delvise resultater og markeringer af overlappende tale. Baseten siger, at denne forudindstilling fodrer per‑taler aktivitetsvektorer direkte ind i Parakeets indledende encoder‑lag, så overlappende tale transskriberes i ét gennemløb, med endelige talermærkater ved ankomst og bekræftede ord, som aldrig revideres.

Baseten rapporterer, at en RTX PRO 6000 kan opretholde mere end 500 samtidige timelange diariseringsstrømme ved 1,04‑sekunders profilen, 200 strømme ved 0,32‑sekunders profilen og 190 timelange strømme, når transskription tilføjes, mens batch‑forudindstillingen behandler 200 seks‑minutters lydfiler per minut. Ved brug af identiske filer og hardware rapporterer Baseten, at deres optimerede forudindstilling leverede et batchgennemløb på cirka 1,35 gange gennemløbet i den NVIDIA-referenceopsætning, de testede, under k6‑genereret belastning i klyngen med en kontrol med én strøm på en inaktiv replika.

Baseten siger også, at modellens per‑taler aktivitetssignal, sporet i 10‑millisekunders intervaller, kan drive registrering af stemmeaktivitet, talerspecifik registrering af slutningen på en taletur samt håndtering af skift mellem talere og afbrydelser, og responderer på cirka 300 millisekunder i indstillinger med ultralav latenstid.

Nemotron 3 Diarization er tilgængelig på Hugging Face i repositoriet nvidia/Nemotron-3-Diarization og i Basetens Model Library, med NeMo Framework v3.0-integration og understøttelse af NVIDIA Ampere, Ada Lovelace, Hopper og Blackwell GPU’er.