NVIDIA julkaisee Nemotron 3 Diarization -puhujadiarisaatiomallin avoimin painoin

NVIDIA julkaisi 23. syyskuuta 2026 Nemotron 3 Diarization -mallin, avoimin painoin julkaistun puhujadiarisaatiomallin, joka tunnistaa enintään kahdeksan puhujaa live- tai tallennetussa äänessä, ja Baseten ilmoitti samana päivänä tarjoavansa mallia palveluna erä-, suoratoisto- ja diarisoitu transkriptio -esiasetuksilla, joista kukin toimii yhdellä RTX PRO 6000 GPU:lla.

Puhujan diarisaatio jakaa äänivirran sen mukaan, milloin kukin erillinen puhuja puhuu, tuottaa aikaleimat jokaiselle äänelle ja antaa jokaiselle jaksolle yhtenäisen tunnisteen; yhdessä transkription kanssa se liittää transkriboidut sanat siihen henkilöön, joka ne sanoi. Basetenin ilmoitus kuvaa Nemotron 3 Diarization -mallin avoimeksi, end-to-end -malliksi, joka korvaa tavanomaisen segmentointi‑plus‑upotusputken ja sen hienosäädön yhdellä läpikäynnillä, merkitsemällä puhujat säädettävällä aikavälillä, joka voi olla niinkin lyhyt kuin 320 millisekuntia.

Arkkitehtuuri ja latenssiprofiilit

NVIDIAn mallikortin mukaan malli on suunniteltu määrittämään kuka puhui milloin todellisessa äänessä, tukee sekä suoratoisto- että offline-inferenssiä, ja on valmis kaupalliseen tai ei‑kaupalliseen käyttöön. Se on 100 miljoonaa parametria sisältävä, 31‑kerroksinen Transformer‑enkooderi, jossa on Rotary Positional Embeddings. Saapuva 16 kHz yksikanavainen ääni muunnetaan 10 millisekunnin mel‑spectrogrammi‑kehyksiksi, jotka alennetaan kahdeksankertaisesti 80 millisekunnin enkooderikehysnopeudeksi, ja enkooderin yläpuolella oleva Conv1D‑kerros kasvattaa ennusteiden näytteenottotaajuuden takaisin 10 millisekunnin syöteresoluutioon. Malli tuottaa tensorin, jossa on puhujakohtaiset puheaktiivisuuden todennäköisyydet, muotoa T × 8, ja sen kahdeksan puhuja‑kanavaa on järjestetty kunkin puhujan ensimmäisen ilmestymisen mukaan äänitiedostossa.

Suoratoistossa malli käyttää Arrival-Order Speaker Cache -välimuistia ja FIFO‑jonoa, jotka esiteltiin NVIDIAn Streaming Sortformer -tutkimuksessa: välimuisti säilyttää puhujan tiedot aikaisemmista paloista, jolloin ensimmäinen kuultu ääni säilyttää tunnisteensa, kun taas jono tarjoaa viimeaikaisen kehyksen kontekstin jokaiselle käsittelyvaiheelle. Suunnittelu ei vaadi upotuksia tai ryhmittelyä, ja paloitetussa inferenssissä ei ole kiinteää rajoitusta äänikeston pituudelle.

Yksi tarkistuspiste palvelee neljää suositeltua latenssikonfiguraatiota: 0,32 s, 0,64 s ja 1,04 s, sekä offline‑tyylistä 30,4 s:n syötepuskuria. Kortti määrittelee tämän latenssin syötepuskuri‑latenssiksi — paloituksen pituus plus oikeanpuoleinen konteksti, kerrottuna 80 millisekunnilla — ja huomauttaa, että luku ei sisällä laskennallista käsittelyaikaa. Tarkistuspiste voi toimia puskurilla, jonka koko on vain 80 millisekuntia, vaikka 0,32 s on alhaisin suositeltu konfiguraatio, ja lähtökehyksen resoluutio on säädettävissä 10 millisekunnin moninkertoina.

Ilmoitettu tarkkuus ja nopeus

NVIDIAn mallikortti raportoi diarisaation virheasteen, puhujien lukumäärän arvioinnin tarkkuuden ja puhujien lukumäärän arvioinnin keskimääräisen absoluuttisen virheen verrattuna diar_streaming_sortformer_4spk-v2.1 perusvertailuun, sisältäen päällekkäisen puheen ja nollan sekunnin ajallisen toleranssin (collar) jokaisessa vertailussa paitsi CALLHOME-Part2:ssa, jossa käytetään 0,25 s:n ajallista toleranssia. DIHARD III:ssä kortti raportoi koko aineiston virheasteiksi 12,73 30,4 s‑profiilissa ja 13,55 0,32 s‑profiilissa, verrattuna perusvertailun 19,09 ja 19,85 arvoihin. NOTSOFAR1:n yksikanavaisissa tallenteissa se raportoi 11,00 versus 30,49 offline‑profiilissa; AMI Test SDM:ssä 11,14 versus 21,42; AliMeeting Test Near:ssa 6,40 versus 11,57; ja CALLHOME-Part2:ssa 9,10 versus 10,32. Kortti toteaa, että sen AMI-, AliMeeting- ja NOTSOFAR1‑tulokset laskettiin pakotetun kohdistuksen referenssimerkintöjen avulla, eivätkä eri referenssianotaatioilla arvioidut tulokset ole suoraan verrattavissa.

Kortin nopeustaulukko raportoi reaaliaikakerroinnopeutuksen, joka määritellään kokonaisäänen keston ja kokonaiskäsittelyajan suhteena, arvoksi 1 340 eager-tilassa ja 4 385 käännetyssä tilassa eräkoolla yksi offline‑profiilissa, mitattuna RTX PRO 5000:lla BF16‑tarkkuudella. 0,32 s‑profiilissa vastaavat luvut ovat 12,5 ja 54.

Baseten suoritti oman arviointinsa, jossa myös mitattiin virheastetta päällekkäisellä puheella ja ilman ajallista toleranssia (collar). Se raportoi 9,8 % virheastetta AISHELL-4:ssä alhaisen latenssiprofiilin aikana verrattuna 27,2 %:iin Streaming Sortformer v2.1:ssä, ja toteaa, että siirtyminen 30 s offline‑profiilista 0,32 s ultra‑alhaiseen profiiliin nostaa virheastetta vain yhdellä–kahdella prosenttiyksiköllä. Baseten raportoi mallin ylittävän Meta Muse Voice Transcribe:n kaikilla testatuilla tietoaineistoilla, jopa ultra‑alhaisessa konfiguraatiossa, ja häviävän vain pyannote community-1:lle AMI:ssa.

Koulutusdata ja lisensointi

Mallikortti luettelee noin 10 000 tuntia todellisia keskusteluja (mukaan lukien Fisher English, AMI- ja ICSI‑kokouskorpukset, VoxConverse, AISHELL-4, AliMeeting, kolmas DIHARD‑haaste, CALLHOME, NOTSOFAR1, DISPLACE‑sarjat, lisensoidut David AI -tallenteet ja pseudo‑merkitty YODAS-v2‑alijoukko) yhdessä 82 611 tunnin usean puhujan äänisekoitusten kanssa, jotka on simuloitu FastMSS‑työkalupaketilla noin 28 000 tunnin yhden puhujan tallenteiden perusteella. Koulutus aloitettiin NEST‑itsesupervisoidusta tarkistuspisteestä ja suoritettiin kahdeksalla solmulla, joilla kullakin oli kahdeksan A100-80GB‑GPU:ta kahdessa vaiheessa: offline‑koulutus simuloidulla datalla, jonka jälkeen suoratoiston hienosäätö tehtiin todellisen ja simuloidun äänen yhdistelmällä. Mallin käyttöä ohjaa OpenMDW‑lisenssisopimus, versio 1.1.

Baseten‑palvelun esiasetukset ja kapasiteetti

Baseten tarjoaa mallin kolmessa esiasetuksessa, joista kukin toimii yhdellä RTX PRO 6000:lla CUDA-graafimoottorin takana, joka on rakennettu NVIDIA:n NeMo‑suoratoisto‑silmukan ympärille, sen Mallikirjaston luettelossa kerrottujen tietojen mukaan, jossa malli kuvataan Streaming Sortformer v2.1:n seuraajaksi. Batch‑Diarization‑esiasetus on HTTP‑päätepiste tallennetulle äänelle, joka palauttaa puheenvuorot pyyntökohtaisella viiveprofiililla. Streaming Diarization on WebSocket‑päätepiste live‑äänelle, joka säilyttää puhujan identiteetin koko keskustelun ajan ilman uudelleenklusterointia. Streaming Diarized Transcription yhdistää diarisaattorin NVIDIA:n Parakeet V2 -puheentunnistusmalliin, 600 miljoonan parametrin järjestelmään, ja palauttaa puhujatunnisteilla merkityt sanat aikaleimoilla, puhujakohtaiset osittaiset transkriptiot sekä päällekkäisyysliput. Baseten kertoo, että tämä esiasetus syöttää puhujakohtaiset puheaktiivisuusvektorit suoraan Parakeetin alku‑enkoodauskerroksiin, jolloin päällekkäistä puhetta transkriboidaan yhdellä läpikäynnillä, puhujatunnisteet ovat lopullisia heti niiden saapuessa eikä lopullisiksi vahvistettuja sanoja koskaan muuteta.

Baseten raportoi, että yksi RTX PRO 6000 pystyy ylläpitämään yli 500 samanaikaista tunnin mittaista diarisaatiovirtaa 1,04 sekunnin profiililla, 200 virtaa 0,32 sekunnin profiililla ja 190 tunnin mittaista virtaa, kun transkriptio lisätään, kun taas erä‑esiasetus käsittelee 200 kuusiminuuttista äänitiedostoa minuutissa. Käyttäen identtisiä tiedostoja ja laitteistoa, Baseten ilmoitti, että sen optimoitu esiasetus tuotti noin 1,35-kertaisen eräkäsittelyn läpäisykyvyn verrattuna NVIDIA:n referenssiasetelmaan, jonka se testasi k6‑luodulla kuormituksella klusterissa yhden virran vertailuajolla kuormittamattomassa replikassa.

Baseten sanoo myös, että mallin puhujakohtainen puheaktiivisuussignaali, jota seurataan 10 millisekunnin välein, voi ohjata puheaktiivisuuden havaitsemista, puhujakohtaista vuoron päättymisen tunnistusta sekä vuoronvaihdon ja keskeytysten käsittelyä, vastaten noin 300 millisekunnissa ultra‑alhaisen latenssin asetuksilla.

Nemotron 3 Diarization on saatavilla Hugging Facessa repositoriona nvidia/Nemotron-3-Diarization ja Basetenin Mallikirjastossa, NeMo‑Framework v3.0 -integraatiolla ja tuella NVIDIA:n Ampere-, Ada Lovelace-, Hopper- ja Blackwell‑GPU:ille.