NVIDIA julkaisee avoimilla painoilla toimivan puhemallin ja 463 062 tunnin ääniaineiston

NVIDIA julkaisi 28. lokakuuta 2026 Nemotron 3.5 Transcribe -puhemallin, jonka painot ovat avoimesti saatavilla. Malli yhdistää monikielisen litteroinnin, puhujien tunnistamisen, kääntämisen ja ääntä koskeviin kysymyksiin vastaamisen yhteen tarkistuspisteeseen. Samalla julkaistiin Granary v2, avoin puheaineisto ja sen kuratointiputki, jonka julkinen luettelo kattaa 463 062 tuntia aineistoa 48 kielellä.

Malli litteroi puhetta 40 kielellä, kääntää niistä 31 kieltä englanniksi tai englannista ja tunnistaa puhujat 13 kielellä NVIDIA:n Hugging Face -ilmoituksen mukaan. Se käsittelee enintään tunnin mittaisia tallenteita ja merkitsee niistä enintään kahdeksan puhujaa. Mallikortissa julkaisupäiväksi ilmoitetaan 28. lokakuuta 2026, ja malli on saatavilla Hugging Facessa, GitHubissa NVIDIA NeMo Speechin kautta, NGC:ssä ja Build.Nvidia.comissa. Painot julkaistaan OpenMDW-1.1-lisenssillä, ja mallia voi käyttää kaupallisesti tai ei-kaupallisesti. Baseten, DeepInfra ja Simplismart tarjoavat isännöityjä rajapintoja, ja vuorovaikutteinen demo on saatavilla Hugging Face Spacesissa ja ModelScope Studiosissa.

Arkkitehtuuri ja kehotteiden käyttö

Transcribe yhdistää puheenkoodaimen ja kielimallin yhteen 34 miljardin parametrin tarkistuspisteeseen. Sen noin 4,3 miljardia parametria aktivoituu kutakin tokenia kohden, ja konteksti-ikkunan koko on 65 536 tokenia. Puheenkäsittelyosa koostuu 600 miljoonan parametrin Transformer-ASR-koodaimesta, noin 99 miljoonan parametrin Nemotron-3-Diarization-puhujakoodaimesta ja CTC-luokittelupäästä, joka tuottaa sanakohtaiset aikaleimat. Kielimallina toimii NVIDIA:n Nemotron-3.5 Lightning 30B-A3B, Mamba-2- ja Transformer-arkkitehtuureja yhdistävä asiantuntijaseosmalli. Painot toimitetaan BF16-muodossa, ja saatavilla on myös FP8- ja NVFP4-kvantisointiversiot sekä valinnainen DFlash2-luonnosmalli spekulatiiviseen dekoodaukseen.

Tulostetta ohjataan luonnollisen kielen kehotteilla: kehittäjät voivat pyytää sanatarkkaa tai sujuvaksi muokattua litterointia, antaa kontekstisanastoa, kuten tuote- tai lääketieteellisiä termejä, pyytää puhujatunnisteita ja sanakohtaisia aikaleimoja, kääntää puhetta englanniksi tai englannista tai esittää ääntä koskevia kysymyksiä. Ääntä koskeviin kysymyksiin vastaamista on opetettu englanniksi, ja mallikortin kielimatriisissa kunkin 40 kielen tulokset arvioidaan tehtäväkohtaisesti tasoilla Johtava–Tuettu. Siinä todetaan myös, että äänen ymmärtämistä ja puhuttujen ohjeiden noudattamista arvioitiin vain englanniksi. Mallikortissa korostetaan, että Transcribe on offline-malli: äänen sisäinen paloittelu ei tee siitä reaaliaikaista suoratoistopalvelua.

Koulutuksessa käytettiin noin 1,72 miljoonaa yksilöllistä, indeksoitua äänituntia noin 372 miljoonassa esimerkissä sekä 5,6 miljardia yksilöllistä teksttokenia. Aineisto koostui Granary v2:sta, usean puhujan kokousaineistoista, äänen ymmärtämiseen liittyvistä aineistoista ja synteettisestä puheesta, jossa henkilötiedot oli huomioitu. Osa koulutusaineistosta oli lisensoitu David AI:ltä; mallikortin mukaan David AI:n DAI-ASR-I18N-arviointiaineistoa ei käytetty koulutuksessa.

NVIDIA:n raportoimat vertailutulokset

NVIDIA kertoo, että Transcribe sijoittuu avoimilla painoilla julkaistujen mallien joukossa ensimmäiseksi Hugging Facen Open ASR English -tulostaulukossa 5,33 prosentin keskimääräisellä sanavirheprosentilla, kun API-mallit jätetään pois. Se saavuttaa mallikortin vertailussa myös parhaan monikielisen tuloksen, 4,62 prosentin keskimääräisen WER-arvon seitsemällä kielellä, sekä parhaan pitkän puheen tuloksen, 10,98 prosenttia, avoimilla painoilla julkaistujen mallien joukossa. Mallikortin omissa, 12. lokakuuta 2026 tallennetuissa taulukoissa yhdeksän englanninkielisen aineiston keskimääräinen WER on 4,71 prosenttia. Qwen3-ASR-1.7B, seuraavaksi paras avoimilla painoilla julkaistu malli, saa tulokseksi 4,94 prosenttia. Usean puhujan aineiston keskimääräinen cpWER on 15,80, kun DiCoW v3.3:n ja DiariZenin yhdistelmän tulos on 16,83.

NVIDIA:n mukaan Transcribe jakaa avoimilla painoilla julkaistujen mallien ensimmäisen sijan Artificial Analysisin puheesta tekstiksi -vertailussa 2,8 prosentin AA-WER-arvolla aktivoiden noin 4 miljardia parametria tokenia kohden. Malli, jonka kanssa se jakaa sijoituksen, aktivoi 24 miljardia parametria tokenia kohden. Puhujien tunnistamisessa ilmoituksen mukaan Transcriben diarisaatiovirheprosentti on pienin David AI:n 21 kielen DAI-ASR-I18N-diarisaatiotestissä, johon osallistuu 14 järjestelmää: tulos on 18,26 prosenttia, hieman parempi kuin NVIDIA:n oman Nemotron 3 Diarizationin 18,38 prosenttia. VoiceArenan englanninkielisessä Diarization-Bench-testissä se sijoittuu 14 järjestelmän joukossa ensimmäiseksi 32,4 prosentin cpWER-arvolla. Poistoja on 8,32 prosenttia vertailutekstin sanoista, kun mediaani on noin 31 prosenttia.

Granary V2 -aineisto ja käsittelyputki

Mallin kanssa julkaistu Granary v2 on sen koulutuksen taustalla oleva avoimen datan hanke. Sen julkinen luettelo kattaa 463 062 tuntia aineistoa 48 kielellä ja 16 lähdeaineistosta; Granary v1:ssä kieliä oli 25. NVIDIA huomauttaa, että nämä luvut kuvaavat julkaistua aineistoa eivätkä Transcriben koko koulutusaineistokokonaisuutta. NVIDIA NeMo Curatorilla rakennettu putki tuottaa kustakin tallenteesta kolme litterointimuotoa: sanatarkan tekstin normalisoinnilla, käänteisesti tekstinormalisoidun version täytesanoineen ja käänteisesti tekstinormalisoidun version ilman täytesanoja. Lisäksi se tuottaa kuvailutekstejä, palauttaa kielenvaihtelua, muodostaa puheeseen perustuvia kysymys–vastauspareja ja kontekstuaalisia painotustermejä sekä tuottaa käännöksiä automaattisilla laatupisteillä.

Putki toimii neljässä vaiheessa: ensin valmistellaan metatiedot ja ääni; sitten puhe litteroidaan ensisijaisilla ja varamalleilla, joiden tulokset tarkistetaan hallusinointitarkistuksella; kolmannessa vaiheessa luodaan tehtäväkohtaiset tunnisteet ja tarkistetaan niiden yhdenmukaisuus; lopuksi korkealaatuisuussuodatin pienensi VoxPopuli-aineiston 354 000 tunnista 111 000 tuntiin 22 eurooppalaisella kielellä. Luettelot sisältävät entiteettivihjeitä, ohje–vastauspareja, alkuperätiedot ja tallennekohtaiset laatumerkinnät. Lähdeääni ladataan erikseen kunkin aineiston alkuperäisen lisenssin mukaisesti, ja putki toimii Ray- ja NVIDIA Dynamo -taustajärjestelmillä.

Lääketieteellinen hienosäätötapaustutkimus ja käyttöönotto

Sopeutumisen havainnollistamiseksi NVIDIAn tiedotteessa kuvataan lääketieteellinen tapaustutkimus, joka perustuu Eka Caren avoimeen vertailuaineistoon. Se sisältää 3 619 intialaislääkärien ja lääketieteen opiskelijoiden tekemää tallennetta. Kun kehotteessa mainittiin englanti ja latinalaiset aakkoset, koko vertailuaineiston WER-arvo laski 30,8 prosentista 23,8 prosenttiin, ja hienosäätö pienensi sen edelleen 11,8 prosenttiin. Eka Caren KARMA-putkella pisteytetyissä 2 764 erillisessä testileikkeessä hienosäätö pienensi WER-arvon 22,44 prosentista 12,17 prosenttiin eli suhteellisesti 45,8 prosenttia. Avainsanojen WER-arvo laski 9,2 prosentista 6,5 prosenttiin ja semanttinen WER-arvo 10,0 prosentista 7,6 prosenttiin, kun taas LibriSpeechin test-clean-aineiston WER-arvo nousi hieman, 1,54 prosentista 1,69 prosenttiin. Sopeutuksessa yhdistettiin noin 153 tuntia synteettistä puhetta, 29 tuntia aksentillista englantia Common Voicesta ja 63 tuntia lääketieteellisiä tallenteita MultiMedistä. Se vei yhdellä NVIDIA GB300 -näytönohjaimella noin 14 GPU-tuntia.

Malli toimii yhdellä NVIDIA-näytönohjaimella Jetson AGX Thorista ja DGX Sparkista Blackwellin datakeskusjärjestelmiin. NVIDIAn mukaan optimoidulla NIM-toteutuksella yksi RTX PRO 6000 Blackwell Server Edition -näytönohjain litteroi jopa 2 238 sekuntia ääntä sekunnissa, kun käytössä ovat NVFP4-tarkkuus ja DFlash2-spekulatiivinen dekoodaus. Tiedotteessa kerrotaan myös, että malli käsittelee 100 tuntia ääntä alle kolmessa minuutissa NVFP4-tarkkuudella, kun äänileikkeet ovat 30 sekunnin mittaisia ja rinnakkaisuusaste korkea. Mallikortin mukaan nämä päättelypalvelun optimoinnit eivät vielä sisälly avoimen lähdekoodin julkaisuun. Päättelypalvelussa käytetään vLLM 0.32.0:aa NeMo Speech -laajennuksen kanssa tai paikallista päättelyä NeMo-Speech.cpp:llä. Hienosäätöön tarkoitettu agenttitaito mahdollistaa sen, että koodausagentti voi suorittaa sopeutuksen työnkulun. ModelScope puolestaan tukee hienosäätöä ms-swift-kehyksensä kautta.