NVIDIA lanserar talmodell med öppna vikter och ljuddatauppsättning på 463 062 timmar

NVIDIA släppte Nemotron 3.5 Transcribe den 28 oktober 2026, en talmodell med öppna vikter som kombinerar flerspråkig transkribering, talarattribution, översättning och ljudfrågor i en enda kontrollpunkt. Samtidigt släpptes Granary v2, en öppen ljuddatauppsättning och kurateringspipeline vars offentliga manifest omfattar 463 062 timmar på 48 språk.

Modellen transkriberar 40 språk, översätter 31 av dem till eller från engelska och attribuerar talare på 13 språk, enligt NVIDIAs tillkännagivande på Hugging Face. Den hanterar inspelningar på upp till en timme och märker upp till åtta talare. På modellkortet anges lanseringsdatumet 28 oktober 2026 för Hugging Face, GitHub via NVIDIA NeMo Speech, NGC och Build.Nvidia.com. Vikterna släpps under licensen OpenMDW-1.1, och modellen är klar att användas kommersiellt eller icke-kommersiellt. Värdbaserade slutpunkter erbjuds av Baseten, DeepInfra och Simplismart, och en interaktiv demonstration finns på Hugging Face Spaces och ModelScope Studios.

Arkitektur och promptning

Transcribe kombinerar en talkodare med en språkmodell i en enda kontrollpunkt med 34 miljarder parametrar, varav cirka 4,3 miljarder är aktiva per token, och har ett kontextfönster på 65 536 token. Talmodellen består av en Transformer-baserad ASR-kodare med 600 miljoner parametrar, talarkodaren Nemotron-3-Diarization med omkring 99 miljoner parametrar samt ett huvud för connectionist temporal classification för tidsstämplar på ordnivå. Språkmodellen är NVIDIAs Nemotron-3.5 Lightning 30B-A3B, en hybridmodell med Mamba-2, Transformer och en blandning av experter. Vikterna levereras i BF16, med kvantiserade varianter i FP8 och NVFP4 samt en valfri DFlash2-utkastmodell för spekulativ avkodning.

Utdata styrs med prompter på naturligt språk: utvecklare kan begära ordagranna eller språkligt bearbetade transkriptioner, ange kontextordförråd som produktnamn eller medicinska termer, be om talarmärkning och tidsstämplar på ordnivå, översätta tal till eller från engelska eller ställa frågor om ljudet. Modellen har tränats för ljudfrågor på engelska, och språkmatrisen på modellkortet betygsätter varje uppgift på vart och ett av de 40 språken med kvalitetsnivåer från Ledande till Stöds. Där anges också att ljudförståelse och förmågan att följa talade instruktioner endast utvärderades på engelska. På modellkortet betonas att Transcribe är en offlinemodell: intern uppdelning av ljud i segment gör den inte till en realtidstjänst för strömning.

Träningen använde cirka 1,72 miljoner unika indexerade ljudtimmar i omkring 372 miljoner exempel, samt 5,6 miljarder unika texttoken. Underlaget hämtades från Granary v2, mötesdata med flera talare, data för ljudförståelse och syntetiskt tal framtaget med hänsyn till personligt identifierbar information. Vissa träningsdata licensierades från David AI; på modellkortet anges att David AI:s utvärderingsuppsättning DAI-ASR-I18N inte ingick i träningen.

Benchmarkresultat enligt NVIDIA

NVIDIA uppger att Transcribe ligger högst bland modeller med öppna vikter på Hugging Faces topplista Open ASR English, med en genomsnittlig ord-felfrekvens på 5,33 %, exklusive API-modeller. Enligt jämförelsen på modellkortet har modellen också det lägsta flerspråkiga resultatet, 4,62 % i genomsnittlig WER över sju språk, och det lägsta resultatet för långa inspelningar, 10,98 %, bland modellerna med öppna vikter. I modellkortets egna tabeller, med resultat från den 12 oktober 2026, är den engelska genomsnittliga WER-poängen för nio datauppsättningar 4,71 %, jämfört med 4,94 % för Qwen3-ASR-1.7B, den näst bästa modellen med öppna vikter. Den genomsnittliga cpWER-poängen för flera talare är 15,80, jämfört med 16,83 för DiCoW v3.3 i kombination med DiariZen.

På Artificial Analysis tal-till-text-index uppger NVIDIA att Transcribe delar förstaplatsen bland modeller med öppna vikter med 2,8 % AA-WER, samtidigt som cirka 4 miljarder parametrar aktiveras per token, jämfört med 24 miljarder för modellen som den delar förstaplatsen med. När det gäller talarattribution rapporterar tillkännagivandet den lägsta diariseringsfelfrekvensen av de 14 systemen i David AI:s 21-språkiga diariseringsspår DAI-ASR-I18N: 18,26 %, strax före NVIDIAs egen Nemotron 3 Diarization på 18,38 %. Modellen kommer också på första plats av 14 system på VoiceArenas engelska Diarization-Bench med 32,4 % cpWER. Utelämnade ord utgör 8,32 % av referensorden, jämfört med en median på cirka 31 %.

Granary V2: datauppsättning och pipeline

Granary v2, som släpptes tillsammans med modellen, är det öppna dataprojekt som ligger till grund för träningen. Det offentliga manifestet omfattar 463 062 timmar på 48 språk och från 16 källkorpusar, jämfört med 25 språk i Granary v1. NVIDIA påpekar att dessa siffror gäller den släppta datauppsättningen, inte hela den blandning av data som användes för att träna Transcribe. Pipelinen har byggts med NVIDIA NeMo Curator och skapar tre transkriptionsversioner per inspelning (ordagrann med textnormalisering, inversnormaliserad med talojämnheter och inversnormaliserad utan talojämnheter), samt bildtexter, återställning av kodväxling, ljudförankrade fråge- och svarspar, kontextuella biaseringstermer och översättningar med automatiska kvalitetsbedömningar.

Pipelinen körs i fyra steg: förberedelse av metadata och ljud; transkribering med primära och reservbaserade ASR-modeller, där resultaten måste klara en hallucinationskontroll; generering av uppgiftsetiketter med överensstämmelsekontroller; samt ett högprecisionsfilter som för VoxPopuli-korpusen minskade materialet från 354 000 timmar till 111 000 timmar på 22 europeiska språk. Manifesten innehåller entitetsledtrådar, instruktionspar, proveniens och kvalitetsflaggor för varje inspelning. Källjudet hämtas separat enligt licensen för respektive korpus, och pipelinen körs med Ray- och NVIDIA Dynamo-bakdelar.

Fallstudie om medicinsk finjustering och driftsättning

För att visa hur modellen kan anpassas beskriver NVIDIA i sitt tillkännagivande en medicinsk fallstudie baserad på Eka Cares öppna benchmark med 3 619 inspelningar från indiska läkare och läkarstudenter. Genom att ange engelska och det latinska alfabetet i prompten sjönk WER för hela benchmarken från 30,8 % till 23,8 %, och finjustering sänkte den ytterligare till 11,8 %. För 2 764 undanhållna ljudklipp som poängsattes med Eka Cares KARMA-pipeline minskade finjusteringen WER från 22,44 % till 12,17 %, en relativ minskning med 45,8 %; WER för nyckelord sjönk från 9,2 % till 6,5 % och semantisk WER från 10,0 % till 7,6 %, medan WER för LibriSpeech test-clean steg något, från 1,54 % till 1,69 %. Anpassningen kombinerade omkring 153 timmars syntetiskt tal med 29 timmars engelska med accent från Common Voice och 63 timmars medicinska inspelningar från MultiMed, och tog ungefär 14 GPU-timmar på en NVIDIA GB300.

Modellen körs på en enda NVIDIA-GPU, från Jetson AGX Thor och DGX Spark till Blackwell-system för datacenter. NVIDIA uppger att en GPU av typen RTX PRO 6000 Blackwell Server Edition med den optimerade NIM-implementeringen transkriberar upp till 2 238 sekunder ljud per sekund med NVFP4-precision och spekulativ DFlash2-avkodning. I tillkännagivandet sägs också att modellen bearbetar 100 timmars ljud på under tre minuter med NVFP4, på klipp som är 30 sekunder långa och vid hög samtidighet; i modellkortet står det att dessa optimeringar för inferensservering ännu inte ingår i versionen med öppen källkod. Inferensserveringen använder vLLM 0.32.0 med NeMo Speech-pluginen eller lokal inferens med NeMo-Speech.cpp, och en agentfunktion för finjustering gör det möjligt för en kodningsagent att köra anpassningsarbetsflödet. ModelScope stöder finjustering via sitt ramverk ms-swift.