NVIDIA lanserer talegjenkjenningsmodell med åpne vekter og lyddatasett på 463 062 timer

NVIDIA lanserte Nemotron 3.5 Transcribe 28. oktober 2026, en talegjenkjenningsmodell med åpne vekter som kombinerer flerspråklig transkribering, talertilordning, oversettelse og spørsmål og svar om lyd i ett enkelt sjekkpunkt, sammen med Granary v2, et åpent taledatasett og en kurateringspipeline med et offentlig manifest som dekker 463 062 timer på tvers av 48 språk.

Modellen transkriberer 40 språk, oversetter 31 av dem til eller fra engelsk og tilordner talere på 13 språk, ifølge NVIDIAs kunngjøring på Hugging Face. Den håndterer opptak på opptil én times lengde og merker opptil åtte talere. Modellkortet oppgir 28. oktober 2026 som lanseringsdato på Hugging Face, GitHub via NVIDIA NeMo Speech, NGC og Build.Nvidia.com. Vektene er utgitt under lisensen OpenMDW-1.1, og modellen er klar til kommersiell eller ikke-kommersiell bruk. Baseten, DeepInfra og Simplismart tilbyr driftede endepunkter, og det finnes en interaktiv demonstrasjon på Hugging Face Spaces og ModelScope Studios.

Arkitektur og instruksjoner

Transcribe kombinerer en taleenkoder med en språkmodell i ett sjekkpunkt med 34 milliarder parametere, hvorav omtrent 4,3 milliarder parametere er aktive per token, og en kontekst på 65 536 tokener. Talekomponenten består av en Transformer-basert ASR-enkoder med 600 millioner parametere, talerenkoderen Nemotron-3-Diarization med omtrent 99 millioner parametere og et hode for connectionist temporal classification som beregner tidsstempler for ord. Språkmodellen er NVIDIA Nemotron-3.5 Lightning 30B-A3B, en hybrid blanding-av-eksperter-modell basert på Mamba-2 og Transformer. Vektene leveres i BF16, med kvantiserte varianter i FP8 og NVFP4 samt en valgfri DFlash2-utkastmodell for spekulativ dekoding.

Utdataene styres med instruksjoner på naturlig språk: Utviklere kan be om ordrette eller språkvaskede transkripsjoner, oppgi kontekstordforråd som produkt- eller medisinske termer, be om taleretiketter og tidsstempler på ordnivå, oversette tale til eller fra engelsk eller stille spørsmål om lyden. Modellen er trent på å svare på spørsmål om lyd på engelsk, og modellkortets språkmatrise graderer hvert av de 40 språkene etter oppgave, med kvalitetsnivåer fra «Ledende» til «Støttet». Der står det også at lydforståelse og evnen til å følge muntlige instruksjoner bare ble evaluert på engelsk. Modellkortet understreker at Transcribe er en frakoblet modell: Intern oppdeling av lyd i segmenter gjør den ikke til en sanntidsstrømmetjeneste.

Treningen brukte omtrent 1,72 millioner unike indekserte lydtimer fordelt på rundt 372 millioner eksempler, i tillegg til 5,6 milliarder unike teksttokener. Datagrunnlaget omfattet Granary v2, korpora med møter med flere talere, data for lydforståelse og syntetisk tale med hensyn til personidentifiserende opplysninger (PII). Noen av treningsdataene var lisensiert fra David AI; modellkortet opplyser at David AIs evalueringssett DAI-ASR-I18N ikke inngikk i treningen.

NVIDIA rapporterer om referanseresultater

NVIDIA rapporterer at Transcribe ligger øverst blant modeller med åpne vekter på Hugging Face Open ASR-ledertavlen for engelsk, med en gjennomsnittlig ordfeilrate på 5,33 %, når API-modeller holdes utenfor. Modellen oppnår også det laveste flerspråklige resultatet, en gjennomsnittlig WER på 4,62 % på tvers av sju språk, og det laveste resultatet for lange opptak, 10,98 %, blant modellene med åpne vekter i sammenligningen i modellkortet. I modellkortets egne tabeller, som ble registrert 12. oktober 2026, er gjennomsnittlig WER på de ni engelske datasettene 4,71 %, mot 4,94 % for Qwen3-ASR-1.7B, den nest beste modellen med åpne vekter. Gjennomsnittlig cpWER for flere talere er 15,80, mot 16,83 for DiCoW v3.3 kombinert med DiariZen.

På Artificial Analysis-indeksen for tale til tekst oppgir NVIDIA at Transcribe deler førsteplassen blant modeller med åpne vekter, med 2,8 % AA-WER, samtidig som omtrent 4 milliarder parametere aktiveres per token, mot 24 milliarder for modellen den deler førsteplassen med. Når det gjelder talertilordning, rapporterer kunngjøringen at modellen har den laveste diariseringsfeilraten blant de 14 systemene på David AIs diariseringsspor DAI-ASR-I18N for 21 språk, med 18,26 %, så vidt foran NVIDIAs egen Nemotron 3 Diarization på 18,38 %. Den ligger også på førsteplass blant 14 systemer på VoiceArenas engelskspråklige Diarization-Bench, med 32,4 % cpWER; 8,32 % av referanseordene ble slettet, mot en median på omtrent 31 %.

Granary v2-datasettet og -pipelinen

Granary v2, som ble lansert sammen med modellen, er det åpne datainitiativet som ligger til grunn for treningen. Det offentlige manifestet omfatter 463 062 timer på tvers av 48 språk og 16 kildekorpora, opp fra 25 språk i Granary v1. NVIDIA presiserer at disse tallene beskriver datasettutgivelsen, ikke hele treningsblandingen til Transcribe. Pipelinen er bygget med NVIDIA NeMo Curator og genererer tre transkripsjonsformer per opptak (ordrett med tekstnormalisering, inversnormalisert med nøling og andre taleforstyrelser, og inversnormalisert uten slike taleforstyrelser), i tillegg til bildetekster, gjenoppretting av kodeveksling, spørsmål-og-svar-par forankret i tale, kontekstuelle biaseringsord og oversettelser med automatiske kvalitetspoeng.

Pipelinen kjøres i fire trinn: forberedelse av metadata og lyd; transkribering med primære ASR-modeller og reserve-ASR-modeller, styrt av en hallusinasjonskontroll; generering av oppgavemerking med samsvarskontroller; og et filter for høy trofasthet som reduserte VoxPopuli-korpuset fra 354 000 timer til 111 000 timer på tvers av 22 europeiske språk. Manifestene inneholder hint om entiteter, instruksjonspar, proveniens og kvalitetsflagg for hvert opptak. Kildelyden lastes ned separat i henhold til den opprinnelige lisensen for hvert korpus, og pipelinen kjøres med Ray- og NVIDIA Dynamo-bakender.

Kasusstudie av finjustering for medisin og utrulling

For å vise hvordan modellen kan tilpasses, beskriver NVIDIA i kunngjøringen en medisinsk casestudie basert på Eka Cares åpne referansedatasett med 3 619 opptak fra indiske leger og medisinstudenter. Ved å angi engelsk og det latinske alfabetet i ledeteksten ble WER på hele datasettet redusert fra 30,8 % til 23,8 %, og finjustering brakte den ned til 11,8 %. For 2 764 tilbakeholdte lydklipp evaluert med Eka Cares KARMA-pipeline reduserte finjustering WER fra 22,44 % til 12,17 %, en relativ reduksjon på 45,8 %; WER for nøkkelord falt fra 9,2 % til 6,5 %, og semantisk WER fra 10,0 % til 7,6 %, mens WER på LibriSpeech test-clean økte svakt fra 1,54 % til 1,69 %. Tilpasningen kombinerte omtrent 153 timer syntetisk tale med 29 timer engelsk med aksent fra Common Voice og 63 timer medisinske opptak fra MultiMed, og tok omtrent 14 GPU-timer på én NVIDIA GB300.

Modellen kjører på én NVIDIA-GPU, fra Jetson AGX Thor og DGX Spark til Blackwell-systemer for datasentre. NVIDIA oppgir at én RTX PRO 6000 Blackwell Server Edition-GPU med den optimaliserte NIM-implementasjonen transkriberer opptil 2 238 sekunder lyd per sekund ved bruk av NVFP4-presisjon og spekulativ DFlash2-dekoding. I kunngjøringen står det også at modellen behandler 100 timer lyd på under tre minutter i NVFP4, med 30-sekunders klipp og høy samtidighet. Modellkortet presiserer at disse optimaliseringene for drift ennå ikke inngår i åpen kildekode-utgivelsen. Til driften brukes vLLM 0.32.0 med NeMo Speech-pluginen, eller lokal inferens med NeMo-Speech.cpp. En agentferdighet for finjustering gjør det mulig for en kodeagent å kjøre tilpasningsarbeidsflyten, og ModelScope støtter finjustering gjennom rammeverket ms-swift.