NVIDIA lanceert spraakmodel met open gewichten en audiodataset van 463.062 uur

NVIDIA bracht op 28 oktober 2026 Nemotron 3.5 Transcribe uit, een spraakmodel met open gewichten dat meertalige transcriptie, sprekerstoewijzing, vertaling en vraagbeantwoording over audio combineert in één checkpoint. Tegelijkertijd verscheen Granary v2, een open dataset voor spraak en een curatiepipeline waarvan het openbare manifest 463.062 uur audio in 48 talen omvat.

Volgens de aankondiging van NVIDIA op Hugging Face transcribeert het model 40 talen, vertaalt het 31 daarvan van en naar het Engels en wijst het sprekers toe in 13 talen. Het kan opnamen verwerken die maximaal één uur duren en maximaal acht sprekers labelen. De modelkaart vermeldt 28 oktober 2026 als releasedatum op Hugging Face, GitHub via NVIDIA NeMo Speech, NGC en Build.Nvidia.com. De gewichten zijn uitgebracht onder de licentie OpenMDW-1.1 en het model is klaar voor commercieel en niet-commercieel gebruik. Baseten, DeepInfra en Simplismart bieden gehoste endpoints aan; er is ook een interactieve demo op Hugging Face Spaces en ModelScope Studios.

Architectuur en prompting

Transcribe combineert een spraakencoder met een taalmodel als basis in één checkpoint met 34 miljard parameters. Daarvan zijn er per token ongeveer 4,3 miljard actief, met een context van 65.536 tokens. De spraakkant bestaat uit een Transformer-ASR-encoder met 600 miljoen parameters, de sprekerencoder Nemotron-3-Diarization met ongeveer 99 miljoen parameters en een connectionistische temporele classificatiekop voor tijdstempels van woorden. De taalkant is NVIDIA’s Nemotron-3.5 Lightning 30B-A3B, een hybride mixture-of-expertsmodel op basis van Mamba-2 en Transformer. De gewichten worden geleverd in BF16, naast gekwantiseerde varianten in FP8 en NVFP4 en een optioneel DFlash2-conceptmodel voor speculatieve decodering.

Prompts in natuurlijke taal bepalen de uitvoer: ontwikkelaars kunnen vragen om letterlijke of opgeschoonde transcripties, contextwoorden opgeven zoals product- of medische termen, sprekerlabels en tijdstempels op woordniveau opvragen, spraak van of naar het Engels laten vertalen of vragen stellen over de audio. Het model is voor vraagbeantwoording over audio getraind in het Engels. De taalmatrix op de modelkaart beoordeelt elk van de 40 talen per taak met kwaliteitsniveaus van ‘Leading’ tot ‘Supported’ en vermeldt dat audio begrijpen en gesproken instructies volgen uitsluitend in het Engels zijn geëvalueerd. De modelkaart benadrukt dat Transcribe een offlinemodel is: het intern opdelen van audio in stukken maakt er geen realtime streamingdienst van.

Voor de training is gebruikgemaakt van ongeveer 1,72 miljoen unieke, geïndexeerde audio-uren in circa 372 miljoen voorbeelden, plus 5,6 miljard unieke teksttokens. De gegevens waren afkomstig uit Granary v2, corpora met vergaderingen met meerdere sprekers, data voor audio-inzicht en synthetische spraak waarbij rekening is gehouden met persoonlijk identificeerbare informatie (PII). Een deel van de trainingsdata is in licentie verkregen van David AI; op de modelkaart staat dat de evaluatieset DAI-ASR-I18N van David AI niet voor de training is gebruikt.

Benchmarkresultaten volgens NVIDIA

NVIDIA meldt dat Transcribe op de Engelstalige ranglijst van Hugging Face Open ASR bovenaan staat van de modellen met open gewichten, met een gemiddeld woordfoutpercentage van 5,33%; API-modellen zijn daarbij uitgesloten. Volgens de vergelijking op de modelkaart behaalt het model ook het laagste meertalige resultaat — een gemiddelde WER van 4,62% over zeven talen — en het laagste resultaat voor lange opnamen, 10,98%, van de modellen met open gewichten. In de eigen tabellen van de modelkaart, vastgelegd op 12 oktober 2026, bedraagt de gemiddelde WER over negen Engelstalige datasets 4,71%, tegenover 4,94% voor Qwen3-ASR-1.7B, de op één na beste inzending met open gewichten. De gemiddelde cpWER voor opnamen met meerdere sprekers is 15,80, tegenover 16,83 voor DiCoW v3.3 in combinatie met DiariZen.

Op de spraak-naar-tekstindex van Artificial Analysis meldt NVIDIA dat Transcribe met 2,8% AA-WER gedeeld eerste staat onder de modellen met open gewichten, terwijl het ongeveer 4 miljard parameters per token activeert. Het model waarmee het de eerste plaats deelt, activeert er 24 miljard. Voor sprekerstoewijzing meldt de aankondiging dat het model met 18,26% het laagste diarization error rate behaalt van de 14 systemen op de 21-talige DAI-ASR-I18N-diarisatiespoor van David AI. Dat is iets beter dan NVIDIA’s eigen Nemotron 3 Diarization, dat op 18,38% uitkomt. Op VoiceArena’s Engelstalige Diarization-Bench staat het model met 32,4% cpWER op de eerste plaats van 14 systemen; daarbij bedraagt het aantal verwijderde woorden 8,32% van de referentiewoorden, tegenover een mediaan van ongeveer 31%.

Granary v2: dataset en pipeline

Granary v2, dat tegelijk met het model is uitgebracht, is het open data-initiatief achter de training ervan. Het openbare manifest omvat 463.062 uur audio in 48 talen en uit 16 broncorpora, tegenover 25 talen in Granary v1. NVIDIA merkt op dat deze cijfers betrekking hebben op de datasetrelease en niet op de volledige trainingsmix van Transcribe. De pipeline is gebouwd met NVIDIA NeMo Curator en genereert per opname drie transcriptvormen (letterlijk met tekstnormalisatie, inverse genormaliseerd met haperingen en inverse genormaliseerd zonder haperingen), plus bijschriften, herstel van codewisselingen, vraag-antwoordparen die op spraak zijn gebaseerd, contextuele biasing-termen en vertalingen met automatische kwaliteitsscores.

De pipeline doorloopt vier fasen: voorbereiding van metadata en audio; transcriptie met primaire en herstel-ASR-modellen, waarbij een hallucinatiecontrole bepaalt of de uitvoer wordt geaccepteerd; generatie van taaklabels met controles op overeenstemming; en een filter voor hoge getrouwheid dat voor het VoxPopuli-corpus de dataset terugbracht van 354.000 uur naar 111.000 uur in 22 Europese talen. De manifesten bevatten entiteitsaanwijzingen, instructieparen, herkomstgegevens en kwaliteitslabels per opname. De bronaudio wordt afzonderlijk gedownload onder de oorspronkelijke licentie van elk corpus, en de pipeline draait met backends van Ray en NVIDIA Dynamo.

Casestudy over medische finetuning en implementatie

Om de aanpasbaarheid aan te tonen, beschrijft de aankondiging van NVIDIA een medische casestudy op basis van Eka Care’s openbare benchmark met 3.619 opnames van Indiase artsen en geneeskundestudenten. Door in de prompt Engels en het Latijnse alfabet te noemen, daalde de WER op de volledige benchmark van 30,8% naar 23,8%; na finetuning kwam deze uit op 11,8%. Op 2.764 apart gehouden fragmenten, beoordeeld met Eka Care’s KARMA-pijplijn, verlaagde finetuning de WER van 22,44% naar 12,17%, een relatieve daling van 45,8%; de WER voor trefwoorden daalde van 9,2% naar 6,5% en de semantische WER van 10,0% naar 7,6%, terwijl de WER op LibriSpeech test-clean licht steeg van 1,54% naar 1,69%. Voor de aanpassing werden ongeveer 153 uur synthetische spraak gecombineerd met 29 uur Engels met verschillende accenten uit Common Voice en 63 uur medische opnames uit MultiMed. Dit kostte ongeveer 14 GPU-uren op één NVIDIA GB300.

Het model draait op één NVIDIA-GPU, van Jetson AGX Thor en DGX Spark tot Blackwell-datacentersystemen. NVIDIA meldt dat één RTX PRO 6000 Blackwell Server Edition-GPU met de geoptimaliseerde NIM-implementatie tot 2.238 seconden audio per seconde transcribeert met NVFP4-nauwkeurigheid en speculatieve DFlash2-decodering. Volgens de aankondiging verwerkt het model bovendien 100 uur audio in minder dan drie minuten in NVFP4, met fragmenten van 30 seconden en een hoge mate van gelijktijdigheid. De modelkaart vermeldt dat deze optimalisaties voor het aanbieden van het model nog geen deel uitmaken van de opensourcerelease. Voor het aanbieden wordt vLLM 0.32.0 met de NeMo Speech-plug-in gebruikt, of lokale inferentie met NeMo-Speech.cpp. Met een vaardigheid voor AI-agenten voor finetuning kan een codeeragent de aanpassingsworkflow uitvoeren; ModelScope ondersteunt finetuning via het ms-swift-framework.