NVIDIA lancerer tale-model med åbne vægte og et lyddatasæt på 463.062 timer

NVIDIA udgav Nemotron 3.5 Transcribe den 28. oktober 2026. Modellen med åbne vægte kombinerer flersproget transskription, taleridentifikation, oversættelse og spørgsmål og svar om lyd i ét checkpoint. Samtidig udgav NVIDIA Granary v2, et åbent taledatasæt og en kurateringspipeline, hvis offentlige manifest omfatter 463.062 timer på tværs af 48 sprog.

Modellen transskriberer 40 sprog, oversætter 31 af dem til eller fra engelsk og identificerer talere på 13 sprog ifølge NVIDIAs meddelelse på Hugging Face. Den kan håndtere optagelser på op til en time og identificere op til otte talere. Modellens kort angiver udgivelsesdatoen 28. oktober 2026 på Hugging Face, GitHub via NVIDIA NeMo Speech, NGC og Build.Nvidia.com. Vægtene udgives under licensen OpenMDW-1.1, og modellen er klar til kommerciel og ikke-kommerciel brug. Baseten, DeepInfra og Simplismart tilbyder hostede endepunkter, og der findes interaktive demoer på Hugging Face Spaces og ModelScope Studios.

Arkitektur og prompting

Transcribe kombinerer en taleencoder med en sprogmodel i ét checkpoint med 34 mia. parametre. Omkring 4,3 mia. parametre er aktive pr. token, og kontekstvinduet er på 65.536 tokens. Talekomponenten består af en Transformer-baseret ASR-encoder med 600 mio. parametre, talerencoderen Nemotron-3-Diarization med omkring 99 mio. parametre og et connectionist temporal classification-hoved til tidsstempling af ord. Sprogkomponenten er NVIDIAs Nemotron-3.5 Lightning 30B-A3B, en hybrid Mixture-of-Experts-model baseret på Mamba-2 og Transformer. Vægtene leveres i BF16, og der findes kvantiserede varianter i FP8 og NVFP4 samt en valgfri DFlash2-kladmodel til spekulativ afkodning.

Outputtet styres med prompts i naturligt sprog: Udviklere kan bede om ordrette eller sprogligt rensede transskriptioner, angive kontekstordforråd såsom produkt- eller medicinske termer, anmode om talermærker og tidsstempler på ordniveau, oversætte tale til eller fra engelsk eller stille spørgsmål om lyden. Modellen er trænet til at besvare spørgsmål om lyd på engelsk, og sprogmatricen i modellens kort bedømmer hvert af de 40 sprog for hver opgave med kvalitetsniveauer fra førende til understøttet. Det fremgår også, at forståelse af lyd og evnen til at følge talte instruktioner kun blev evalueret på engelsk. Modellens kort understreger, at Transcribe er en offline-model: Intern opdeling af lyd i segmenter gør den ikke til en streamingtjeneste i realtid.

Træningen brugte cirka 1,72 millioner unikke, indekserede lydtimer fordelt på omkring 372 millioner eksempler samt 5,6 milliarder unikke teksttokens. Datagrundlaget omfattede Granary v2, korpora med møder med flere talere, data til lydforståelse og syntetisk tale, der tager højde for personhenførbare oplysninger (PII). Nogle af træningsdataene var licenseret fra David AI; det fremgår af modellens kort, at David AIs evalueringssæt DAI-ASR-I18N ikke indgik i træningen.

Benchmarkresultater ifølge NVIDIA

NVIDIA oplyser, at Transcribe ligger på førstepladsen blandt modeller med åbne vægte på Hugging Face Open ASR English-leaderboardet med en gennemsnitlig ordfejlrate på 5,33 %, når API-modeller udelades. Ifølge NVIDIA har modellen også det laveste flersprogede resultat blandt modeller med åbne vægte: en gennemsnitlig WER på 4,62 % på tværs af syv sprog. Desuden har den det laveste resultat for lange optagelser blandt modellerne med åbne vægte i sammenligningen i modellens kort: 10,98 %. I tabellerne i modellens kort, som blev indsamlet den 12. oktober 2026, er den gennemsnitlige WER på de ni engelske datasæt 4,71 % mod 4,94 % for Qwen3-ASR-1.7B, den næstbedste model med åbne vægte. Den gennemsnitlige cpWER for flere talere er 15,80 mod 16,83 for DiCoW v3.3 kombineret med DiariZen.

På Artificial Analysis’ tale-til-tekst-indeks oplyser NVIDIA, at Transcribe deler førstepladsen blandt modeller med åbne vægte med en AA-WER på 2,8 %, mens den aktiverer omkring 4 mia. parametre pr. token; den model, den deler førstepladsen med, aktiverer 24 mia. parametre. Hvad angår taleridentifikation, rapporterer meddelelsen den laveste diariseringsfejlrate blandt de 14 systemer i David AIs 21-sprogede DAI-ASR-I18N-diariseringstest med 18,26 %, lige foran NVIDIAs egen Nemotron 3 Diarization med 18,38 %. Modellen indtager også førstepladsen blandt 14 systemer på VoiceArenas engelsksprogede Diarization-Bench med en cpWER på 32,4 %; sletninger udgør 8,32 % af referenceordene mod en median på cirka 31 %.

Granary v2-datasættet og pipelinen

Granary v2, der blev udgivet sammen med modellen, er det åbne datainitiativ, som ligger til grund for træningen. Det offentlige manifest omfatter 463.062 timer på tværs af 48 sprog og 16 kildekorpora, en stigning fra 25 sprog i Granary v1. NVIDIA bemærker, at tallene beskriver datasætudgivelsen og ikke hele den blanding af data, der blev brugt til at træne Transcribe. Pipelinen er bygget med NVIDIA NeMo Curator og genererer tre former for transskription for hver optagelse (ordret med tekstnormalisering, omvendt normaliseret med tøven og andre taleforstyrrelser samt omvendt normaliseret uden tøven og andre taleforstyrrelser) samt billedtekster, gendannelse af sprogskift, spørgsmål-og-svar-par baseret på tale, kontekstuelle bias-termer og oversættelser med automatiske kvalitetsscorer.

Pipelinen består af fire trin: forberedelse af metadata og lyd; transskription med primære ASR-modeller og gendannelsesmodeller, hvor brugen styres af en hallucinationskontrol; generering af opgavemærkater med kontrol af overensstemmelse; og et filter til udvælgelse af data med høj troværdighed, som reducerede VoxPopuli-korpusset fra 354.000 timer til 111.000 timer fordelt på 22 europæiske sprog. Manifestfilerne indeholder tip om entiteter, instruktionspar, oplysninger om dataenes oprindelse og kvalitetssignaler for hver optagelse. Kildelyden downloades separat under den oprindelige licens for hvert korpus, og pipelinen kører med Ray- og NVIDIA Dynamo-backends.

Casestudie om medicinsk finjustering og implementering

For at demonstrere tilpasningen beskriver NVIDIA i sin meddelelse et medicinsk casestudie baseret på Eka Cares åbne benchmark med 3.619 optagelser fra indiske læger og medicinstuderende. Ved at angive engelsk og det latinske alfabet i prompten faldt WER på hele benchmarken fra 30,8 % til 23,8 %, og finjustering bragte den ned på 11,8 %. På 2.764 tilbageholdte klip, der blev evalueret med Eka Cares KARMA-pipeline, reducerede finjustering WER fra 22,44 % til 12,17 %, et relativt fald på 45,8 %; WER for nøgleord faldt fra 9,2 % til 6,5 % og semantisk WER fra 10,0 % til 7,6 %, mens WER på LibriSpeech test-clean steg en smule fra 1,54 % til 1,69 %. Tilpasningen kombinerede cirka 153 timers syntetisk tale med 29 timers engelsk med accent fra Common Voice og 63 timers medicinske optagelser fra MultiMed og tog omtrent 14 GPU-timer på én NVIDIA GB300.

Modellen kan køre på én enkelt NVIDIA-GPU, fra Jetson AGX Thor og DGX Spark til Blackwell-systemer i datacentre. NVIDIA oplyser, at én RTX PRO 6000 Blackwell Server Edition-GPU med den optimerede NIM-implementering transskriberer op til 2.238 sekunders lyd i sekundet med NVFP4-præcision og spekulativ DFlash2-afkodning. Meddelelsen angiver desuden, at modellen behandler 100 timers lyd på under tre minutter i NVFP4 med 30 sekunder lange klip ved høj samtidighed; ifølge modelkortet er disse optimeringer til inferens endnu ikke en del af open source-udgivelsen. Til betjening bruges vLLM 0.32.0 med NeMo Speech-pluginet eller lokal inferens med NeMo-Speech.cpp, og en agentfunktion til finjustering gør det muligt for en kodeagent at køre tilpasningsarbejdsgangen, mens ModelScope understøtter finjustering gennem sit ms-swift-framework.