NVIDIA uvádí model řeči s otevřenými vahami a zvukovou datovou sadu o rozsahu 463 062 hodin

NVIDIA 28. října 2026 vydala model Nemotron 3.5 Transcribe s otevřenými vahami, který v jediném kontrolním bodě kombinuje vícejazyčný přepis, přiřazování mluvčích, překlad a odpovídání na otázky týkající se zvuku. Zároveň představila Granary v2, otevřenou datovou sadu řeči a postup její kurace, jejíž veřejný manifest zahrnuje 463 062 hodin záznamů ve 48 jazycích.

Podle oznámení společnosti NVIDIA na Hugging Face model přepisuje řeč ve 40 jazycích, 31 z nich překládá do angličtiny nebo z angličtiny a ve 13 jazycích přiřazuje mluvčí. Zvládá nahrávky dlouhé až jednu hodinu a označuje až osm mluvčích. Karta modelu uvádí datum vydání 28. října 2026 a dostupnost na Hugging Face, GitHubu prostřednictvím NVIDIA NeMo Speech, NGC a Build.Nvidia.com. Váhy jsou vydány pod licencí OpenMDW-1.1 a model lze používat komerčně i nekomerčně. Hostované koncové body nabízejí Baseten, DeepInfra a Simplismart; interaktivní ukázka je k dispozici na Hugging Face Spaces a ModelScope Studios.

Architektura a zadávání pokynů

Transcribe v jediném kontrolním bodě s 34 miliardami parametrů propojuje zvukový kodér s jazykovou základní sítí; na každý token se aktivuje přibližně 4,3 miliardy parametrů a kontext má délku 65 536 tokenů. Zvukovou část tvoří kodér ASR Transformer s 600 miliony parametrů, přibližně 99milionový kodér mluvčích Nemotron-3-Diarization a hlava pro konekcionistickou časovou klasifikaci, která určuje časové značky slov. Jazykovou část tvoří Nemotron-3.5 Lightning 30B-A3B od NVIDIA, hybridní model typu směsi expertů Mamba-2–Transformer. Váhy jsou dodávány ve formátu BF16; k dispozici jsou také kvantizované varianty FP8 a NVFP4 a volitelný návrhový model DFlash2 pro spekulativní dekódování.

Výstup řídí pokyny v přirozeném jazyce: vývojáři mohou požadovat doslovný přepis nebo uhlazený textový přepis, zadat kontextovou slovní zásobu, například výrazy z oblasti produktů nebo medicíny, vyžádat si označení mluvčích a časové značky na úrovni slov, překlad řeči do angličtiny nebo z angličtiny, případně klást otázky týkající se zvukového záznamu. Model je pro odpovídání na otázky o zvuku trénován v angličtině. Jazyková matice v kartě modelu hodnotí každou ze 40 jazyků podle úloh na škále od úrovně „Leading“ po „Supported“ a uvádí, že porozumění zvuku a schopnost řídit se mluvenými pokyny byly hodnoceny pouze v angličtině. Karta modelu zdůrazňuje, že Transcribe je offline model: interní dělení zvuku na úseky z něj nedělá službu pro streamování v reálném čase.

Trénování využilo přibližně 1,72 milionu jedinečných indexovaných hodin zvukových záznamů v zhruba 372 milionech příkladů a dalších 5,6 miliardy jedinečných textových tokenů. Vycházelo přitom z Granary v2, korpusů vícemluvčích schůzek, dat pro porozumění zvuku a syntetické řeči vytvořené s ohledem na osobní údaje (PII). Část trénovacích dat byla licencována od David AI; karta uvádí, že vyhodnocovací sada DAI-ASR-I18N od David AI nebyla součástí trénování.

Výsledky benchmarků uváděné společností NVIDIA

NVIDIA uvádí, že Transcribe se mezi modely s otevřenými vahami umístil na prvním místě žebříčku Hugging Face Open ASR English s průměrnou mírou chybovosti slov 5,33 %; modely dostupné přes API se do srovnání nezapočítávají. Podle karty modelu dosahuje mezi srovnávanými modely s otevřenými vahami také nejlepšího výsledku pro více jazyků, průměrné WER 4,62 % v sedmi jazycích, a nejlepšího výsledku pro dlouhé záznamy, 10,98 %. V tabulkách vlastní karty modelu, jejichž údaje byly zaznamenány 12. října 2026, činí průměrná WER v angličtině napříč devíti datovými sadami 4,71 % oproti 4,94 % u modelu Qwen3-ASR-1.7B, který je mezi modely s otevřenými vahami další nejlepší. Průměrná cpWER u více mluvčích činí 15,80 oproti 16,83 u kombinace DiCoW v3.3 a DiariZen.

NVIDIA uvádí, že v indexu převodu řeči na text od Artificial Analysis se Transcribe dělí o první místo mezi modely s otevřenými vahami s hodnotou AA-WER 2,8 %, přičemž na každý token aktivuje přibližně 4 miliardy parametrů. Model, s nímž se o místo dělí, aktivuje 24 miliard parametrů. Pokud jde o přiřazování mluvčích, oznámení uvádí, že Transcribe dosáhl nejnižší míry chybovosti diarizace ze 14 systémů v rámci 21jazyčné úlohy diarizace DAI-ASR-I18N od David AI: 18,26 %, tedy o něco méně než vlastní model NVIDIA Nemotron 3 Diarization s hodnotou 18,38 %. V anglickém testu Diarization-Bench na VoiceArena se umístil na prvním místě ze 14 systémů s cpWER 32,4 %; počet vynechaných slov představoval 8,32 % slov v referenčním přepisu oproti mediánu přibližně 31 %.

Datová sada a postup Granary v2

Granary v2, vydaná spolu s modelem, představuje otevřenou datovou iniciativu, která stála za jeho trénováním. Její veřejný manifest zahrnuje 463 062 hodin záznamů ve 48 jazycích a z 16 zdrojových korpusů; ve verzi Granary v1 šlo o 25 jazyků. NVIDIA upozorňuje, že tato čísla popisují vydanou datovou sadu, nikoli celý soubor dat použitý k trénování Transcribe. Postup vytvořený pomocí NVIDIA NeMo Curator generuje pro každou nahrávku tři podoby přepisu (doslovný přepis s normalizací textu, zpětně normalizovaný přepis s neplynulostmi a zpětně normalizovaný přepis bez neplynulostí), dále popisky, obnovení přepínání jazyků, dvojice otázek a odpovědí založené na řeči, výrazy pro kontextové biasování a překlady doplněné automatickým hodnocením kvality.

Postup má čtyři fáze: přípravu metadat a zvukových záznamů; přepis pomocí primárních a záložních modelů ASR, jejichž výstup podléhá kontrole halucinací; generování označení úloh s kontrolou shody; a filtr pro výběr vysoce kvalitních dat. Ten v korpusu VoxPopuli zredukoval 354 000 hodin záznamů na 111 000 hodin ve 22 evropských jazycích. Manifesty obsahují nápovědy k entitám, dvojice pokynů, informace o původu dat a příznaky kvality pro jednotlivé záznamy. Zdrojové zvukové záznamy se stahují samostatně na základě původní licence každého korpusu a postup využívá back-endy Ray a NVIDIA Dynamo.

Případová studie dolaďování pro medicínu a nasazení

Oznámení společnosti NVIDIA popisuje případovou studii z oblasti medicíny, která má ukázat možnosti adaptace modelu. Využívá otevřený benchmark Eka Care obsahující 3 619 nahrávek indických lékařů a studentů medicíny. Uvedení angličtiny a latinky v zadání snížilo WER v celém benchmarku z 30,8 % na 23,8 % a následné dolaďování jej snížilo na 11,8 %. U 2 764 vyhrazených klipů vyhodnocených pomocí pipeline KARMA od Eka Care snížilo dolaďování WER z 22,44 % na 12,17 %, tedy o 45,8 % relativně; WER klíčových slov klesl z 9,2 % na 6,5 % a sémantický WER z 10,0 % na 7,6 %, zatímco WER v testovací části LibriSpeech test-clean mírně vzrostl z 1,54 % na 1,69 %. Adaptace kombinovala přibližně 153 hodin syntetické řeči s 29 hodinami angličtiny s přízvukem z Common Voice a 63 hodinami lékařských nahrávek z MultiMed a na jednom NVIDIA GB300 trvala přibližně 14 GPU-hodin.

Model běží na jediném GPU NVIDIA, od Jetson AGX Thor a DGX Spark až po datacentrové systémy Blackwell. NVIDIA uvádí, že s optimalizovanou implementací NIM dokáže jedna grafická karta RTX PRO 6000 Blackwell Server Edition přepisovat až 2 238 sekund zvuku za sekundu při použití přesnosti NVFP4 a spekulativního dekódování DFlash2. Oznámení také uvádí, že model při vysoké souběžnosti zpracuje 100 hodin zvuku za méně než tři minuty v režimu NVFP4, a to u klipů dlouhých 30 sekund; karta modelu upozorňuje, že tyto optimalizace pro nasazení zatím nejsou součástí vydání s otevřeným zdrojovým kódem. Pro obsluhu modelu se používá vLLM 0.32.0 s pluginem NeMo Speech nebo lokální inference pomocí NeMo-Speech.cpp. Dovednost agenta pro dolaďování umožňuje programovacímu agentovi spustit pracovní postup adaptace a ModelScope podporuje dolaďování prostřednictvím frameworku ms-swift.