NVIDIA lansează un model de vorbire cu ponderi deschise și un set de date audio de 463.062 de ore

Pe 28 octombrie 2026, NVIDIA a lansat Nemotron 3.5 Transcribe, un model de vorbire cu ponderi deschise care reunește într-un singur punct de control transcrierea multilingvă, atribuirea vorbitorilor, traducerea și răspunsurile la întrebări despre conținutul audio. Odată cu acesta, a lansat Granary v2, un set de date de vorbire deschis și un flux de lucru pentru selecția și organizarea datelor, al cărui manifest public cuprinde 463.062 de ore în 48 de limbi.

Modelul transcrie 40 de limbi, traduce 31 dintre ele în engleză sau din engleză și atribuie vorbitorii în 13 limbi, potrivit anunțului NVIDIA de pe Hugging Face. Poate procesa înregistrări de până la o oră și poate identifica până la opt vorbitori. Fișa modelului indică data lansării ca fiind 28 octombrie 2026 și enumeră Hugging Face, GitHub prin NVIDIA NeMo Speech, NGC și Build.Nvidia.com drept platforme pe care este disponibil modelul. Ponderile sunt publicate sub licența OpenMDW-1.1, iar modelul poate fi folosit în scopuri comerciale sau necomerciale. Baseten, DeepInfra și Simplismart oferă puncte finale găzduite, iar pe Hugging Face Spaces și ModelScope Studios este disponibilă o demonstrație interactivă.

Arhitectură și formularea prompturilor

Transcribe combină un encoder de vorbire cu un model lingvistic de bază într-un singur punct de control cu 34 de miliarde de parametri, dintre care aproximativ 4,3 miliarde sunt activi pentru fiecare token, și are o fereastră de context de 65.536 de tokenuri. Componenta de vorbire reunește un encoder Transformer ASR cu 600 de milioane de parametri, encoderul de vorbitori Nemotron-3-Diarization, cu aproximativ 99 de milioane de parametri, și un cap de clasificare temporală conexionistă pentru marcajele temporale ale cuvintelor. Componenta lingvistică este Nemotron-3.5 Lightning 30B-A3B de la NVIDIA, un model hibrid Mamba-2–Transformer cu amestec de experți. Ponderile sunt distribuite în format BF16, alături de variante cuantizate FP8 și NVFP4 și de un model preliminar DFlash2 opțional pentru decodarea speculativă.

Prompturile în limbaj natural controlează rezultatul: dezvoltatorii pot solicita transcrieri literale sau transcrieri scrise, curățate, pot furniza vocabular contextual, precum termeni despre produse sau din domeniul medical, pot cere etichete pentru vorbitori și marcaje temporale la nivel de cuvânt, pot traduce vorbirea în engleză sau din engleză ori pot pune întrebări despre conținutul audio. Modelul a fost antrenat să răspundă la întrebări despre conținutul audio în limba engleză, iar matricea lingvistică din fișa modelului evaluează fiecare dintre cele 40 de limbi pentru fiecare sarcină, cu niveluri de calitate de la „de top” la „acceptat”. Matricea precizează că înțelegerea conținutului audio și urmarea instrucțiunilor rostite au fost evaluate numai în limba engleză. Fișa modelului subliniază că Transcribe este un model offline: segmentarea internă a semnalului audio nu îl transformă într-un serviciu de redare în timp real.

Antrenarea a folosit aproximativ 1,72 milioane de ore de înregistrări audio unice indexate, repartizate în circa 372 de milioane de exemple, precum și 5,6 miliarde de tokenuri text unice. Au fost utilizate date din Granary v2, corpusuri de ședințe cu mai mulți vorbitori, seturi de date pentru înțelegerea conținutului audio și vorbire sintetică ce ține cont de informațiile de identificare personală (PII). O parte dintre datele de antrenare au fost licențiate de la David AI; fișa precizează că setul de evaluare DAI-ASR-I18N al David AI nu a fost folosit la antrenare.

Rezultatele testelor comparative raportate de NVIDIA

NVIDIA afirmă că Transcribe ocupă primul loc între modelele cu ponderi deschise în clasamentul Open ASR în limba engleză de pe Hugging Face, cu o rată medie a erorilor la nivel de cuvânt de 5,33%; modelele accesate prin API sunt excluse. Totodată, modelul obține cel mai bun rezultat multilingv, o rată medie WER de 4,62% pentru șapte limbi, și cel mai bun rezultat pentru înregistrări lungi, de 10,98%, dintre modelele cu ponderi deschise din comparația prezentată în fișa modelului. În tabelele proprii ale fișei, realizate pe baza datelor colectate la 12 octombrie 2026, media WER pentru limba engleză, calculată pe nouă seturi de date, este de 4,71%, față de 4,94% pentru Qwen3-ASR-1.7B, următorul model cu ponderi deschise în clasament. Pentru vorbirea cu mai mulți participanți, media cpWER este de 15,80, față de 16,83 pentru DiCoW v3.3 asociat cu DiariZen.

Potrivit NVIDIA, în indicele de conversie a vorbirii în text al Artificial Analysis, Transcribe este la egalitate pe primul loc între modelele cu ponderi deschise, cu un scor AA-WER de 2,8%, activând aproximativ 4 miliarde de parametri pentru fiecare token, față de 24 de miliarde în cazul modelului cu care împarte primul loc. În ceea ce privește atribuirea vorbitorilor, anunțul raportează cea mai mică rată a erorilor de diarizare dintre cele 14 sisteme de pe pista de diarizare DAI-ASR-I18N, cu 21 de limbi, a David AI: 18,26%, ușor sub rezultatul propriului model Nemotron 3 Diarization al NVIDIA, de 18,38%. De asemenea, Transcribe ocupă primul loc dintre cele 14 sisteme la testul Diarization-Bench în limba engleză al VoiceArena, cu o cpWER de 32,4%; ștergerile reprezintă 8,32% din cuvintele de referință, față de o mediană de aproximativ 31%.

Setul de date și fluxul de lucru Granary v2

Granary v2, lansat odată cu modelul, este inițiativa de date deschise care a stat la baza antrenării acestuia. Manifestul public cuprinde 463.062 de ore în 48 de limbi și 16 corpusuri-sursă, față de 25 de limbi în Granary v1; NVIDIA precizează că aceste cifre se referă la versiunea lansată a setului de date, nu la întregul amestec de date folosit pentru antrenarea Transcribe. Creat cu NVIDIA NeMo Curator, fluxul de lucru generează trei forme de transcriere pentru fiecare înregistrare (literală, cu normalizarea textului; cu normalizare inversă și disfluențe; și cu normalizare inversă, fără disfluențe), precum și subtitrări, restaurarea alternanței dintre limbi, perechi de întrebări și răspunsuri ancorate în vorbire, termeni de contextualizare pentru reducerea erorilor de recunoaștere și traduceri însoțite de scoruri automate de calitate.

Fluxul de lucru se desfășoară în patru etape: pregătirea metadatelor și a fișierelor audio; transcrierea cu modele ASR principale și de recuperare, condiționată de o verificare a halucinațiilor; generarea etichetelor pentru sarcini, cu verificări ale concordanței; și un filtru de înaltă fidelitate care, pentru corpusul VoxPopuli, a redus volumul de la 354.000 de ore la 111.000 de ore în 22 de limbi europene. Manifestele includ indicii despre entități, perechi de instrucțiuni, informații privind proveniența și indicatori de calitate pentru fiecare înregistrare. Fișierele audio-sursă sunt descărcate separat, în baza licenței originale a fiecărui corpus, iar fluxul de lucru funcționează cu backendurile Ray și NVIDIA Dynamo.

Studiu de caz privind ajustarea fină în domeniul medical și implementarea

Pentru a demonstra adaptarea, anunțul NVIDIA descrie un studiu de caz medical bazat pe setul de evaluare public al Eka Care, care cuprinde 3.619 înregistrări realizate de medici și studenți la medicină din India. Menționarea limbii engleze și a alfabetului latin în prompt a redus rata de eroare a cuvintelor (WER) pe întregul set de evaluare de la 30,8% la 23,8%, iar reglarea fină a coborât-o la 11,8%. În cazul celor 2.764 de înregistrări audio rezervate pentru testare și evaluate cu ajutorul fluxului de procesare KARMA al Eka Care, reglarea fină a redus WER de la 22,44% la 12,17%, o scădere relativă de 45,8%; WER pentru cuvintele-cheie a scăzut de la 9,2% la 6,5%, iar WER semantic, de la 10,0% la 7,6%, în timp ce WER pe setul LibriSpeech test-clean a crescut ușor, de la 1,54% la 1,69%. Adaptarea a combinat aproximativ 153 de ore de vorbire sintetică cu 29 de ore de engleză cu accent din Common Voice și 63 de ore de înregistrări medicale din MultiMed și a durat aproximativ 14 ore GPU pe un singur NVIDIA GB300.

Modelul rulează pe un singur GPU NVIDIA, de la Jetson AGX Thor și DGX Spark până la sistemele Blackwell pentru centre de date. NVIDIA raportează că, folosind implementarea NIM optimizată, un GPU RTX PRO 6000 Blackwell Server Edition transcrie până la 2.238 de secunde de înregistrări audio pe secundă, cu precizia NVFP4 și decodare speculativă DFlash2, iar anunțul precizează că modelul procesează 100 de ore de înregistrări audio în mai puțin de trei minute în format NVFP4, pentru înregistrări de 30 de secunde și la un nivel ridicat de concurență; fișa modelului menționează că aceste optimizări pentru servire nu sunt încă incluse în versiunea cu sursă deschisă. Servirea folosește vLLM 0.32.0 cu pluginul NeMo Speech sau inferență locală cu NeMo-Speech.cpp, iar o competență de agent pentru reglare fină permite unui agent de programare să execute fluxul de lucru pentru adaptare, în timp ce ModelScope oferă suport pentru reglarea fină prin cadrul său ms-swift.