NVIDIA lancia un modello vocale a pesi aperti e un dataset audio di 463.062 ore

Il 28 ottobre 2026 NVIDIA ha rilasciato Nemotron 3.5 Transcribe, un modello vocale a pesi aperti che riunisce in un unico checkpoint la trascrizione multilingue, l’attribuzione degli interlocutori, la traduzione e la risposta a domande sull’audio, insieme a Granary v2, un dataset vocale aperto e una pipeline di selezione e preparazione dei dati il cui manifesto pubblico copre 463.062 ore in 48 lingue.

Secondo l’annuncio di NVIDIA su Hugging Face, il modello trascrive contenuti in 40 lingue, ne traduce 31 da e verso l’inglese e identifica gli interlocutori in 13 lingue. Gestisce registrazioni della durata massima di un’ora e identifica fino a otto interlocutori. La scheda del modello indica come data di rilascio il 28 ottobre 2026 e segnala che il modello è disponibile su Hugging Face, GitHub tramite NVIDIA NeMo Speech, NGC e Build.Nvidia.com; i pesi sono rilasciati con licenza OpenMDW-1.1 e il modello è pronto per l’uso commerciale e non commerciale. Baseten, DeepInfra e Simplismart offrono endpoint ospitati, mentre Hugging Face Spaces e ModelScope Studios ospitano una demo interattiva.

Architettura e prompt

Transcribe abbina un encoder vocale a un modello linguistico di base in un unico checkpoint da 34 miliardi di parametri, di cui circa 4,3 miliardi attivi per token, con un contesto di 65.536 token. La componente vocale combina un encoder ASR Transformer da 600 milioni di parametri, l’encoder degli interlocutori Nemotron-3-Diarization da circa 99 milioni di parametri e una testa di classificazione temporale connessionista per assegnare ai singoli vocaboli le relative marcature temporali; la componente linguistica è Nemotron-3.5 Lightning 30B-A3B di NVIDIA, un modello ibrido Mamba-2–Transformer basato su una miscela di esperti. I pesi sono distribuiti in BF16, con varianti quantizzate FP8 e NVFP4 e un modello bozza DFlash2 opzionale per la decodifica speculativa.

I prompt in linguaggio naturale controllano l’output: gli sviluppatori possono richiedere trascrizioni verbatim o ripulite in forma scritta, fornire vocaboli contestuali come termini di prodotto o medici, chiedere etichette per gli interlocutori e marcature temporali a livello di parola, tradurre il parlato da o verso l’inglese oppure porre domande sull’audio. Il modello è stato addestrato a rispondere a domande sull’audio in inglese; la matrice linguistica della scheda valuta ciascuna delle 40 lingue per attività, con livelli di qualità da «Leader» a «Supportato», e precisa che la comprensione audio e la capacità di seguire istruzioni vocali sono state valutate solo in inglese. La scheda sottolinea che Transcribe è un modello offline: la suddivisione interna dell’audio in segmenti non lo rende un servizio di streaming in tempo reale.

L’addestramento ha utilizzato circa 1,72 milioni di ore audio uniche indicizzate, distribuite in circa 372 milioni di esempi, oltre a 5,6 miliardi di token testuali unici, attingendo a Granary v2, corpora di riunioni con più interlocutori, dati per la comprensione dell’audio e parlato sintetico con gestione dei dati personali identificabili (PII). Una parte dei dati di addestramento è stata concessa in licenza da David AI; la scheda specifica che il set di valutazione DAI-ASR-I18N di David AI non è stato utilizzato nell’addestramento.

Risultati dei benchmark riportati da NVIDIA

NVIDIA riferisce che Transcribe è al primo posto tra i modelli a pesi aperti nella classifica Open ASR English di Hugging Face, con un tasso medio di errore sulle parole del 5,33%, escludendo i modelli API, e che registra il risultato multilingue più basso, con un WER medio del 4,62% su sette lingue, e il risultato più basso sulle trascrizioni lunghe, pari al 10,98%, tra i modelli a pesi aperti inclusi nel confronto della scheda. Nelle tabelle della scheda, aggiornate al 12 ottobre 2026, la media inglese su nove dataset è del 4,71% WER, contro il 4,94% di Qwen3-ASR-1.7B, il successivo modello a pesi aperti in classifica; la media cpWER per più interlocutori è 15,80, contro 16,83 di DiCoW v3.3 abbinato a DiariZen.

Nell’indice speech-to-text di Artificial Analysis, NVIDIA afferma che Transcribe è a pari merito al primo posto tra i modelli a pesi aperti con un AA-WER del 2,8%, attivando circa 4 miliardi di parametri per token, contro i 24 miliardi del modello con cui condivide il primo posto. Per l’attribuzione degli interlocutori, l’annuncio riporta il tasso di errore di diarizzazione più basso tra i 14 sistemi della prova di diarizzazione DAI-ASR-I18N di David AI, che copre 21 lingue: 18,26%, poco meno del 18,38% ottenuto da Nemotron 3 Diarization di NVIDIA. Inoltre, si è classificato al primo posto tra 14 sistemi nel benchmark inglese Diarization-Bench di VoiceArena, con un cpWER del 32,4% e cancellazioni pari all’8,32% delle parole di riferimento, contro una mediana di circa il 31%.

Dataset e pipeline Granary V2

Granary v2, rilasciato insieme al modello, è il progetto di dati aperti alla base del suo addestramento. Il manifesto pubblico comprende 463.062 ore in 48 lingue e 16 corpora di origine, rispetto alle 25 lingue di Granary v1; NVIDIA precisa che queste cifre si riferiscono al dataset rilasciato, non all’intero insieme di dati utilizzato per addestrare Transcribe. Realizzata con NVIDIA NeMo Curator, la pipeline genera tre versioni della trascrizione per ogni registrazione (verbatim con normalizzazione del testo, con normalizzazione inversa e disfluenze, e con normalizzazione inversa senza disfluenze), oltre a didascalie, ripristino dei passaggi da una lingua all’altra, coppie di domande e risposte basate sul parlato, termini contestuali per la disambiguazione e traduzioni corredate da punteggi automatici di qualità.

La pipeline si articola in quattro fasi: preparazione dei metadati e dell’audio; trascrizione con modelli ASR primari e di recupero, subordinata a un controllo delle allucinazioni; generazione di etichette per le attività con verifiche di coerenza; e un filtro ad alta fedeltà che, per il corpus VoxPopuli, ha ridotto il materiale da 354.000 a 111.000 ore distribuite in 22 lingue europee. I manifesti includono indicazioni sulle entità, coppie di istruzioni, provenienza e indicatori di qualità per ogni registrazione; l’audio sorgente viene scaricato separatamente, nel rispetto della licenza originale di ciascun corpus, e la pipeline funziona con i backend Ray e NVIDIA Dynamo.

Caso di studio sull’adattamento al dominio medico e distribuzione

Per dimostrare l’adattabilità, l’annuncio di NVIDIA descrive uno studio di caso in ambito medico basato sul benchmark aperto di Eka Care, composto da 3.619 registrazioni di medici e studenti di medicina indiani. Indicare nel prompt la lingua inglese e l’alfabeto latino ha ridotto il WER sull’intero benchmark dal 30,8% al 23,8%, e l’affinamento lo ha portato all’11,8%. Sui 2.764 clip tenuti da parte e valutati con la pipeline KARMA di Eka Care, l’affinamento ha ridotto il WER dal 22,44% al 12,17%, con una riduzione relativa del 45,8%; il WER delle parole chiave è sceso dal 9,2% al 6,5% e quello semantico dal 10,0% al 7,6%, mentre il WER sul test-clean di LibriSpeech è aumentato leggermente, dall’1,54% all’1,69%. L’adattamento ha combinato circa 153 ore di parlato sintetico con 29 ore di inglese con accenti diversi provenienti da Common Voice e 63 ore di registrazioni mediche provenienti da MultiMed, e ha richiesto circa 14 ore di calcolo su GPU NVIDIA GB300.

Il modello funziona su una singola GPU NVIDIA, dai sistemi Jetson AGX Thor e DGX Spark fino ai sistemi Blackwell per data center. NVIDIA riferisce che, con l’implementazione NIM ottimizzata, una GPU RTX PRO 6000 Blackwell Server Edition trascrive fino a 2.238 secondi di audio al secondo usando la precisione NVFP4 e la decodifica speculativa DFlash2; l’annuncio afferma inoltre che il modello elabora 100 ore di audio in meno di tre minuti in NVFP4, su clip di 30 secondi e con un livello elevato di concorrenza. La scheda del modello precisa che queste ottimizzazioni per l’inferenza non sono ancora incluse nella versione open source. Per la distribuzione si usa vLLM 0.32.0 con il plugin NeMo Speech, oppure si può ricorrere all’inferenza locale con NeMo-Speech.cpp; inoltre, una funzionalità per agenti dedicata al fine-tuning permette a un agente di programmazione di eseguire il flusso di lavoro di adattamento, mentre ModelScope supporta il fine-tuning tramite il framework ms-swift.