A NVIDIA lança modelo de fala com pesos abertos e conjunto de dados de áudio com 463.062 horas

Em 28 de outubro de 2026, a NVIDIA lançou o Nemotron 3.5 Transcribe, um modelo de fala com pesos abertos que reúne transcrição multilíngue, atribuição de falantes, tradução e respostas a perguntas sobre áudio em um único checkpoint, junto com o Granary v2, um conjunto de dados de fala aberto e um fluxo de curadoria cujo manifesto público abrange 463.062 horas em 48 idiomas.

O modelo transcreve 40 idiomas, traduz 31 deles de ou para o inglês e atribui falantes em 13, segundo o anúncio da NVIDIA no Hugging Face. Ele processa gravações de até uma hora e identifica até oito falantes. A ficha do modelo informa a data de lançamento de 28 de outubro de 2026 e a disponibilidade no Hugging Face, no GitHub via NVIDIA NeMo Speech, no NGC e no Build.Nvidia.com, com pesos distribuídos sob a licença OpenMDW-1.1 e o modelo pronto para uso comercial ou não comercial. Baseten, DeepInfra e Simplismart oferecem endpoints hospedados, e há demonstrações interativas no Hugging Face Spaces e no ModelScope Studios.

Arquitetura e elaboração de prompts

O Transcribe combina um codificador de fala com uma base de linguagem em um único checkpoint de 34 bilhões de parâmetros, dos quais cerca de 4,3 bilhões ficam ativos por token, e tem um contexto de 65.536 tokens. O componente de fala reúne um codificador Transformer de reconhecimento automático de fala (ASR) com 600 milhões de parâmetros, o codificador de falantes Nemotron-3-Diarization, com cerca de 99 milhões de parâmetros, e uma camada de classificação temporal conexionista para gerar marcações de tempo das palavras. O componente de linguagem é o Nemotron-3.5 Lightning 30B-A3B da NVIDIA, um modelo híbrido de mistura de especialistas que combina Mamba-2 e Transformer. Os pesos são distribuídos em BF16, com variantes quantizadas em FP8 e NVFP4 e um modelo auxiliar opcional DFlash2 para decodificação especulativa.

Prompts em linguagem natural controlam a saída: os desenvolvedores podem solicitar transcrições literais ou revisadas, fornecer vocabulário contextual, como termos de produtos ou médicos, pedir etiquetas de falantes e marcações de tempo no nível das palavras, traduzir a fala de ou para o inglês ou fazer perguntas sobre o áudio. O modelo foi treinado para responder a perguntas sobre áudio em inglês, e a matriz de idiomas da ficha avalia cada um dos 40 idiomas por tarefa, com níveis de qualidade que vão de Líder a Com suporte; ela observa que a compreensão de áudio e o seguimento de instruções faladas foram avaliados apenas em inglês. A ficha do modelo enfatiza que o Transcribe é um modelo offline: o processamento interno do áudio em blocos não o transforma em um serviço de transmissão em tempo real.

O treinamento usou aproximadamente 1,72 milhão de horas únicas de áudio indexado em cerca de 372 milhões de exemplos, além de 5,6 bilhões de tokens de texto únicos, provenientes do Granary v2, de corpora de reuniões com vários falantes, de dados de compreensão de áudio e de fala sintética com atenção à identificação de informações pessoais. Parte dos dados de treinamento foi licenciada pela David AI; a ficha informa que o conjunto de avaliação DAI-ASR-I18N da David AI não foi usado no treinamento.

Resultados de benchmark divulgados pela NVIDIA

A NVIDIA informa que o Transcribe ocupa o primeiro lugar entre os modelos com pesos abertos no ranking em inglês Open ASR do Hugging Face, com uma taxa média de erro de palavras de 5,33%; os modelos de API são excluídos. A empresa também relata o melhor resultado multilíngue, com WER média de 4,62% em sete idiomas, e o menor resultado em transcrições longas, de 10,98%, entre os modelos com pesos abertos comparados na ficha do modelo. Nas tabelas da própria ficha, com dados coletados em 12 de outubro de 2026, a média de WER nos nove conjuntos de dados em inglês é de 4,71%, ante 4,94% do Qwen3-ASR-1.7B, o segundo melhor modelo com pesos abertos; já a média de cpWER em cenários com vários falantes é de 15,80, ante 16,83 do DiCoW v3.3 combinado com o DiariZen.

No índice de conversão de fala em texto da Artificial Analysis, a NVIDIA afirma que o Transcribe empata em primeiro lugar entre os modelos com pesos abertos, com AA-WER de 2,8%, enquanto ativa cerca de 4 bilhões de parâmetros por token, contra 24 bilhões no modelo com o qual empata. Em atribuição de falantes, o anúncio relata a menor taxa de erro de diarização entre os 14 sistemas avaliados na trilha de diarização DAI-ASR-I18N, da David AI, que abrange 21 idiomas: 18,26%, ligeiramente abaixo dos 18,38% do próprio Nemotron 3 Diarization da NVIDIA. O modelo também fica em primeiro lugar entre 14 sistemas no Diarization-Bench em inglês da VoiceArena, com cpWER de 32,4% e exclusões equivalentes a 8,32% das palavras de referência, ante uma mediana de cerca de 31%.

Conjunto de dados e fluxo do Granary v2

Lançado junto com o modelo, o Granary v2 é a iniciativa de dados abertos que sustenta seu treinamento. Seu manifesto público abrange 463.062 horas em 48 idiomas e 16 corpora de origem, ante 25 idiomas no Granary v1; a NVIDIA observa que esses números descrevem o lançamento do conjunto de dados, e não toda a mistura de dados usada no treinamento do Transcribe. Desenvolvido com o NVIDIA NeMo Curator, o fluxo gera três versões da transcrição por gravação (literal com normalização textual, com normalização inversa e disfluências, e com normalização inversa sem disfluências), além de legendas, restauração da alternância de idiomas, pares de perguntas e respostas fundamentados na fala, termos para viés contextual e traduções acompanhadas de pontuações automáticas de qualidade.

O fluxo opera em quatro etapas: preparação dos metadados e do áudio; transcrição com modelos ASR primários e de recuperação, condicionada a uma verificação de alucinações; geração de rótulos de tarefa com verificações de concordância; e um filtro de alta fidelidade que, no corpus VoxPopuli, reduziu o material de 354.000 para 111.000 horas em 22 idiomas europeus. Os manifestos incluem indicações de entidades, pares de instruções, informações de proveniência e indicadores de qualidade por gravação; o áudio de origem é baixado separadamente sob a licença original de cada corpus, e o fluxo é executado com os back-ends Ray e NVIDIA Dynamo.

Estudo de caso de ajuste fino médico e implantação

Para demonstrar a adaptação, o anúncio da NVIDIA descreve um estudo de caso médico baseado no benchmark aberto da Eka Care, com 3.619 gravações de médicos e estudantes de medicina indianos. Mencionar o inglês e o alfabeto latino no prompt reduziu a taxa de erro por palavra (WER) no benchmark completo de 30,8% para 23,8%; o ajuste fino a baixou para 11,8%. Em 2.764 clipes reservados para avaliação e analisados pelo pipeline KARMA da Eka Care, o ajuste fino reduziu a WER de 22,44% para 12,17%, uma redução relativa de 45,8%; a WER de palavras-chave caiu de 9,2% para 6,5%, e a WER semântica, de 10,0% para 7,6%, enquanto a WER no LibriSpeech test-clean subiu ligeiramente, de 1,54% para 1,69%. A adaptação combinou cerca de 153 horas de fala sintética com 29 horas de inglês com sotaques, provenientes do Common Voice, e 63 horas de gravações médicas do MultiMed, e levou aproximadamente 14 horas de GPU em uma NVIDIA GB300.

O modelo funciona em uma única GPU NVIDIA, desde o Jetson AGX Thor e o DGX Spark até sistemas Blackwell para data centers. A NVIDIA informa que, com a implementação otimizada do NIM, uma GPU RTX PRO 6000 Blackwell Server Edition transcreve até 2.238 segundos de áudio por segundo usando precisão NVFP4 com decodificação especulativa DFlash2. O anúncio também afirma que o modelo processa 100 horas de áudio em menos de três minutos, em NVFP4, com clipes de 30 segundos e alta simultaneidade; o cartão do modelo observa que essas otimizações de inferência ainda não fazem parte da versão de código aberto. A disponibilização do modelo usa o vLLM 0.32.0 com o plugin NeMo Speech ou inferência local com o NeMo-Speech.cpp. Uma competência de agente para ajuste fino permite que um agente de programação execute o fluxo de trabalho de adaptação, e o ModelScope oferece suporte ao ajuste fino por meio da estrutura ms-swift.