NVIDIA lanza un modelo de voz de pesos abiertos y un conjunto de datos de audio de 463.062 horas

El 28 de octubre de 2026, NVIDIA lanzó Nemotron 3.5 Transcribe, un modelo de voz de pesos abiertos que combina en un solo punto de control la transcripción multilingüe, la atribución de hablantes, la traducción y la respuesta a preguntas sobre audio. Junto con el modelo, lanzó Granary v2, un conjunto de datos de voz abierto y una canalización de curación cuyo manifiesto público abarca 463.062 horas en 48 idiomas.

El modelo transcribe 40 idiomas, traduce 31 de ellos al inglés o desde el inglés y atribuye hablantes en 13, según el anuncio de NVIDIA en Hugging Face. Procesa grabaciones de hasta una hora y etiqueta hasta ocho hablantes. La ficha del modelo indica como fecha de lanzamiento el 28 de octubre de 2026 y señala que está disponible en Hugging Face, GitHub a través de NVIDIA NeMo Speech, NGC y Build.Nvidia.com. Los pesos se publicaron con la licencia OpenMDW-1.1 y el modelo está listo para uso comercial o no comercial. Baseten, DeepInfra y Simplismart ofrecen puntos de acceso alojados, y hay una demostración interactiva en Hugging Face Spaces y ModelScope Studios.

Arquitectura y diseño de instrucciones

Transcribe combina un codificador de voz con una base de lenguaje en un único punto de control de 34B parámetros, de los cuales se activan aproximadamente 4,3B por token, y tiene un contexto de 65.536 tokens. El componente de voz integra un codificador ASR Transformer de 600M de parámetros, el codificador de hablantes Nemotron-3-Diarization, de aproximadamente 99M de parámetros, y una capa de clasificación temporal conexionista para las marcas de tiempo de las palabras. El componente de lenguaje es Nemotron-3.5 Lightning 30B-A3B de NVIDIA, un modelo híbrido de mezcla de expertos Mamba-2–Transformer. Los pesos se distribuyen en BF16, junto con variantes cuantizadas FP8 y NVFP4 y un modelo borrador DFlash2 opcional para la decodificación especulativa.

Las instrucciones en lenguaje natural controlan el resultado: los desarrolladores pueden solicitar transcripciones literales o depuradas, proporcionar vocabulario contextual, como términos de productos o médicos, pedir etiquetas de hablantes y marcas de tiempo a nivel de palabra, traducir el habla al inglés o desde el inglés, o hacer preguntas sobre el audio. El modelo se entrenó para responder preguntas sobre audio en inglés, y la matriz de idiomas de la ficha califica cada uno de los 40 idiomas por tarea con niveles de calidad que van de «Líder» a «Compatible»; también señala que la comprensión de audio y el seguimiento de instrucciones habladas solo se evaluaron en inglés. La ficha del modelo recalca que Transcribe es un modelo sin conexión: la segmentación interna del audio no lo convierte en un servicio de transmisión en tiempo real.

El entrenamiento utilizó aproximadamente 1,72 millones de horas de audio indexadas únicas, distribuidas en unos 372 millones de ejemplos, además de 5.600 millones de tokens de texto únicos. Se basó en Granary v2, corpus de reuniones con varios hablantes, datos de comprensión de audio y voz sintética que tiene en cuenta la información personal identificable (PII). Algunos datos de entrenamiento se obtuvieron bajo licencia de David AI; la ficha indica que el conjunto de evaluación DAI-ASR-I18N de David AI no se utilizó en el entrenamiento.

Resultados de referencia según NVIDIA

NVIDIA afirma que Transcribe ocupa el primer puesto entre los modelos de pesos abiertos en la clasificación de inglés Open ASR de Hugging Face, con una tasa media de error de palabras del 5,33 %, sin incluir los modelos de API. También registra el resultado multilingüe más bajo —un WER medio del 4,62 % en siete idiomas— y el resultado más bajo en formato largo —10,98 %— entre los modelos de pesos abiertos incluidos en la comparación de la ficha. En las tablas propias de la ficha, con datos recopilados el 12 de octubre de 2026, la media en inglés de nueve conjuntos de datos es de 4,71 % WER, frente al 4,94 % de Qwen3-ASR-1.7B, la siguiente entrada de pesos abiertos con mejor resultado; la media cpWER para varios hablantes es de 15,80, frente a 16,83 de DiCoW v3.3 combinado con DiariZen.

En el índice de conversión de voz a texto de Artificial Analysis, NVIDIA afirma que Transcribe empata en el primer puesto entre los modelos de pesos abiertos, con un 2,8 % de AA-WER, mientras activa aproximadamente 4B parámetros por token, frente a los 24B del modelo con el que empata. En cuanto a la atribución de hablantes, el anuncio informa que obtuvo la menor tasa de error de diarización entre los 14 sistemas de la prueba de diarización DAI-ASR-I18N de David AI, que abarca 21 idiomas, con un 18,26 %, ligeramente por delante del propio Nemotron 3 Diarization de NVIDIA, con un 18,38 %. También ocupó el primer puesto entre 14 sistemas en la prueba Diarization-Bench en inglés de VoiceArena, con un 32,4 % de cpWER; las eliminaciones representaron el 8,32 % de las palabras de referencia, frente a una mediana de aproximadamente el 31 %.

Conjunto de datos y canalización Granary v2

Granary v2, publicado junto con el modelo, es el proyecto de datos abiertos que sustenta su entrenamiento. Su manifiesto público abarca 463.062 horas en 48 idiomas y 16 corpus de origen, frente a los 25 idiomas de Granary v1; NVIDIA señala que estas cifras describen la versión publicada del conjunto de datos, no la mezcla completa utilizada para entrenar Transcribe. Creada con NVIDIA NeMo Curator, la canalización genera tres versiones de la transcripción por grabación (literal con normalización de texto, con normalización inversa y disfluencias, y con normalización inversa sin disfluencias), además de subtítulos, restauración de cambios de idioma, pares de preguntas y respuestas basados en el habla, términos de sesgo contextual y traducciones con puntuaciones automáticas de calidad.

La canalización consta de cuatro etapas: preparación de los metadatos y el audio; transcripción con modelos ASR principal y de recuperación, sujetos a una comprobación de alucinaciones; generación de etiquetas de tarea con verificaciones de concordancia; y un filtro de alta fidelidad que, en el corpus VoxPopuli, redujo 354.000 horas a 111.000 horas en 22 idiomas europeos. Los manifiestos incluyen indicaciones sobre entidades, pares de instrucciones, procedencia y etiquetas de calidad por grabación; el audio de origen se descarga por separado bajo la licencia original de cada corpus, y la canalización funciona con los sistemas de ejecución de Ray y NVIDIA Dynamo.

Estudio de caso de ajuste fino médico y despliegue

Para demostrar la adaptación, el anuncio de NVIDIA describe un estudio de caso médico basado en el banco de pruebas abierto de Eka Care, que contiene 3.619 grabaciones de médicos y estudiantes de medicina de la India. Indicar «inglés» y «alfabeto latino» en la instrucción redujo la WER en todo el banco de pruebas del 30,8 % al 23,8 %, y el ajuste fino la redujo al 11,8 %. En 2.764 fragmentos reservados para evaluación y puntuados con la canalización KARMA de Eka Care, el ajuste fino redujo la WER del 22,44 % al 12,17 %, una reducción relativa del 45,8 %; la WER de palabras clave bajó del 9,2 % al 6,5 % y la WER semántica, del 10,0 % al 7,6 %, mientras que la WER de LibriSpeech test-clean aumentó ligeramente del 1,54 % al 1,69 %. La adaptación combinó unas 153 horas de habla sintética con 29 horas de inglés con acento de Common Voice y 63 horas de grabaciones médicas de MultiMed, y requirió aproximadamente 14 horas de GPU en una NVIDIA GB300.

El modelo funciona en una sola GPU de NVIDIA, desde Jetson AGX Thor y DGX Spark hasta los sistemas de centros de datos Blackwell. NVIDIA informa que, con la implementación optimizada de NIM, una GPU RTX PRO 6000 Blackwell Server Edition transcribe hasta 2.238 segundos de audio por segundo con precisión NVFP4 y decodificación especulativa DFlash2; además, el anuncio indica que el modelo procesa 100 horas de audio en menos de tres minutos en NVFP4, con fragmentos de 30 segundos y alta concurrencia. La ficha del modelo señala que estas optimizaciones de servicio todavía no forman parte de la versión de código abierto. El servicio utiliza vLLM 0.32.0 con el complemento NeMo Speech, o inferencia local con NeMo-Speech.cpp; además, una habilidad de agente para el ajuste fino permite que un agente de programación ejecute el flujo de trabajo de adaptación, y ModelScope ofrece compatibilidad con el ajuste fino mediante su marco ms-swift.