NVIDIA lance un modèle vocal à poids ouverts et un jeu de données audio de 463 062 heures

Le 28 octobre 2026, NVIDIA a publié Nemotron 3.5 Transcribe, un modèle vocal à poids ouverts qui réunit dans un même checkpoint la transcription multilingue, l’attribution des locuteurs, la traduction et les questions-réponses sur l’audio. L’entreprise a également lancé Granary v2, un jeu de données vocal ouvert et un pipeline de curation dont le manifeste public couvre 463 062 heures dans 48 langues.

Le modèle transcrit 40 langues, en traduit 31 vers l’anglais ou depuis l’anglais, et attribue les propos à des locuteurs dans 13 langues, selon l’annonce de NVIDIA sur Hugging Face. Il peut traiter des enregistrements d’une durée maximale d’une heure et identifier jusqu’à huit locuteurs. La fiche du modèle indique une date de publication au 28 octobre 2026 sur Hugging Face, GitHub via NVIDIA NeMo Speech, NGC et Build.Nvidia.com. Les poids sont publiés sous licence OpenMDW-1.1 et le modèle peut être utilisé à des fins commerciales ou non commerciales. Des points d’accès hébergés sont proposés par Baseten, DeepInfra et Simplismart, et une démonstration interactive est disponible sur Hugging Face Spaces et ModelScope Studios.

Architecture et formulation des invites

Transcribe associe un encodeur vocal à un modèle de langage dans un checkpoint de 34 milliards de paramètres, dont environ 4,3 milliards sont actifs pour chaque jeton, avec un contexte de 65 536 jetons. La partie vocale combine un encodeur de reconnaissance automatique de la parole (ASR) Transformer de 600 millions de paramètres, l’encodeur de locuteurs Nemotron-3-Diarization d’environ 99 millions de paramètres et une tête de classification temporelle connexionniste pour horodater les mots. La partie langage repose sur Nemotron-3.5 Lightning 30B-A3B de NVIDIA, un modèle hybride à mélange d’experts associant Mamba-2 et Transformer. Les poids sont fournis en BF16, avec des variantes quantifiées FP8 et NVFP4, ainsi qu’un modèle brouillon DFlash2 facultatif pour le décodage spéculatif.

Des invites en langage naturel permettent de contrôler le résultat : les développeurs peuvent demander des transcriptions verbatim ou rédigées proprement, fournir du vocabulaire contextuel comme des termes liés à un produit ou au domaine médical, demander l’ajout d’étiquettes de locuteurs et d’horodatages au niveau des mots, traduire des paroles vers l’anglais ou depuis l’anglais, ou poser des questions sur l’audio. L’entraînement aux questions-réponses sur l’audio s’est fait en anglais. La matrice linguistique de la fiche évalue chacune des 40 langues pour chaque tâche, avec des niveaux de qualité allant de « Leading » à « Supported », et précise que la compréhension audio ainsi que le suivi d’instructions orales n’ont été évalués qu’en anglais. La fiche du modèle souligne que Transcribe fonctionne hors ligne : le découpage interne de l’audio ne transforme pas le modèle en service de diffusion en continu en temps réel.

L’entraînement s’est appuyé sur environ 1,72 million d’heures audio uniques indexées, réparties sur quelque 372 millions d’exemples, ainsi que sur 5,6 milliards de jetons textuels uniques. Les données provenaient de Granary v2, de corpus de réunions réunissant plusieurs locuteurs, de données de compréhension audio et de données vocales synthétiques tenant compte des informations personnelles identifiables (PII). Certaines données d’entraînement ont été concédées sous licence par David AI ; la fiche précise que le jeu d’évaluation DAI-ASR-I18N de David AI n’a pas été utilisé pour l’entraînement.

Résultats des benchmarks rapportés par NVIDIA

Selon NVIDIA, Transcribe arrive en tête des modèles à poids ouverts du classement Open ASR English de Hugging Face, avec un taux d’erreur moyen sur les mots de 5,33 % ; les modèles accessibles par API sont exclus. L’entreprise indique également que le modèle obtient le meilleur résultat multilingue, avec un WER moyen de 4,62 % dans sept langues, et le meilleur résultat sur les enregistrements longs, avec 10,98 %, parmi les modèles à poids ouverts comparés dans la fiche du modèle. Dans les tableaux de la fiche, établis à partir de données recueillies le 12 octobre 2026, le WER moyen sur neuf jeux de données en anglais est de 4,71 %, contre 4,94 % pour Qwen3-ASR-1.7B, le modèle à poids ouverts suivant au classement. Pour les enregistrements à plusieurs locuteurs, le cpWER moyen est de 15,80, contre 16,83 pour DiCoW v3.3 associé à DiariZen.

Sur l’indice de transcription vocale d’Artificial Analysis, NVIDIA affirme que Transcribe est à égalité en première position parmi les modèles à poids ouverts, avec un AA-WER de 2,8 %, tout en activant environ 4 milliards de paramètres par jeton, contre 24 milliards pour le modèle avec lequel il est à égalité. Pour l’attribution des locuteurs, l’annonce fait état du taux d’erreur de diarisation le plus bas parmi les 14 systèmes évalués dans le cadre du test de diarisation DAI-ASR-I18N de David AI, qui couvre 21 langues : 18,26 %, soit un résultat légèrement meilleur que celui de Nemotron 3 Diarization de NVIDIA, à 18,38 %. Le modèle arrive également en tête parmi 14 systèmes du benchmark anglais Diarization-Bench de VoiceArena, avec un cpWER de 32,4 % ; les suppressions représentent 8,32 % des mots de référence, contre une médiane d’environ 31 %.

Jeu de données et pipeline Granary v2

Granary v2, publié en même temps que le modèle, est le projet de données ouvertes qui a servi à son entraînement. Son manifeste public couvre 463 062 heures dans 48 langues et s’appuie sur 16 corpus sources, contre 25 langues pour Granary v1. NVIDIA précise que ces chiffres décrivent la version publiée du jeu de données, et non l’ensemble des données utilisées pour entraîner Transcribe. Élaboré avec NVIDIA NeMo Curator, le pipeline produit trois formes de transcription pour chaque enregistrement (verbatim avec normalisation du texte, avec normalisation inverse et disfluences, et avec normalisation inverse sans disfluences), ainsi que des légendes, le rétablissement de l’alternance codique, des paires de questions-réponses ancrées dans la parole, des termes de biais contextuel et des traductions assorties de scores de qualité automatiques.

Le pipeline comporte quatre étapes : préparation des métadonnées et de l’audio ; transcription par des modèles ASR principaux et de récupération, soumise à une vérification des hallucinations ; génération d’étiquettes de tâche avec vérification de leur concordance ; puis filtrage haute fidélité qui, pour le corpus VoxPopuli, a ramené le volume de 354 000 à 111 000 heures dans 22 langues européennes. Les manifestes contiennent des indications sur les entités, des paires d’instructions, des informations de provenance et des indicateurs de qualité pour chaque enregistrement. Les fichiers audio sources sont téléchargés séparément sous la licence d’origine de chaque corpus, et le pipeline fonctionne avec les backends Ray et NVIDIA Dynamo.

Étude de cas sur le réglage fin médical et le déploiement

Pour démontrer les possibilités d’adaptation, l’annonce de NVIDIA décrit une étude de cas médicale menée sur le benchmark ouvert d’Eka Care, qui comprend 3 619 enregistrements de médecins et d’étudiants en médecine indiens. Préciser dans l’invite que la langue est l’anglais et que l’alphabet est latin a fait passer le taux d’erreur de mots (WER) sur l’ensemble du benchmark de 30,8 % à 23,8 %, puis le réglage fin l’a ramené à 11,8 %. Sur 2 764 extraits mis de côté, évalués avec le pipeline KARMA d’Eka Care, le réglage fin a réduit le WER de 22,44 % à 12,17 %, soit une baisse relative de 45,8 % ; le WER des mots-clés est passé de 9,2 % à 6,5 % et le WER sémantique, de 10,0 % à 7,6 %, tandis que le WER sur le test-clean de LibriSpeech a légèrement augmenté, passant de 1,54 % à 1,69 %. L’adaptation a combiné environ 153 heures de parole synthétique, 29 heures d’anglais avec accents provenant de Common Voice et 63 heures d’enregistrements médicaux issus de MultiMed. Elle a nécessité environ 14 heures-GPU sur un seul NVIDIA GB300.

Le modèle fonctionne sur un seul GPU NVIDIA, des Jetson AGX Thor et DGX Spark jusqu’aux systèmes Blackwell pour centres de données. NVIDIA indique qu’avec l’implémentation NIM optimisée, un GPU RTX PRO 6000 Blackwell Server Edition transcrit jusqu’à 2 238 secondes d’audio par seconde en utilisant la précision NVFP4 et le décodage spéculatif DFlash2. L’annonce précise également que le modèle traite 100 heures d’audio en moins de trois minutes en NVFP4, sur des extraits de 30 secondes et avec une forte concurrence ; la fiche du modèle indique que ces optimisations de service ne font pas encore partie de la version open source. Le service s’appuie sur vLLM 0.32.0 avec le plug-in NeMo Speech, ou sur l’inférence locale avec NeMo-Speech.cpp. Une compétence d’agent pour le réglage fin permet à un agent de programmation d’exécuter le processus d’adaptation, tandis que ModelScope prend en charge le réglage fin avec son framework ms-swift.