NVIDIA推出开放权重语音模型及覆盖463,062小时的音频数据集

NVIDIA于2026年10月28日发布Nemotron 3.5 Transcribe。这款开放权重语音模型在单个检查点中集成了多语言转录、说话人归属、翻译和音频问答功能；同时发布的还有Granary v2，这是一个开放语音数据集及其整理流程，其公开清单涵盖48种语言、共463,062小时的音频。

根据NVIDIA在Hugging Face上发布的公告，该模型可转录40种语言，将其中31种语言与英语互译，并识别13种语言中的说话人。它可处理最长一小时的录音，并标注最多八位说话人。模型卡列出的发布日期为2026年10月28日，模型届时将在Hugging Face、通过NVIDIA NeMo Speech提供的GitHub、NGC和Build.Nvidia.com上发布；其权重采用OpenMDW-1.1许可证，模型可用于商业或非商业用途。Baseten、DeepInfra和Simplismart提供托管端点，Hugging Face Spaces和ModelScope Studios则提供交互式演示。

架构与提示词

Transcribe将语音编码器与语言模型主干整合在一个340亿参数的检查点中，每个词元约激活43亿个参数，上下文长度为65,536个词元。语音部分由一个6亿参数的Transformer ASR编码器、约9,900万参数的Nemotron-3-Diarization说话人编码器，以及一个用于生成词级时间戳的连接时序分类头组成；语言部分则采用NVIDIA的Nemotron-3.5 Lightning 30B-A3B，这是一种结合Mamba-2与Transformer的混合专家模型。模型权重以BF16格式发布，另提供FP8和NVFP4量化版本，以及用于推测解码的可选DFlash2草稿模型。

输出由自然语言提示词控制：开发者可以要求生成逐字稿或经过整理的书面转录文本，提供产品或医疗术语等上下文词汇，要求添加说话人标签和词级时间戳，将语音译成英语或从英语译出，或者针对音频提问。音频问答功能使用英语训练；模型卡中的语言矩阵按任务对全部40种语言进行评级，等级从“领先”到“支持”不等，并指出音频理解和口语指令遵循能力仅以英语进行评估。模型卡强调，Transcribe是离线模型：内部音频分块并不意味着它是实时流式服务。

训练使用了约172万小时去重且已编入索引的音频，涵盖约3.72亿个样本，另使用了56亿个去重文本词元。训练数据来源包括Granary v2、多说话人会议语料库、音频理解数据和经合成处理且考虑个人身份信息（PII）的语音数据。部分训练数据由David AI授权；模型卡称，David AI的DAI-ASR-I18N评测集未用于训练。

NVIDIA公布的基准测试结果

NVIDIA称，在Hugging Face Open ASR英语排行榜上，Transcribe以5.33%的平均词错误率位居开放权重模型之首，API模型不纳入排名。在模型卡的比较中，它还取得了开放权重模型中最低的多语言结果——七种语言的平均WER为4.62%——以及最低的长篇转录结果10.98%。模型卡自有表格的数据截至2026年10月12日：在九个数据集上的英语平均WER为4.71%，优于排名第二的开放权重模型Qwen3-ASR-1.7B的4.94%；多说话人平均cpWER为15.80，优于DiCoW v3.3与DiariZen组合的16.83。

NVIDIA表示，在Artificial Analysis的语音转文本指数中，Transcribe以2.8%的AA-WER与另一模型并列开放权重模型第一；它每个词元约激活40亿个参数，而与其并列的模型激活240亿个参数。在说话人归属方面，公告称，在David AI的21种语言DAI-ASR-I18N说话人分离测试中，Transcribe以18.26%的错误率在14个系统中最低，略优于NVIDIA自家的Nemotron 3 Diarization（18.38%）；在VoiceArena的英语Diarization-Bench测试中，它也以32.4%的cpWER在14个系统中排名第一，参考文本词语的删除率为8.32%，而中位数约为31%。

Granary V2数据集与处理流程

Granary v2与该模型一同发布，是支撑其训练的开放数据项目。其公开清单涵盖48种语言、16个来源语料库，共463,062小时；而Granary v1仅涵盖25种语言。NVIDIA指出，这些数字描述的是数据集版本的发布规模，并非Transcribe完整的训练数据组合。该处理流程使用NVIDIA NeMo Curator构建，每段录音会生成三种转录文本（带文本规范化的逐字稿、保留不流畅表达的逆规范化文本，以及不保留不流畅表达的逆规范化文本），并生成说明文字、语码转换还原内容、以语音为依据的问答对、上下文偏置词项，以及带自动质量评分的翻译。

该处理流程分为四个阶段：准备元数据和音频；使用主ASR模型和恢复型ASR模型进行转录，并通过幻觉检测把关；生成任务标签并检查一致性；以及应用高保真筛选器。在VoxPopuli语料库中，该筛选器将数据从354,000小时缩减至111,000小时，覆盖22种欧洲语言。清单包含实体提示、指令对、来源信息以及每条记录的质量标记；源音频需依据各语料库原有的许可证另行下载，处理流程则使用Ray和NVIDIA Dynamo后端运行。

医疗领域微调案例研究与部署

为展示适配效果，NVIDIA 的公告介绍了一项医疗案例研究，研究使用了 Eka Care 开放基准中的 3,619 段录音，这些录音来自印度医生和医学生。在提示词中注明英语和拉丁字母后，整个基准上的词错误率（WER）从 30.8% 降至 23.8%；经过微调后，进一步降至 11.8%。在使用 Eka Care 的 KARMA 流程评估的 2,764 段留出音频上，微调将 WER 从 22.44% 降至 12.17%，相对降幅为 45.8%；关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%，而 LibriSpeech test-clean 的 WER 则从 1.54% 小幅升至 1.69%。此次适配结合了约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语语音，以及来自 MultiMed 的 63 小时医疗录音，并在一块 NVIDIA GB300 上耗费约 14 个 GPU 小时完成。

该模型可在单块 NVIDIA GPU 上运行，适用设备涵盖 Jetson AGX Thor、DGX Spark 以及 Blackwell 数据中心系统。NVIDIA 表示，采用优化后的 NIM 实现时，单块 RTX PRO 6000 Blackwell Server Edition GPU 使用 NVFP4 精度和 DFlash2 推测解码，每秒最多可转写 2,238 秒音频；公告还称，在高并发条件下，使用 NVFP4 处理时长为 30 秒的音频片段，该模型可在不到三分钟内处理 100 小时音频。模型卡指出，这些推理服务优化尚未纳入开源版本。模型服务可通过搭配 NeMo Speech 插件的 vLLM 0.32.0 实现，也可使用 NeMo-Speech.cpp 进行本地推理；微调智能体技能可让编码智能体执行适配工作流，而 ModelScope 则通过其 ms-swift 框架支持微调。