NVIDIA、オープンウェイトの音声モデルと463,062時間分の音声データセットを公開

NVIDIAは2026年10月28日、多言語文字起こし、話者識別、翻訳、音声に関する質問応答を1つのチェックポイントに統合したオープンウェイトの音声モデル、Nemotron 3.5 Transcribeを公開した。同時に、公開マニフェストが48言語、463,062時間分を網羅するオープン音声データセット兼キュレーションパイプライン、Granary v2も発表した。

Hugging Face上でのNVIDIAの発表によると、このモデルは40言語の文字起こしに対応し、そのうち31言語について英語との相互翻訳を行い、13言語で話者を識別する。最長1時間の録音を処理でき、最大8人の話者にラベルを付けられる。モデルカードには、Hugging Face、NVIDIA NeMo Speech経由のGitHub、NGC、Build.Nvidia.comでの公開日として2026年10月28日が記載されている。重みはOpenMDW-1.1ライセンスで公開され、商用・非商用のいずれにも利用できる。ホスト型エンドポイントはBaseten、DeepInfra、Simplismartが提供しており、Hugging Face SpacesとModelScope Studiosではインタラクティブなデモを利用できる。

アーキテクチャとプロンプト

Transcribeは、音声エンコーダーと言語バックボーンを組み合わせた34Bパラメータのチェックポイントで、1トークンあたり約4.3Bパラメータがアクティブになり、コンテキスト長は65,536トークンに及ぶ。音声側は、600MパラメータのTransformer ASRエンコーダー、約99MパラメータのNemotron-3-Diarization話者エンコーダー、単語単位のタイムスタンプを生成するコネクショニスト時間分類ヘッドで構成される。言語側には、NVIDIAのNemotron-3.5 Lightning 30B-A3Bを採用している。これはMamba-2とTransformerを組み合わせた混合エキスパートモデルだ。重みはBF16で提供され、FP8とNVFP4の量子化版に加え、投機的デコーディング用のオプションとしてDFlash2ドラフトモデルも用意されている。

出力は自然言語のプロンプトで制御できる。開発者は逐語的な文字起こし、または読みやすく整えた文章形式の文字起こしを指定できるほか、製品名や医療用語などの文脈語彙を与えたり、話者タグや単語単位のタイムスタンプを求めたり、英語との相互翻訳を指示したり、音声について質問したりできる。音声質問応答の学習は英語で行われている。また、モデルカードの言語マトリックスでは、40言語それぞれについてタスクごとに「最高水準」から「対応」までの品質レベルを示しており、音声理解と音声による指示への追従は英語のみで評価したと記されている。モデルカードは、Transcribeがオフラインモデルであることも強調している。内部で音声を分割して処理しても、リアルタイムのストリーミングサービスになるわけではない。

学習には、約3億7,200万件の例からなる、インデックス化された重複のない音声データ約172万時間分に加え、重複のないテキストトークン56億個が使われた。データはGranary v2、複数話者の会議コーパス、音声理解データ、個人を特定できる情報（PII）に配慮した合成音声から構成される。一部の学習データはDavid AIからライセンス供与を受けたもので、David AIのDAI-ASR-I18N評価セットは学習に使用していないとモデルカードに記載されている。

NVIDIAが報告したベンチマーク結果

NVIDIAによると、TranscribeはHugging Face Open ASR英語リーダーボードで、APIモデルを除くオープンウェイトモデルの中で首位となり、単語誤り率（WER）の平均は5.33%だった。また、モデルカードの比較では、オープンウェイトモデルの中で多言語評価の最低値となる7言語平均WER 4.62%を記録し、長文音声評価でも最低値の10.98%を達成した。2026年10月12日時点のモデルカード独自の表では、9つの英語データセットの平均WERは4.71%で、次点のオープンウェイトモデルQwen3-ASR-1.7Bの4.94%を下回った。複数話者の平均cpWERは15.80で、DiariZenと組み合わせたDiCoW v3.3の16.83を下回った。

NVIDIAによると、Artificial Analysisの音声テキスト変換指標では、Transcribeはオープンウェイトモデルの中でAA-WER 2.8%で首位タイとなった。このときアクティブになるパラメータは1トークンあたり約4Bで、同率のモデルは24Bだった。話者識別については、David AIの21言語対応DAI-ASR-I18N話者ダイアライゼーション評価で、14システム中最低のダイアライゼーション誤り率18.26%を記録した。これはNVIDIA自身のNemotron 3 Diarizationの18.38%をわずかに上回る結果だ。また、VoiceArenaの英語版Diarization-Benchでは、14システム中1位となるcpWER 32.4%を達成した。正解データの単語に対する削除率は8.32%で、中央値の約31%を下回った。

Granary V2のデータセットとパイプライン

Granary v2はモデルと同時に公開された、学習を支えるオープンデータの取り組みだ。公開マニフェストには、48言語、16のソースコーパスにわたる463,062時間分が収録されている。Granary v1の25言語から拡大した。NVIDIAは、これらの数値がデータセットの公開規模を示すものであり、Transcribeの学習に使われたデータ全体を表すものではないと説明している。NVIDIA NeMo Curatorを使って構築されたこのパイプラインは、録音1件につき3種類の文字起こし（テキスト正規化を施した逐語版、フィラーなどを残して逆正規化した版、フィラーなどを除いて逆正規化した版）に加え、キャプション、コードスイッチングの復元、音声に基づく質問と回答のペア、文脈に応じたバイアス付与用語、自動品質スコア付き翻訳を生成する。

パイプラインは4段階で処理を進める。まずメタデータと音声を準備し、次に幻覚チェックを通過条件とする一次および復旧用ASRモデルで文字起こしを行う。その後、一致度チェックを伴うタスクラベル生成を経て、高忠実度フィルターを適用する。VoxPopuliコーパスでは、このフィルターにより、22の欧州言語にわたる354,000時間分が111,000時間分に絞り込まれた。マニフェストには、エンティティのヒント、指示のペア、データの来歴、レコードごとの品質フラグが含まれる。元の音声は各コーパスの元のライセンスに従って別途ダウンロードし、パイプラインはRayとNVIDIA Dynamoのバックエンドで実行する。

医療分野でのファインチューニング事例と導入

適応能力を示す事例として、NVIDIAの発表では、インドの医師と医学生による録音3,619件を収録したEka Careの公開ベンチマークを用いた医療分野のケーススタディが紹介されています。プロンプトで英語とラテン文字を指定すると、ベンチマーク全体のWERは30.8%から23.8%に低下し、ファインチューニングによって11.8%まで下がりました。Eka CareのKARMAパイプラインで評価した保留クリップ2,764件では、ファインチューニングによりWERが22.44%から12.17%に低下し、相対的に45.8%の改善となりました。キーワードWERは9.2%から6.5%に、意味WERは10.0%から7.6%に低下する一方、LibriSpeech test-cleanのWERは1.54%から1.69%へとわずかに上昇しました。この適応では、合成音声約153時間に、Common Voiceのアクセント付き英語29時間とMultiMedの医療録音63時間を組み合わせ、NVIDIA GB300 1基で約14 GPU時間を要しました。

このモデルは、Jetson AGX ThorやDGX SparkからBlackwellデータセンターシステムまで、単一のNVIDIA GPUで動作します。NVIDIAによると、最適化されたNIM実装では、RTX PRO 6000 Blackwell Server Edition GPU 1基で、NVFP4精度とDFlash2の投機的デコーディングを用いて、1秒あたり最大2,238秒分の音声を書き起こせます。また発表では、高い同時実行性のもと、30秒のクリップをNVFP4で処理する場合、モデルは100時間分の音声を3分未満で処理するとされています。一方、モデルカードによると、こうしたサービング最適化はまだオープンソース版には含まれていません。サービングにはNeMo SpeechプラグインとvLLM 0.32.0を使用するか、NeMo-Speech.cppでローカル推論を行います。また、ファインチューニング用のエージェントスキルを使えば、コーディングエージェントで適応ワークフローを実行でき、ModelScopeはms-swiftフレームワークを通じたファインチューニングをサポートしています。