NVIDIA、2.8兆トークンのインド諸語向け事前学習コーパスとオープンなパイプラインを発表

NVIDIAはIIT Madrasおよび同校のAI4Bharat研究所と共同で、2026年10月16日、22のインド諸語を対象とする約2.8兆トークンの合成事前学習コーパスNemotron-pretraining-Indic-v1を発表した。同コーパスは近日公開予定で、作成に用いたオープンなGPU高速化データ生成パイプラインも併せて公開する。

この22言語はインド憲法に列挙された言語で、発表によると、2011年の国勢調査時点で約12億人に上るインド国民の97%にとっての母語に当たる。投稿の執筆者には、AI4Bharatの研究者であるMohammed Safi Ur Rahman Khan、Mitesh Khapra、Anoop Kunchukuttanと、NVIDIAのNiket Agarwal、Raviraj Joshi、Anusha Kamath、Markus Kliegl、Yev Meyer、Sriharsha Niverty、Kiran Praveen、Utkarsh Vaidyaが名を連ねている。AI4Bharatを率いるKhapraは、インド諸語向けの言語技術が英語に後れを取る根本的な問題として、「インド諸語のデータが十分にない」ことを挙げている。

このパイプラインには、プロンプト、LLMのワークフロー、品質チェックなど、生成工程の全容が含まれているため、開発者は独自のソース素材に合わせて調整できる。NVIDIAによると、すべてのレコードは厳選されたソース文書までたどることができ、生成された各データは入力と照合して検証される。

コーパスの構成と言語の網羅範囲

コーパスには、Gemma-4トークナイザーで数えた、ネイティブ文字表記のトークンが2,601.0 billion、ローマ字表記のトークンが224.6 billion含まれる。NVIDIAによると、これらの数値は学習実行時のトークン予算ではなく、採用された書き換えデータを含むコーパスの量を示しており、使用するトークナイザーによって変わる。

34の言語・文字体系の組み合わせにわたり、コーパスは22言語すべてについてネイティブ文字表記のデータを、12言語についてローマ字表記のテキストを収録している。ネイティブ文字表記とローマ字表記の両方があるのは、ベンガル語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、ネパール語、オディア語、パンジャブ語、タミル語、テルグ語、ウルドゥー語の12言語。ネイティブ文字表記のデータのみを収録するのは、アッサム語、ボド語、ドグリ語、カシミール語、コンカニ語、マイティリー語、マニプリ語、サンスクリット語、サンタル語、シンディー語の10言語。

投稿では、ネイティブ文字表記とは、テキスト自体は英語から翻訳されたまま、各言語の文字体系で記されたものと定義している。一方、ローマ字表記とは、インド諸語のテキストをラテン文字で記したものを指す。両方の表記がある12言語では、ローマ字表記の対象は、採用されたネイティブ文字表記の翻訳文の一部に限られる。

2つの翻訳ワークフロー

生成は、ウェブテキスト、質疑応答データ、数学、コード、その他の専門分野のコンテンツを含む、Nemotron-CC-v2の15のサブセットに収録された文書を起点とする。NVIDIAのオープンソース合成データフレームワークNeMo Data Designerが、翻訳、品質チェック、対象を絞った修正を実行する。全工程でソース識別子が保持されるため、生成データを元の文書までたどることができる。

両方の表記を持つ12言語では、チームが文書全体を用いてモデルを比較したうえで選定したと説明するGoogleのGemma-4-31B-itを使い、文書を丸ごと翻訳する。プロンプトでは、翻訳する文章と、コード、数式、URL、書式など保持する内容を区別する。続いて同じモデルが、多次元品質指標（Multidimensional Quality Metrics）フレームワークを参考にした評価基準を用いて、各出力を英語の原文と照合する。評価項目は、意味、流暢さ、用語、文体、書式に及ぶ。100点満点で75点以上を獲得した出力のみを採用し、それを下回る出力は評価フィードバックに基づいて修正したうえで、同じ基準で再評価する。NVIDIAによると、この修正の反復によって、ネイティブ文字表記とローマ字表記のデータから合計438.4 billionトークンを回収した。この数値はすでにコーパスの総量に含まれている。また、抜き取りで実施した人手評価と、意図的に誤りを加えたテストを通じて、プロンプトとチェック機能の改善に役立つ知見を得たという。

採用されたネイティブ文字表記の翻訳を起点に、別途、文字変換を行ってローマ字表記のデータを作成する。NVIDIAによると、初期の人手比較では、英語から直接ローマ字表記のテキストを生成する方法に比べ、この2段階のアプローチのほうが、幻覚による不要な追加や英語の残存を抑えられた。

残る10言語の翻訳には、IIT Madrasで育成された教育分野のAIを専門とする非営利センターBodhan AIが提供する、英語と22のインド諸語に対応した文書単位のモデルIndic Translateを使用する。各翻訳はGemma-4-31B-itが英語の原文と照合して評価する。8言語では文書全体を扱う方法を採用する。サンタル語の長文書は重なり合う区間に分けて翻訳し、再構成する。マニプリ語は、ネイティブ文字体系であるメイテイ・マエク文字に変換する前に、ベンガル文字へ翻訳する。これらのワークフローでも100点満点中75点という基準を維持し、フィードバックに基づく書き換えは行わず、ネイティブ文字表記のデータのみを生成する。

継続事前学習の結果

Nemotron 3.5 Super VLの技術レポートでは、インド諸言語の継続事前学習を始める直前のチェックポイントと、その段階を終えた後のチェックポイントを比較している。設定された学習トークン数は1,000億で、そのうち10％（100億トークン）を合成および自然なインド諸言語テキストの混合データに割り当て、残りの90％では、それ以前の学習データの混合比率を維持した。報告されたインド諸言語の知識・推論ベンチマーク5種類すべてでスコアが上昇し、対象はMILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8Kで、上昇幅は4.98～9.82パーセントポイントだった。NVIDIAによると、この比較対象は合成データのみの貢献を切り分けたものではなく、合成データと自然なインド諸言語データを組み合わせた学習段階である。また、評価が推論時のコンテキスト上限を超えたため、GSM8Kではオディア語が除外されている。

投稿によると、公開されたNemotron 3.5 Super VLはNemotron 3 Superと比べ、知識、推論、数学、コード、翻訳にまたがる、掲載された6種類のタスクベンチマークのうち5種類で高いスコアを記録した一方、IFEval 1.5の指示追従性能は2.04ポイント低下した。また、Sarvam AIが提供する、インド諸言語でのアシスタント形式のプロンプトを評価するオープンベンチマークIndiVibeでは、有用性、流暢さ、言語・文字体系への忠実度、適切な冗長さという4つすべての評価軸で性能が向上した。

NVIDIAは、今後のNemotronモデルでこのコーパスを活用していく計画だと述べた。また、復元された書き換えデータと10言語グループを含むコーパス全体の評価は、統制された研究に向けた次の課題として残っている。

公開状況と明示された制約

データセットの設定では、言語、文字体系、地域をタグで示しており、hi-Deva-INはデーヴァナーガリー文字のヒンディー語、hi-Latn-INはローマ字表記のヒンディー語を表す。Hugging Face Datasetsのストリーミング機能を使えば、コーパス全体をダウンロードせずにレコードを確認できる。オープンソースのNemotron Bharat翻訳プラグインはNeMo Data Designer向けに提供され、翻訳・評価用プロンプト、任意で利用できるフィードバックに基づく書き換え、文書のウィンドウ分割、文字体系の変換に対応する。

NVIDIAは、翻訳はインド諸言語で当初から書かれたテキストの代わりにはならず、地域固有の知識や文化を網羅する保証もないと注意を促し、適切な情報源から得た自然なインド諸言語テキストとコーパスを組み合わせることを推奨している。品質評価は主に自動化されており、言語ごとに対象範囲が異なるサンプルベースの人手レビューも併用される。また、12言語のワークフローでは、翻訳者が評価者も兼ねている。投稿によると、保持されたテキストにも誤りが含まれる可能性があり、10言語のワークフローでは、より幅広い母語話者による検証が必要だという。さらに、ソースIDの照合によって処理上の重複は取り除かれるが、内容の類似性に基づく意味的な重複排除は行われない。

関連ベンチマークスイート

コーパスとともに、IITマドラスのAI4BharatはNVIDIAの支援を受け、インド諸言語にわたるLLM評価のための、オフラインベンチマークを集めたオープンかつ発展途上のコレクションIndic-LLM-Eval-Suiteを発表した。

初版には、既存のインド諸言語ベンチマーク、MILU-1.5やIndicIFEval-1.5などの更新版、さらに8つの能力カテゴリにわたる英語ベンチマークの適応版がまとめられている。8つのカテゴリは、一般的な対話、指示追従、数学、STEM、常識的推論、知識、コード、翻訳である。各評価はNVIDIA NeMo-Gymに統合されており、ベンチマーク固有の採点手順を維持しながら、共通の評価インターフェースを提供する。

AI4Bharatによると、MILUの監査で不完全な質問、欠落した図表、誤訳が見つかり、改訂版のMILU-1.5で修正された。また、IndicIFEvalの評価コードでは、一部の制約が誤って確認されていたり、気づかれないまま無視されていたりする問題を修正した。同スイートの構築手法では、ベンチマークを考慮した翻訳に、自動品質評価、対象を絞った修正、母語話者による検証を組み合わせている。

AI4Bharatによると、同研究機関は同スイートを使って、インド諸言語向けおよび多言語LLMの現行のオープンウェイトモデルを複数評価し、あらゆるタスクで一貫して最も優れた性能を示すモデルはないことを確認した。同研究機関は初回公開を出発点と位置づけており、ベンチマークの追加、コミュニティからの貢献の取り込み、定期的な結果の更新を通じて、インド諸言語LLMの進歩を継続的に追跡する計画だとしている。