NVIDIA发布2.8万亿词元印度语言预训练语料库及开放式流程

NVIDIA与IIT Madras及其AI4Bharat实验室合作，于2026年10月16日推出了 Nemotron-pretraining-Indic-v1。这是一个涵盖22种印度语言、约含2.8万亿词元的合成预训练语料库，即将开放发布；与此同时，团队还公布了用于创建该语料库的开放式GPU加速数据生成流程。

这22种语言均列于印度宪法中。公告称，这些语言是97%的印度人（即2011年人口普查时近12亿公民）的第一语言。文章作者包括AI4Bharat研究人员Mohammed Safi Ur Rahman Khan、Mitesh Khapra和Anoop Kunchukuttan，以及NVIDIA的Niket Agarwal、Raviraj Joshi、Anusha Kamath、Markus Kliegl、Yev Meyer、Sriharsha Niverty、Kiran Praveen和Utkarsh Vaidya。领导AI4Bharat的Khapra指出，印度语言技术落后于英语的核心问题是：“我们没有足够的印度语言数据。”

该流程完整记录了生成方案，包括提示词、大语言模型工作流和质量检查，因此开发者可以根据自己的源材料进行调整。NVIDIA表示，每条记录都可追溯至一份经过筛选的源文档，且每项输出都会与输入内容进行核对。

语料库构成与语言覆盖范围

该语料库包含2.6010万亿个原生文字系统词元和2,246亿个拉丁字母转写词元，均使用Gemma-4分词器计数。NVIDIA指出，这些数字描述的是保留在语料库中的词元数量（包括获准采用的改写内容），而非某次训练运行的词元预算；此外，计数结果取决于所使用的分词器。

在34种语言与文字系统的组合中，该语料库为全部22种语言提供原生文字系统数据，并为其中12种提供拉丁字母转写文本。以下12种语言同时具备原生文字系统数据和拉丁字母转写数据：孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语。另有10种语言仅提供原生文字系统数据：阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。

文章将“原生文字系统”定义为采用相应语言的书写系统，但文本仍由英文翻译而来；“拉丁字母转写”则指以拉丁字母书写的印度语言文本。对于这12种同时采用两种文字系统的语言，拉丁字母转写文本取自获准采用的原生文字系统译文中的一部分。

两种翻译工作流

生成工作从Nemotron-CC-v2的15个子集中提取文档，这些子集涵盖网络文本、问答材料、数学、代码及其他专业内容。NVIDIA的开源合成数据框架NeMo Data Designer负责运行翻译、质量检查和定向修复；整个过程中都会保留源标识符，以便将输出追溯至原始文档。

对于这12种同时采用两种文字系统的语言，团队使用Google的Gemma-4-31B-it对完整文档进行翻译，并表示选择该模型时曾依据完整文档对多个模型进行比较。提示词会区分需要翻译的正文与需要保留的内容，包括代码、公式、URL和格式。随后，同一模型会依据受多维质量指标框架启发的评分标准，将每项输出与其英文原文进行评估，考察含义、流畅度、术语、风格和格式。只有得分至少达到75分（满分100分）的输出才会保留；得分较低的输出会根据评估反馈进行修复，并按照同一门槛重新评估。NVIDIA称，这一修复循环从原生文字系统数据和拉丁字母转写数据中挽回了4384亿个词元，这些词元已计入语料库总量；此外，对抽样内容进行的人工审查，以及通过刻意引入错误开展的测试，也为提示词和检查机制的改进提供了依据。

获准采用的原生文字系统译文会作为起点，通过独立的文字转换步骤生成拉丁字母转写数据。NVIDIA表示，初步人工比较发现，与直接根据英文生成拉丁字母转写文本相比，这种分两步进行的方法产生的幻觉增添内容更少，残留英文也更少。

对于其余10种语言，翻译采用Indic Translate。该模型由Bodhan AI开发，支持英文和22种印度语言的文档级翻译；Bodhan AI是一家专注于教育领域人工智能的非营利中心，由IIT Madras孵化。Gemma-4-31B-it会将每份译文与其英文原文进行评估。8种语言沿用整篇文档的处理方式；较长的桑塔利语文档会被拆分为彼此重叠的片段进行翻译，再重新拼接；曼尼普尔语则先译为孟加拉文字，再转换为其原生文字系统梅泰马耶克文。这些工作流沿用75分（满分100分）的门槛，只生成原生文字系统数据，不进行基于反馈的改写。

持续预训练结果

《Nemotron 3.5 Super VL》技术报告比较了 Indic 持续预训练阶段开始前的检查点与该阶段结束后的检查点。训练预算设为 1000 亿个 token，其中 10%（100 亿个 token）分配给合成与自然 Indic 文本的混合数据，其余 90% 则维持此前训练数据混合方案中各部分的相对比例。报告列出的五项 Indic 知识与推理基准测试分数均有所提升：MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K，涨幅介于 4.98 至 9.82 个百分点之间。NVIDIA 指出，这项比较涵盖的是结合合成与自然 Indic 数据的一个训练阶段，并未单独评估合成语料的贡献；此外，由于评测超出了服务上下文长度限制，GSM8K 不包括奥迪亚语。

据该帖称，与 Nemotron 3 Super 相比，已发布的 Nemotron 3.5 Super VL 在所展示的六项任务基准测试中，有五项得分更高，涵盖知识、推理、数学、代码和翻译；但其 IFEval 1.5 指令遵循得分下降了 2.04 分。它在 Sarvam AI 推出的开放基准 IndiVibe 的四个维度上也均有提升。IndiVibe 评测的是印度语言中的助手式提示，四个维度分别为实用性、流畅度、语言与文字系统忠实度，以及恰当的详略程度。

NVIDIA 表示，计划在未来的 Nemotron 模型中进一步利用这一语料库；此外，全面评估整个语料库——包括恢复的改写文本和十种语言组——仍是受控研究接下来的工作。

可用性与明确说明的局限

数据集配置使用语言、文字系统和地区标签，其中 hi-Deva-IN 表示以天城文书写的印地语，hi-Latn-IN 表示以拉丁字母转写的印地语；借助 Hugging Face Datasets 的流式读取功能，读者无需下载整个语料库即可检查记录。面向 NeMo Data Designer 的开源 Nemotron Bharat 翻译插件提供翻译和评测提示词、可选的基于反馈的改写、文档分窗处理，以及文字系统转换支持。

NVIDIA 提醒，翻译不能取代原本以印度语言写成的文本，也无法保证涵盖本地知识与文化，因此建议将该语料库与来源恰当的自然 Indic 文本结合使用。质量评估主要通过自动化方式完成，并辅以抽样人工审核；不同语言的审核覆盖范围各异。在十二种语言的工作流程中，翻译器还兼任评判者。该帖指出，保留下来的文本仍可能包含错误；十种语言的工作流程需要更广泛的母语人士验证；而源 ID 检查可以移除处理过程中产生的重复项，但不会对相似内容进行语义去重。

配套基准测试套件

IIT Madras 的 AI4Bharat 在 NVIDIA 支持下推出了 Indic-LLM-Eval-Suite，这是一个开放且持续扩展的离线基准测试集合，用于评估大语言模型在各种印度语言上的表现。

首个版本汇集了现有 Indic 基准测试、更新版本（包括 MILU-1.5 和 IndicIFEval-1.5），以及经过调整的英语基准测试，覆盖八类能力：通用对话、指令遵循、数学、STEM、常识推理、知识、代码和翻译。这些评测已集成到 NVIDIA NeMo-Gym 中，既提供统一的评测接口，也保留各项基准测试特有的评分流程。

AI4Bharat 表示，其对 MILU 的审查发现了题目不完整、图示缺失和翻译错误等问题，这些问题已在修订版 MILU-1.5 中得到处理。该团队还修复了 IndicIFEval 评测代码中的问题：某些约束曾被错误检查或在未提示的情况下被忽略。该套件的构建方法将针对基准测试特点的翻译与自动质量评估、定向修正和母语人士验证结合起来。

AI4Bharat 表示，该机构使用这套基准测试评估了若干当代开放权重 Indic 大语言模型和多语言大语言模型，发现没有任何一个模型能在所有任务中始终表现最佳。该实验室将初始版本称为一个起点，并表示计划增加基准测试、纳入社区贡献，定期更新结果，以持续追踪 Indic 大语言模型的发展进展。