NVIDIA apresenta corpus de pré-treinamento Indic com 2,8 trilhões de tokens e pipeline aberto

Em 16 de outubro de 2026, a NVIDIA, em parceria com o IIT Madras e seu laboratório AI4Bharat, apresentou Nemotron-pretraining-Indic-v1, um corpus sintético de pré-treinamento com aproximadamente 2,8 trilhões de tokens em 22 línguas indianas, cujo lançamento está previsto para breve, junto com o pipeline aberto e acelerado por GPU usado para criá-lo.

As 22 línguas são as enumeradas na Constituição da Índia, que o anúncio descreve como as primeiras línguas de 97% dos indianos — quase 1,2 bilhão de cidadãos, segundo o Censo de 2011. Entre os autores da publicação estão os pesquisadores da AI4Bharat Mohammed Safi Ur Rahman Khan, Mitesh Khapra e Anoop Kunchukuttan, além de Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen e Utkarsh Vaidya, da NVIDIA. Khapra, que dirige a AI4Bharat, apontou o problema central por trás do atraso das tecnologias para línguas indianas em relação ao inglês: “não temos dados suficientes para as línguas indianas”.

O pipeline registra todo o processo de geração, incluindo prompts, fluxos de trabalho com LLMs e verificações de qualidade, para que os desenvolvedores possam adaptá-lo aos próprios materiais de origem. A NVIDIA afirmou que cada registro remonta a um documento de origem selecionado e que cada resultado é verificado em relação à sua entrada.

Composição do corpus e cobertura de línguas

O corpus contém 2.601,0 bilhões de tokens em escrita nativa e 224,6 bilhões de tokens romanizados, contados com o tokenizador Gemma-4. A NVIDIA observa que as contagens se referem ao corpus retido, incluindo as reformulações aceitas, e não ao orçamento de tokens de uma execução de treinamento, e que os valores dependem do tokenizador utilizado.

Em 34 combinações de língua e sistema de escrita, o corpus oferece dados na escrita nativa para as 22 línguas e textos romanizados para doze. Doze línguas têm dados tanto na escrita nativa quanto romanizados: bengali, gujarati, hindi, canarês, malaiala, marata, nepalês, odia, punjabi, tâmil, télugo e urdu. Dez têm dados apenas na escrita nativa: assamês, bodo, dogri, caxemira, concani, maithili, manipuri, sânscrito, santali e sindi.

A publicação define escrita nativa como o sistema de escrita, embora o texto continue traduzido do inglês; já romanizado se refere a textos em línguas índicas escritos no alfabeto latino. Para cada uma das doze línguas com dados nos dois sistemas de escrita, a romanização abrange um subconjunto das traduções aceitas na escrita nativa.

Dois fluxos de trabalho de tradução

A geração começa com documentos de 15 subconjuntos do Nemotron-CC-v2, que abrangem textos da web, conteúdo de perguntas e respostas, matemática, código e outros materiais especializados. O NeMo Data Designer, framework de código aberto da NVIDIA para geração de dados sintéticos, executa a tradução, as verificações de qualidade e os reparos direcionados, mantendo os identificadores das fontes durante todo o processo para que seja possível rastrear cada resultado até o documento original.

Para as doze línguas com dados nos dois sistemas de escrita, os documentos são traduzidos integralmente com o Gemma-4-31B-it, do Google, que, segundo a equipe, foi escolhido após a comparação de modelos em documentos completos. Os prompts distinguem o texto a ser traduzido do conteúdo que deve ser preservado, como código, equações, URLs e formatação. Em seguida, o mesmo modelo avalia cada resultado em relação à fonte em inglês, usando uma rubrica inspirada no framework Multidimensional Quality Metrics, que abrange significado, fluência, terminologia, estilo e formatação. Apenas os resultados com pontuação igual ou superior a 75 de 100 são mantidos; os que ficam abaixo desse limite são reparados com base no feedback da avaliação e reavaliados segundo o mesmo critério. A NVIDIA informa que esse ciclo de reparos recuperou 438,4 bilhões de tokens em dados na escrita nativa e romanizados, já incluídos no total do corpus, e que revisões humanas por amostragem, além de testes com erros introduzidos deliberadamente, contribuíram para aprimorar os prompts e as verificações.

As traduções aceitas na escrita nativa servem de ponto de partida para os dados romanizados, por meio de uma etapa separada de conversão do sistema de escrita. Segundo a NVIDIA, uma comparação humana inicial constatou que essa abordagem em duas etapas gerou menos acréscimos alucinados e menos trechos residuais em inglês do que a geração direta de texto romanizado a partir do inglês.

Para as outras dez línguas, a tradução usa o Indic Translate, um modelo para documentos em inglês e 22 línguas indianas desenvolvido pela Bodhan AI, um centro sem fins lucrativos de IA na educação incubado no IIT Madras. O Gemma-4-31B-it avalia cada tradução em relação à fonte em inglês. Oito línguas mantêm a abordagem de documentos completos; os documentos mais longos em santali são traduzidos em segmentos sobrepostos e reconstruídos, e o manipuri é traduzido para a escrita bengali antes da conversão para Meitei Mayek, sua escrita nativa. Esses fluxos de trabalho mantêm o limite de 75 de 100 e produzem apenas dados na escrita nativa, sem reformulação baseada em feedback.

Resultados do pré-treinamento contínuo

O relatório técnico do Nemotron 3.5 Super VL compara o checkpoint imediatamente anterior ao pré-treinamento contínuo em idiomas índicos com o checkpoint posterior a essa etapa. O orçamento de treinamento definido foi de 100 bilhões de tokens, dos quais 10% (10 bilhões de tokens) foram destinados a uma mistura de textos índicos sintéticos e naturais, enquanto os 90% restantes mantiveram as proporções relativas da mistura de treinamento anterior. As pontuações aumentaram nos cinco benchmarks de conhecimento e raciocínio em idiomas índicos apresentados: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K, com ganhos de 4,98 a 9,82 pontos percentuais. A NVIDIA observa que a comparação abrange uma etapa de treinamento que combina dados índicos sintéticos e naturais, em vez de isolar a contribuição do corpus sintético, e que o GSM8K não inclui o odia porque a avaliação ultrapassou o limite de contexto da inferência.

Em comparação com o Nemotron 3 Super, o Nemotron 3.5 Super VL lançado obteve pontuações mais altas em cinco dos seis benchmarks de tarefas apresentados, que abrangem conhecimento, raciocínio, matemática, programação e tradução, enquanto o desempenho no seguimento de instruções no IFEval 1.5 caiu 2,04 pontos, segundo a publicação. O modelo também melhorou em todas as quatro dimensões do IndiVibe, benchmark aberto da Sarvam AI com prompts no estilo de assistentes em idiomas indianos: utilidade, fluência, fidelidade ao idioma e à escrita e adequação da extensão das respostas.

A NVIDIA afirmou que pretende desenvolver esse corpus em futuros modelos Nemotron e que avaliar o corpus completo, incluindo as reformulações recuperadas e o grupo de dez idiomas, continua sendo uma próxima etapa para estudos controlados.

Disponibilidade e limitações declaradas

As configurações do conjunto de dados usam tags de idioma, escrita e região: hi-Deva-IN identifica o hindi escrito em devanágari, e hi-Latn-IN identifica o hindi romanizado. O streaming do Hugging Face Datasets permite que os leitores examinem os registros sem baixar o corpus inteiro. O plug-in de tradução de código aberto Nemotron Bharat para o NeMo Data Designer oferece prompts de tradução e avaliação, reformulação opcional com base em feedback, divisão de documentos em janelas e suporte ao remapeamento de sistemas de escrita.

A NVIDIA ressalta que a tradução não substitui textos originalmente escritos em idiomas indianos nem garante a cobertura de conhecimentos e culturas locais, e recomenda combinar o corpus com textos índicos naturais obtidos de fontes apropriadas. A avaliação da qualidade é feita principalmente de forma automatizada, com complementação de revisões humanas por amostragem, cuja abrangência varia entre os idiomas; no fluxo de trabalho com doze idiomas, o tradutor também atua como avaliador. A publicação afirma que os textos mantidos ainda podem conter erros, que o fluxo de trabalho com dez idiomas precisa de uma validação mais ampla por falantes nativos e que as verificações de IDs de origem removem duplicatas de processamento sem realizar a deduplicação semântica de conteúdos semelhantes.

Conjunto de benchmarks complementar

Junto com o corpus, o AI4Bharat, do IIT Madras, com o apoio da NVIDIA, apresentou o Indic-LLM-Eval-Suite, uma coleção aberta e em constante evolução de benchmarks offline para avaliar LLMs em idiomas indianos.

A primeira versão reúne benchmarks índicos existentes, versões atualizadas, como MILU-1.5 e IndicIFEval-1.5, e benchmarks em inglês adaptados, distribuídos por oito categorias de capacidade: conversa geral, seguimento de instruções, matemática, STEM, raciocínio de senso comum, conhecimento, programação e tradução. As avaliações estão integradas ao NVIDIA NeMo-Gym, que oferece uma interface comum de avaliação e mantém os procedimentos de pontuação específicos de cada benchmark.

O AI4Bharat informa que sua auditoria do MILU identificou perguntas incompletas, figuras ausentes e traduções incorretas, problemas corrigidos na versão revisada MILU-1.5; também corrigiu falhas no código de avaliação do IndicIFEval, no qual certas restrições eram verificadas incorretamente ou ignoradas sem aviso. A metodologia de construção do conjunto combina tradução adaptada a cada benchmark com avaliação automática da qualidade, correções direcionadas e verificação por falantes nativos.

O AI4Bharat afirmou ter avaliado vários LLMs contemporâneos de pesos abertos em idiomas índicos e multilíngues em todo o conjunto de benchmarks e constatado que nenhum modelo apresenta o melhor desempenho de forma consistente em todas as tarefas. O laboratório descreve o lançamento inicial como um ponto de partida e afirma que pretende adicionar benchmarks, incorporar contribuições da comunidade e atualizar periodicamente os resultados para acompanhar a evolução dos LLMs em idiomas índicos ao longo do tempo.