NVIDIA presenta un corpus de preentrenamiento de 2,8 billones de tokens para lenguas índicas y una canalización abierta

NVIDIA, en colaboración con IIT Madras y su laboratorio de IA4Bharat, presentó el 16 de octubre de 2026 Nemotron-pretraining-Indic-v1, un corpus sintético de preentrenamiento de aproximadamente 2,8 billones de tokens en 22 lenguas de la India que se publicará próximamente, junto con la canalización abierta de generación de datos acelerada por GPU que se utilizó para crearlo.

Las 22 lenguas son las que figuran en la Constitución de la India, que el anuncio describe como las primeras lenguas del 97 % de los indios, casi 1.200 millones de ciudadanos según el Censo de 2011. Entre los autores de la publicación hay investigadores de AI4Bharat —Mohammed Safi Ur Rahman Khan, Mitesh Khapra y Anoop Kunchukuttan— y de NVIDIA —Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen y Utkarsh Vaidya—. Khapra, que dirige AI4Bharat, ha señalado el problema fundamental que explica por qué la tecnología para las lenguas de la India va a la zaga del inglés: «no tenemos suficientes datos para las lenguas de la India».

La canalización recoge la receta completa de generación, incluidas las indicaciones, los flujos de trabajo de LLM y los controles de calidad, para que los desarrolladores puedan adaptarla a sus propios materiales fuente. NVIDIA afirmó que cada registro se remonta a un documento fuente seleccionado y que cada resultado se verifica comparándolo con la entrada.

Composición del corpus y cobertura lingüística

El corpus contiene 2.601,0 mil millones de tokens en escritura nativa y 224,6 mil millones de tokens romanizados, contabilizados con el tokenizador Gemma-4. NVIDIA señala que las cifras corresponden al corpus conservado, incluidas las reformulaciones aceptadas, y no al presupuesto de tokens de una ejecución de entrenamiento, y que dependen del tokenizador utilizado.

En 34 combinaciones de lengua y escritura, el corpus ofrece datos en escritura nativa para las 22 lenguas y texto romanizado para doce. Doce lenguas cuentan con datos tanto en escritura nativa como romanizados: bengalí, guyaratí, hindi, canarés, malayálam, maratí, nepalí, odia, panyabí, tamil, telugu y urdu. Diez solo cuentan con datos en escritura nativa: asamés, bodo, dogri, cachemiro, konkani, maithili, manipurí, sánscrito, santali y sindhi.

La publicación define la escritura nativa como el sistema de escritura utilizado, aunque el texto siga traducido del inglés, mientras que «romanizado» se refiere al texto en una lengua índica escrito con el alfabeto latino. Para cada una de las doce lenguas con ambas escrituras, la romanización abarca un subconjunto de las traducciones aceptadas en escritura nativa.

Dos flujos de traducción

La generación parte de documentos de 15 subconjuntos de Nemotron-CC-v2 que abarcan textos web, material de preguntas y respuestas, matemáticas, código y otros contenidos especializados. NeMo Data Designer, el marco de trabajo de código abierto de NVIDIA para generar datos sintéticos, ejecuta la traducción, los controles de calidad y las reparaciones específicas, y conserva los identificadores de origen en todo el proceso para que cada resultado pueda rastrearse hasta su documento original.

Para las doce lenguas con ambas escrituras, los documentos se traducen íntegramente con Gemma-4-31B-it de Google, que, según indicó el equipo, seleccionó tras comparar modelos con documentos completos. Las indicaciones distinguen entre el texto que debe traducirse y el contenido que debe conservarse, como el código, las ecuaciones, las URL y el formato. A continuación, el mismo modelo evalúa cada resultado comparándolo con el texto fuente en inglés mediante una rúbrica inspirada en el marco de Métricas de Calidad Multidimensionales, que abarca el significado, la fluidez, la terminología, el estilo y el formato. Solo se conservan los resultados que obtienen al menos 75 de 100; los que no alcanzan esa puntuación se reparan a partir de los comentarios de la evaluación y se vuelven a evaluar con el mismo umbral. NVIDIA informa que este ciclo de reparación recuperó 438,4 mil millones de tokens de datos en escritura nativa y romanizados, ya incluidos en el total del corpus, y que las revisiones de muestras realizadas por personas, junto con pruebas en las que se introdujeron errores deliberadamente, sirvieron para mejorar las indicaciones y los controles.

Las traducciones aceptadas en escritura nativa sirven como punto de partida para generar datos romanizados mediante una etapa independiente de conversión de escritura. Según NVIDIA, una comparación inicial realizada por personas mostró que este método en dos etapas producía menos adiciones alucinadas y menos inglés residual que generar directamente texto romanizado a partir del inglés.

Para las otras diez lenguas, la traducción se realiza con Indic Translate, un modelo a nivel de documento para el inglés y 22 lenguas de la India desarrollado por Bodhan AI, un centro sin fines de lucro dedicado a la IA en la educación e incubado en IIT Madras; Gemma-4-31B-it evalúa cada traducción comparándola con el texto fuente en inglés. En ocho lenguas se mantiene el enfoque de documento completo; los documentos más largos en santali se traducen en segmentos superpuestos que luego se reconstruyen, y el manipurí se traduce al alfabeto bengalí antes de convertirse a Meitei Mayek, su escritura nativa. Estos flujos de trabajo mantienen el umbral de 75 de 100 y generan únicamente datos en escritura nativa, sin reescrituras basadas en comentarios.

Resultados del preentrenamiento continuo

El informe técnico de Nemotron 3.5 Super VL compara el punto de control inmediatamente anterior al preentrenamiento continuo en lenguas índicas con el punto de control posterior a esa etapa. El presupuesto de entrenamiento establecido fue de 100.000 millones de tokens, de los cuales el 10 % (10.000 millones de tokens) se asignó a una mezcla de texto sintético y natural en lenguas índicas; el 90 % restante mantuvo las proporciones relativas de la mezcla de entrenamiento anterior. Las puntuaciones aumentaron en los cinco indicadores de conocimiento y razonamiento en lenguas índicas cuyos resultados se publicaron: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K, con mejoras de entre 4,98 y 9,82 puntos porcentuales. NVIDIA señala que la comparación abarca una etapa de entrenamiento que combina datos sintéticos y naturales en lenguas índicas, en lugar de aislar la contribución del corpus sintético, y que GSM8K excluye el odia porque la evaluación superó el límite de contexto del servicio.

Según la publicación, el Nemotron 3.5 Super VL presentado obtiene puntuaciones más altas que Nemotron 3 Super en cinco de los seis indicadores de tareas que se muestran, que abarcan conocimiento, razonamiento, matemáticas, código y traducción, mientras que su desempeño en seguimiento de instrucciones en IFEval 1.5 disminuyó 2,04 puntos. También mejora en las cuatro dimensiones de IndiVibe, el indicador abierto de Sarvam AI sobre indicaciones de tipo asistente en lenguas indias: utilidad, fluidez, fidelidad al idioma y la escritura, y nivel de detalle adecuado.

NVIDIA afirmó que prevé aprovechar este corpus para desarrollar futuros modelos Nemotron y que evaluar el corpus completo —incluidas las reformulaciones recuperadas y el grupo de diez lenguas— sigue siendo un paso pendiente para realizar estudios controlados.

Disponibilidad y limitaciones declaradas

Las configuraciones del conjunto de datos utilizan etiquetas de idioma, escritura y región; hi-Deva-IN designa el hindi escrito en devanagari y hi-Latn-IN, el hindi romanizado. La transmisión de conjuntos de datos de Hugging Face permite a los lectores consultar registros sin descargar todo el corpus. El complemento de traducción de código abierto Nemotron Bharat para NeMo Data Designer ofrece indicaciones para traducción y evaluación, reformulación opcional basada en comentarios, segmentación de documentos en ventanas y compatibilidad con la reasignación de escrituras.

NVIDIA advierte que la traducción no sustituye los textos escritos originalmente en lenguas indias ni garantiza que se cubran los conocimientos y la cultura locales, y recomienda combinar el corpus con textos naturales en lenguas índicas obtenidos de fuentes adecuadas. La evaluación de calidad es principalmente automatizada y se complementa con revisiones humanas de muestras, cuya cobertura varía según el idioma; en el flujo de trabajo de doce idiomas, el traductor también actúa como evaluador. La publicación señala que el texto conservado aún puede contener errores, que el flujo de trabajo de diez idiomas requiere una validación más amplia por parte de hablantes nativos y que las comprobaciones de identificadores de origen eliminan duplicados del procesamiento, pero no realizan una deduplicación semántica de contenido similar.

Conjunto de indicadores complementario

Junto con el corpus, AI4Bharat, del IIT Madras, con el apoyo de NVIDIA, presentó Indic-LLM-Eval-Suite, una colección abierta y en evolución de indicadores sin conexión para evaluar modelos de lenguaje grandes en distintas lenguas indias.

La primera versión reúne indicadores existentes para lenguas índicas, versiones actualizadas como MILU-1.5 e IndicIFEval-1.5, e indicadores en inglés adaptados, organizados en ocho categorías de capacidades: conversación general, seguimiento de instrucciones, matemáticas, ciencia, tecnología, ingeniería y matemáticas (STEM), razonamiento de sentido común, conocimiento, código y traducción. Las evaluaciones están integradas con NVIDIA NeMo-Gym, que proporciona una interfaz de evaluación común y mantiene los procedimientos de puntuación específicos de cada indicador.

AI4Bharat informa que su auditoría de MILU detectó preguntas incompletas, figuras faltantes y traducciones incorrectas, problemas que se corrigieron en la versión revisada MILU-1.5. También señala que solucionó problemas en el código de evaluación de IndicIFEval, donde ciertas restricciones se comprobaban incorrectamente o se ignoraban sin avisar. La metodología de elaboración del conjunto combina traducción adaptada a cada indicador con evaluación automática de calidad, correcciones específicas y verificación por hablantes nativos.

AI4Bharat afirmó que evaluó varios modelos contemporáneos de pesos abiertos en lenguas índicas y modelos de lenguaje grandes multilingües con el conjunto, y concluyó que ningún modelo obtiene resultados sistemáticamente superiores en todas las tareas. El laboratorio describe la versión inicial como un punto de partida y afirma que prevé añadir indicadores, incorporar contribuciones de la comunidad y actualizar periódicamente los resultados para seguir la evolución de los modelos de lenguaje grandes en lenguas índicas.