NVIDIA dévoile un corpus de préentraînement en langues indiennes de 2,8 billions de jetons et un pipeline ouvert

Le 16 octobre 2026, NVIDIA, en collaboration avec l’IIT Madras et son laboratoire AI4Bharat, a présenté Nemotron-pretraining-Indic-v1, un corpus synthétique de préentraînement d’environ 2,8 billions de jetons couvrant 22 langues indiennes, dont la publication est prévue prochainement, ainsi que le pipeline ouvert et accéléré par GPU utilisé pour le créer.

Les 22 langues sont celles qui figurent dans la Constitution de l’Inde. Selon l’annonce, ce sont les langues maternelles de 97 % des Indiens, soit près de 1,2 milliard de citoyens au recensement de 2011. Parmi les auteurs de l’article figurent les chercheurs d’AI4Bharat Mohammed Safi Ur Rahman Khan, Mitesh Khapra et Anoop Kunchukuttan, ainsi que, pour NVIDIA, Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen et Utkarsh Vaidya. Khapra, qui dirige AI4Bharat, a désigné le principal obstacle au développement des technologies linguistiques indiennes par rapport à l’anglais : « nous ne disposons pas de suffisamment de données pour les langues indiennes ».

Le pipeline documente l’ensemble du processus de génération, y compris les consignes, les flux de travail faisant appel à des LLM et les contrôles de qualité, afin que les développeurs puissent l’adapter à leurs propres sources. NVIDIA indique que chaque enregistrement remonte à un document source sélectionné et que chaque résultat est vérifié par rapport à son document d’origine.

Composition du corpus et couverture linguistique

Le corpus contient 2 601,0 milliards de jetons dans les écritures natives et 224,6 milliards de jetons romanisés, comptabilisés à l’aide de l’outil de tokenisation Gemma-4. NVIDIA précise que ces chiffres correspondent au corpus conservé, y compris aux réécritures acceptées, et non au budget de jetons d’une session d’entraînement, et qu’ils dépendent de l’outil de tokenisation utilisé.

Réparti en 34 combinaisons de langues et d’écritures, le corpus fournit des données dans l’écriture native pour les 22 langues et du texte romanisé pour douze d’entre elles. Douze langues disposent de données dans les deux écritures, native et romanisée : le bengali, le gujarati, l’hindi, le kannada, le malayalam, le marathi, le népalais, l’odia, le pendjabi, le tamoul, le télougou et l’ourdou. Dix autres disposent uniquement de données dans leur écriture native : l’assamais, le bodo, le dogri, le cachemiri, le konkani, le maithili, le manipuri, le sanskrit, le santali et le sindhi.

L’article définit l’écriture native comme le système d’écriture, le texte restant traduit de l’anglais, tandis que la forme romanisée désigne un texte en langue indienne écrit en alphabet latin. Pour chacune des douze langues disponibles dans les deux écritures, la romanisation porte sur une partie des traductions acceptées dans l’écriture native.

Deux processus de traduction

La génération commence à partir de documents issus de 15 sous-ensembles de Nemotron-CC-v2, qui couvrent des textes du Web, des contenus de questions-réponses, des mathématiques, du code et d’autres contenus spécialisés. NeMo Data Designer, le cadre open source de NVIDIA pour la génération de données synthétiques, prend en charge la traduction, les contrôles de qualité et les réparations ciblées. Les identifiants des sources sont conservés tout au long du processus, ce qui permet de remonter de chaque résultat au document d’origine.

Pour les douze langues disponibles dans les deux écritures, les documents sont traduits dans leur intégralité à l’aide de Gemma-4-31B-it de Google, que l’équipe dit avoir choisi après avoir comparé les modèles sur des documents complets. Les consignes distinguent le texte à traduire des éléments à préserver, notamment le code, les équations, les URL et la mise en forme. Le même modèle évalue ensuite chaque résultat par rapport à sa source anglaise, à l’aide d’une grille inspirée du cadre Multidimensional Quality Metrics et portant sur le sens, la fluidité, la terminologie, le style et la mise en forme. Seuls les résultats obtenant au moins 75 sur 100 sont conservés ; ceux dont le score est inférieur sont corrigés à partir des commentaires issus de l’évaluation, puis réévalués selon le même seuil. NVIDIA indique que cette boucle de correction a permis de récupérer 438,4 milliards de jetons dans les données en écriture native et romanisées, déjà inclus dans le total du corpus, et que des examens humains par échantillonnage ainsi que des tests comportant des erreurs délibérément introduites ont contribué à améliorer les consignes et les contrôles.

Les traductions acceptées dans l’écriture native servent de point de départ aux données romanisées, au moyen d’une étape distincte de conversion de l’écriture. Selon NVIDIA, une première comparaison effectuée par des humains a montré que cette approche en deux étapes produisait moins d’ajouts hallucinés et laissait moins de texte en anglais que la génération directe de texte romanisé à partir de l’anglais.

Pour les dix autres langues, la traduction fait appel à Indic Translate, un modèle de traduction de documents entre l’anglais et 22 langues indiennes développé par Bodhan AI, un centre à but non lucratif consacré à l’IA dans l’éducation et incubé à l’IIT Madras. Gemma-4-31B-it évalue chaque traduction par rapport à sa source anglaise. Huit langues conservent l’approche fondée sur des documents complets ; les documents santalis les plus longs sont traduits par fenêtres chevauchantes, puis reconstitués, et le manipuri est traduit en écriture bengalie avant d’être converti en meitei mayek, son écriture native. Ces processus appliquent le seuil de 75 sur 100 et produisent uniquement des données en écriture native, sans réécriture guidée par les commentaires.

Résultats du préentraînement continu

Le rapport technique de Nemotron 3.5 Super VL compare le point de contrôle juste avant le préentraînement continu en indic avec celui obtenu après cette étape. Le budget défini était de 100 milliards de jetons d’entraînement, dont 10 % (10 milliards de jetons) étaient consacrés à un mélange de textes indic synthétiques et naturels, tandis que les 90 % restants conservaient les proportions relatives du mélange d’entraînement précédent. Les scores ont progressé sur les cinq tests de référence de connaissances et de raisonnement en indic présentés : MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy et Indic GSM8K, avec des gains allant de 4,98 à 9,82 points de pourcentage. NVIDIA précise que cette comparaison porte sur une étape d’entraînement combinant des données indic synthétiques et naturelles, et non sur la contribution du seul corpus synthétique. Elle indique également que le test GSM8K exclut l’odia, car l’évaluation dépassait la limite de contexte en service.

Selon la publication, le modèle Nemotron 3.5 Super VL publié obtient de meilleurs résultats que Nemotron 3 Super sur cinq des six tests de tâches présentés, couvrant les connaissances, le raisonnement, les mathématiques, le code et la traduction, tandis que son score en suivi des instructions sur IFEval 1.5 a baissé de 2,04 points. Il progresse également dans les quatre dimensions d’IndiVibe, le test de référence ouvert de Sarvam AI consacré aux requêtes de type assistant en langues indiennes : utilité, fluidité, fidélité à la langue et à l’écriture, et niveau de détail approprié.

NVIDIA a déclaré prévoir de s’appuyer sur ce corpus pour entraîner de futurs modèles Nemotron. L’évaluation du corpus complet, y compris des réécritures récupérées et du groupe de dix langues, reste une prochaine étape pour les études contrôlées.

Disponibilité et limites déclarées

Les configurations des jeux de données utilisent des balises de langue, d’écriture et de région : hi-Deva-IN désigne l’hindi écrit en devanagari, et hi-Latn-IN l’hindi romanisé. Le mode de diffusion en continu de Hugging Face Datasets permet aux lecteurs d’examiner les enregistrements sans télécharger l’intégralité du corpus. Le module de traduction open source Nemotron Bharat pour NeMo Data Designer fournit des invites de traduction et d’évaluation, une réécriture facultative basée sur les retours, le découpage des documents en fenêtres et la prise en charge du remappage des écritures.

NVIDIA avertit que la traduction ne remplace pas les textes rédigés à l’origine dans les langues indiennes et ne garantit pas une couverture des savoirs et des cultures locales ; l’entreprise recommande de compléter le corpus par des textes indic naturels provenant de sources appropriées. L’évaluation de la qualité est principalement automatisée et complétée par un examen humain sur échantillon, dont la couverture varie selon les langues ; dans le processus couvrant douze langues, le traducteur joue également le rôle d’évaluateur. La publication précise que les textes conservés peuvent encore contenir des erreurs, que le processus portant sur dix langues nécessite une validation plus large par des locuteurs natifs et que les vérifications des identifiants de source éliminent les doublons issus du traitement sans dédoublonner sémantiquement les contenus similaires.

Suite de tests de référence complémentaire

Parallèlement au corpus, AI4Bharat, à l’IIT Madras, avec le soutien de NVIDIA, a présenté Indic-LLM-Eval-Suite, un ensemble ouvert et évolutif de tests de référence hors ligne permettant d’évaluer les grands modèles de langage dans les langues indiennes.

La première version rassemble des tests de référence indic existants, des versions mises à jour, notamment MILU-1.5 et IndicIFEval-1.5, ainsi que des tests de référence anglais adaptés, répartis dans huit catégories de capacités : conversation générale, suivi des instructions, mathématiques, sciences, technologie, ingénierie et mathématiques (STEM), raisonnement de bon sens, connaissances, code et traduction. Les évaluations sont intégrées à NVIDIA NeMo-Gym, qui fournit une interface d’évaluation commune tout en conservant les procédures de notation propres à chaque test de référence.

AI4Bharat rapporte que son audit de MILU a révélé des questions incomplètes, des figures manquantes et des traductions incorrectes, problèmes qui ont été corrigés dans la version révisée MILU-1.5. L’organisme indique également avoir corrigé des problèmes dans le code d’évaluation d’IndicIFEval, où certaines contraintes étaient vérifiées à tort ou ignorées sans avertissement. La méthode de conception de la suite associe une traduction tenant compte des tests de référence, une évaluation automatique de la qualité, des corrections ciblées et une vérification par des locuteurs natifs.

AI4Bharat a déclaré avoir évalué plusieurs grands modèles de langage indic à poids ouverts et multilingues récents sur l’ensemble de la suite, et constaté qu’aucun modèle ne donne systématiquement les meilleurs résultats pour toutes les tâches. Le laboratoire présente cette première version comme un point de départ et prévoit d’ajouter des tests de référence, d’intégrer les contributions de la communauté et de mettre périodiquement les résultats à jour afin de suivre l’évolution des grands modèles de langage indic au fil du temps.