NVIDIA stellt Vortrainingskorpus mit 2,8 Billionen Indic-Tokens und offene Pipeline vor

NVIDIA stellte am 16. Oktober 2026 gemeinsam mit dem IIT Madras und dessen KI-Labor AI4Bharat Nemotron-pretraining-Indic-v1 vor: einen synthetischen Vortrainingskorpus mit rund 2,8 Billionen Tokens aus 22 indischen Sprachen, der in Kürze veröffentlicht werden soll. Zusammen mit ihm erscheint die offene, GPU-beschleunigte Pipeline zur Datengenerierung, mit der er erstellt wurde.

Die 22 Sprachen sind jene, die in der Verfassung Indiens aufgeführt sind. In der Ankündigung werden sie als Erstsprachen von 97 % der Inderinnen und Inder bezeichnet – laut Volkszählung von 2011 beinahe 1,2 Milliarden Menschen. Zu den Autoren des Beitrags gehören die AI4Bharat-Forschenden Mohammed Safi Ur Rahman Khan, Mitesh Khapra und Anoop Kunchukuttan sowie von NVIDIA Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen und Utkarsh Vaidya. Khapra, der AI4Bharat leitet, benennt als Kernproblem dafür, dass die Technologie für indische Sprachen hinter der für Englisch zurückbleibt: „Wir haben nicht genügend Daten für indische Sprachen.“

Die Pipeline bildet den gesamten Ablauf der Datengenerierung ab, einschließlich Prompts, LLM-Arbeitsabläufen und Qualitätsprüfungen, sodass Entwickler sie an ihr eigenes Ausgangsmaterial anpassen können. NVIDIA zufolge lässt sich jeder Datensatz auf ein kuratiertes Quelldokument zurückführen und wird jede Ausgabe mit ihrer Eingabe abgeglichen.

Zusammensetzung des Korpus und Sprachabdeckung

Der Korpus umfasst 2.601,0 Milliarden Tokens in den jeweiligen Schriften und 224,6 Milliarden romanisierte Tokens, gezählt mit dem Gemma-4-Tokenizer. NVIDIA weist darauf hin, dass die Zahlen den beibehaltenen Korpus einschließlich der akzeptierten Überarbeitungen beschreiben und nicht das Tokenbudget eines Trainingslaufs. Außerdem hängen sie vom verwendeten Tokenizer ab.

Der Korpus deckt 34 Sprach-Schrift-Kombinationen ab und enthält Daten in der jeweiligen Schrift für alle 22 Sprachen sowie romanisierten Text für zwölf davon. Für zwölf Sprachen gibt es Daten sowohl in der jeweiligen Schrift als auch in romanisierter Form: Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Tamil, Telugu und Urdu. Für zehn Sprachen liegen nur Daten in der jeweiligen Schrift vor: Assamesisch, Bodo, Dogri, Kaschmiri, Konkani, Maithili, Manipuri, Sanskrit, Santali und Sindhi.

Im Beitrag bezeichnet „in der jeweiligen Schrift“ das Schriftsystem der Sprache, wobei der Text weiterhin aus dem Englischen übersetzt wurde. „Romanisiert“ bedeutet dagegen, dass der Text in einer indischen Sprache in lateinischer Schrift verfasst ist. Für jede der zwölf Sprachen mit beiden Schriftformen umfasst die Romanisierung einen Teil der akzeptierten Übersetzungen in der jeweiligen Schrift.

Zwei Übersetzungsabläufe

Die Datengenerierung beginnt mit Dokumenten aus 15 Teilkorpora von Nemotron-CC-v2, die Webtexte, Frage-Antwort-Material, Mathematik, Code und weitere Spezialinhalte umfassen. NeMo Data Designer, NVIDIAs Open-Source-Framework für synthetische Daten, übernimmt die Übersetzung, Qualitätsprüfungen und gezielte Überarbeitung. Dabei bleiben die Quellkennungen durchgehend erhalten, sodass sich jede Ausgabe ihrem ursprünglichen Dokument zuordnen lässt.

Für die zwölf Sprachen mit beiden Schriftformen werden Dokumente vollständig mit Googles Gemma-4-31B-it übersetzt. Das Team erklärte, es habe das Modell ausgewählt, indem es verschiedene Modelle anhand vollständiger Dokumente verglichen habe. Die Prompts unterscheiden zwischen zu übersetzendem Fließtext und Inhalten, die beibehalten werden sollen, darunter Code, Gleichungen, URLs und Formatierung. Anschließend bewertet dasselbe Modell jede Ausgabe anhand ihrer englischen Vorlage nach einem an das Framework Multidimensional Quality Metrics angelehnten Kriterienkatalog. Dieser berücksichtigt Bedeutung, Sprachfluss, Terminologie, Stil und Formatierung. Beibehalten werden nur Ausgaben mit mindestens 75 von 100 Punkten; schlechter bewertete Ausgaben werden anhand des Bewertungsfeedbacks überarbeitet und erneut an demselben Schwellenwert gemessen. NVIDIA berichtet, dass durch diese Überarbeitungsschleife 438,4 Milliarden Tokens in Daten der jeweiligen Schriften und in romanisierten Daten zurückgewonnen wurden, die bereits in der Gesamtsumme des Korpus enthalten sind. Außerdem hätten stichprobenartige menschliche Prüfungen und Tests mit absichtlich eingebauten Fehlern dazu beigetragen, Prompts und Prüfungen zu verbessern.

Akzeptierte Übersetzungen in der jeweiligen Schrift bilden über einen separaten Schritt zur Schriftumwandlung den Ausgangspunkt für die romanisierten Daten. Laut NVIDIA ergab ein erster menschlicher Vergleich, dass dieser zweistufige Ansatz weniger halluzinierte Ergänzungen und weniger verbliebene englische Textteile hervorbrachte als die direkte Erstellung romanisierter Texte aus dem Englischen.

Bei den übrigen zehn Sprachen kommt Indic Translate zum Einsatz, ein Dokumentmodell für Englisch und 22 indische Sprachen von Bodhan AI, einer gemeinnützigen, am IIT Madras gegründeten Einrichtung für KI im Bildungsbereich. Gemma-4-31B-it bewertet dabei jede Übersetzung anhand ihrer englischen Vorlage. Acht Sprachen werden weiterhin nach dem Ansatz mit vollständigen Dokumenten verarbeitet; längere Dokumente auf Santali werden in überlappenden Abschnitten übersetzt und anschließend zusammengesetzt. Manipuri wird zunächst in bengalische Schrift übersetzt und danach in Meitei Mayek, seine eigene Schrift, umgewandelt. Bei diesen Abläufen gilt derselbe Schwellenwert von 75 von 100 Punkten. Sie erzeugen ausschließlich Daten in der jeweiligen Schrift und sehen keine Überarbeitung auf Grundlage von Feedback vor.

Ergebnisse des fortgesetzten Vortrainings

Der technische Bericht zu Nemotron 3.5 Super VL vergleicht den Checkpoint unmittelbar vor dem fortgesetzten Indic-Pretraining mit dem Checkpoint nach dieser Phase. Das festgelegte Budget betrug 100 Milliarden Trainingstokens. Davon entfielen 10 Prozent (10 Milliarden Tokens) auf eine Mischung aus synthetischen und natürlichen Indic-Texten; die verbleibenden 90 Prozent behielten die relativen Anteile der vorherigen Trainingsmischung bei. Die Ergebnisse verbesserten sich bei allen fünf ausgewiesenen Indic-Benchmarks für Wissen und logisches Schlussfolgern: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy und Indic GSM8K. Die Zuwächse lagen zwischen 4,98 und 9,82 Prozentpunkten. NVIDIA weist darauf hin, dass der Vergleich eine Trainingsphase mit synthetischen und natürlichen Indic-Daten umfasst, statt den Beitrag des synthetischen Korpus isoliert zu betrachten. Außerdem ist Odia bei GSM8K ausgenommen, da die Evaluierung die Kontextgrenze für die Bereitstellung überschritt.

Laut dem Beitrag erzielt das veröffentlichte Nemotron 3.5 Super VL gegenüber Nemotron 3 Super bei fünf der sechs gezeigten Aufgaben-Benchmarks höhere Werte. Diese decken Wissen, logisches Schlussfolgern, Mathematik, Programmierung und Übersetzung ab. Bei der Befolgung von Anweisungen auf IFEval 1.5 sank der Wert hingegen um 2,04 Punkte. Auch bei allen vier Dimensionen von IndiVibe, dem offenen Benchmark von Sarvam AI mit Prompts im Stil von Assistenzsystemen in indischen Sprachen, verbessert sich das Modell: Nützlichkeit, Sprachfluss, Sprach- und Schrifttreue sowie angemessene Ausführlichkeit.

NVIDIA erklärte, dass das Unternehmen diesen Korpus in künftigen Nemotron-Modellen weiterentwickeln will. Die Evaluierung des vollständigen Korpus, einschließlich wiederhergestellter Neufassungen und der Gruppe mit zehn Sprachen, stehe für kontrollierte Studien noch aus.

Verfügbarkeit und genannte Einschränkungen

Die Datensatzkonfigurationen verwenden Tags für Sprache, Schrift und Region. hi-Deva-IN steht für Hindi in Devanagari, hi-Latn-IN für romanisiertes Hindi. Mit der Streaming-Funktion von Hugging Face Datasets können Leser Datensätze prüfen, ohne den gesamten Korpus herunterzuladen. Das Open-Source-Übersetzungs-Plug-in Nemotron Bharat für NeMo Data Designer bietet Prompts für Übersetzung und Evaluierung, optionales umsetzungsbasiertes Umschreiben, Dokumentfensterung und Unterstützung für die Zuordnung von Schriftsystemen.

NVIDIA weist darauf hin, dass Übersetzungen keine ursprünglich in indischen Sprachen verfassten Texte ersetzen und keine vollständige Abdeckung lokalen Wissens und lokaler Kultur garantieren. Das Unternehmen empfiehlt, den Korpus mit geeigneten natürlichen Indic-Texten zu kombinieren. Die Qualitätsbewertung erfolgt überwiegend automatisiert und wird durch stichprobenartige menschliche Prüfungen ergänzt, deren Umfang je nach Sprache variiert. Im Workflow für zwölf Sprachen dient der Übersetzer außerdem zugleich als Prüfer. Laut dem Beitrag können in den beibehaltenen Texten weiterhin Fehler enthalten sein, der Workflow für zehn Sprachen benötigt eine umfassendere Überprüfung durch Muttersprachler, und Prüfungen der Quell-IDs entfernen Verarbeitungsduplikate, führen aber keine semantische Deduplizierung ähnlicher Inhalte durch.

Ergänzendes Benchmark-Suite

Parallel zum Korpus stellte AI4Bharat am IIT Madras mit Unterstützung von NVIDIA Indic-LLM-Eval-Suite vor: eine offene, fortlaufend weiterentwickelte Sammlung von Offline-Benchmarks zur Evaluierung von LLMs in indischen Sprachen.

Die erste Version vereint bestehende Indic-Benchmarks, überarbeitete Versionen wie MILU-1.5 und IndicIFEval-1.5 sowie angepasste englischsprachige Benchmarks aus acht Kompetenzbereichen: allgemeiner Chat, Befolgung von Anweisungen, Mathematik, MINT, Alltagslogik, Wissen, Programmierung und Übersetzung. Die Evaluierungen sind in NVIDIA NeMo-Gym integriert. Dadurch steht eine einheitliche Evaluierungsschnittstelle zur Verfügung, während die jeweiligen Bewertungsverfahren der einzelnen Benchmarks erhalten bleiben.

AI4Bharat berichtet, dass bei der Prüfung von MILU unvollständige Fragen, fehlende Abbildungen und fehlerhafte Übersetzungen gefunden wurden, die in der überarbeiteten Version MILU-1.5 behoben wurden. Außerdem korrigierte das Team Probleme im Evaluierungscode von IndicIFEval, durch die bestimmte Vorgaben falsch geprüft oder unbemerkt ignoriert worden waren. Die Entwicklungsmethodik des Suites verbindet eine an die jeweiligen Benchmarks angepasste Übersetzung mit automatischer Qualitätsbewertung, gezielten Korrekturen und Überprüfung durch Muttersprachler.

AI4Bharat erklärte, mehrere aktuelle offene Indic- und mehrsprachige LLMs anhand des Suites evaluiert zu haben. Dabei habe sich gezeigt, dass kein einzelnes Modell bei allen Aufgaben durchgehend am besten abschneidet. Das Labor bezeichnet die erste Veröffentlichung als Ausgangspunkt und plant, weitere Benchmarks hinzuzufügen, Beiträge aus der Community aufzunehmen und die Ergebnisse regelmäßig zu aktualisieren, um die Fortschritte bei Indic-LLMs im Laufe der Zeit zu verfolgen.