NVIDIA onthult corpus van 2,8 biljoen tokens voor pretraining in Indiase talen en open pipeline

NVIDIA introduceerde op 16 oktober 2026, in samenwerking met IIT Madras en het AI4Bharat-lab van die instelling, Nemotron-pretraining-Indic-v1: een synthetisch pretrainingcorpus van ongeveer 2,8 biljoen tokens in 22 Indiase talen, dat binnenkort beschikbaar komt. Tegelijkertijd stelde het bedrijf de open, GPU-versnelde datapipeline beschikbaar waarmee het corpus is gemaakt.

De 22 talen zijn de talen die in de grondwet van India worden genoemd. Volgens de aankondiging zijn dit de moedertalen van 97% van de Indiase bevolking: bijna 1,2 miljard inwoners volgens de volkstelling van 2011. De auteurs van het bericht zijn AI4Bharat-onderzoekers Mohammed Safi Ur Rahman Khan, Mitesh Khapra en Anoop Kunchukuttan, en NVIDIA-medewerkers Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen en Utkarsh Vaidya. Khapra, hoofd van AI4Bharat, heeft de kern van het probleem benoemd waardoor technologie voor Indiase talen achterloopt op die voor het Engels: „we hebben niet genoeg data voor Indiase talen”.

De pipeline bevat het volledige recept voor het genereren van data, waaronder prompts, LLM-workflows en kwaliteitscontroles, zodat ontwikkelaars het kunnen aanpassen aan hun eigen bronmateriaal. NVIDIA gaf aan dat elk record terug te voeren is op een zorgvuldig geselecteerd brondocument en dat elke gegenereerde tekst met de invoer wordt vergeleken.

Samenstelling van het corpus en dekking van de talen

Het corpus bevat 2.601,0 miljard tokens in het oorspronkelijke schrift en 224,6 miljard geromaniseerde tokens, geteld met de Gemma-4-tokenizer. NVIDIA merkt op dat de aantallen betrekking hebben op het behouden corpus, inclusief geaccepteerde herschrijvingen, en niet op het tokenbudget van een trainingsrun. De aantallen zijn bovendien afhankelijk van de gebruikte tokenizer.

Het corpus omvat 34 combinaties van taal en schrift en bevat data in het oorspronkelijke schrift voor alle 22 talen, plus geromaniseerde tekst voor twaalf talen. Voor twaalf talen is er data in zowel het oorspronkelijke schrift als geromaniseerde tekst: Bengaals, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepalees, Odia, Punjabi, Tamil, Telugu en Urdu. Voor tien talen is er alleen data in het oorspronkelijke schrift: Assamees, Bodo, Dogri, Kasjmiri, Konkani, Maithili, Manipuri, Sanskriet, Santali en Sindhi.

In het bericht wordt „oorspronkelijk schrift” gedefinieerd als het schrift waarin een taal wordt geschreven, terwijl de tekst zelf uit het Engels is vertaald. „Geromaniseerd” verwijst naar tekst in een Indiase taal die in het Latijnse schrift is geschreven. Voor elk van de twaalf talen met twee schriften is een deel van de geaccepteerde vertalingen in het oorspronkelijke schrift geromaniseerd.

Twee vertaalworkflows

Het genereren begint met documenten uit 15 deelverzamelingen van Nemotron-CC-v2, met webteksten, vraag-antwoordmateriaal, wiskunde, code en andere gespecialiseerde inhoud. NeMo Data Designer, NVIDIA’s open-sourceframework voor synthetische data, verzorgt de vertaling, kwaliteitscontroles en gerichte correcties. De bronidentificatoren blijven gedurende het hele proces behouden, zodat gegenereerde tekst naar het oorspronkelijke document kan worden herleid.

Voor de twaalf talen met twee schriften worden volledige documenten vertaald met Googles Gemma-4-31B-it. Het team gaf aan dit model te hebben geselecteerd door modellen met elkaar te vergelijken op basis van volledige documenten. Prompts maken onderscheid tussen proza dat moet worden vertaald en inhoud die behouden moet blijven, zoals code, vergelijkingen, URL’s en opmaak. Vervolgens beoordeelt hetzelfde model elke vertaling aan de hand van de Engelse brontekst, met een beoordelingskader dat is geïnspireerd op het Multidimensional Quality Metrics-raamwerk en aspecten omvat als betekenis, vloeiendheid, terminologie, stijl en opmaak. Alleen vertalingen met een score van minimaal 75 op 100 worden behouden; vertalingen met een lagere score worden op basis van de beoordelingsfeedback herzien en opnieuw aan dezelfde drempel getoetst. NVIDIA meldt dat deze correctieronde 438,4 miljard tokens aan data in het oorspronkelijke schrift en geromaniseerde data heeft teruggewonnen; die tokens zijn al opgenomen in het totaal van het corpus. Ook meldt NVIDIA dat steekproefsgewijze beoordelingen door mensen en tests met bewust aangebrachte fouten hebben bijgedragen aan verbeteringen van de prompts en controles.

De geaccepteerde vertalingen in het oorspronkelijke schrift vormen het uitgangspunt voor de geromaniseerde data, die via een afzonderlijke stap voor schriftconversie wordt gemaakt. Volgens NVIDIA bleek uit een eerste vergelijking door mensen dat deze aanpak in twee stappen minder hallucinaties en minder achtergebleven Engelse tekst opleverde dan het rechtstreeks genereren van geromaniseerde tekst op basis van het Engels.

Voor de tien overige talen wordt gebruikgemaakt van Indic Translate, een model van documentniveau voor Engels en 22 Indiase talen van Bodhan AI, een non-profitcentrum voor AI in het onderwijs dat bij IIT Madras is opgericht. Gemma-4-31B-it beoordeelt elke vertaling aan de hand van de Engelse brontekst. Voor acht talen blijft de aanpak met volledige documenten behouden. Langere documenten in het Santali worden vertaald in overlappende tekstvensters en daarna samengevoegd, terwijl Manipuri eerst naar het Bengaalse schrift wordt vertaald en vervolgens wordt omgezet naar het Meitei Mayek, het eigen schrift van het Manipuri. Deze workflows hanteren dezelfde drempel van 75 op 100 en leveren alleen data in het oorspronkelijke schrift op, zonder herschrijvingen op basis van feedback.

Resultaten van verdere pretraining

Het technische rapport over Nemotron 3.5 Super VL vergelijkt het checkpoint direct vóór de voortgezette pretraining voor Indic-talen met het checkpoint na die fase. Het ingestelde budget bedroeg 100 miljard trainingstokens, waarvan 10 procent (10 miljard tokens) was toegewezen aan een mix van synthetische en natuurlijke Indic-tekst; de resterende 90 procent behield de relatieve verhoudingen van de voorafgaande trainingsmix. De scores stegen op alle vijf gerapporteerde benchmarks voor kennis en redeneren in Indic-talen: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy en Indic GSM8K. De stijgingen liepen uiteen van 4,98 tot 9,82 procentpunt. NVIDIA merkt op dat de vergelijking betrekking heeft op een trainingsfase waarin synthetische en natuurlijke Indic-data worden gecombineerd, en niet het afzonderlijke effect van het synthetische corpus meet. Ook vermeldt NVIDIA dat Odia buiten GSM8K valt, omdat de evaluatie de limiet voor de serving-context overschreed.

Volgens het bericht scoort de uitgebrachte Nemotron 3.5 Super VL hoger dan Nemotron 3 Super op vijf van de zes weergegeven taakbenchmarks, die betrekking hebben op kennis, redeneren, wiskunde, code en vertaling. De score voor het opvolgen van instructies op IFEval 1.5 daalde daarentegen met 2,04 punten. Ook presteert het model beter op alle vier de dimensies van IndiVibe, de open benchmark van Sarvam AI met prompts in assistentstijl in Indiase talen: bruikbaarheid, vloeiendheid, getrouwheid aan taal en schrift, en een passend detailniveau.

NVIDIA zei dat het in toekomstige Nemotron-modellen op dit corpus wil voortbouwen en dat evaluatie van het volledige corpus, inclusief teruggewonnen herschrijvingen en de groep van tien talen, een volgende stap blijft voor gecontroleerde onderzoeken.

Beschikbaarheid en genoemde beperkingen

De datasetconfiguraties gebruiken tags voor taal, schrift en regio. hi-Deva-IN staat voor Hindi in het Devanagari-schrift en hi-Latn-IN voor geromaniseerd Hindi. Dankzij streaming in Hugging Face Datasets kunnen lezers records bekijken zonder het volledige corpus te downloaden. De open-sourcetranslatieplug-in Nemotron Bharat voor NeMo Data Designer biedt prompts voor vertaling en evaluatie, optioneel herschrijven op basis van feedback, documentvensters en ondersteuning voor het omzetten van schriften.

NVIDIA waarschuwt dat vertaling geen vervanging is voor tekst die oorspronkelijk in Indiase talen is geschreven en evenmin een volledige dekking van lokale kennis en cultuur garandeert. Het bedrijf raadt aan het corpus te combineren met natuurlijk Indic-materiaal uit geschikte bronnen. De kwaliteit wordt voornamelijk automatisch beoordeeld, aangevuld met steekproefsgewijze menselijke controles waarvan de dekking per taal verschilt. In de workflow voor twaalf talen fungeert de vertaler bovendien ook als beoordelaar. Volgens het bericht kunnen behouden teksten nog steeds fouten bevatten, is voor de workflow met tien talen een bredere validatie door moedertaalsprekers nodig en verwijderen controles op bron-ID’s duplicaten die tijdens de verwerking zijn ontstaan, zonder vergelijkbare inhoud semantisch te ontdubbelen.

Bijbehorende benchmarkverzameling

Naast het corpus introduceerde AI4Bharat van IIT Madras, met steun van NVIDIA, Indic-LLM-Eval-Suite: een open, voortdurend groeiende verzameling offlinebenchmarks voor de evaluatie van LLM’s in Indiase talen.

De eerste versie brengt bestaande Indic-benchmarks samen met vernieuwde versies, waaronder MILU-1.5 en IndicIFEval-1.5, en aangepaste Engelstalige benchmarks. De verzameling omvat acht categorieën: algemene chat, het opvolgen van instructies, wiskunde, STEM, redeneren met gezond verstand, kennis, code en vertaling. De evaluaties zijn geïntegreerd met NVIDIA NeMo-Gym, dat een gemeenschappelijke evaluatie-interface biedt en tegelijk de scoringsprocedures van de afzonderlijke benchmarks behoudt.

AI4Bharat meldt dat een audit van MILU onvolledige vragen, ontbrekende afbeeldingen en onjuiste vertalingen aan het licht bracht. Deze problemen zijn verholpen in de herziene versie MILU-1.5. Ook zijn problemen in de evaluatiecode van IndicIFEval opgelost, waarbij bepaalde beperkingen onjuist werden gecontroleerd of ongemerkt buiten beschouwing werden gelaten. De ontwikkelmethode van de verzameling combineert benchmarkgerichte vertaling met automatische kwaliteitsbeoordeling, gerichte correcties en verificatie door moedertaalsprekers.

AI4Bharat zei dat het met de verzameling verschillende recente open-weightmodellen voor Indic-talen en meertalige LLM’s heeft geëvalueerd, en dat geen enkel model consequent het best presteert op alle taken. Het lab omschrijft de eerste uitgave als een beginpunt en zegt benchmarks te willen toevoegen, bijdragen uit de gemeenschap te willen opnemen en de resultaten periodiek bij te werken om de voortgang van Indic-LLM’s in de loop der tijd te volgen.