NVIDIA presenterer pretreningskorpus på 2,8 billioner tokens for indiske språk og en åpen datapipeline

NVIDIA lanserte 16. oktober 2026, i samarbeid med IIT Madras og AI4Bharat-laboratoriet deres, Nemotron-pretraining-Indic-v1, et syntetisk pretreningskorpus på omtrent 2,8 billioner tokens fordelt på 22 indiske språk, som snart blir tilgjengelig. Samtidig lanserte de den åpne, GPU-akselererte datapipelinen for generering av data som ble brukt til å lage det.

De 22 språkene er språkene som er oppført i Indias grunnlov. I kunngjøringen beskrives de som førstespråkene til 97 % av Indias befolkning, nesten 1,2 milliarder innbyggere ifølge folketellingen fra 2011. Blant forfatterne av innlegget er AI4Bharat-forskerne Mohammed Safi Ur Rahman Khan, Mitesh Khapra og Anoop Kunchukuttan, samt NVIDIAs Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen og Utkarsh Vaidya. Khapra, som leder AI4Bharat, har pekt på hovedproblemet bak at indisk språkteknologi ligger etter engelskspråklig teknologi: «Vi har ikke nok data for indiske språk.»

Pipelinen omfatter hele oppskriften på datagenereringen, inkludert instruksjoner, LLM-arbeidsflyter og kvalitetskontroller, slik at utviklere kan tilpasse den til sitt eget kildemateriale. NVIDIA opplyste at hver datapost kan spores tilbake til et kuratert kildedokument, og at hvert resultat kontrolleres mot inndataene.

Korpussammensetning og språkdekning

Korpuset inneholder 2 601,0 milliarder tokens med originalt skriftsystem og 224,6 milliarder translittererte tokens, telt med Gemma-4-tokenizeren. NVIDIA presiserer at tallene gjelder det ferdigstilte korpuset, inkludert godkjente omskrivinger, og ikke tokenbudsjettet for en treningskjøring, og at tallene avhenger av hvilken tokenizer som brukes.

På tvers av 34 kombinasjoner av språk og skriftsystem inneholder korpuset data i originalt skriftsystem for alle de 22 språkene og translitterert tekst for tolv av dem. Tolv språk har data både i originalt skriftsystem og i translitterert form: bengali, gujarati, hindi, kannada, malayalam, marathi, nepali, odia, punjabi, tamil, telugu og urdu. Ti språk har bare data i originalt skriftsystem: assamesisk, bodo, dogri, kasjmiri, konkani, maithili, manipuri, sanskrit, santali og sindhi.

Innlegget definerer tekst i originalt skriftsystem som tekst skrevet med det aktuelle skriftsystemet, men oversatt fra engelsk, mens translitterert tekst betyr tekst på et indisk språk skrevet med latinske bokstaver. For hvert av de tolv språkene med begge skriftsystemene dekker den translittererte teksten et utvalg av de godkjente oversettelsene i originalt skriftsystem.

To oversettelsesarbeidsflyter

Datagenereringen starter med dokumenter fra 15 delsett av Nemotron-CC-v2, som dekker nettinnhold, spørsmål-og-svar-materiale, matematikk, kode og annet spesialisert innhold. NeMo Data Designer, NVIDIAs rammeverk med åpen kildekode for syntetiske data, håndterer oversettelse, kvalitetskontroller og målrettet utbedring. Kildeidentifikatorene beholdes gjennom hele prosessen, slik at resultatene kan spores tilbake til originaldokumentene.

For de tolv språkene med begge skriftsystemene oversettes hele dokumenter med Googles Gemma-4-31B-it, som teamet opplyste at de valgte etter å ha sammenlignet modeller på komplette dokumenter. Instruksjonene skiller mellom prosa som skal oversettes, og innhold som skal bevares, blant annet kode, ligninger, URL-er og formatering. Deretter vurderer den samme modellen hvert resultat opp mot den engelske kildeteksten ved hjelp av en vurderingsrubrikk inspirert av rammeverket Multidimensional Quality Metrics. Den dekker mening, flyt, terminologi, stil og formatering. Bare resultater som får minst 75 av 100 poeng, beholdes; resultater med lavere poengsum utbedres på grunnlag av vurderingstilbakemeldingene og vurderes på nytt mot den samme terskelen. NVIDIA opplyser at denne utbedringssløyfen gjenopprettet 438,4 milliarder tokens på tvers av data i originalt skriftsystem og translittererte data; disse er allerede inkludert i korpusets total. NVIDIA opplyser også at stikkprøver gjennomgått av mennesker, sammen med tester med bevisst innførte feil, dannet grunnlag for forbedringer av instruksjonene og kontrollene.

Godkjente oversettelser i originalt skriftsystem danner utgangspunktet for translittererte data gjennom et separat trinn for konvertering av skriftsystem. Ifølge NVIDIA viste en innledende sammenligning utført av mennesker at denne totrinnsmetoden ga færre hallusinerte tillegg og mindre gjenværende engelsk tekst enn å generere translitterert tekst direkte fra engelsk.

For de ti andre språkene brukes oversettelsesmodellen Indic Translate, som arbeider på dokumentnivå med engelsk og 22 indiske språk. Modellen er utviklet av Bodhan AI, et ideelt senter for KI i utdanning som ble etablert ved IIT Madras, og Gemma-4-31B-it vurderer hver oversettelse opp mot den engelske kildeteksten. For åtte språk beholdes metoden der hele dokumentet oversettes. Lengre dokumenter på santali oversettes i overlappende tekstvinduer som deretter settes sammen igjen, mens manipuri oversettes til bengalisk skrift før det konverteres til meitei mayek, det opprinnelige skriftsystemet. Disse arbeidsflytene bruker terskelen på 75 av 100 poeng og produserer bare data i originalt skriftsystem, uten omskriving basert på tilbakemeldinger.

Resultater fra videre pretrening

Den tekniske rapporten for Nemotron 3.5 Super VL sammenligner sjekkpunktet rett før videre forhåndstrening på Indic med sjekkpunktet etter dette trinnet. Det fastsatte budsjettet var 100 milliarder treningstokener, hvorav 10 prosent (10 milliarder tokener) ble avsatt til en blanding av syntetisk og naturlig Indic-tekst, mens de resterende 90 prosentene opprettholdt de relative andelene i den foregående treningsblandingen. Resultatene økte på alle de fem rapporterte referansetestene for kunnskap og resonnering på Indic: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy og Indic GSM8K. Fremgangen varierte fra 4,98 til 9,82 prosentpoeng. NVIDIA påpeker at sammenligningen gjelder et treningstrinn som kombinerer syntetiske og naturlige Indic-data, og ikke isolerer bidraget fra det syntetiske tekstkorpuset. GSM8K utelater dessuten Odia fordi evalueringen overskred grensen for kontekstvinduet under kjøring.

Ifølge innlegget skårer den lanserte Nemotron 3.5 Super VL høyere enn Nemotron 3 Super på fem av de seks oppgavebaserte referansetestene som vises, innen kunnskap, resonnering, matematikk, kode og oversettelse. Resultatet for instruksjonsfølging på IFEval 1.5 gikk imidlertid ned med 2,04 poeng. Modellen forbedrer seg også på alle de fire dimensjonene i IndiVibe, Sarvam AIs åpne referansetest med assistentlignende spørsmål på indiske språk: nytteverdi, flyt, troskap mot språk og skriftsystem samt passende detaljnivå.

NVIDIA sa at selskapet planlegger å bygge videre på dette tekstkorpuset i fremtidige Nemotron-modeller, og at evaluering av hele korpuset, inkludert gjenopprettede omskrivinger og gruppen med ti språk, fortsatt gjenstår som et neste steg i kontrollerte studier.

Tilgjengelighet og oppgitte begrensninger

Datasettkonfigurasjonene bruker tagger for språk, skriftsystem og region. hi-Deva-IN betegner hindi skrevet med devanagari, mens hi-Latn-IN betegner hindi skrevet med latinske bokstaver. Med strømming av Hugging Face Datasets kan leserne inspisere poster uten å laste ned hele korpuset. Den åpne kildekodepluginen Nemotron Bharat for oversettelse til NeMo Data Designer tilbyr oversettelses- og evalueringsspørsmål, valgfri omskriving basert på tilbakemeldinger, oppdeling av dokumenter i vinduer og støtte for ommapping av skriftsystemer.

NVIDIA understreker at oversettelse ikke kan erstatte tekst som opprinnelig er skrevet på indiske språk, eller garantere dekning av lokal kunnskap og kultur. Selskapet anbefaler derfor å kombinere korpuset med naturlig Indic-tekst fra egnede kilder. Kvaliteten vurderes hovedsakelig automatisk, supplert med stikkprøvebasert menneskelig gjennomgang, som varierer i omfang mellom språkene. I arbeidsflyten for tolv språk fungerer oversetteren også som dommer. Innlegget opplyser at tekst som beholdes, fortsatt kan inneholde feil, at arbeidsflyten for ti språk trenger bredere validering av morsmålsbrukere, og at kontroller av kilde-ID-er fjerner duplikater fra behandlingen uten å utføre semantisk deduplisering av lignende innhold.

Tilhørende referansetestpakke

Sammen med korpuset lanserte AI4Bharat ved IIT Madras, med støtte fra NVIDIA, Indic-LLM-Eval-Suite, en åpen samling i utvikling av frakoblede referansetester for evaluering av LLM-er på tvers av indiske språk.

Den første versjonen samler eksisterende Indic-referansetester, oppdaterte versjoner som MILU-1.5 og IndicIFEval-1.5, samt tilpassede engelske referansetester innen åtte kategorier av modellferdigheter: generell samtale, instruksjonsfølging, matematikk, STEM, resonnering basert på sunn fornuft, kunnskap, kode og oversettelse. Evalueringene er integrert med NVIDIA NeMo-Gym, som tilbyr et felles grensesnitt for evaluering samtidig som poengberegningen for hver enkelt referansetest beholdes.

AI4Bharat opplyser at selskapets gjennomgang av MILU avdekket ufullstendige spørsmål, manglende figurer og feiloversettelser. Dette ble rettet i den reviderte MILU-1.5-versjonen. Selskapet rettet også feil i evalueringskoden for IndicIFEval, der enkelte begrensninger enten ble kontrollert feil eller ignorert uten varsel. Metoden for å bygge opp testpakken kombinerer oversettelse tilpasset den enkelte referansetesten med automatisk kvalitetsvurdering, målrettet korrigering og verifisering utført av morsmålsbrukere.

AI4Bharat sa at selskapet evaluerte flere moderne modeller med åpne vekter på Indic og flerspråklige LLM-er på tvers av testpakken, og fant at ingen enkeltmodell konsekvent presterer best på alle oppgavene. Laboratoriet beskriver den første lanseringen som et utgangspunkt og sier at det planlegger å legge til referansetester, innarbeide bidrag fra fellesskapet og oppdatere resultatene jevnlig for å følge utviklingen innen LLM-er på Indic over tid.