NVIDIA presenterar en förträningskorpus på 2,8 biljoner token för indiska språk och en öppen pipeline

NVIDIA presenterade den 16 oktober 2026, i samarbete med IIT Madras och dess AI4Bharat-labb, Nemotron-pretraining-Indic-v1, en syntetisk förträningskorpus med cirka 2,8 biljoner token på 22 indiska språk som snart ska släppas, tillsammans med den öppna, GPU-accelererade datapipeline som användes för att skapa den.

De 22 språken är de som anges i Indiens konstitution. I tillkännagivandet beskrivs de som modersmål för 97 % av Indiens befolkning, nästan 1,2 miljarder invånare enligt folkräkningen 2011. Bland författarna till inlägget finns AI4Bharat-forskarna Mohammed Safi Ur Rahman Khan, Mitesh Khapra och Anoop Kunchukuttan samt NVIDIAs Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen och Utkarsh Vaidya. Khapra, som leder AI4Bharat, har pekat ut det grundläggande problemet bakom att tekniken för indiska språk halkar efter engelskan: ”vi har inte tillräckligt med data för indiska språk”.

Pipelinen innehåller hela receptet för datagenereringen, inklusive instruktioner, LLM-arbetsflöden och kvalitetskontroller, så att utvecklare kan anpassa den till sitt eget källmaterial. NVIDIA uppgav att varje post kan spåras tillbaka till ett kurerat källdokument och att varje resultat kontrolleras mot indata.

Korpusens sammansättning och språktäckning

Korpusen innehåller 2 601,0 miljarder token i ursprungliga skriftsystem och 224,6 miljarder romaniserade token, räknade med Gemma-4-tokeniseraren. NVIDIA påpekar att antalen avser den bevarade korpusen, inklusive godkända omskrivningar, och inte tokenbudgeten för en träningskörning, samt att antalen beror på vilken tokeniserare som används.

Korpusen omfattar 34 kombinationer av språk och skriftsystem och innehåller data i ursprungligt skriftsystem för alla 22 språk samt romaniserad text för tolv av dem. Tolv språk finns både i ursprungligt skriftsystem och i romaniserad form: bengali, gujarati, hindi, kannada, malayalam, marathi, nepali, odia, punjabi, tamil, telugu och urdu. Tio språk finns endast i ursprungligt skriftsystem: assamesiska, bodo, dogri, kashmiri, konkani, maithili, manipuri, sanskrit, santali och sindhi.

I inlägget definieras text i ursprungligt skriftsystem som text i skriftsystemet som används för språket, men fortfarande översatt från engelska. Romaniserad text innebär i stället text på ett indiskt språk skriven med latinska bokstäver. För vart och ett av de tolv språken med två skriftsystem omfattar romaniseringen ett urval av de godkända översättningarna i ursprungligt skriftsystem.

Två översättningsflöden

Genereringen utgår från dokument i 15 delmängder av Nemotron-CC-v2, som omfattar webbtext, frågor och svar, matematik, kod och annat specialiserat innehåll. NeMo Data Designer, NVIDIAs ramverk med öppen källkod för syntetiska data, hanterar översättning, kvalitetskontroller och riktade korrigeringar. Källidentifierare bevaras genom hela processen, så att ett resultat kan spåras till sitt ursprungsdokument.

För de tolv språken med två skriftsystem översätts dokumenten i sin helhet med Googles Gemma-4-31B-it, som teamet uppgav att det valde efter att ha jämfört modeller på hela dokument. Instruktionerna skiljer mellan löptext som ska översättas och innehåll som ska bevaras, till exempel kod, ekvationer, URL:er och formatering. Samma modell bedömer sedan varje resultat mot den engelska källtexten med hjälp av en bedömningsmall inspirerad av ramverket Multidimensional Quality Metrics, som omfattar betydelse, flyt, terminologi, stil och formatering. Endast resultat med minst 75 av 100 poäng behålls; resultat med lägre poäng korrigeras utifrån bedömningens återkoppling och bedöms på nytt mot samma gränsvärde. NVIDIA uppger att denna korrigeringsloop återvann 438,4 miljarder token från data i ursprungliga skriftsystem och romaniserade data, vilka redan ingår i korpusens totalmängd. Företaget uppger också att stickprovskontroller utförda av människor och tester med avsiktligt införda fel låg till grund för förbättringar av instruktionerna och kontrollerna.

Godkända översättningar i ursprungligt skriftsystem utgör utgångspunkten för romaniserade data, som skapas i ett separat steg för konvertering av skriftsystem. Enligt NVIDIA visade en första mänsklig jämförelse att detta tillvägagångssätt i två steg gav färre hallucinerade tillägg och mindre kvarvarande engelska än om romaniserad text genererades direkt från engelska.

För de övriga tio språken används Indic Translate, en modell från Bodhan AI för översättning av hela dokument mellan engelska och 22 indiska språk. Bodhan AI är ett ideellt center för AI inom utbildning som har etablerats vid IIT Madras. Gemma-4-31B-it bedömer varje översättning mot den engelska källtexten. Åtta språk följer samma metod med hela dokument; längre dokument på santali översätts i överlappande textfönster och sätts sedan samman igen, och manipuri översätts till bengalisk skrift innan texten konverteras till Meitei Mayek, manipuris ursprungliga skriftsystem. Dessa arbetsflöden använder gränsvärdet 75 av 100 och producerar endast data i ursprungligt skriftsystem, utan omskrivning baserad på återkoppling.

Resultat av fortsatt förträning

Den tekniska rapporten om Nemotron 3.5 Super VL jämför kontrollpunkten omedelbart före fortsatt förträning på indiska språk med kontrollpunkten efter detta steg. Den fastställda budgeten var 100 miljarder träningstoken, varav 10 procent (10 miljarder token) avsattes till en blandning av syntetisk och naturlig text på indiska språk, medan återstående 90 procent behöll de relativa proportionerna i den föregående träningsblandningen. Poängen ökade på samtliga fem redovisade riktmärken för kunskap och resonemang på indiska språk: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy och Indic GSM8K, med ökningar på mellan 4,98 och 9,82 procentenheter. NVIDIA noterar att jämförelsen omfattar ett träningssteg där syntetiska och naturliga data på indiska språk kombineras, i stället för att isolera det syntetiska textkorpuset bidrag, och att Odia inte ingår i GSM8K eftersom utvärderingen överskred gränsen för kontextlängden vid inferens.

Enligt inlägget får den lanserade Nemotron 3.5 Super VL högre poäng än Nemotron 3 Super på fem av de sex visade uppgiftsriktmärkena, som omfattar kunskap, resonemang, matematik, kod och översättning, medan resultatet för instruktionsföljning på IFEval 1.5 sjönk med 2,04 poäng. Modellen förbättras också inom samtliga fyra dimensioner i IndiVibe, Sarvam AI:s öppna riktmärke med assistentliknande instruktioner på indiska språk: användbarhet, flyt, trohet mot språk och skriftsystem samt lämplig detaljnivå.

NVIDIA uppgav att företaget planerar att bygga vidare på detta textkorpus i framtida Nemotron-modeller och att en utvärdering av hela korpuset, inklusive återskapade omskrivningar och gruppen med tio språk, återstår som ett nästa steg i kontrollerade studier.

Tillgänglighet och angivna begränsningar

Datasetkonfigurationerna använder taggar för språk, skriftsystem och region, där hi-Deva-IN betecknar hindi skrivet med devanagari och hi-Latn-IN betecknar hindi skrivet med latinska bokstäver. Med strömning i Hugging Face Datasets kan läsare granska poster utan att ladda ned hela korpuset. Översättningsinsticksprogrammet Nemotron Bharat med öppen källkod för NeMo Data Designer tillhandahåller instruktioner för översättning och utvärdering, valfri omskrivning baserad på återkoppling, dokumentindelning i fönster och stöd för ommappning av skriftsystem.

NVIDIA varnar för att översättning inte ersätter texter som ursprungligen skrivits på indiska språk eller garanterar täckning av lokal kunskap och kultur, och rekommenderar att korpuset kombineras med naturlig text på indiska språk som har samlats in från lämpliga källor. Kvaliteten bedöms främst automatiskt, kompletterat med stickprovsbaserad mänsklig granskning vars omfattning varierar mellan språken. I arbetsflödet med tolv språk fungerar översättaren dessutom som bedömare. I inlägget står det att texter som behållits fortfarande kan innehålla fel, att arbetsflödet med tio språk behöver valideras bredare av personer som har språken som modersmål och att kontroller av käll-ID:n tar bort dubbletter från bearbetningen utan att göra någon semantisk deduplicering av liknande innehåll.

Kompletterande riktmärkessvit

Parallellt med korpuset presenterade AI4Bharat vid IIT Madras, med stöd från NVIDIA, Indic-LLM-Eval-Suite, en öppen och föränderlig samling offline-riktmärken för utvärdering av LLM:er på indiska språk.

Den första versionen sammanställer befintliga riktmärken för indiska språk, uppdaterade versioner som MILU-1.5 och IndicIFEval-1.5 samt anpassade engelskspråkiga riktmärken inom åtta kategorier av förmågor: allmän chatt, instruktionsföljning, matematik, STEM, sunt förnuft-resonemang, kunskap, kod och översättning. Utvärderingarna är integrerade med NVIDIA NeMo-Gym, som tillhandahåller ett gemensamt gränssnitt för utvärdering samtidigt som de särskilda poängsättningsmetoderna för varje riktmärke behålls.

AI4Bharat uppger att en granskning av MILU visade att frågor var ofullständiga, figurer saknades och översättningar var felaktiga. Dessa problem åtgärdades i den reviderade versionen MILU-1.5. Organisationen rättade också till problem i utvärderingskoden för IndicIFEval, där vissa begränsningar kontrollerades felaktigt eller ignorerades utan att detta uppmärksammades. Metoden för att bygga sviten kombinerar översättning anpassad efter respektive riktmärke med automatisk kvalitetsbedömning, riktade korrigeringar och granskning av personer med språken som modersmål.

AI4Bharat uppgav att organisationen utvärderade flera moderna modeller med öppna vikter för indiska språk och flerspråkiga LLM:er med hjälp av sviten och fann att ingen enskild modell konsekvent presterar bäst i alla uppgifter. Forskningsinstitutet beskriver den första utgåvan som en startpunkt och säger att det planerar att lägga till riktmärken, ta in bidrag från communityn och regelbundet uppdatera resultaten för att följa utvecklingen för LLM:er på indiska språk över tid.