NVIDIA præsenterer prætræningskorpus på 2,8 billioner Indic-tokens og åben pipeline

NVIDIA introducerede den 16. oktober 2026 sammen med IIT Madras og AI4Bharat-laboratoriet Nemotron-pretraining-Indic-v1, et syntetisk prætræningskorpus på cirka 2,8 billioner tokens fordelt på 22 indiske sprog, som snart bliver tilgængeligt, samt den åbne, GPU-accelererede datapipeline, der blev brugt til at skabe det.

De 22 sprog er dem, der er opført i Indiens forfatning. Ifølge annonceringen er de førstesprog for 97 % af Indiens befolkning, næsten 1,2 milliarder indbyggere ifølge folketællingen i 2011. Blandt forfatterne til indlægget er AI4Bharat-forskerne Mohammed Safi Ur Rahman Khan, Mitesh Khapra og Anoop Kunchukuttan samt NVIDIA-medarbejderne Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen og Utkarsh Vaidya. Khapra, der leder AI4Bharat, har peget på det grundlæggende problem, der gør, at indisk sprogteknologi halter efter engelsk: »Vi har ikke nok data for indiske sprog.«

Pipelinen omfatter hele opskriften på datagenereringen, herunder prompts, LLM-arbejdsgange og kvalitetstjek, så udviklere kan tilpasse den til deres eget kildemateriale. NVIDIA oplyste, at hver post kan føres tilbage til et kurateret kildedokument, og at hvert output kontrolleres op mod dets input.

Korpussets sammensætning og sprogdækning

Korpusset indeholder 2.601,0 milliarder tokens skrevet med de oprindelige skriftsystemer og 224,6 milliarder romaniserede tokens, optalt med Gemma-4-tokenizeren. NVIDIA bemærker, at tallene beskriver det bevarede korpus, inklusive accepterede omskrivninger, og ikke et træningsforløbs tokenbudget, samt at tallene afhænger af den anvendte tokenizer.

På tværs af 34 kombinationer af sprog og skriftsystem indeholder korpusset data skrevet med de oprindelige skriftsystemer for alle 22 sprog og romaniseret tekst for tolv. Tolv sprog har data i både de oprindelige skriftsystemer og romaniseret form: bengali, gujarati, hindi, kannada, malayalam, marathi, nepali, odia, punjabi, tamil, telugu og urdu. Ti sprog har kun data skrevet med de oprindelige skriftsystemer: assamesisk, bodo, dogri, kashmiri, konkani, maithili, manipuri, sanskrit, santali og sindhi.

Indlægget definerer tekst med det oprindelige skriftsystem som tekst, der stadig er oversat fra engelsk, men skrevet med sprogets eget skriftsystem. Romaniseret tekst betyder derimod tekst på et indisk sprog skrevet med latinske bogstaver. For hvert af de tolv sprog med begge skriftsystemer omfatter romaniseringen en delmængde af de accepterede oversættelser skrevet med det oprindelige skriftsystem.

To oversættelsesarbejdsgange

Genereringen tager udgangspunkt i dokumenter fra 15 delmængder af Nemotron-CC-v2, der dækker webtekst, spørgsmål og svar, matematik, kode og andet specialiseret indhold. NeMo Data Designer, NVIDIAs open source-rammeværk til syntetiske data, står for oversættelse, kvalitetstjek og målrettet reparation. Kildeidentifikatorer bevares gennem hele forløbet, så hvert output kan spores tilbage til det oprindelige dokument.

For de tolv sprog med begge skriftsystemer oversættes dokumenterne i deres helhed med Googles Gemma-4-31B-it, som teamet oplyste, at det havde valgt ved at sammenligne modeller på hele dokumenter. Prompts skelner mellem prosa, der skal oversættes, og indhold, der skal bevares, herunder kode, ligninger, URL’er og formatering. Den samme model vurderer derefter hvert output i forhold til det engelske kildedokument efter en bedømmelsesrubrik inspireret af rammeværket Multidimensional Quality Metrics, der omfatter betydning, sproglig flydende kvalitet, terminologi, stil og formatering. Kun output med en score på mindst 75 ud af 100 bevares; output med lavere score repareres på baggrund af vurderingens feedback og vurderes igen efter samme tærskel. NVIDIA oplyser, at denne reparationsproces genskabte 438,4 milliarder tokens på tværs af data i de oprindelige skriftsystemer og romaniserede data, og at disse allerede indgår i korpussets samlede størrelse. NVIDIA oplyser også, at stikprøvebaserede menneskelige vurderinger samt test med bevidst indførte fejl bidrog til forbedringer af prompts og kontroller.

Accepterede oversættelser skrevet med de oprindelige skriftsystemer danner udgangspunkt for de romaniserede data via et særskilt trin til konvertering af skriftsystem. Ifølge NVIDIA viste en indledende menneskelig sammenligning, at denne tilgang i to trin gav færre hallucinerede tilføjelser og mindre resterende engelsk end direkte generering af romaniseret tekst ud fra engelsk.

For de øvrige ti sprog anvendes Indic Translate til oversættelsen. Det er en model til oversættelse af dokumenter mellem engelsk og 22 indiske sprog fra Bodhan AI, et nonprofitcenter for AI i uddannelse, der blev etableret ved IIT Madras. Gemma-4-31B-it vurderer hver oversættelse i forhold til dens engelske kildedokument. Otte sprog følger arbejdsgangen med hele dokumenter; længere dokumenter på santali oversættes i overlappende tekstvinduer og sammensættes igen, mens manipuri oversættes til bengalsk skrift, før det konverteres til meitei mayek, det oprindelige skriftsystem. Disse arbejdsgange fastholder tærsklen på 75 ud af 100 og producerer kun data skrevet med de oprindelige skriftsystemer, uden omskrivning baseret på feedback.

Resultater af fortsat prætræning

Den tekniske rapport om Nemotron 3.5 Super VL sammenligner checkpointet umiddelbart før den fortsatte prætræning på indiske sprog med checkpointet efter dette trin. Det fastsatte budget var 100 milliarder træningstokens, hvoraf 10 procent (10 milliarder tokens) blev afsat til en blanding af syntetisk og naturlig tekst på indiske sprog, mens de resterende 90 procent bevarede de relative proportioner i den foregående træningsblanding. Resultaterne blev forbedret på alle fem rapporterede benchmarks for viden og ræsonnement på indiske sprog: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy og Indic GSM8K, med fremgange på mellem 4,98 og 9,82 procentpoint. NVIDIA bemærker, at sammenligningen omfatter et træningstrin, der kombinerer syntetiske og naturlige data på indiske sprog, i stedet for at isolere det syntetiske korpus’ bidrag, og at Odia ikke indgår i GSM8K, fordi evalueringen overskred grænsen for kontekstvinduet under inferens.

Ifølge indlægget scorer den udgivne Nemotron 3.5 Super VL højere end Nemotron 3 Super på fem af de seks viste opgavebenchmarks, som dækker viden, ræsonnement, matematik, kode og oversættelse, mens resultatet for instruktionsfølgning på IFEval 1.5 faldt med 2,04 point. Den klarer sig også bedre på alle fire dimensioner af IndiVibe, Sarvam AI’s åbne benchmark med assistentlignende prompts på indiske sprog: nytteværdi, flydende sprog, troskab mod sprog og skriftsystem samt passende detaljeringsgrad.

NVIDIA sagde, at virksomheden planlægger at bygge videre på dette korpus i fremtidige Nemotron-modeller, og at evaluering af hele korpusset, herunder genskrevne tekster og gruppen med ti sprog, fortsat er et næste skridt i kontrollerede undersøgelser.

Tilgængelighed og oplyste begrænsninger

Datasæt-konfigurationerne bruger tags for sprog, skriftsystem og region, hvor hi-Deva-IN betegner hindi skrevet med devanagari, og hi-Latn-IN betegner hindi skrevet med latinske bogstaver. Med streamingfunktionen i Hugging Face Datasets kan læsere undersøge dataposter uden at downloade hele korpusset. Det åbne oversættelsesplugin Nemotron Bharat til NeMo Data Designer leverer prompts til oversættelse og evaluering, mulighed for omskrivning baseret på feedback, opdeling af dokumenter i vinduer og understøttelse af ændring af skriftsystem.

NVIDIA understreger, at oversættelse ikke kan erstatte tekst, der oprindeligt er skrevet på indiske sprog, eller garantere dækning af lokal viden og kultur, og anbefaler, at korpusset kombineres med naturlig tekst på indiske sprog fra passende kilder. Kvalitetsvurderingen er primært automatiseret og suppleres af stikprøvevis menneskelig gennemgang, hvis omfang varierer fra sprog til sprog; i arbejdsgangen for de tolv sprog fungerer oversætteren også som bedømmer. Indlægget oplyser, at bevaret tekst stadig kan indeholde fejl, at arbejdsgangen for de ti sprog kræver en bredere validering foretaget af modersmålstalere, og at kontroller af kilde-id’er fjerner dubletter fra behandlingen uden at foretage semantisk deduplikering af lignende indhold.

Tilhørende benchmarksuite

Sammen med korpusset præsenterede AI4Bharat ved IIT Madras, med støtte fra NVIDIA, Indic-LLM-Eval-Suite, en åben samling af offlinebenchmarks under løbende udvikling til evaluering af LLM’er på tværs af indiske sprog.

Den første version samler eksisterende benchmarks for indiske sprog, opdaterede versioner, herunder MILU-1.5 og IndicIFEval-1.5, samt tilpassede engelsksprogede benchmarks inden for otte kategorier af færdigheder: generel chat, instruktionsfølgning, matematik, STEM, sund fornuft-baseret ræsonnement, viden, kode og oversættelse. Evalueringerne er integreret med NVIDIA NeMo-Gym, som giver en fælles evalueringsgrænseflade, samtidig med at benchmarks’ specifikke bedømmelsesprocedurer bevares.

AI4Bharat oplyser, at en gennemgang af MILU afdækkede ufuldstændige spørgsmål, manglende figurer og forkerte oversættelser, som blev rettet i den reviderede MILU-1.5, og at organisationen rettede fejl i evalueringskoden til IndicIFEval, hvor visse begrænsninger blev kontrolleret forkert eller ignoreret uden varsel. Metoden bag suiten kombinerer benchmarktilpasset oversættelse med automatisk kvalitetsvurdering, målrettede rettelser og kontrol foretaget af modersmålstalere.

AI4Bharat sagde, at organisationen evaluerede flere moderne åbne modeller med indiciske funktioner og flersprogede LLM’er på tværs af suiten og fandt, at ingen enkelt model konsekvent klarer sig bedst på alle opgaver. Forskningsinstitutionen beskriver den første udgivelse som et udgangspunkt og siger, at den planlægger at tilføje benchmarks, inddrage bidrag fra fællesskabet og regelmæssigt opdatere resultaterne for at følge udviklingen inden for LLM’er på indiske sprog over tid.