NVIDIA esittelee 2,8 biljoonan tokenin intialaisten kielten esikoulutuskorpuksen ja avoimen dataputken

NVIDIA esitteli 16. lokakuuta 2026 yhteistyössä IIT Madrasin ja sen AI4Bharat-laboratorion kanssa Nemotron-pretraining-Indic-v1-aineiston: synteettisen esikoulutuskorpuksen, joka sisältää noin 2,8 biljoonaa tokenia 22 intialaisella kielellä ja julkaistaan pian. NVIDIA esitteli samalla avoimen, GPU-kiihdytetyn datanluontiputken, jolla aineisto tuotettiin.

Nämä 22 kieltä on lueteltu Intian perustuslaissa. Julkistuksen mukaan ne ovat äidinkieliä 97 prosentille intialaisista eli lähes 1,2 miljardille kansalaiselle vuoden 2011 väestönlaskennan mukaan. Julkaisun kirjoittajiin kuuluvat AI4Bharatin tutkijat Mohammed Safi Ur Rahman Khan, Mitesh Khapra ja Anoop Kunchukuttan sekä NVIDIAn Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen ja Utkarsh Vaidya. AI4Bharatia johtava Khapra on nimennyt keskeisen syyn siihen, miksi intialaisten kielten teknologia jää englannin kehityksestä jälkeen: ”intialaisista kielistä ei ole riittävästi dataa.”

Dataputki tallentaa koko aineiston luontiprosessin, mukaan lukien kehotteet, LLM-työnkulut ja laaduntarkistukset, jotta kehittäjät voivat mukauttaa sitä omiin lähdeaineistoihinsa. NVIDIAn mukaan jokainen tietue voidaan jäljittää kuratoituun lähdeasiakirjaan, ja jokainen tulos tarkistetaan syötettä vasten.

Korpuksen koostumus ja kielikattavuus

Korpus sisältää Gemma-4-tokenisaattorilla laskettuna 2 601,0 miljardia omalla kirjoitusjärjestelmällä kirjoitettua tokenia ja 224,6 miljardia latinalaisin kirjaimin kirjoitettua tokenia. NVIDIA huomauttaa, että luvut kuvaavat säilytettyä korpusta hyväksytyt uudelleenkirjoitukset mukaan lukien, eivät yksittäisen koulutusajon tokenibudjettia, ja että luvut riippuvat käytetystä tokenisaattorista.

Korpus kattaa 34 kielen ja kirjoitusjärjestelmän yhdistelmää: kaikista 22 kielestä on aineistoa niiden omalla kirjoitusjärjestelmällä, ja 12 kielestä on myös latinalaisin kirjaimin kirjoitettua tekstiä. Näistä molemmilla tavoilla on saatavilla aineistoa bengalista, gujaratista, hindistä, kannadasta, malajalamista, marathista, nepalista, odiasta, pandžabista, tamilista, telugusta ja urdusta. Kymmenestä kielestä on aineistoa vain niiden omalla kirjoitusjärjestelmällä: assamista, bodosta, dogrista, kashmirista, konkanista, maithilista, manipurista, sanskritista, santaliista ja sindhistä.

Julkaisussa omalla kirjoitusjärjestelmällä tarkoitetaan kyseisen kielen kirjoitusjärjestelmää, vaikka teksti onkin käännetty englannista. Latinalaisin kirjaimin kirjoitettu teksti puolestaan tarkoittaa intialaista kieltä, joka on kirjoitettu latinalaisin kirjaimin. Kunkin 12 molemmilla tavoilla käsitellyn kielen kohdalla latinalaisin kirjaimin kirjoitettu aineisto on osajoukko hyväksytyistä, kyseisen kielen omalla kirjoitusjärjestelmällä tehdyistä käännöksistä.

Kaksi käännöstyönkulkua

Aineiston luonti alkaa 15 Nemotron-CC-v2-alajoukon asiakirjoista. Ne sisältävät verkkotekstiä, kysymys-vastausaineistoa, matematiikkaa, koodia ja muuta erikoistunutta sisältöä. NVIDIAn avoimen lähdekoodin synteettisen datan kehys NeMo Data Designer hoitaa käännökset, laaduntarkistukset ja kohdennetut korjaukset. Lähdetunnisteet säilytetään koko prosessin ajan, joten tulos voidaan jäljittää alkuperäiseen asiakirjaan.

Kunkin 12 molemmilla kirjoitusjärjestelmillä käsiteltävän kielen asiakirjat käännetään kokonaisuudessaan Googlen Gemma-4-31B-it-mallilla. Tiimi kertoi valinneensa mallin vertailemalla eri malleja kokonaisten asiakirjojen kääntämisessä. Kehotteissa erotetaan käännettävä proosa sisällöstä, joka on säilytettävä ennallaan, kuten koodista, yhtälöistä, URL-osoitteista ja muotoilusta. Sama malli arvioi sitten kunkin tuloksen englanninkieliseen lähdetekstiin nähden Multidimensional Quality Metrics -kehykseen perustuvien arviointiperusteiden avulla. Arvioinnissa tarkastellaan merkityksen välittymistä, sujuvuutta, terminologiaa, tyyliä ja muotoilua. Vain vähintään 75 pistettä sadasta saaneet tulokset hyväksytään. Tätä heikommat tulokset korjataan arvioinnista saadun palautteen perusteella, minkä jälkeen ne arvioidaan uudelleen saman raja-arvon mukaan. NVIDIAn mukaan tämän korjauskierroksen ansiosta saatiin talteen 438,4 miljardia tokenia sekä omalla kirjoitusjärjestelmällä että latinalaisin kirjaimin kirjoitetusta aineistosta; määrä sisältyy jo korpuksen kokonaismäärään. Lisäksi otantaan perustuvat ihmisten tekemät arviot ja tarkoituksella lisättyjä virheitä hyödyntäneet testit auttoivat parantamaan kehotteita ja tarkistuksia.

Hyväksytyt omalla kirjoitusjärjestelmällä tehdyt käännökset toimivat lähtökohtana latinalaisin kirjaimin kirjoitetulle aineistolle, joka tuotetaan erillisessä kirjoitusjärjestelmän muunnosvaiheessa. NVIDIAn mukaan alustava ihmisten tekemä vertailu osoitti, että tämä kaksivaiheinen menetelmä tuotti vähemmän perusteettomia lisäyksiä eli hallusinaatioita ja vähemmän tekstiin jäänyttä englantia kuin latinalaisin kirjaimin kirjoitetun tekstin tuottaminen suoraan englannista.

Kymmenen muun kielen kääntämiseen käytetään Indic Translatea, Bodhan AI:n asiakirjatason mallia, joka kääntää englannin ja 22 intialaisen kielen välillä. Bodhan AI on IIT Madrasin hautomossa käynnistetty voittoa tavoittelematon tekoälyn koulutuskäyttöön keskittyvä keskus. Gemma-4-31B-it arvioi jokaisen käännöksen englanninkieliseen lähdetekstiin nähden. Kahdeksan kielen kohdalla säilytetään koko asiakirjan käsittävä menetelmä. Pidemmät santalinkieliset asiakirjat käännetään päällekkäisissä jaksoissa, jotka yhdistetään kokonaisuudeksi. Manipuriaineisto käännetään ensin bengalilaiselle kirjoitusjärjestelmälle ja muunnetaan sitten meitei mayekiksi eli kielen omaksi kirjoitusjärjestelmäksi. Näissä työnkuluissa käytetään samaa 75 pisteen rajaa sadasta, ja niillä tuotetaan aineistoa vain kielten omilla kirjoitusjärjestelmillä ilman palautteeseen perustuvaa uudelleenkirjoittamista.

Jatkokoulutuksen tulokset

Nemotron 3.5 Super VL -teknisessä raportissa verrataan tarkistuspistettä juuri ennen intialaiskielistä jatkoesikoulutusta ja tarkistuspistettä kyseisen vaiheen jälkeen. Koulutukseen oli varattu 100 miljardia tokenia, joista 10 prosenttia (10 miljardia tokenia) kohdistettiin synteettisen ja luonnollisen intialaiskielisen tekstin yhdistelmään. Jäljelle jäävän 90 prosentin osalta säilytettiin edeltävän koulutusseoksen suhteelliset osuudet. Pisteet nousivat kaikissa viidessä raportoidussa intialaiskielisessä tiedon ja päättelyn vertailutestissä: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy ja Indic GSM8K. Parannukset vaihtelivat 4,98:sta 9,82 prosenttiyksikköön. NVIDIA huomauttaa, että vertailu koskee koulutusvaihetta, jossa yhdistettiin synteettistä ja luonnollista intialaiskielistä dataa, eikä siinä erotella synteettisen aineiston vaikutusta. Lisäksi GSM8K-arvioinnista jätettiin pois odian kieli, koska arviointi ylitti palvelun konteksti-ikkunan rajan.

Julkaisun mukaan julkaistu Nemotron 3.5 Super VL sai Nemotron 3 Superiin verrattuna korkeammat pisteet viidessä kuudesta esitetystä tehtävävertailusta, jotka kattavat tiedon, päättelyn, matematiikan, koodin ja kääntämisen. IFEval 1.5 -testissä ohjeiden noudattamisesta saadut pisteet kuitenkin laskivat 2,04 pistettä. Malli paransi tulostaan myös kaikilla IndiViben neljällä osa-alueella. IndiVibe on Sarvam AI:n avoin vertailutesti, jossa arvioidaan intialaiskielisiä avustajatyylisiä kehotteita. Osa-alueet ovat hyödyllisyys, sujuvuus, kielen ja kirjoitusjärjestelmän uskollisuus sekä asianmukainen vastausten pituus.

NVIDIA kertoi aikovansa hyödyntää tätä aineistoa tulevissa Nemotron-malleissa. Koko aineiston arviointi, mukaan lukien talteen otetut uudelleenkirjoitukset ja kymmenen kielen ryhmä, on yhtiön mukaan vielä seuraava askel kontrolloiduissa tutkimuksissa.

Saatavuus ja ilmoitetut rajoitukset

Tietoaineiston määrityksissä käytetään kielen, kirjoitusjärjestelmän ja alueen tunnisteita. Tunniste hi-Deva-IN tarkoittaa devanagari-kirjaimistolla kirjoitettua hindiä ja hi-Latn-IN latinalaisin kirjaimin kirjoitettua hindiä. Hugging Face Datasets -palvelun suoratoiston avulla lukijat voivat tarkastella tietueita lataamatta koko aineistoa. NeMo Data Designerin avoimen lähdekoodin Nemotron Bharat -käännösliitännäinen tarjoaa käännös- ja arviointikehotteita, valinnaisen palautteeseen perustuvan uudelleenkirjoituksen, dokumenttien paloittelun sekä tuen kirjoitusjärjestelmän muuntamiselle.

NVIDIA varoittaa, ettei kääntäminen korvaa alun perin intialaisilla kielillä kirjoitettua tekstiä eikä takaa paikallisen tiedon ja kulttuurin kattavuutta. Yhtiö suosittelee täydentämään aineistoa asianmukaisesti hankitulla luonnollisella intialaiskielisellä tekstillä. Laadun arviointi perustuu pääasiassa automaatioon, jota täydentää otantaan perustuva ihmisen tekemä tarkistus; tarkistuksen kattavuus vaihtelee kielittäin. Kahdentoista kielen työnkulussa kääntäjä toimii myös arvioijana. Julkaisun mukaan säilytetyssä tekstissä voi edelleen olla virheitä, kymmenen kielen työnkulku vaatii laajempaa äidinkielisten puhujien tekemää validointia, ja lähdetunnisteiden tarkistuksilla poistetaan käsittelyn aikana syntyneitä kaksoiskappaleita mutta ei tehdä samankaltaisen sisällön semanttista deduplikointia.

Täydentävä vertailutestikokonaisuus

AI4Bharat IIT Madrasissa esitteli NVIDIAn tuella Indic-LLM-Eval-Suite-kokonaisuuden aineiston rinnalla. Se on avoin ja jatkuvasti kehittyvä kokoelma offline-vertailutestejä, joilla arvioidaan suuria kielimalleja intialaisilla kielillä.

Ensimmäinen versio kokoaa yhteen aiempia intialaiskielisiä vertailutestejä, päivitettyjä versioita, kuten MILU-1.5:n ja IndicIFEval-1.5:n, sekä muokattuja englanninkielisiä vertailutestejä kahdeksalta osa-alueelta: yleinen keskustelu, ohjeiden noudattaminen, matematiikka, STEM, arkijärkeä vaativa päättely, tieto, koodi ja kääntäminen. Arvioinnit on integroitu NVIDIA NeMo-Gymiin, joka tarjoaa yhteisen arviointirajapinnan säilyttäen samalla kunkin vertailutestin omat pisteytysmenettelyt.

AI4Bharatin mukaan sen MILU-auditoinnissa havaittiin puutteellisia kysymyksiä, puuttuvia kuvia ja virheellisiä käännöksiä, jotka korjattiin uudistetussa MILU-1.5:ssä. Lisäksi se korjasi IndicIFEvalin arviointikoodista ongelmia, joiden vuoksi tiettyjä ehtoja tarkistettiin virheellisesti tai ne sivuutettiin huomaamatta. Vertailutestikokonaisuuden rakentamismenetelmässä yhdistyvät vertailutestin erityispiirteet huomioiva kääntäminen, automaattinen laadunarviointi, kohdennetut korjaukset ja äidinkielisten puhujien tekemä varmennus.

AI4Bharat kertoi arvioineensa vertailutestikokonaisuudessa useita nykyisiä avoimilla painoilla julkaistuja intialaiskielisiä ja monikielisiä suuria kielimalleja ja havainneensa, ettei mikään yksittäinen malli suoriudu johdonmukaisesti parhaiten kaikista tehtävistä. Tutkimusryhmä kuvailee ensimmäistä julkaisua lähtökohdaksi ja kertoo aikovansa lisätä vertailutestejä, ottaa mukaan yhteisön panoksia ja päivittää tuloksia säännöllisesti, jotta intialaiskielisten suurten kielimallien kehitystä voidaan seurata ajan mittaan.