NVIDIA představuje korpus pro předtrénování v indických jazycích o velikosti 2,8 bilionu tokenů a otevřený datový proces

Společnost NVIDIA ve spolupráci s IIT Madras a jeho laboratoří AI4Bharat představila 16. října 2026 Nemotron-pretraining-Indic-v1, syntetický korpus pro předtrénování o velikosti přibližně 2,8 bilionu tokenů ve 22 indických jazycích, který bude brzy zveřejněn, a také otevřený proces generování dat akcelerovaný pomocí GPU, jenž byl k jeho vytvoření použit.

Těchto 22 jazyků je uvedeno v indické ústavě; podle oznámení jde o první jazyky 97 % Indů, tedy téměř 1,2 miliardy obyvatel podle sčítání lidu z roku 2011. Mezi autory příspěvku jsou výzkumníci z AI4Bharat Mohammed Safi Ur Rahman Khan, Mitesh Khapra a Anoop Kunchukuttan a za NVIDIA Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen a Utkarsh Vaidya. Khapra, který vede AI4Bharat, pojmenoval hlavní příčinu toho, proč indické jazykové technologie zaostávají za angličtinou: „Nemáme dostatek dat v indických jazycích.“

Proces zachycuje celý recept na generování dat, včetně promptů, pracovních postupů s velkými jazykovými modely a kontrol kvality, takže si jej vývojáři mohou přizpůsobit vlastním zdrojovým materiálům. NVIDIA uvedla, že každý záznam vychází z kurátorovaného zdrojového dokumentu a každý výstup se kontroluje oproti vstupu.

Složení korpusu a jazykové pokrytí

Korpus obsahuje 2 601,0 miliardy tokenů v původním písmu a 224,6 miliardy tokenů v latinkovém přepisu, počítáno pomocí tokenizéru Gemma-4. NVIDIA upozorňuje, že tyto počty se vztahují k zachovanému korpusu včetně přijatých přepracovaných výstupů, nikoli k rozpočtu tokenů pro trénovací běh, a že závisí na použitém tokenizéru.

Ve 34 kombinacích jazyka a písma korpus poskytuje data v původním písmu pro všech 22 jazyků a text v latinkovém přepisu pro dvanáct z nich. Data v původním písmu i v latinkovém přepisu je k dispozici pro těchto dvanáct jazyků: bengálštinu, gudžarátštinu, hindštinu, kannadštinu, malajálamštinu, maráthštinu, nepálštinu, urijštinu, pandžábštinu, tamilštinu, telugštinu a urdštinu. Deset jazyků má data pouze v původním písmu: ásámštinu, bodoštinu, dogri, kašmírštinu, konkánštinu, maithilštinu, manipurštinu, sanskrt, santálštinu a sindhštinu.

Příspěvek definuje text v původním písmu jako text zapsaný příslušným písmem, který je přesto přeložen z angličtiny; latinkový přepis znamená text v indickém jazyce zapsaný latinkou. U každého z dvanácti jazyků dostupných v obou písmech pokrývá latinkový přepis podmnožinu přijatých překladů v původním písmu.

Dva překladové postupy

Generování vychází z dokumentů v 15 podmnožinách Nemotron-CC-v2, které zahrnují webové texty, materiály s otázkami a odpověďmi, matematiku, kód a další specializovaný obsah. NeMo Data Designer, open source framework NVIDIA pro syntetická data, zajišťuje překlad, kontroly kvality a cílené opravy; po celou dobu se zachovávají identifikátory zdrojů, takže lze výstup dohledat až k původnímu dokumentu.

Dokumenty ve dvanácti jazycích dostupných v obou písmech se překládají celé pomocí modelu Gemma-4-31B-it od Googlu, který tým podle svých slov vybral porovnáním modelů na celých dokumentech. Prompty rozlišují prózu určenou k překladu od obsahu, který se má zachovat, například kódu, rovnic, URL adres a formátování. Tentýž model pak každý výstup posuzuje ve srovnání s anglickým zdrojem podle hodnoticí rubriky inspirované rámcem Multidimensional Quality Metrics, která zahrnuje význam, plynulost, terminologii, styl a formátování. Zachovávají se pouze výstupy, které získají alespoň 75 bodů ze 100; výstupy s nižším skóre se opraví na základě zpětné vazby z hodnocení a znovu se posoudí podle stejného prahu. NVIDIA uvádí, že tento postup oprav získal zpět 438,4 miliardy tokenů napříč daty v původním písmu i v latinkovém přepisu, které jsou již zahrnuty v celkovém objemu korpusu, a že namátkové kontroly lidmi spolu s testy obsahujícími záměrně vložené chyby pomohly vylepšit prompty a kontroly.

Přijaté překlady v původním písmu slouží jako výchozí bod pro data v latinkovém přepisu, která vznikají samostatným krokem převodu písma. Podle NVIDIA první porovnání provedené lidmi ukázalo, že tento dvoufázový přístup vedl k menšímu počtu halucinovaných dodatků a menšímu množství zbytkové angličtiny než přímé generování textu v latinkovém přepisu z angličtiny.

U zbývajících deseti jazyků se k překladu používá Indic Translate, model pro překlad celých dokumentů mezi angličtinou a 22 indickými jazyky od Bodhan AI, neziskového centra pro umělou inteligenci ve vzdělávání, které vzniklo v rámci IIT Madras; každý překlad pak ve srovnání s anglickým zdrojem hodnotí Gemma-4-31B-it. U osmi jazyků se zachovává postup překladu celých dokumentů; delší dokumenty v santálštině se překládají v překrývajících se úsecích, které se následně skládají dohromady, a manipurština se nejprve překládá do bengálského písma a poté převádí do písma meitei majek, svého původního písma. Tyto postupy dodržují hranici 75 bodů ze 100 a vytvářejí pouze data v původním písmu, bez přepisování na základě zpětné vazby.

Výsledky pokračujícího předtrénování

Technická zpráva Nemotron 3.5 Super VL porovnává kontrolní checkpoint bezprostředně před pokračujícím předtrénováním v indických jazycích s checkpointem po této fázi. Stanovený rozpočet činil 100 miliard trénovacích tokenů: 10 procent (10 miliard tokenů) bylo vyhrazeno směsi syntetických a přirozených textů v indických jazycích a zbývajících 90 procent zachovávalo poměrné zastoupení jednotlivých složek předchozí trénovací směsi. Skóre se zvýšilo ve všech pěti uvedených testech znalostí a uvažování v indických jazycích: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy a Indic GSM8K, přičemž nárůst se pohyboval od 4,98 do 9,82 procentního bodu. NVIDIA upozorňuje, že srovnání se týká trénovací fáze, v níž se kombinovala syntetická a přirozená data v indických jazycích, a neizoluje tedy přínos syntetického korpusu. Test GSM8K navíc nezahrnuje jazyk odia, protože při vyhodnocování byl překročen limit kontextu pro obsluhu modelu.

Podle příspěvku dosahuje vydaný Nemotron 3.5 Super VL ve srovnání s Nemotron 3 Super vyššího skóre v pěti ze šesti uvedených testů různých úloh, které zahrnují znalosti, uvažování, matematiku, programování a překlad. Ve schopnosti řídit se pokyny v testu IFEval 1.5 však jeho skóre kleslo o 2,04 bodu. Zlepšil se také ve všech čtyřech dimenzích IndiVibe, otevřeného testu společnosti Sarvam AI zaměřeného na podněty pro asistenty v indických jazycích: užitečnosti, plynulosti, věrnosti jazyku a písmu a přiměřené délce odpovědí.

NVIDIA uvedla, že plánuje tento korpus využít při vývoji budoucích modelů Nemotron a že vyhodnocení celého korpusu, včetně obnovených přepisů a skupiny deseti jazyků, zůstává dalším krokem v rámci kontrolovaných studií.

Dostupnost a uvedená omezení

Konfigurace datových sad používají značky pro jazyk, písmo a region; hi-Deva-IN označuje hindštinu zapsanou dévanágarí a hi-Latn-IN hindštinu zapsanou latinkou. Streamování datových sad na Hugging Face umožňuje čtenářům prohlížet záznamy, aniž by museli stahovat celý korpus. Open source překladový plugin Nemotron Bharat pro NeMo Data Designer nabízí podněty k překladu a vyhodnocování, volitelné přepisování na základě zpětné vazby, rozdělování dokumentů do oken a podporu převodu mezi písmy.

NVIDIA upozorňuje, že překlad nenahrazuje texty původně napsané v indických jazycích ani nezaručuje pokrytí místních znalostí a kultury, a doporučuje kombinovat korpus s přirozenými texty v indických jazycích z vhodných zdrojů. Hodnocení kvality probíhá především automaticky a doplňuje ho namátková lidská kontrola, jejíž rozsah se v jednotlivých jazycích liší. V pracovním postupu pro dvanáct jazyků navíc překladatel zároveň zastává roli hodnotitele. Příspěvek uvádí, že i v ponechaných textech mohou zůstat chyby, že pracovní postup pro deset jazyků vyžaduje rozsáhlejší ověření rodilými mluvčími a že kontroly identifikátorů zdrojů odstraňují duplicity vzniklé při zpracování, ale neprovádějí sémantickou deduplikaci podobného obsahu.

Doprovodná sada testů

AI4Bharat při IIT Madras za podpory společnosti NVIDIA představila spolu s korpusem sadu testů Indic-LLM-Eval-Suite, otevřenou a průběžně rozšiřovanou kolekci offline testů pro vyhodnocování LLM v indických jazycích.

První verze sdružuje stávající testy pro indické jazyky, jejich aktualizované verze včetně MILU-1.5 a IndicIFEval-1.5 a upravené testy v angličtině. Pokrývá osm oblastí schopností: obecnou konverzaci, plnění pokynů, matematiku, STEM, uvažování na základě zdravého rozumu, znalosti, programování a překlad. Vyhodnocování je integrováno do NVIDIA NeMo-Gym, které poskytuje jednotné rozhraní a zároveň zachovává postupy bodování specifické pro jednotlivé testy.

AI4Bharat uvádí, že při auditu testu MILU odhalila neúplné otázky, chybějící obrázky a chybné překlady, které byly opraveny ve verzi MILU-1.5. Opravila také problémy ve vyhodnocovacím kódu IndicIFEval, kde se některá omezení kontrolovala nesprávně nebo byla bez upozornění ignorována. Metodika tvorby sady kombinuje překlad zohledňující konkrétní testy s automatickým hodnocením kvality, cílenými opravami a ověřováním rodilými mluvčími.

AI4Bharat uvedla, že v rámci této sady vyhodnotila několik současných otevřených modelů s dostupnými vahami pro indické jazyky i vícejazyčných LLM a zjistila, že žádný z nich nepodává trvale nejlepší výsledky ve všech úlohách. Laboratoř označuje první vydání za výchozí bod a uvádí, že plánuje přidávat další testy, zapojovat příspěvky komunity a pravidelně aktualizovat výsledky, aby bylo možné sledovat vývoj LLM pro indické jazyky v čase.