NVIDIA prezintă un corpus de preantrenare Indic cu 2,8 trilioane de tokenuri și o conductă deschisă

NVIDIA, în colaborare cu IIT Madras și laboratorul său AI4Bharat, a prezentat pe 16 octombrie 2026 Nemotron-pretraining-Indic-v1, un corpus sintetic de preantrenare cu aproximativ 2,8 trilioane de tokenuri în 22 de limbi indiene, care va fi lansat în curând, împreună cu conducta deschisă, accelerată de GPU, pentru generarea datelor, folosită la crearea sa.

Cele 22 de limbi sunt cele enumerate în Constituția Indiei, pe care anunțul le descrie drept limbi materne pentru 97% dintre indieni, aproape 1,2 miliarde de cetățeni, potrivit recensământului din 2011. Printre autorii postării se numără cercetătorii AI4Bharat Mohammed Safi Ur Rahman Khan, Mitesh Khapra și Anoop Kunchukuttan, precum și Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen și Utkarsh Vaidya de la NVIDIA. Khapra, care conduce AI4Bharat, a identificat problema fundamentală care face ca tehnologia pentru limbile indiene să rămână în urma celei pentru limba engleză: „nu avem suficiente date pentru limbile indiene”.

Conducta documentează întregul proces de generare, inclusiv prompturile, fluxurile de lucru LLM și verificările de calitate, astfel încât dezvoltatorii să îl poată adapta propriilor materiale-sursă. NVIDIA a declarat că fiecare înregistrare poate fi urmărită până la un document-sursă selectat și că fiecare rezultat este verificat în raport cu datele de intrare.

Componența corpusului și acoperirea lingvistică

Corpusul conține 2.601,0 miliarde de tokenuri în scriere nativă și 224,6 miliarde de tokenuri romanizate, numărate cu tokenizerul Gemma-4. NVIDIA precizează că aceste valori descriu corpusul păstrat, inclusiv reformulările acceptate, nu bugetul de tokenuri al unei sesiuni de antrenare, și că valorile depind de tokenizerul folosit.

În cele 34 de combinații de limbă și scriere, corpusul oferă date în scrierea nativă pentru toate cele 22 de limbi și text romanizat pentru 12 dintre ele. Douăsprezece limbi au date atât în scrierea nativă, cât și romanizate: bengali, gujarati, hindi, kannada, malayalam, marathi, nepaleză, odia, punjabi, tamilă, telugu și urdu. Zece au date numai în scrierea nativă: assameză, bodo, dogri, kashmiri, konkani, maithili, manipuri, sanscrită, santali și sindhi.

Postarea definește scrierea nativă ca sistemul de scriere al limbii, textul fiind totuși tradus din engleză, în timp ce termenul „romanizat” desemnează textul în limbi indiene scris cu alfabet latin. Pentru fiecare dintre cele 12 limbi disponibile în ambele scrieri, romanizarea acoperă un subset al traducerilor acceptate în scrierea nativă.

Două fluxuri de lucru pentru traducere

Generarea pornește de la documente din 15 subseturi Nemotron-CC-v2, care acoperă texte de pe web, materiale cu întrebări și răspunsuri, matematică, cod și alte tipuri de conținut specializat. NeMo Data Designer, cadrul open-source al NVIDIA pentru date sintetice, se ocupă de traducere, verificările de calitate și remedierile specifice, păstrând pe tot parcursul identificatorii surselor, astfel încât rezultatul să poată fi urmărit până la documentul original.

Pentru cele 12 limbi disponibile în ambele scrieri, documentele sunt traduse integral cu Gemma-4-31B-it de la Google, model pe care echipa a declarat că l-a ales comparând mai multe modele pe documente complete. Prompturile disting între proza care trebuie tradusă și conținutul care trebuie păstrat, inclusiv codul, ecuațiile, adresele URL și formatarea. Același model evaluează apoi fiecare rezultat în raport cu sursa în engleză, folosind o grilă inspirată de cadrul Multidimensional Quality Metrics, care ia în considerare sensul, fluența, terminologia, stilul și formatarea. Sunt păstrate numai rezultatele cu un scor de cel puțin 75 din 100; rezultatele cu scoruri mai mici sunt remediate pe baza feedbackului evaluării și reevaluate conform aceluiași prag. NVIDIA raportează că acest ciclu de remediere a recuperat 438,4 miliarde de tokenuri din datele în scriere nativă și din cele romanizate, deja incluse în totalul corpusului, și că evaluările umane ale unor eșantioane, precum și testele cu erori introduse deliberat, au contribuit la îmbunătățirea prompturilor și a verificărilor.

Traducerile acceptate în scrierea nativă constituie punctul de plecare pentru datele romanizate, printr-o etapă separată de conversie a scrierii. Potrivit NVIDIA, o comparație inițială realizată de evaluatori umani a arătat că această abordare în doi pași a generat mai puține completări halucinate și a lăsat mai puțin text rezidual în engleză decât generarea directă a textului romanizat din engleză.

Pentru celelalte zece limbi, traducerea folosește Indic Translate, un model pentru traducerea documentelor din engleză în 22 de limbi indiene, dezvoltat de Bodhan AI, un centru nonprofit pentru IA în educație, creat în cadrul IIT Madras; Gemma-4-31B-it evaluează fiecare traducere în raport cu sursa în engleză. Opt limbi păstrează abordarea bazată pe documente întregi; documentele mai lungi în santali sunt traduse în segmente suprapuse, apoi reconstruite, iar manipuri este tradusă mai întâi în scriere bengali, înainte de conversia în Meitei Mayek, scrierea sa nativă. Aceste fluxuri de lucru păstrează pragul de 75 din 100 și produc date numai în scrierea nativă, fără rescriere pe baza feedbackului.

Rezultatele preantrenării continue

Raportul tehnic Nemotron 3.5 Super VL compară checkpointul de dinaintea etapei de preantrenare continuă pentru limbile indiene cu cel de după această etapă. Bugetul de antrenare configurat a fost de 100 de miliarde de tokeni, dintre care 10% (10 miliarde de tokeni) au fost alocați unui amestec de texte sintetice și naturale în limbi indiene, iar proporțiile relative ale amestecului de antrenare anterior au fost păstrate pentru restul de 90%. Scorurile au crescut la toate cele cinci benchmarkuri raportate pentru evaluarea cunoștințelor și a raționamentului în limbi indiene: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy și Indic GSM8K, cu creșteri cuprinse între 4,98 și 9,82 puncte procentuale. NVIDIA precizează că această comparație vizează o etapă de antrenare care combină date sintetice și naturale în limbi indiene, fără a izola contribuția corpusului sintetic, și că GSM8K exclude limba odia, deoarece evaluarea a depășit limita contextului de servire.

Potrivit postării, în comparație cu Nemotron 3 Super, versiunea lansată Nemotron 3.5 Super VL obține scoruri mai mari la cinci dintre cele șase benchmarkuri pentru sarcini prezentate, care acoperă cunoștințe, raționament, matematică, programare și traducere, în timp ce scorul pentru urmarea instrucțiunilor la IFEval 1.5 a scăzut cu 2,04 puncte. De asemenea, modelul se îmbunătățește în toate cele patru dimensiuni ale IndiVibe, benchmarkul deschis al Sarvam AI, care evaluează solicitări de tip asistent în limbi indiene: utilitate, fluență, fidelitatea față de limbă și scriere și nivelul adecvat de detaliere.

NVIDIA a declarat că intenționează să dezvolte modele Nemotron viitoare pe baza acestui corpus și că evaluarea corpusului în întregime, inclusiv a rescrierilor recuperate și a grupului de zece limbi, rămâne un pas următor pentru studiile controlate.

Disponibilitate și limitări declarate

Configurațiile seturilor de date folosesc etichete pentru limbă, scriere și regiune, hi-Deva-IN desemnând hindi scrisă în devanagari, iar hi-Latn-IN, hindi romanizată; funcția de transmitere în flux din Hugging Face Datasets le permite cititorilor să inspecteze înregistrările fără să descarce întregul corpus. Pluginul open-source de traducere Nemotron Bharat pentru NeMo Data Designer oferă solicitări pentru traducere și evaluare, rescriere opțională pe baza feedbackului, segmentarea documentelor în ferestre și suport pentru conversia sistemului de scriere.

NVIDIA avertizează că traducerea nu înlocuiește textele redactate inițial în limbi indiene și nici nu garantează acoperirea cunoștințelor și culturii locale; de asemenea, recomandă combinarea corpusului cu texte naturale în limbi indiene provenite din surse adecvate. Evaluarea calității este în principal automatizată și completată de verificări umane prin eșantionare, a căror acoperire variază de la o limbă la alta; în fluxul de lucru pentru douăsprezece limbi, traducătorul îndeplinește și rolul de evaluator. Postarea menționează că textele păstrate pot conține în continuare erori, că fluxul de lucru pentru zece limbi necesită o validare mai amplă din partea vorbitorilor nativi și că verificările ID-urilor sursă elimină duplicatele apărute în timpul procesării, fără a deduplica semantic conținutul similar.

Suita de benchmarkuri complementară

Alături de corpus, AI4Bharat de la IIT Madras, cu sprijinul NVIDIA, a lansat Indic-LLM-Eval-Suite, o colecție deschisă și în continuă dezvoltare de benchmarkuri offline pentru evaluarea LLM-urilor în limbile indiene.

Prima versiune reunește benchmarkuri existente pentru limbile indiene, versiuni actualizate, inclusiv MILU-1.5 și IndicIFEval-1.5, precum și benchmarkuri în limba engleză adaptate, în cadrul a opt categorii de capabilități: conversație generală, urmarea instrucțiunilor, matematică, STEM, raționament de bun-simț, cunoștințe, programare și traducere. Evaluările sunt integrate cu NVIDIA NeMo-Gym, care oferă o interfață comună de evaluare, păstrând totodată procedurile de notare specifice fiecărui benchmark.

AI4Bharat relatează că auditul său asupra MILU a identificat întrebări incomplete, imagini lipsă și traduceri incorecte, probleme remediate în versiunea revizuită MILU-1.5; totodată, a corectat probleme din codul de evaluare IndicIFEval, în care anumite constrângeri erau verificate incorect sau ignorate fără notificare. Metodologia de construire a suitei combină traducerea adaptată benchmarkurilor cu evaluarea automată a calității, corectarea țintită și verificarea de către vorbitori nativi.

AI4Bharat a declarat că a evaluat mai multe modele deschise contemporane pentru limbile indiene și LLM-uri multilingve folosind suita și a constatat că niciun model nu obține în mod consecvent cele mai bune rezultate la toate sarcinile. Laboratorul descrie lansarea inițială drept un punct de plecare și afirmă că intenționează să adauge benchmarkuri, să integreze contribuții din partea comunității și să actualizeze periodic rezultatele, pentru a urmări în timp progresul LLM-urilor pentru limbile indiene.