NVIDIA presenta un corpus di preaddestramento per le lingue indiche da 2,8 mila miliardi di token e una pipeline aperta

Il 16 ottobre 2026, NVIDIA, in collaborazione con IIT Madras e il suo laboratorio AI4Bharat, ha presentato Nemotron-pretraining-Indic-v1, un corpus sintetico di preaddestramento di circa 2,8 mila miliardi di token in 22 lingue indiane, la cui pubblicazione è prevista a breve, insieme alla pipeline aperta e accelerata da GPU per la generazione dei dati, utilizzata per crearlo.

Le 22 lingue sono quelle elencate nella Costituzione indiana, che l’annuncio descrive come le lingue madri del 97% degli indiani, quasi 1,2 miliardi di cittadini secondo il censimento del 2011. Tra gli autori del post figurano i ricercatori di AI4Bharat Mohammed Safi Ur Rahman Khan, Mitesh Khapra e Anoop Kunchukuttan, nonché quelli di NVIDIA Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen e Utkarsh Vaidya. Khapra, che dirige AI4Bharat, ha individuato il problema fondamentale alla base del ritardo delle tecnologie per le lingue indiane rispetto all’inglese: «non abbiamo abbastanza dati per le lingue indiane».

La pipeline documenta l’intero processo di generazione, inclusi prompt, flussi di lavoro basati su LLM e controlli di qualità, così che gli sviluppatori possano adattarlo ai propri materiali di partenza. NVIDIA ha dichiarato che ogni record è riconducibile a un documento sorgente selezionato e che ogni risultato viene verificato confrontandolo con il relativo input.

Composizione del corpus e copertura linguistica

Il corpus contiene 2.601,0 miliardi di token nelle scritture native e 224,6 miliardi di token romanizzati, conteggiati con il tokenizer Gemma-4. NVIDIA precisa che i conteggi si riferiscono al corpus conservato, comprese le riscritture accettate, e non al budget di token di una sessione di addestramento; inoltre, dipendono dal tokenizer utilizzato.

Nelle 34 combinazioni di lingua e scrittura, il corpus offre dati nelle scritture native per tutte le 22 lingue e testo romanizzato per dodici. Dodici lingue dispongono di dati sia nella scrittura nativa sia in forma romanizzata: bengalese, gujarati, hindi, kannada, malayalam, marathi, nepalese, odia, punjabi, tamil, telugu e urdu. Dieci dispongono di dati solo nella scrittura nativa: assamese, bodo, dogri, kashmiri, konkani, maithili, manipuri, sanscrito, santali e sindhi.

Il post definisce la scrittura nativa come il sistema di scrittura proprio della lingua, precisando che il testo resta comunque tradotto dall’inglese, mentre per romanizzato si intende un testo in una lingua indiana scritto in caratteri latini. Per ciascuna delle dodici lingue disponibili in entrambe le scritture, la romanizzazione copre una parte delle traduzioni accettate nella scrittura nativa.

Due flussi di lavoro per la traduzione

La generazione parte da documenti appartenenti a 15 sottoinsiemi di Nemotron-CC-v2, che comprendono testi web, domande e risposte, contenuti matematici, codice e altri materiali specializzati. NeMo Data Designer, il framework open source di NVIDIA per la generazione di dati sintetici, gestisce la traduzione, i controlli di qualità e le correzioni mirate, mantenendo gli identificativi delle fonti durante tutto il processo, così da poter ricondurre ogni risultato al documento originale.

Per le dodici lingue disponibili in entrambe le scritture, i documenti vengono tradotti integralmente con Gemma-4-31B-it di Google, che il team ha dichiarato di aver selezionato confrontando diversi modelli su documenti completi. I prompt distinguono il testo da tradurre dai contenuti da preservare, come codice, equazioni, URL e formattazione. Lo stesso modello valuta poi ogni risultato confrontandolo con la fonte inglese, sulla base di una griglia ispirata al framework Multidimensional Quality Metrics, che considera significato, scorrevolezza, terminologia, stile e formattazione. Vengono conservati solo i risultati con un punteggio pari ad almeno 75 su 100; quelli con punteggi inferiori vengono corretti sulla base del feedback della valutazione e sottoposti a una nuova verifica rispetto alla stessa soglia. NVIDIA riferisce che questo ciclo di correzione ha recuperato 438,4 miliardi di token tra dati nelle scritture native e dati romanizzati, già inclusi nel totale del corpus, e che le revisioni umane a campione e i test con errori introdotti intenzionalmente hanno contribuito a migliorare i prompt e i controlli.

Le traduzioni accettate nella scrittura nativa costituiscono il punto di partenza per i dati romanizzati, ottenuti con una fase separata di conversione della scrittura. Secondo NVIDIA, un confronto umano iniziale ha rilevato che questo approccio in due fasi produceva meno aggiunte allucinatorie e meno residui in inglese rispetto alla generazione diretta di testo romanizzato dall’inglese.

Per le altre dieci lingue, la traduzione si avvale di Indic Translate, un modello a livello di documento per l’inglese e 22 lingue indiane sviluppato da Bodhan AI, un centro non profit per l’IA nell’istruzione incubato presso IIT Madras; Gemma-4-31B-it valuta ogni traduzione confrontandola con la fonte inglese. Per otto lingue viene mantenuto l’approccio basato sul documento completo; i documenti più lunghi in santali vengono tradotti in finestre sovrapposte e poi ricomposti, mentre il manipuri viene tradotto in scrittura bengalese prima della conversione in Meitei Mayek, la sua scrittura nativa. Questi flussi di lavoro mantengono la soglia di 75 su 100 e producono dati solo nella scrittura nativa, senza riscritture basate sul feedback.

Risultati del preaddestramento continuo

Il rapporto tecnico di Nemotron 3.5 Super VL confronta il checkpoint immediatamente precedente al preaddestramento continuo in lingue indiche con quello successivo a questa fase. Il budget previsto era di 100 miliardi di token di addestramento: il 10% (10 miliardi di token) era destinato a una combinazione di testi indic e sintetici e naturali, mentre il restante 90% manteneva le proporzioni relative della combinazione di dati utilizzata nella fase di addestramento precedente. I punteggi sono aumentati in tutti e cinque i benchmark indic riportati, relativi a conoscenze e ragionamento: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K, con incrementi compresi tra 4,98 e 9,82 punti percentuali. NVIDIA osserva che il confronto riguarda una fase di addestramento che combina dati indic sintetici e naturali, anziché isolare il contributo del corpus sintetico, e che GSM8K esclude l’odia perché la valutazione superava il limite del contesto di inferenza.

Rispetto a Nemotron 3 Super, Nemotron 3.5 Super VL, nella versione rilasciata, ottiene punteggi più alti in cinque dei sei benchmark delle attività presentati, che spaziano dalla conoscenza al ragionamento, dalla matematica al codice e alla traduzione, mentre il punteggio relativo al rispetto delle istruzioni su IFEval 1.5 è diminuito di 2,04 punti, secondo quanto riportato nel post. Migliora inoltre in tutte e quattro le dimensioni di IndiVibe, il benchmark aperto di Sarvam AI basato su prompt in stile assistente nelle lingue indiane: utilità, fluidità, fedeltà alla lingua e alla scrittura e adeguatezza della verbosità.

NVIDIA ha dichiarato che intende basarsi su questo corpus per sviluppare i futuri modelli Nemotron e che la valutazione dell’intero corpus, comprese le riscritture recuperate e il gruppo di dieci lingue, resta un passo successivo per gli studi controllati.

Disponibilità e limitazioni dichiarate

Le configurazioni dei dataset utilizzano tag relativi a lingua, scrittura e regione: hi-Deva-IN indica l’hindi in devanagari e hi-Latn-IN l’hindi traslitterato in alfabeto latino. La modalità di streaming di Hugging Face Datasets consente ai lettori di esaminare i record senza scaricare l’intero corpus. Il plugin di traduzione open source Nemotron Bharat per NeMo Data Designer offre prompt per la traduzione e la valutazione, la riscrittura facoltativa basata sul feedback, la suddivisione dei documenti in finestre e il supporto alla rimappatura delle scritture.

NVIDIA avverte che la traduzione non sostituisce i testi scritti originariamente nelle lingue indiane né garantisce una copertura delle conoscenze e delle culture locali, e raccomanda di abbinare il corpus a testi indic naturali provenienti da fonti appropriate. La valutazione della qualità è principalmente automatizzata e integrata da controlli umani a campione, la cui copertura varia da una lingua all’altra; nel flusso di lavoro che coinvolge dodici lingue, inoltre, il traduttore svolge anche il ruolo di valutatore. Il post afferma che i testi mantenuti possono comunque contenere errori, che il flusso di lavoro per le dieci lingue necessita di una convalida più ampia da parte di parlanti nativi e che i controlli degli ID di origine rimuovono i duplicati dovuti all’elaborazione senza effettuare la deduplicazione semantica di contenuti simili.

Suite di benchmark complementare

Insieme al corpus, AI4Bharat dell’IIT Madras, con il supporto di NVIDIA, ha presentato Indic-LLM-Eval-Suite, una raccolta aperta e in continua evoluzione di benchmark offline per valutare gli LLM nelle lingue indiane.

La prima versione riunisce benchmark indic esistenti, versioni aggiornate tra cui MILU-1.5 e IndicIFEval-1.5, e benchmark in inglese adattati, coprendo otto categorie di capacità: chat generica, rispetto delle istruzioni, matematica, STEM, ragionamento basato sul buon senso, conoscenza, codice e traduzione. Le valutazioni sono integrate con NVIDIA NeMo-Gym, che offre un’interfaccia di valutazione comune mantenendo le procedure di assegnazione dei punteggi specifiche di ciascun benchmark.

AI4Bharat riferisce che, durante la verifica di MILU, ha riscontrato domande incomplete, figure mancanti e traduzioni errate, problemi corretti nella versione riveduta MILU-1.5. Ha inoltre risolto alcuni problemi nel codice di valutazione di IndicIFEval, dove determinati vincoli venivano verificati in modo errato o ignorati senza segnalarlo. La metodologia di realizzazione della suite combina una traduzione consapevole dei benchmark con la valutazione automatica della qualità, correzioni mirate e verifiche da parte di parlanti nativi.

AI4Bharat ha dichiarato di aver valutato diversi LLM indic contemporanei a pesi aperti e multilingue utilizzando la suite, rilevando che nessun singolo modello ottiene prestazioni costantemente migliori in tutte le attività. Il laboratorio descrive il rilascio iniziale come un punto di partenza e afferma di voler aggiungere benchmark, integrare i contributi della comunità e aggiornare periodicamente i risultati per seguire nel tempo i progressi degli LLM indic.