NVIDIA prezentuje korpus 2,8 biliona tokenów do wstępnego trenowania modeli dla języków indyjskich i otwarty potok przetwarzania

NVIDIA, we współpracy z IIT Madras i tamtejszym laboratorium AI4Bharat, 16 października 2026 r. zaprezentowała Nemotron-pretraining-Indic-v1 — syntetyczny korpus do wstępnego trenowania modeli, obejmujący około 2,8 biliona tokenów w 22 językach indyjskich, który ma wkrótce zostać udostępniony. Wraz z nim udostępniła otwarty, przyspieszany przez GPU potok generowania danych, użyty do jego stworzenia.

22 języki uwzględnione w korpusie wymieniono w Konstytucji Indii. Jak podano w komunikacie, są to języki ojczyste 97% mieszkańców Indii, czyli blisko 1,2 mld obywateli według spisu powszechnego z 2011 r. Wśród autorów wpisu są badacze AI4Bharat: Mohammed Safi Ur Rahman Khan, Mitesh Khapra i Anoop Kunchukuttan, a także pracownicy NVIDIA: Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen i Utkarsh Vaidya. Khapra, który kieruje AI4Bharat, wskazał główną przyczynę, dla której technologie języków indyjskich pozostają w tyle za rozwiązaniami dla języka angielskiego: „nie mamy wystarczającej ilości danych dla języków indyjskich”.

Potok obejmuje pełny przepis na generowanie danych, w tym prompty, przepływy pracy z modelami LLM i kontrole jakości, dzięki czemu deweloperzy mogą dostosować go do własnych materiałów źródłowych. NVIDIA poinformowała, że każdy rekord można powiązać z wyselekcjonowanym dokumentem źródłowym, a każdy wynik jest sprawdzany w odniesieniu do danych wejściowych.

Skład korpusu i obsługiwane języki

Korpus zawiera 2 601,0 mld tokenów zapisanych w rodzimych pismach oraz 224,6 mld tokenów w transliteracji, liczonych za pomocą tokenizera Gemma-4. NVIDIA zaznacza, że podane wartości dotyczą zachowanego korpusu, w tym zaakceptowanych przeredagowanych treści, a nie limitu tokenów w przebiegu trenowania, oraz że zależą od użytego tokenizera.

W 34 konfiguracjach język–pismo korpus obejmuje dane zapisane w rodzimych pismach dla wszystkich 22 języków oraz tekst w transliteracji dla dwunastu z nich. Dane w obu formach — zapisie rodzimym i transliteracji — dostępne są dla dwunastu języków: bengalskiego, gudźarackiego, hindi, kannada, malajalam, marathi, nepalskiego, orija, pendżabskiego, tamilskiego, telugu i urdu. Dane zapisane w rodzimym piśmie dostępne są dla dziesięciu języków: asamskiego, bodo, dogri, kaszmirskiego, konkani, maithili, manipuri, sanskrytu, santali i sindhi.

Wpis wyjaśnia, że zapis w rodzimym piśmie oznacza użycie danego systemu pisma, przy czym tekst nadal jest tłumaczony z angielskiego, natomiast transliteracja to tekst w języku indyjskim zapisany alfabetem łacińskim. W przypadku każdego z dwunastu języków dostępnych w obu formach transliteracją objęto część zaakceptowanych tłumaczeń zapisanych w rodzimym piśmie.

Dwa procesy tłumaczenia

Generowanie rozpoczyna się od dokumentów pochodzących z 15 podzbiorów Nemotron-CC-v2, obejmujących teksty internetowe, materiały z pytaniami i odpowiedziami, matematykę, kod oraz inne treści specjalistyczne. NeMo Data Designer, otwarty framework NVIDIA do generowania danych syntetycznych, odpowiada za tłumaczenie, kontrole jakości i ukierunkowane poprawki. Identyfikatory źródeł są zachowywane na każdym etapie, dzięki czemu wynik można powiązać z dokumentem źródłowym.

W przypadku dwunastu języków dostępnych w obu formach dokumenty tłumaczone są w całości za pomocą modelu Gemma-4-31B-it firmy Google, który — jak poinformował zespół — wybrano na podstawie porównania modeli na kompletnych dokumentach. Prompty rozróżniają tekst do przetłumaczenia od treści, które należy zachować, takich jak kod, równania, adresy URL i formatowanie. Następnie ten sam model ocenia każdy wynik w odniesieniu do angielskiego tekstu źródłowego, korzystając z kryteriów inspirowanych ramami Multidimensional Quality Metrics. Ocenie podlegają znaczenie, płynność, terminologia, styl i formatowanie. Zachowywane są tylko wyniki z oceną co najmniej 75 na 100; te z niższą oceną są poprawiane na podstawie informacji zwrotnych z oceny, a następnie ponownie sprawdzane według tego samego progu. NVIDIA podaje, że dzięki tej pętli naprawczej odzyskano 438,4 mld tokenów w danych zapisanych w rodzimych pismach i w transliteracji, które są już uwzględnione w łącznej liczbie tokenów korpusu. Dodaje też, że wyrywkowe oceny dokonywane przez ludzi oraz testy z celowo wprowadzonymi błędami posłużyły do udoskonalenia promptów i kontroli.

Zaakceptowane tłumaczenia zapisane w rodzimych pismach stanowią punkt wyjścia do tworzenia danych w transliteracji w odrębnym etapie konwersji pisma. Według NVIDIA wstępne porównanie przeprowadzone przez ludzi wykazało, że takie dwuetapowe podejście skutkowało mniejszą liczbą zmyślonych dodatków i mniejszą ilością pozostałego tekstu angielskiego niż bezpośrednie generowanie transliterowanego tekstu na podstawie angielskiego oryginału.

W przypadku pozostałych dziesięciu języków do tłumaczenia wykorzystywany jest Indic Translate — model tłumaczący całe dokumenty z angielskiego na 22 języki indyjskie, opracowany przez Bodhan AI, niekomercyjny ośrodek zajmujący się sztuczną inteligencją w edukacji, który powstał przy IIT Madras. Każde tłumaczenie jest oceniane w odniesieniu do angielskiego tekstu źródłowego przez model Gemma-4-31B-it. W ośmiu językach zachowano podejście polegające na tłumaczeniu całych dokumentów; dłuższe dokumenty w języku santali są tłumaczone w nakładających się na siebie fragmentach, a następnie składane w całość, natomiast tekst w języku manipuri jest tłumaczony na pismo bengalskie, a następnie konwertowany na jego rodzime pismo, meitei majek. W tych procesach obowiązuje próg 75 na 100, a ich wynikiem są wyłącznie dane zapisane w rodzimych pismach, bez przeredagowywania na podstawie informacji zwrotnych.

Wyniki dalszego trenowania wstępnego

Raport techniczny Nemotron 3.5 Super VL porównuje punkt kontrolny bezpośrednio przed dalszym wstępnym trenowaniem na danych w językach indyjskich z punktem kontrolnym po tym etapie. Zaplanowany budżet wynosił 100 miliardów tokenów treningowych, z czego 10 procent (10 miliardów tokenów) przeznaczono na mieszankę syntetycznych i naturalnych tekstów w językach indyjskich, a pozostałe 90 procent zachowało względne proporcje wcześniejszej mieszanki treningowej. Wyniki wzrosły we wszystkich pięciu przedstawionych benchmarkach wiedzy i rozumowania dla języków indyjskich: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy i Indic GSM8K; poprawa wyniosła od 4,98 do 9,82 punktu procentowego. NVIDIA zaznacza, że porównanie dotyczy etapu treningu łączącego syntetyczne i naturalne dane w językach indyjskich, a nie pozwala wyodrębnić wpływu syntetycznego zbioru danych. W przypadku GSM8K pominięto język odia, ponieważ ewaluacja przekroczyła limit kontekstu obsługi.

Według wpisu udostępniony model Nemotron 3.5 Super VL uzyskał wyższe wyniki niż Nemotron 3 Super w pięciu z sześciu przedstawionych benchmarków zadań obejmujących wiedzę, rozumowanie, matematykę, programowanie i tłumaczenie, natomiast wynik w zakresie wykonywania instrukcji w IFEval 1.5 spadł o 2,04 punktu. Model poprawił również wyniki we wszystkich czterech wymiarach IndiVibe — otwartego benchmarku firmy Sarvam AI, obejmującego polecenia dla asystenta w językach indyjskich: użyteczności, płynności, wierności językowi i pismu oraz odpowiedniej zwięzłości lub szczegółowości odpowiedzi.

NVIDIA poinformowała, że planuje wykorzystać ten zbiór danych w przyszłych modelach Nemotron oraz że ocena pełnego zbioru, w tym odzyskanych przeredagowanych tekstów i grupy dziesięciu języków, pozostaje kolejnym krokiem w badaniach kontrolowanych.

Dostępność i wskazane ograniczenia

Konfiguracje zbioru danych wykorzystują oznaczenia języka, pisma i regionu: hi-Deva-IN oznacza hindi zapisane dewanagari, a hi-Latn-IN — hindi zapisane alfabetem łacińskim. Dzięki strumieniowaniu w Hugging Face Datasets można przeglądać rekordy bez pobierania całego zbioru. Otwarta wtyczka tłumaczeniowa Nemotron Bharat dla NeMo Data Designer udostępnia polecenia do tłumaczenia i ewaluacji, opcjonalne przeredagowywanie na podstawie informacji zwrotnych, dzielenie dokumentów na okna oraz obsługę zmiany przypisania pisma.

NVIDIA przestrzega, że tłumaczenie nie zastępuje tekstów pierwotnie napisanych w językach indyjskich ani nie gwarantuje uwzględnienia lokalnej wiedzy i kultury. Zaleca łączenie tego zbioru z odpowiednio pozyskanymi naturalnymi tekstami w językach indyjskich. Jakość ocenia się przede wszystkim automatycznie, uzupełniając ten proces próbkowaną weryfikacją przez ludzi, której zakres różni się w zależności od języka; w procedurze obejmującej dwanaście języków tłumacz pełni również rolę oceniającego. We wpisie zaznaczono, że zachowane teksty mogą nadal zawierać błędy, procedura obejmująca dziesięć języków wymaga szerszej weryfikacji przez rodzimych użytkowników tych języków, a kontrole identyfikatorów źródłowych usuwają duplikaty powstałe w trakcie przetwarzania, nie przeprowadzając deduplikacji semantycznej podobnych treści.

Towarzyszący zestaw benchmarków

Równolegle ze zbiorem danych AI4Bharat z IIT Madras, przy wsparciu NVIDIA, zaprezentowało Indic-LLM-Eval-Suite — otwarty i rozwijany zestaw benchmarków offline do oceny modeli LLM w językach indyjskich.

Pierwsza wersja zestawu gromadzi istniejące benchmarki dla języków indyjskich, ich odświeżone wersje, w tym MILU-1.5 i IndicIFEval-1.5, oraz dostosowane benchmarki anglojęzyczne w ośmiu kategoriach: ogólna rozmowa, wykonywanie instrukcji, matematyka, nauki ścisłe, technologia, inżynieria i matematyka (STEM), rozumowanie zdroworozsądkowe, wiedza, programowanie i tłumaczenie. Ewaluacje zintegrowano z NVIDIA NeMo-Gym, zapewniając wspólny interfejs ewaluacyjny przy zachowaniu odrębnych procedur oceniania dla poszczególnych benchmarków.

AI4Bharat informuje, że audyt MILU wykazał niekompletne pytania, brakujące ilustracje i błędne tłumaczenia, które poprawiono w zaktualizowanej wersji MILU-1.5. Zespół naprawił też błędy w kodzie ewaluacyjnym IndicIFEval, przez które niektóre ograniczenia były sprawdzane nieprawidłowo lub pomijane bez powiadomienia. Metodologia tworzenia zestawu łączy tłumaczenie uwzględniające specyfikę benchmarków z automatyczną oceną jakości, ukierunkowanymi poprawkami i weryfikacją przez rodzimych użytkowników języków.

AI4Bharat poinformowało, że oceniło w całym zestawie kilka współczesnych otwartych modeli o dostępnych wagach, obsługujących języki indyjskie i wiele języków, i stwierdziło, że żaden model nie osiąga konsekwentnie najlepszych wyników we wszystkich zadaniach. Laboratorium określa pierwsze wydanie jako punkt wyjścia i zapowiada dodawanie benchmarków, uwzględnianie wkładu społeczności oraz okresowe aktualizowanie wyników, aby śledzić postępy modeli LLM dla języków indyjskich.