NVIDIA представила корпус для попереднього навчання індійськими мовами на 2,8 трлн токенів і відкритий конвеєр

16 жовтня 2026 року NVIDIA спільно з IIT Madras і його лабораторією AI4Bharat представила Nemotron-pretraining-Indic-v1 — синтетичний корпус для попереднього навчання обсягом приблизно 2,8 трлн токенів 22 індійськими мовами, який незабаром буде оприлюднено, — а також відкритий конвеєр генерації даних із прискоренням на графічних процесорах, використаний для його створення.

Ці 22 мови зазначені в Конституції Індії; в анонсі їх названо рідними мовами для 97% індійців — майже 1,2 мільярда громадян за даними перепису населення 2011 року. Серед авторів допису — дослідники AI4Bharat Мохаммед Сафі Ур Рахман Хан, Мітеш Кхапра й Ануп Кунчукуггуттан, а також працівники NVIDIA Нікет Агарвал, Равірадж Джоші, Ануша Камат, Маркус Клігль, Єв Маєр, Шріхарша Ніверті, Кіран Правін і Уткарш Вайдья. Кхапра, який очолює AI4Bharat, назвав головну причину відставання технологій для індійських мов від англійської: «нам бракує даних індійськими мовами».

Конвеєр охоплює весь процес генерації, зокрема промпти, робочі процеси з великими мовними моделями та перевірки якості, тож розробники можуть адаптувати його до власних вихідних матеріалів. NVIDIA повідомила, що кожен запис походить із ретельно відібраного вихідного документа, а кожен результат перевіряється на відповідність вхідним даним.

Склад корпусу та охоплення мов

Корпус містить 2 601,0 млрд токенів оригінальним письмом і 224,6 млрд токенів латинізованим текстом; підрахунок виконано токенізатором Gemma-4. NVIDIA зазначає, що ці числа стосуються корпусу після відбору, включно з прийнятими переробленими варіантами, а не бюджету токенів для навчального запуску, і що підрахунки залежать від використаного токенізатора.

У 34 комбінаціях мов і систем письма корпус містить дані оригінальним письмом для всіх 22 мов і латинізовані тексти для дванадцяти. Дані обома системами письма — оригінальною та латинізованою — є для дванадцяти мов: бенгальської, гуджаратської, гінді, каннада, малаялам, маратхі, непальської, одія, панджабі, тамільської, телугу й урду. Для десяти мов є дані лише оригінальним письмом: ассамської, бодо, догрі, кашмірської, конкані, майтхілі, маніпурі, санскриту, санталі й синдхі.

У дописі оригінальним письмом названо систему письма, якою записано текст, хоча сам текст перекладено з англійської; латинізованим натомість є текст індійською мовою, записаний латиницею. Для кожної з дванадцяти мов, представлених обома системами письма, латинізовано частину перекладів, прийнятих для корпусу й записаних оригінальним письмом.

Два робочі процеси перекладу

Генерація починається з документів із 15 підмножин Nemotron-CC-v2, що охоплюють вебтексти, матеріали у форматі запитань і відповідей, математику, код та інший спеціалізований контент. NeMo Data Designer — відкритий фреймворк NVIDIA для створення синтетичних даних — виконує переклад, перевірки якості й цільове виправлення, водночас зберігаючи ідентифікатори вихідних матеріалів, щоб кожен результат можна було простежити до оригінального документа.

Для дванадцяти мов, представлених обома системами письма, документи повністю перекладають за допомогою Gemma-4-31B-it від Google. Команда повідомила, що обрала цю модель, порівнявши різні моделі на повних документах. У промптах чітко розмежовано прозу, яку потрібно перекласти, і вміст, який слід зберегти, зокрема код, рівняння, URL-адреси й форматування. Потім та сама модель оцінює кожен результат порівняно з англомовним джерелом за критеріями, розробленими на основі системи Multidimensional Quality Metrics і призначеними для оцінювання змісту, плавності, термінології, стилю та форматування. До корпусу потрапляють лише результати з оцінкою щонайменше 75 зі 100; результати з нижчою оцінкою виправляють на основі відгуку за підсумками оцінювання та повторно перевіряють за тим самим порогом. NVIDIA повідомляє, що завдяки цьому циклу виправлень вдалося відновити 438,4 млрд токенів у даних оригінальним письмом і латинізованих даних, уже врахованих у загальному обсязі корпусу. Компанія також зазначає, що вибіркові перевірки людьми й тести з навмисно внесеними помилками допомогли вдосконалити промпти та перевірки.

Прийняті переклади оригінальним письмом слугують основою для латинізованих даних, які отримують окремим етапом перетворення системи письма. За даними NVIDIA, початкове порівняння за участю людей показало, що такий двоетапний підхід дає менше галюцинованих додавань і менше залишків англійського тексту, ніж пряме створення латинізованого тексту з англійських джерел.

Для решти десяти мов у перекладі використовують Indic Translate — модель для перекладу документів між англійською та 22 індійськими мовами від Bodhan AI, некомерційного центру освітніх технологій на основі ШІ, створеного за підтримки IIT Madras. Gemma-4-31B-it оцінює кожен переклад, порівнюючи його з англомовним джерелом. Для восьми мов зберігають підхід із перекладом цілого документа; довші документи санталі перекладають частинами з перекриттям, а потім відновлюють, тоді як маніпурі спочатку перекладають бенгальським письмом, а потім перетворюють на мейтей-майєк — його оригінальну систему письма. У цих робочих процесах зберігають поріг 75 зі 100 і створюють дані лише оригінальним письмом, без переписування з урахуванням відгуку.

Результати подальшого попереднього навчання

У технічному звіті Nemotron 3.5 Super VL порівнюють контрольну версію моделі безпосередньо перед додатковим попереднім навчанням на індійських мовах із версією після цього етапу. Запланований бюджет становив 100 мільярдів навчальних токенів: 10 відсотків (10 мільярдів токенів) відвели на суміш синтетичних і природних текстів індійськими мовами, а решта 90 відсотків зберегла відносні пропорції попередньої навчальної суміші. Показники зросли за всіма п’ятьма наведеними бенчмарками знань і логічного мислення індійськими мовами: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy та Indic GSM8K; приріст становив від 4,98 до 9,82 відсоткового пункта. NVIDIA зазначає, що порівняння охоплює етап навчання, де поєднували синтетичні й природні дані індійськими мовами, а не виокремлює внесок синтетичного корпусу; крім того, до GSM8K не включено одійську мову, оскільки під час оцінювання було перевищено ліміт контексту, доступного для обслуговування запитів.

За даними допису, випущена модель Nemotron 3.5 Super VL показала вищі результати, ніж Nemotron 3 Super, у п’яти з шести наведених бенчмарків для завдань, що охоплюють знання, логічне мислення, математику, програмування та переклад. Водночас результат за дотриманням інструкцій у IFEval 1.5 знизився на 2,04 пункта. Модель також поліпшила показники за всіма чотирма вимірами IndiVibe — відкритого бенчмарка Sarvam AI для запитів у стилі помічника індійськими мовами: корисністю, плавністю мовлення, точністю відтворення мови й письма та належною багатослівністю.

NVIDIA заявила, що планує використовувати цей корпус у майбутніх моделях Nemotron; наступним кроком для контрольованих досліджень має стати оцінювання всього корпусу, зокрема відновлених переписаних текстів і групи з десяти мов.

Доступність і зазначені обмеження

У конфігураціях набору даних використовуються позначки мови, системи письма та регіону: hi-Deva-IN означає гінді письмом деванагарі, а hi-Latn-IN — гінді латинкою. Потокове завантаження в Hugging Face Datasets дає змогу переглядати записи, не завантажуючи весь корпус. Плагін перекладу з відкритим кодом Nemotron Bharat для NeMo Data Designer містить підказки для перекладу й оцінювання, підтримує необов’язкове переписування на основі відгуків, поділ документів на вікна та перетворення системи письма.

NVIDIA застерігає, що переклад не замінює текстів, спочатку написаних індійськими мовами, і не гарантує охоплення місцевих знань і культури; компанія рекомендує поєднувати корпус із природними текстами індійськими мовами, отриманими з належних джерел. Якість оцінюють переважно автоматично, доповнюючи цей процес вибірковою перевіркою людьми; її охоплення різниться залежно від мови. У робочому процесі для дванадцяти мов перекладач також виконує роль оцінювача. У дописі зазначено, що в збережених текстах усе ще можуть бути помилки, що робочий процес для десяти мов потребує ширшої перевірки носіями мов, а перевірки ідентифікаторів джерел усувають дублікати, спричинені обробкою, але не виконують семантичної дедуплікації схожого вмісту.

Супровідний набір бенчмарків

Паралельно з корпусом AI4Bharat при IIT Madras за підтримки NVIDIA представила набір для оцінювання великих мовних моделей індійськими мовами — відкриту колекцію офлайн-бенчмарків, що постійно розвивається та призначена для оцінювання великих мовних моделей індійськими мовами.

Перша версія об’єднує наявні бенчмарки для індійських мов, оновлені версії, зокрема MILU-1.5 та IndicIFEval-1.5, а також адаптовані англомовні бенчмарки за вісьмома категоріями здібностей: загальне спілкування, дотримання інструкцій, математика, STEM-дисципліни, здоровий глузд і логічне мислення, знання, програмування та переклад. Оцінювання інтегровано з NVIDIA NeMo-Gym, що забезпечує єдиний інтерфейс оцінювання, водночас зберігаючи процедури підрахунку балів, специфічні для кожного бенчмарка.

AI4Bharat повідомила, що під час аудиту MILU виявила неповні запитання, відсутні рисунки та неправильні переклади; ці проблеми усунули в оновленій версії MILU-1.5. Також виправили недоліки в коді оцінювання IndicIFEval: деякі обмеження перевірялися неправильно або непомітно ігнорувалися. Методологія створення набору поєднує переклад з урахуванням особливостей бенчмарків, автоматичне оцінювання якості, цільове виправлення та перевірку носіями мов.

AI4Bharat повідомила, що оцінила за всім набором кілька сучасних відкритих моделей з індійськими мовами та багатомовних великих мовних моделей і виявила, що жодна модель не показує стабільно найкращих результатів у всіх завданнях. Лабораторія називає перший випуск відправною точкою та планує додавати бенчмарки, враховувати внесок спільноти й періодично оновлювати результати, щоб відстежувати поступ моделей для індійських мов.