NVIDIA представляет корпус из 2,8 трлн токенов на индийских языках для предварительного обучения и открытую технологическую цепочку

16 октября 2026 года NVIDIA совместно с Индийским технологическим институтом в Мадрасе (IIT Madras) и его лабораторией AI4Bharat представила Nemotron-pretraining-Indic-v1 — корпус синтетических данных для предварительного обучения объёмом около 2,8 трлн токенов на 22 языках Индии, который скоро станет доступен, — а также открытую ускоренную с помощью GPU технологическую цепочку генерации данных, использованную для его создания.

В эти 22 языка входят языки, перечисленные в Конституции Индии. В сообщении говорится, что это родные языки для 97% жителей Индии — почти 1,2 млрд человек по данным переписи 2011 года. Среди авторов публикации — исследователи AI4Bharat Мохаммед Сафи Ур Рахман Хан, Митеш Кхапра и Ануп Кунчукуттан, а также сотрудники NVIDIA Никет Агарвал, Равирадж Джоши, Ануша Камат, Маркус Клиегль, Йев Мейер, Шрихарша Ниверти, Киран Правин и Уткарш Вайдья. Кхапра, возглавляющий AI4Bharat, назвал главную причину отставания технологий для индийских языков от англоязычных: «У нас недостаточно данных для индийских языков».

Технологическая цепочка охватывает весь процесс генерации, включая промпты, рабочие процессы с большими языковыми моделями (LLM) и проверки качества, поэтому разработчики могут адаптировать её для собственных исходных материалов. NVIDIA сообщила, что каждая запись связана с исходным документом из отобранного набора, а каждый результат проверяется по входным данным.

Состав корпуса и языковой охват

В корпусе содержится 2 601,0 млрд токенов на национальных системах письма и 224,6 млрд токенов в романизированной записи. Подсчёт выполнен с помощью токенизатора Gemma-4. NVIDIA отмечает, что эти цифры отражают объём итогового корпуса, включая принятые переписанные тексты, а не бюджет токенов для запуска обучения; кроме того, значения зависят от используемого токенизатора.

В 34 сочетаниях языков и систем письма корпус содержит данные на национальных системах письма для всех 22 языков и тексты в латинской записи для двенадцати. Для двенадцати языков доступны данные в обеих системах письма: бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, непали, одия, пенджаби, тамильском, телугу и урду. Для десяти языков данные представлены только на национальных системах письма: ассамском, бодо, догри, кашмири, конкани, майтхили, манипури, санскрите, сантали и синдхи.

В публикации поясняется, что под текстом на национальной системе письма понимается текст, записанный соответствующей системой письма, но по-прежнему переведённый с английского; романизированный текст — это текст на индийском языке, записанный латиницей. Для каждого из двенадцати языков, представленных в обеих системах письма, романизация охватывает часть принятых переводов на национальную систему письма.

Два процесса перевода

Генерация начинается с документов из 15 подмножеств Nemotron-CC-v2, охватывающих веб-тексты, материалы в формате «вопрос — ответ», математику, код и другие специализированные материалы. Открытая платформа NVIDIA для создания синтетических данных NeMo Data Designer выполняет перевод, проверку качества и целевую доработку; при этом исходные идентификаторы сохраняются на всех этапах, чтобы результат можно было связать с первоначальным документом.

Для двенадцати языков, представленных в обеих системах письма, документы целиком переводятся с помощью Gemma-4-31B-it от Google. Команда сообщила, что выбрала эту модель, сравнив модели на полных документах. Промпты отделяют текст, который нужно перевести, от содержимого, которое следует сохранить, включая код, уравнения, URL-адреса и форматирование. Затем та же модель оценивает каждый результат, сопоставляя его с исходным текстом на английском языке по критериям, разработанным на основе системы Multidimensional Quality Metrics и охватывающим смысл, беглость, терминологию, стиль и форматирование. Сохраняются только результаты с оценкой не ниже 75 из 100; результаты с более низкой оценкой дорабатываются с учётом отзывов по итогам проверки и повторно оцениваются по тому же порогу. NVIDIA сообщает, что благодаря этому циклу доработки удалось восстановить 438,4 млрд токенов в данных на национальных системах письма и в романизированной записи; они уже включены в общий объём корпуса. Кроме того, выборочные проверки людьми и тесты с намеренно внесёнными ошибками помогли улучшить промпты и проверки.

Принятые переводы на национальные системы письма служат исходной точкой для создания романизированных данных с помощью отдельного этапа преобразования системы письма. По данным NVIDIA, первоначальное сравнение с участием людей показало, что такой двухэтапный подход приводит к меньшему числу галлюцинаторных добавлений и меньшему объёму не переведённого с английского текста, чем прямая генерация романизированного текста на основе английского.

Для остальных десяти языков используется Indic Translate — модель Bodhan AI для перевода документов с английского на 22 индийских языка и обратно. Bodhan AI — некоммерческий центр, занимающийся применением ИИ в образовании и созданный при поддержке IIT Madras. Gemma-4-31B-it оценивает каждый перевод, сопоставляя его с исходным текстом на английском языке. Для восьми языков сохраняется подход с обработкой документа целиком; более длинные документы на сантали переводятся перекрывающимися фрагментами, а затем собираются заново. Текст на манипури сначала переводится на бенгальскую систему письма, после чего преобразуется в мейтей майек — национальную систему письма манипури. В этих процессах сохраняется порог 75 из 100; они создают данные только на национальных системах письма и не предусматривают переписывания с учётом отзывов.

Результаты продолжения предварительного обучения

В техническом отчёте Nemotron 3.5 Super VL сравниваются контрольная точка непосредственно перед продолжением предварительного обучения на индийских языках и контрольная точка после этого этапа. Запланированный бюджет составлял 100 млрд обучающих токенов: 10 процентов (10 млрд токенов) было отведено на смесь синтетических и естественных текстов на индийских языках, а оставшиеся 90 процентов сохраняли прежние пропорции обучающей выборки. По всем пяти представленным тестам на знание индийских языков и рассуждение результаты выросли: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy и Indic GSM8K; прирост составил от 4,98 до 9,82 процентного пункта. NVIDIA отмечает, что в сравнении рассматривается этап обучения, сочетающий синтетические и естественные данные на индийских языках, а не отдельно вклад синтетического корпуса; кроме того, в GSM8K не включён язык одия, поскольку оценивание превысило ограничение на длину контекста при обслуживании модели.

Согласно публикации, выпущенная модель Nemotron 3.5 Super VL превосходит Nemotron 3 Super по пяти из шести представленных тестов задач — на знание предметной области, рассуждение, математику, программирование и перевод, — но результат следования инструкциям в IFEval 1.5 снизился на 2,04 балла. Она также улучшила показатели по всем четырём параметрам IndiVibe — открытого теста Sarvam AI с запросами в стиле ассистента на индийских языках: полезности, беглости речи, точности языка и письменности, а также уместной подробности ответов.

NVIDIA сообщила, что планирует использовать этот корпус при создании будущих моделей Nemotron и что оценка всего корпуса, включая восстановленные переформулированные тексты и группу из десяти языков, остаётся следующим шагом для контролируемых исследований.

Доступность и заявленные ограничения

В конфигурациях набора данных используются теги языка, письменности и региона: hi-Deva-IN обозначает хинди на письме деванагари, а hi-Latn-IN — хинди в латинской транслитерации. Потоковая передача в Hugging Face Datasets позволяет просматривать записи, не скачивая весь корпус. Плагин для перевода с открытым исходным кодом Nemotron Bharat для NeMo Data Designer предоставляет запросы для перевода и оценки, возможность переписывать тексты с учётом обратной связи, разбивать документы на окна и менять систему письма.

NVIDIA предупреждает, что перевод не заменяет тексты, изначально написанные на индийских языках, и не гарантирует охват местных знаний и культуры; компания рекомендует сочетать корпус с естественными текстами на индийских языках, полученными из надлежащих источников. Качество оценивается преимущественно автоматически, а выборочная проверка людьми дополняет этот процесс; её охват зависит от языка. В рабочем процессе для двенадцати языков переводчик также выступает оценщиком. В публикации отмечается, что в оставленных текстах всё ещё могут быть ошибки, что рабочему процессу для десяти языков требуется более широкая проверка носителями языка, а проверка идентификаторов источника устраняет дубликаты, возникшие при обработке, но не выполняет смысловую дедупликацию похожего контента.

Сопутствующий набор тестов

Одновременно с выпуском корпуса AI4Bharat при IIT Madras при поддержке NVIDIA представила Indic-LLM-Eval-Suite — открытую, развивающуюся подборку офлайн-тестов для оценки больших языковых моделей на индийских языках.

Первая версия объединяет существующие тесты для индийских языков, обновлённые версии, включая MILU-1.5 и IndicIFEval-1.5, а также адаптированные тесты на английском языке по восьми категориям возможностей: общение в свободной форме, следование инструкциям, математика, STEM, рассуждение на основе здравого смысла, знания, программирование и перевод. Оценивание интегрировано с NVIDIA NeMo-Gym, что обеспечивает единый интерфейс оценки при сохранении процедур подсчёта баллов, характерных для каждого теста.

AI4Bharat сообщает, что в ходе проверки MILU выявила неполные вопросы, отсутствующие иллюстрации и ошибки перевода; эти проблемы были устранены в обновлённой версии MILU-1.5. Кроме того, организация исправила ошибки в коде оценки IndicIFEval: некоторые ограничения проверялись некорректно или незаметно игнорировались. Методология создания набора сочетает перевод с учётом особенностей тестов, автоматическую оценку качества, целевую коррекцию и проверку носителями языка.

AI4Bharat сообщила, что оценила несколько современных открытых моделей для индийских языков и многоязычных больших языковых моделей по всему набору тестов и выяснила, что ни одна модель не показывает стабильно лучшие результаты во всех задачах. Лаборатория называет первоначальный выпуск отправной точкой и планирует добавлять тесты, учитывать вклад сообщества и периодически обновлять результаты, чтобы отслеживать прогресс моделей для индийских языков.