NVIDIA Perkenalkan Korpus Prapelatihan Bahasa India Berisi 2,8 Triliun Token dan Alur Pemrosesan Terbuka

Pada 16 Oktober 2026, NVIDIA bekerja sama dengan IIT Madras dan laboratorium AI4Bharat memperkenalkan Nemotron-pretraining-Indic-v1, korpus sintetis untuk prapelatihan yang mencakup sekitar 2,8 triliun token dalam 22 bahasa India dan akan segera dirilis, beserta alur kerja pembuatan data terbuka yang dipercepat GPU dan digunakan untuk membuatnya.

Ke-22 bahasa tersebut tercantum dalam Konstitusi India. Pengumuman itu menyebutnya sebagai bahasa pertama bagi 97% penduduk India, yang berjumlah hampir 1,2 miliar jiwa menurut Sensus 2011. Penulis tulisan tersebut mencakup para peneliti AI4Bharat, Mohammed Safi Ur Rahman Khan, Mitesh Khapra, dan Anoop Kunchukuttan, serta Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, dan Utkarsh Vaidya dari NVIDIA. Khapra, yang memimpin AI4Bharat, menyebut masalah utama yang membuat teknologi bahasa India tertinggal dari bahasa Inggris: “kami tidak memiliki cukup data untuk bahasa-bahasa India.”

Alur kerja tersebut merekam seluruh proses pembuatan, termasuk prompt, alur kerja LLM, dan pemeriksaan kualitas, sehingga pengembang dapat menyesuaikannya dengan materi sumber mereka sendiri. NVIDIA menyatakan bahwa setiap rekaman dapat ditelusuri kembali ke dokumen sumber yang telah dikurasi dan setiap keluaran diperiksa dengan membandingkannya dengan masukan.

Komposisi Korpus dan Cakupan Bahasa

Korpus ini memuat 2.601,0 miliar token dalam aksara asli dan 224,6 miliar token dalam aksara Latin, yang dihitung menggunakan tokenizer Gemma-4. NVIDIA menjelaskan bahwa jumlah tersebut menggambarkan korpus yang dipertahankan, termasuk hasil penulisan ulang yang diterima, bukan anggaran token untuk satu proses pelatihan, dan jumlahnya bergantung pada tokenizer yang digunakan.

Dalam 34 kombinasi bahasa dan aksara, korpus ini menyediakan data dalam aksara asli untuk seluruh 22 bahasa dan teks beraksara Latin untuk 12 bahasa. Dua belas bahasa memiliki data dalam aksara asli dan aksara Latin: Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Tamil, Telugu, dan Urdu. Sepuluh bahasa hanya memiliki data dalam aksara asli: Assamese, Bodo, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Sanskerta, Santali, dan Sindhi.

Tulisan tersebut mendefinisikan aksara asli sebagai sistem penulisan yang digunakan, sementara teksnya tetap diterjemahkan dari bahasa Inggris. Adapun teks beraksara Latin adalah teks dalam bahasa-bahasa Indic yang ditulis dengan aksara Latin. Untuk masing-masing dari 12 bahasa yang menggunakan dua aksara, romanisasi mencakup sebagian dari terjemahan dalam aksara asli yang diterima.

Dua Alur Kerja Penerjemahan

Pembuatan data dimulai dari dokumen dalam 15 subset Nemotron-CC-v2 yang mencakup teks web, materi tanya-jawab, matematika, kode, dan konten khusus lainnya. NeMo Data Designer, kerangka kerja data sintetis sumber terbuka dari NVIDIA, menjalankan penerjemahan, pemeriksaan kualitas, dan perbaikan terarah. Identitas sumber dipertahankan sepanjang proses agar setiap keluaran dapat ditelusuri ke dokumen aslinya.

Untuk 12 bahasa yang menggunakan dua aksara, dokumen diterjemahkan secara utuh menggunakan Gemma-4-31B-it dari Google. Tim menyatakan bahwa model tersebut dipilih setelah membandingkan berbagai model berdasarkan dokumen lengkap. Prompt membedakan prosa yang perlu diterjemahkan dari konten yang harus dipertahankan, termasuk kode, persamaan, URL, dan pemformatan. Model yang sama kemudian menilai setiap keluaran dengan membandingkannya dengan sumber berbahasa Inggris menggunakan rubrik yang terinspirasi oleh kerangka kerja Multidimensional Quality Metrics, yang mencakup makna, kelancaran, terminologi, gaya, dan pemformatan. Hanya keluaran dengan skor minimal 75 dari 100 yang dipertahankan; keluaran dengan skor lebih rendah diperbaiki berdasarkan umpan balik penilaian, lalu dinilai kembali dengan ambang yang sama. NVIDIA melaporkan bahwa proses perbaikan ini memulihkan 438,4 miliar token dalam data beraksara asli maupun Latin, yang sudah termasuk dalam jumlah total korpus. NVIDIA juga menyatakan bahwa tinjauan manusia terhadap sampel serta pengujian dengan kesalahan yang sengaja dimasukkan menjadi dasar penyempurnaan prompt dan pemeriksaan.

Terjemahan dalam aksara asli yang diterima menjadi titik awal untuk menghasilkan data beraksara Latin melalui langkah konversi aksara terpisah. Menurut NVIDIA, perbandingan awal yang dilakukan manusia menunjukkan bahwa pendekatan dua langkah ini menghasilkan lebih sedikit tambahan halusinasi dan lebih sedikit sisa teks berbahasa Inggris dibandingkan dengan pembuatan teks beraksara Latin secara langsung dari bahasa Inggris.

Untuk sepuluh bahasa lainnya, penerjemahan menggunakan Indic Translate, model tingkat dokumen untuk bahasa Inggris dan 22 bahasa India dari Bodhan AI, pusat nirlaba untuk AI di bidang pendidikan yang diinkubasi di IIT Madras. Gemma-4-31B-it menilai setiap terjemahan dengan membandingkannya dengan sumber berbahasa Inggris. Delapan bahasa tetap menggunakan pendekatan penerjemahan dokumen utuh; dokumen Santali yang lebih panjang diterjemahkan dalam bagian-bagian yang saling tumpang tindih, lalu disusun kembali, sedangkan Manipuri diterjemahkan ke aksara Bengali sebelum dikonversi ke Meitei Mayek, aksara aslinya. Alur kerja ini mempertahankan ambang 75 dari 100 dan hanya menghasilkan data dalam aksara asli, tanpa penulisan ulang berdasarkan umpan balik.

Hasil Prapelatihan Lanjutan

Laporan teknis Nemotron 3.5 Super VL membandingkan checkpoint tepat sebelum pelatihan awal lanjutan untuk bahasa Indic dengan checkpoint setelah tahap tersebut. Anggaran yang ditetapkan adalah 100 miliar token pelatihan, dengan 10 persen (10 miliar token) dialokasikan untuk campuran teks Indic sintetis dan alami, sementara 90 persen sisanya mempertahankan proporsi relatif campuran pelatihan sebelumnya. Skor meningkat pada kelima tolok ukur pengetahuan dan penalaran Indic yang dilaporkan: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, dan Indic GSM8K, dengan peningkatan berkisar antara 4,98 hingga 9,82 poin persentase. NVIDIA mencatat bahwa perbandingan ini mencakup tahap pelatihan yang memadukan data Indic sintetis dan alami, bukan mengisolasi kontribusi korpus sintetis, dan bahwa GSM8K tidak mencakup bahasa Odia karena evaluasi melampaui batas konteks saat penyajian.

Menurut unggahan tersebut, dibandingkan dengan Nemotron 3 Super, Nemotron 3.5 Super VL yang dirilis meraih skor lebih tinggi pada lima dari enam tolok ukur tugas yang ditampilkan, yang mencakup pengetahuan, penalaran, matematika, kode, dan penerjemahan. Namun, skor untuk kemampuan mengikuti instruksi pada IFEval 1.5 turun 2,04 poin. Model ini juga menunjukkan peningkatan pada keempat dimensi IndiVibe, tolok ukur terbuka dari Sarvam AI yang berisi perintah bergaya asisten dalam bahasa-bahasa India: kegunaan, kelancaran, kesesuaian bahasa dan aksara, serta tingkat panjang jawaban yang sesuai.

NVIDIA mengatakan bahwa pihaknya berencana mengembangkan korpus ini untuk model Nemotron mendatang, dan bahwa evaluasi terhadap seluruh korpus, termasuk parafrasa hasil pemulihan dan kelompok sepuluh bahasa, masih menjadi langkah berikutnya dalam studi terkontrol.

Ketersediaan dan Batasan yang Dinyatakan

Konfigurasi set data menggunakan tag bahasa, aksara, dan wilayah; hi-Deva-IN menandakan bahasa Hindi dalam aksara Devanagari, sedangkan hi-Latn-IN menandakan bahasa Hindi yang ditulis dengan aksara Latin. Fitur streaming Hugging Face Datasets memungkinkan pembaca memeriksa data tanpa mengunduh seluruh korpus. Plugin penerjemahan sumber terbuka Nemotron Bharat untuk NeMo Data Designer menyediakan perintah penerjemahan dan evaluasi, penulisan ulang opsional berdasarkan umpan balik, pengaturan jendela dokumen, serta dukungan pemetaan ulang aksara.

NVIDIA mengingatkan bahwa penerjemahan tidak dapat menggantikan teks yang sejak awal ditulis dalam bahasa-bahasa India ataupun menjamin cakupan pengetahuan dan budaya setempat, serta merekomendasikan agar korpus ini dipadukan dengan teks Indic alami yang bersumber secara tepat. Penilaian kualitas terutama dilakukan secara otomatis, dilengkapi dengan tinjauan manusia terhadap sampel yang cakupannya bervariasi antarbahasa. Dalam alur kerja dua belas bahasa, penerjemah juga berperan sebagai penilai. Unggahan tersebut menyebutkan bahwa teks yang dipertahankan masih dapat mengandung kesalahan, alur kerja sepuluh bahasa memerlukan validasi yang lebih luas oleh penutur asli, dan pemeriksaan ID sumber menghapus duplikasi akibat pemrosesan tanpa melakukan deduplikasi semantik terhadap konten serupa.

Rangkaian Tolok Ukur Pendamping

Bersama dengan korpus tersebut, AI4Bharat di IIT Madras, dengan dukungan NVIDIA, memperkenalkan Indic-LLM-Eval-Suite, kumpulan tolok ukur luring yang terbuka dan terus berkembang untuk mengevaluasi LLM dalam berbagai bahasa India.

Versi pertama menghimpun tolok ukur Indic yang sudah ada, versi terbaru di antaranya MILU-1.5 dan IndicIFEval-1.5, serta tolok ukur bahasa Inggris yang telah diadaptasi ke dalam delapan kategori kemampuan: percakapan umum, mengikuti instruksi, matematika, STEM, penalaran berdasarkan pengetahuan umum, pengetahuan, kode, dan penerjemahan. Evaluasi ini terintegrasi dengan NVIDIA NeMo-Gym, yang menyediakan antarmuka evaluasi bersama sekaligus mempertahankan prosedur penilaian khusus untuk tiap tolok ukur.

AI4Bharat melaporkan bahwa audit terhadap MILU menemukan pertanyaan yang tidak lengkap, gambar yang hilang, dan terjemahan yang keliru; masalah-masalah tersebut telah ditangani dalam MILU-1.5 yang direvisi. AI4Bharat juga menyatakan telah memperbaiki masalah pada kode evaluasi IndicIFEval, yang sebelumnya memeriksa sejumlah batasan secara keliru atau mengabaikannya tanpa memberi tahu pengguna. Metodologi penyusunan rangkaian tolok ukur ini menggabungkan penerjemahan yang mempertimbangkan karakteristik tolok ukur, penilaian kualitas otomatis, koreksi terarah, dan verifikasi oleh penutur asli.

AI4Bharat mengatakan bahwa pihaknya mengevaluasi beberapa LLM berbobot terbuka mutakhir untuk bahasa Indic dan LLM multibahasa menggunakan seluruh rangkaian tolok ukur tersebut, dan menemukan bahwa tidak ada satu model pun yang secara konsisten menjadi yang terbaik dalam semua tugas. Laboratorium itu menyebut rilis awal ini sebagai titik awal dan mengatakan berencana menambahkan tolok ukur, mengakomodasi kontribusi komunitas, serta memperbarui hasil secara berkala untuk memantau perkembangan LLM Indic dari waktu ke waktu.