NVIDIA, 2,8 Trilyon Tokenlik Indic Ön Eğitim Derlemini ve Açık Veri Hattını Tanıttı

NVIDIA, IIT Madras ve bünyesindeki AI4Bharat laboratuvarıyla birlikte, 16 Ekim 2026’da 22 Hint dilinde yaklaşık 2,8 trilyon token içeren ve yakında kullanıma sunulacak sentetik bir ön eğitim derlemi olan Nemotron-pretraining-Indic-v1‘i ve bunu oluşturmak için kullanılan açık, GPU hızlandırmalı veri üretim hattını tanıttı.

Bu 22 dil, Hindistan Anayasası’nda listelenen dillerdir. Duyuruda, bu dillerin 2011 nüfus sayımına göre yaklaşık 1,2 milyar vatandaşın, yani Hintlilerin %97’sinin ilk dili olduğu belirtiliyor. Yazının yazarları arasında AI4Bharat araştırmacıları Mohammed Safi Ur Rahman Khan, Mitesh Khapra ve Anoop Kunchukuttan ile NVIDIA’dan Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen ve Utkarsh Vaidya yer alıyor. AI4Bharat’ın başındaki Khapra, Hint dillerine yönelik teknolojinin İngilizce teknolojisinin gerisinde kalmasının temel sorununu şöyle tanımlıyor: “Hint dilleri için yeterli veriye sahip değiliz.”

Veri hattı; istemler, LLM iş akışları ve kalite kontrolleri dâhil olmak üzere tüm üretim sürecini kapsıyor. Böylece geliştiriciler hattı kendi kaynak materyallerine uyarlayabiliyor. NVIDIA, her kaydın seçilmiş bir kaynak belgeye kadar izlenebildiğini ve her çıktının girdisiyle karşılaştırılarak denetlendiğini belirtti.

Derlemin İçeriği ve Dil Kapsamı

Derlem, Gemma-4 tokenizer’ı kullanılarak sayılan 2.601,0 milyar yerel yazı sistemli token ve 224,6 milyar Latin harfleriyle yazılmış token içeriyor. NVIDIA, sayıların bir eğitim çalışmasının token bütçesini değil, kabul edilen yeniden yazımlar dâhil olmak üzere derlemde tutulan verileri gösterdiğini ve kullanılan tokenizer’a bağlı olduğunu belirtiyor.

Derlem, 34 dil-yazı sistemi yapılandırmasında 22 dilin tamamı için kendi yazı sistemindeki verileri, on iki dil içinse Latin harfleriyle yazılmış metinleri içeriyor. On iki dilde hem kendi yazı sisteminde hem de Latin harfleriyle yazılmış veri bulunuyor: Bengalce, Guceratça, Hintçe, Kannadaca, Malayalamca, Marathi, Nepalce, Odia, Pencapça, Tamilce, Telugu ve Urduca. On dilde ise yalnızca kendi yazı sistemindeki veriler bulunuyor: Assamca, Bodo, Dogri, Keşmirce, Konkani, Maithili, Manipuri, Sanskritçe, Santali ve Sindhi.

Yazıda, yerel yazı sistemi, metnin hâlâ İngilizceden çevrilmiş olduğu yazı sistemi olarak tanımlanıyor. Latin harfleriyle yazılmış metin ise Indic dillerindeki metnin Latin alfabesiyle yazılması anlamına geliyor. İki yazı sisteminde de verisi bulunan on iki dilin her birinde Latin harfleriyle yazılmış metinler, kabul edilen yerel yazı sistemi çevirilerinin bir alt kümesini oluşturuyor.

İki Çeviri İş Akışı

Üretim, web metinleri, soru-cevap materyalleri, matematik, kod ve diğer özel içerikleri kapsayan 15 Nemotron-CC-v2 alt kümesindeki belgelerle başlıyor. NVIDIA’nın açık kaynaklı sentetik veri çerçevesi NeMo Data Designer; çeviri, kalite kontrolleri ve hedefli düzeltme işlemlerini yürütüyor. Çıktının özgün belgesine kadar izlenebilmesi için süreç boyunca kaynak tanımlayıcıları korunuyor.

İki yazı sisteminde de verisi bulunan on iki dilde belgeler, ekibin eksiksiz belgeler üzerinden modelleri karşılaştırarak seçtiğini belirttiği Google’ın Gemma-4-31B-it modeli kullanılarak bütünüyle çevriliyor. İstemler, çevrilecek metinleri korunması gereken içerikten ayırıyor; kod, denklemler, URL’ler ve biçimlendirme de korunacak içerik arasında yer alıyor. Ardından aynı model, anlam, akıcılık, terminoloji, üslup ve biçimlendirme ölçütlerini kapsayan ve Çok Boyutlu Kalite Ölçütleri çerçevesinden esinlenen bir değerlendirme ölçeğiyle her çıktıyı İngilizce kaynak metniyle karşılaştırıyor. Yalnızca 100 üzerinden en az 75 puan alan çıktılar tutuluyor; daha düşük puan alan çıktılar, değerlendirme geri bildirimlerine göre düzeltilip aynı eşik üzerinden yeniden değerlendiriliyor. NVIDIA, bu düzeltme döngüsünün yerel yazı sistemindeki ve Latin harfleriyle yazılmış veriler genelinde 438,4 milyar tokenı geri kazandırdığını ve bu miktarın derlem toplamına zaten dâhil olduğunu bildiriyor. Ayrıca, örneklem üzerinden yapılan insan incelemelerinin ve kasıtlı olarak hatalar eklenerek yürütülen testlerin, istemlerde ve kontrollerde yapılan iyileştirmelere yön verdiğini belirtiyor.

Kabul edilen yerel yazı sistemi çevirileri, ayrı bir yazı sistemi dönüştürme adımıyla Latin harfleriyle yazılmış verilerin oluşturulmasına temel sağlıyor. NVIDIA’ya göre, ilk insan değerlendirmesinde bu iki aşamalı yaklaşımın doğrudan İngilizceden Latin harfleriyle metin üretmeye kıyasla daha az halüsinasyon niteliğinde ekleme ve daha az İngilizce kalıntısı ürettiği görüldü.

Diğer on dilde çeviri için, IIT Madras bünyesinde faaliyet gösteren, eğitimde yapay zekâya odaklı kâr amacı gütmeyen bir merkez olan Bodhan AI’ın İngilizce ve 22 Hint dili için geliştirdiği belge düzeyinde bir model olan Indic Translate kullanılıyor; Gemma-4-31B-it ise her çeviriyi İngilizce kaynak metniyle karşılaştırarak değerlendiriyor. Sekiz dilde belgenin tamamını işleme yaklaşımı korunuyor. Daha uzun Santali belgeleri, örtüşen bölümler hâlinde çevrilip yeniden birleştiriliyor; Manipuri ise kendi yazı sistemi olan Meitei Mayek’e dönüştürülmeden önce Bengal yazısıyla çevriliyor. Bu iş akışlarında 100 üzerinden 75 eşiği korunuyor ve geri bildirime dayalı yeniden yazım yapılmaksızın yalnızca yerel yazı sisteminde veri üretiliyor.

Devam Eden Ön Eğitim Sonuçları

Nemotron 3.5 Super VL teknik raporu, Hint dillerinde devam ön eğitimi başlamadan hemen önceki kontrol noktasını bu aşamadan sonraki kontrol noktasıyla karşılaştırıyor. Eğitim için belirlenen bütçe 100 milyar jetondu; bunun yüzde 10’u (10 milyar jeton) sentetik ve doğal Hint dili metinlerinden oluşan bir karışıma ayrılırken, kalan yüzde 90’lık bölüm önceki eğitim karışımındaki göreli oranları korudu. Bildirilen Hint dili bilgi ve akıl yürütme ölçütlerinin beşinde de puanlar arttı: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy ve Indic GSM8K. Artışlar 4,98 ile 9,82 yüzde puanı arasında değişti. NVIDIA, karşılaştırmanın sentetik derlemenin katkısını tek başına ölçmek yerine sentetik ve doğal Hint dili verilerini bir araya getiren bir eğitim aşamasını kapsadığını belirtiyor. Ayrıca değerlendirme, hizmet bağlamı sınırını aştığı için GSM8K’de Odia dilinin kapsam dışında bırakıldığını bildiriyor.

Yayına sunulan Nemotron 3.5 Super VL, gönderiye göre Nemotron 3 Super’ı bilgi, akıl yürütme, matematik, kod ve çeviri alanlarını kapsayan altı görev ölçütünün beşinde geride bırakıyor; buna karşılık IFEval 1.5’teki talimat izleme puanı 2,04 puan düştü. Ayrıca Sarvam AI’nin Hint dillerindeki asistan tarzı istemler için hazırladığı açık ölçüt IndiVibe’ın dört boyutunun tamamında da iyileşme sağlıyor: yararlılık, akıcılık, dil ve yazı sistemi doğruluğu ile uygun yanıt uzunluğu.

NVIDIA, gelecekteki Nemotron modellerinde bu derlemeden yararlanmayı planladığını ve geri kazanılan yeniden yazımlarla on dilli grubu da içeren derlemenin tamamını değerlendirmenin kontrollü çalışmalar için sonraki adımlardan biri olduğunu belirtti.

Kullanılabilirlik ve Belirtilen Sınırlamalar

Veri kümesi yapılandırmalarında dil, yazı sistemi ve bölge etiketleri kullanılıyor. hi-Deva-IN, Devanagari yazısıyla Hintçeyi; hi-Latn-IN ise Latin harfleriyle yazılmış Hintçeyi ifade ediyor. Hugging Face Datasets akış özelliği, okuyucuların derlemenin tamamını indirmeden kayıtları incelemesine olanak tanıyor. NeMo Data Designer için açık kaynaklı Nemotron Bharat çeviri eklentisi; çeviri ve değerlendirme istemleri, isteğe bağlı geri bildirime dayalı yeniden yazım, belge pencerelendirme ve yazı sistemi eşleme desteği sağlıyor.

NVIDIA, çevirinin Hint dillerinde özgün olarak yazılmış metinlerin yerini tutmadığı ve yerel bilgi ile kültürün kapsanacağını garanti etmediği konusunda uyarıyor; derlemenin uygun kaynaklardan alınmış doğal Hint dili metinleriyle birlikte kullanılmasını öneriyor. Kalite değerlendirmesi ağırlıklı olarak otomatik yapılıyor ve diller arasında kapsamı değişen örneklem temelli insan incelemesiyle destekleniyor. On iki dilli iş akışında çevirmen aynı zamanda değerlendirici görevini de üstleniyor. Gönderide, tutulan metinlerde hâlâ hatalar bulunabileceği, on dilli iş akışının daha kapsamlı ana dili konuşuru doğrulamasına ihtiyaç duyduğu ve kaynak kimliği kontrollerinin benzer içerikler üzerinde anlamsal tekilleştirme yapmadan işleme sırasında oluşan kopyaları kaldırdığı belirtiliyor.

Tamamlayıcı Ölçüt Paketi

Derlemenin yanı sıra, IIT Madras bünyesindeki AI4Bharat, NVIDIA’nın desteğiyle Hint dillerindeki LLM’leri değerlendirmek için çevrimdışı ölçütlerden oluşan, açık ve sürekli geliştirilen bir koleksiyon olan Indic-LLM-Eval-Suite‘i tanıttı.

İlk sürümde mevcut Hint dili ölçütleri, MILU-1.5 ve IndicIFEval-1.5 gibi güncellenmiş sürümler ve sekiz yetenek kategorisine uyarlanmış İngilizce ölçütler bir araya getiriliyor: genel sohbet, talimat izleme, matematik, STEM, sağduyulu akıl yürütme, bilgi, kod ve çeviri. Değerlendirmeler NVIDIA NeMo-Gym ile bütünleştirilerek ölçütlere özgü puanlama yöntemleri korunurken ortak bir değerlendirme arayüzü sağlanıyor.

AI4Bharat, MILU denetiminde eksik sorular, kayıp şekiller ve hatalı çeviriler bulduğunu; bunların gözden geçirilmiş MILU-1.5 sürümünde giderildiğini bildiriyor. Ayrıca IndicIFEval’ın değerlendirme kodunda belirli kısıtların yanlış denetlendiği veya sessizce göz ardı edildiği sorunları düzelttiğini belirtiyor. Paketin oluşturulma yöntemi, ölçütleri dikkate alan çeviriyi otomatik kalite değerlendirmesi, hedefe yönelik düzeltme ve ana dili konuşurlarının doğrulamasıyla birleştiriyor.

AI4Bharat, paket genelinde Hint dillerini destekleyen çeşitli çağdaş açık ağırlıklı LLM’leri ve çok dilli LLM’leri değerlendirdiğini ve hiçbir modelin tüm görevlerde sürekli olarak en iyi sonucu vermediğini belirtti. Laboratuvar, ilk sürümü bir başlangıç noktası olarak nitelendiriyor; ölçütler eklemeyi, topluluk katkılarını dahil etmeyi ve Hint dili LLM’lerinin zaman içindeki gelişimini izlemek için sonuçları düzenli aralıklarla güncellemeyi planladığını söylüyor.