NVIDIA ने 2.8 ट्रिलियन टोकन वाला भारतीय भाषाओं का प्रीट्रेनिंग कॉर्पस और ओपन पाइपलाइन पेश की

NVIDIA ने IIT Madras और उसकी AI4Bharat लैब के साथ मिलकर 16 अक्टूबर, 2026 को Nemotron-pretraining-Indic-v1 पेश किया। यह 22 भारतीय भाषाओं में लगभग 2.8 ट्रिलियन टोकन वाला सिंथेटिक प्रीट्रेनिंग कॉर्पस है, जिसे जल्द जारी किया जाएगा। इसके साथ ही, इसे तैयार करने के लिए इस्तेमाल की गई ओपन, GPU-त्वरित डेटा जनरेशन पाइपलाइन भी जारी की जाएगी।

इस कॉर्पस में भारत के संविधान में सूचीबद्ध 22 भाषाएँ शामिल हैं। घोषणा में इन्हें भारत के 97% लोगों—2011 की जनगणना के अनुसार करीब 1.2 अरब नागरिकों—की पहली भाषाएँ बताया गया है। इस पोस्ट के लेखकों में AI4Bharat के शोधकर्ता Mohammed Safi Ur Rahman Khan, Mitesh Khapra और Anoop Kunchukuttan, साथ ही NVIDIA के Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen और Utkarsh Vaidya शामिल हैं। AI4Bharat के प्रमुख Khapra ने अंग्रेज़ी की तुलना में भारतीय भाषाओं की तकनीक के पिछड़ने की मूल समस्या इस तरह बताई है: “हमारे पास भारतीय भाषाओं के लिए पर्याप्त डेटा नहीं है।”

इस पाइपलाइन में डेटा तैयार करने की पूरी प्रक्रिया शामिल है—प्रॉम्प्ट, LLM वर्कफ़्लो और गुणवत्ता जाँच समेत—ताकि डेवलपर इसे अपनी स्रोत सामग्री के अनुरूप ढाल सकें। NVIDIA के अनुसार, हर रिकॉर्ड का स्रोत एक चुना हुआ दस्तावेज़ है और हर आउटपुट को उसके इनपुट के आधार पर जाँचा जाता है।

कॉर्पस की संरचना और भाषाओं का दायरा

कॉर्पस में मूल लिपियों में 2,601.0 अरब टोकन और रोमन लिपि में लिखे 224.6 अरब टोकन हैं। इनकी गणना Gemma-4 टोकनाइज़र से की गई है। NVIDIA बताता है कि ये आँकड़े प्रशिक्षण के किसी चरण के टोकन बजट के बजाय, स्वीकार किए गए पुनर्लेखनों समेत, कॉर्पस में रखे गए डेटा को दर्शाते हैं। ये आँकड़े इस्तेमाल किए गए टोकनाइज़र पर भी निर्भर करते हैं।

भाषा और लिपि के 34 संयोजनों में यह कॉर्पस सभी 22 भाषाओं का मूल लिपि वाला डेटा और 12 भाषाओं का रोमन लिपि में लिखा पाठ उपलब्ध कराता है। 12 भाषाओं का डेटा मूल और रोमन—दोनों लिपियों में है: बंगाली, गुजराती, हिंदी, कन्नड़, मलयालम, मराठी, नेपाली, ओड़िया, पंजाबी, तमिल, तेलुगु और उर्दू। 10 भाषाओं का डेटा केवल मूल लिपि में है: असमिया, बोडो, डोगरी, कश्मीरी, कोंकणी, मैथिली, मणिपुरी, संस्कृत, संताली और सिंधी।

पोस्ट के अनुसार, मूल लिपि से आशय उस लेखन प्रणाली से है जिसमें पाठ लिखा जाता है, जबकि पाठ का अनुवाद अंग्रेज़ी से किया गया होता है। रोमन लिपि वाले पाठ का अर्थ है लैटिन लिपि में लिखा भारतीय भाषा का पाठ। दोनों लिपियों में उपलब्ध 12 भाषाओं में से हर एक के लिए, रोमन लिपि में लिखे पाठ में मूल लिपि के स्वीकृत अनुवादों का एक उपसमुच्चय शामिल है।

अनुवाद की दो प्रक्रियाएँ

डेटा तैयार करने की प्रक्रिया Nemotron-CC-v2 के 15 उपसमुच्चयों के दस्तावेज़ों से शुरू होती है। इनमें वेब-पाठ, प्रश्न-उत्तर सामग्री, गणित, कोड और अन्य विशिष्ट विषयों की सामग्री शामिल है। NVIDIA का ओपन-सोर्स सिंथेटिक डेटा फ़्रेमवर्क NeMo Data Designer अनुवाद, गुणवत्ता जाँच और लक्षित सुधार करता है। पूरी प्रक्रिया में स्रोत पहचानकर्ता सुरक्षित रखे जाते हैं, ताकि हर आउटपुट को उसके मूल दस्तावेज़ से जोड़ा जा सके।

दोनों लिपियों में उपलब्ध 12 भाषाओं के दस्तावेज़ों का पूरा अनुवाद Google के Gemma-4-31B-it से किया जाता है। टीम के अनुसार, उसने पूरे दस्तावेज़ों पर अलग-अलग मॉडलों की तुलना करके इस मॉडल को चुना। प्रॉम्प्ट में अनुवाद किए जाने वाले गद्य और सुरक्षित रखी जाने वाली सामग्री—जैसे कोड, समीकरण, URL और फ़ॉर्मैटिंग—के बीच स्पष्ट अंतर किया जाता है। इसके बाद यही मॉडल हर आउटपुट का उसके अंग्रेज़ी स्रोत से मिलान करके मूल्यांकन करता है। इसके लिए Multidimensional Quality Metrics फ़्रेमवर्क से प्रेरित मानदंड इस्तेमाल किए जाते हैं, जिनमें अर्थ, प्रवाह, शब्दावली, शैली और फ़ॉर्मैटिंग शामिल हैं। केवल 100 में से कम-से-कम 75 अंक पाने वाले आउटपुट रखे जाते हैं; इससे कम अंक वाले आउटपुट को मूल्यांकन से मिली प्रतिक्रिया के आधार पर सुधारा जाता है और उसी सीमा के अनुसार फिर से परखा जाता है। NVIDIA के मुताबिक, इस सुधार प्रक्रिया से मूल और रोमन—दोनों लिपियों के डेटा में 438.4 अरब टोकन वापस हासिल किए गए। ये टोकन कॉर्पस की कुल मात्रा में पहले से शामिल हैं। NVIDIA यह भी बताता है कि नमूना-आधारित मानवीय समीक्षाओं और जानबूझकर गलतियाँ शामिल करके किए गए परीक्षणों से प्रॉम्प्ट और जाँचों को बेहतर बनाने में मदद मिली।

स्वीकृत मूल-लिपि अनुवाद, अलग से की जाने वाली लिप्यंतरण प्रक्रिया के ज़रिए रोमन लिपि वाले डेटा का आधार बनते हैं। NVIDIA के अनुसार, शुरुआती मानवीय तुलना में पाया गया कि यह दो-चरणीय तरीका अंग्रेज़ी से सीधे रोमन लिपि में पाठ तैयार करने की तुलना में कम मनगढ़ंत सामग्री जोड़ता है और अनुवाद में अंग्रेज़ी के अवशेष भी कम छोड़ता है।

बाकी 10 भाषाओं के लिए अनुवाद में Indic Translate का इस्तेमाल होता है। यह अंग्रेज़ी और 22 भारतीय भाषाओं के लिए दस्तावेज़-स्तरीय मॉडल है, जिसे IIT Madras में स्थापित शिक्षा में AI के लिए काम करने वाले गैर-लाभकारी केंद्र Bodhan AI ने बनाया है। Gemma-4-31B-it हर अनुवाद का उसके अंग्रेज़ी स्रोत से मिलान करके मूल्यांकन करता है। आठ भाषाओं में पूरे दस्तावेज़ का अनुवाद करने का तरीका अपनाया जाता है। लंबे संताली दस्तावेज़ों का अनुवाद एक-दूसरे पर आंशिक रूप से चढ़ने वाले खंडों में किया जाता है और फिर उन्हें दोबारा जोड़ा जाता है। मणिपुरी का पहले बंगाली लिपि में अनुवाद किया जाता है, फिर उसे इसकी मूल लिपि, मेइतेई मयेक, में बदला जाता है। इन प्रक्रियाओं में भी 100 में से 75 अंकों की सीमा लागू रहती है। इनसे केवल मूल लिपि वाला डेटा तैयार होता है और प्रतिक्रिया के आधार पर दोबारा लेखन नहीं किया जाता।

आगे के प्रीट्रेनिंग के नतीजे

Nemotron 3.5 Super VL की तकनीकी रिपोर्ट में इंडिक निरंतर प्रीट्रेनिंग से ठीक पहले और उस चरण के बाद के चेकपॉइंट की तुलना की गई है। निर्धारित बजट 100 अरब प्रशिक्षण टोकन का था, जिसमें 10 प्रतिशत (10 अरब टोकन) सिंथेटिक और प्राकृतिक इंडिक पाठ के मिश्रण के लिए आवंटित किए गए थे; शेष 90 प्रतिशत में पिछले प्रशिक्षण मिश्रण के सापेक्ष अनुपात बनाए रखे गए। रिपोर्ट में दिए गए इंडिक ज्ञान और तर्क के सभी पाँच बेंचमार्क—MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy और Indic GSM8K—के स्कोर बढ़े; यह वृद्धि 4.98 से 9.82 प्रतिशत अंक तक रही। NVIDIA का कहना है कि इस तुलना में सिंथेटिक कॉर्पस के योगदान को अलग से मापने के बजाय, सिंथेटिक और प्राकृतिक इंडिक डेटा को मिलाकर किए गए प्रशिक्षण चरण को शामिल किया गया है। साथ ही, GSM8K में ओड़िया को शामिल नहीं किया गया, क्योंकि मूल्यांकन सर्विंग संदर्भ की सीमा से आगे चला गया था।

पोस्ट के अनुसार, जारी किया गया Nemotron 3.5 Super VL, Nemotron 3 Super की तुलना में दिखाए गए छह में से पाँच कार्य-बेंचमार्क पर अधिक स्कोर करता है। इन बेंचमार्क में ज्ञान, तर्क, गणित, कोड और अनुवाद शामिल हैं; वहीं IFEval 1.5 पर निर्देशों का पालन करने के स्कोर में 2.04 अंक की गिरावट आई। यह भारतीय भाषाओं में सहायक-शैली के प्रॉम्प्ट के लिए Sarvam AI के ओपन बेंचमार्क IndiVibe के चारों आयामों—उपयोगिता, प्रवाह, भाषा और लिपि के प्रति निष्ठा, तथा उपयुक्त विस्तार—में भी सुधार करता है।

NVIDIA ने कहा कि भविष्य के Nemotron मॉडलों में इस कॉर्पस का उपयोग आगे भी किया जाएगा। साथ ही, पूरे कॉर्पस का मूल्यांकन—जिसमें पुनर्प्राप्त पुनर्लेखन और दस-भाषाओं वाला समूह भी शामिल है—नियंत्रित अध्ययनों के लिए अगला कदम बना हुआ है।

उपलब्धता और बताई गई सीमाएँ

डेटासेट कॉन्फ़िगरेशन में भाषा, लिपि और क्षेत्र के टैग इस्तेमाल किए गए हैं: hi-Deva-IN देवनागरी में हिंदी को और hi-Latn-IN रोमन लिपि में लिखी हिंदी को दर्शाता है। Hugging Face Datasets की स्ट्रीमिंग सुविधा से पाठक पूरा कॉर्पस डाउनलोड किए बिना रिकॉर्ड देख सकते हैं। NeMo Data Designer के लिए ओपन-सोर्स Nemotron Bharat अनुवाद प्लगइन अनुवाद और मूल्यांकन प्रॉम्प्ट, वैकल्पिक फ़ीडबैक-आधारित पुनर्लेखन, दस्तावेज़ विंडोइंग और लिपि-रीमैपिंग का समर्थन देता है।

NVIDIA आगाह करता है कि अनुवाद, भारतीय भाषाओं में मूल रूप से लिखे गए पाठ का विकल्प नहीं है और न ही स्थानीय ज्ञान तथा संस्कृति के समुचित समावेश की गारंटी देता है। वह इस कॉर्पस के साथ उचित स्रोतों से प्राप्त प्राकृतिक इंडिक पाठ का उपयोग करने की सिफ़ारिश करता है। गुणवत्ता का आकलन मुख्य रूप से स्वचालित तरीके से किया जाता है, जिसे नमूना-आधारित मानवीय समीक्षा से पूरक बनाया जाता है; इस समीक्षा का दायरा भाषाओं के अनुसार अलग-अलग है। बारह-भाषाओं वाले कार्यप्रवाह में अनुवादक ही निर्णायक की भूमिका भी निभाता है। पोस्ट के अनुसार, रखे गए पाठ में अब भी त्रुटियाँ हो सकती हैं, दस-भाषाओं वाले कार्यप्रवाह के लिए मूल भाषा-भाषियों द्वारा अधिक व्यापक सत्यापन की ज़रूरत है, और स्रोत-ID की जाँच से प्रसंस्करण के दौरान बने डुप्लिकेट हटाए जाते हैं, लेकिन मिलती-जुलती सामग्री का अर्थगत डुप्लिकेशन नहीं किया जाता।

सहायक बेंचमार्क सुइट

कॉर्पस के साथ ही, IIT मद्रास के AI4Bharat ने NVIDIA के सहयोग से Indic-LLM-Eval-Suite पेश किया—भारतीय भाषाओं के एलएलएम का मूल्यांकन करने के लिए ऑफ़लाइन बेंचमार्क का एक खुला और लगातार विकसित होता संग्रह।

पहले संस्करण में मौजूदा इंडिक बेंचमार्क, MILU-1.5 और IndicIFEval-1.5 जैसे नए संस्करण, और आठ क्षमता-श्रेणियों में ढाले गए अंग्रेज़ी बेंचमार्क शामिल हैं: सामान्य बातचीत, निर्देशों का पालन, गणित, STEM, सामान्य-बोध पर आधारित तर्क, ज्ञान, कोड और अनुवाद। मूल्यांकन NVIDIA NeMo-Gym के साथ एकीकृत हैं, जो बेंचमार्क-विशिष्ट स्कोरिंग प्रक्रियाओं को बरकरार रखते हुए एक साझा मूल्यांकन इंटरफ़ेस उपलब्ध कराता है।

AI4Bharat के अनुसार, MILU की उसकी जाँच में अधूरे प्रश्न, गायब आकृतियाँ और गलत अनुवाद मिले, जिन्हें संशोधित MILU-1.5 में ठीक किया गया। उसने IndicIFEval के मूल्यांकन कोड में भी समस्याएँ सुधारीं, जहाँ कुछ शर्तों की गलत जाँच की जा रही थी या उन्हें बिना बताए अनदेखा किया जा रहा था। इस सुइट की निर्माण-पद्धति में बेंचमार्क के अनुरूप अनुवाद के साथ स्वचालित गुणवत्ता आकलन, लक्षित सुधार और मूल भाषा-भाषियों द्वारा सत्यापन शामिल हैं।

AI4Bharat ने कहा कि उसने इस सुइट में कई समकालीन ओपन-वेट इंडिक और बहुभाषी एलएलएम का मूल्यांकन किया और पाया कि कोई भी एक मॉडल सभी कार्यों में लगातार सर्वश्रेष्ठ प्रदर्शन नहीं करता। संस्थान इस शुरुआती रिलीज़ को एक शुरुआत बताता है और कहता है कि उसकी योजना समय के साथ इंडिक एलएलएम की प्रगति पर नज़र रखने के लिए बेंचमार्क जोड़ने, समुदाय के योगदान शामिल करने और नतीजों को समय-समय पर नए सिरे से अपडेट करने की है।