NVIDIA تكشف عن مدونة تضم 2.8 تريليون رمز للتدريب المسبق على اللغات الهندية ومسار عمل مفتوح

قدّمت NVIDIA، بالتعاون مع IIT Madras ومختبر AI4Bharat التابع له، في 16 أكتوبر 2026، Nemotron-pretraining-Indic-v1، وهي مدونة اصطناعية للتدريب المسبق تضم نحو 2.8 تريليون رمز موزعة على 22 لغة هندية، ومن المقرر إطلاقها قريبًا، إلى جانب مسار العمل المفتوح والمعجل بوحدات GPU لتوليد البيانات الذي استُخدم في إنشائها.

اللغات الـ22 هي اللغات الواردة في دستور الهند، والتي يصفها الإعلان بأنها اللغات الأولى لـ97% من الهنود، أي ما يقرب من 1.2 مليار مواطن وفق تعداد عام 2011. ويضم مؤلفو المنشور باحثي AI4Bharat محمد صفي الرحمن خان، وميتيش خابرا، وأنوب كونتشوكوتان، إلى جانب نيكيت أغاروال، ورافيراج جوشي، وأنوشا كاماث، وماركوس كليغل، ويڤ ماير، وسريهارشا نيڤيرتي، وكيران براڤين، وأوتكارش فايديا من NVIDIA. وقد حدّد خابرا، الذي يرأس AI4Bharat، المشكلة الأساسية وراء تأخر تقنيات اللغات الهندية عن الإنجليزية بقوله: «ليس لدينا ما يكفي من البيانات للغات الهندية».

يوثّق مسار العمل وصفة التوليد كاملة، بما في ذلك المطالبات وسير عمل نماذج اللغة الكبيرة وفحوص الجودة، ليتمكن المطورون من تكييفها مع مواد المصدر الخاصة بهم. وقالت NVIDIA إن كل سجل يعود إلى مستند مصدر خضع للتنقيح، وإن كل مخرج يُراجَع بمقارنته بمدخله.

تركيب المدونة وتغطية اللغات

تضم المدونة 2,601.0 مليار رمز مكتوب بالأحرف الأصلية و224.6 مليار رمز مكتوب بالأحرف اللاتينية، وقد أُحصيت باستخدام أداة الترميز Gemma-4. وتشير NVIDIA إلى أن هذه الأعداد تصف المدونة التي احتُفظ بها، بما فيها النصوص المعاد تحريرها والمقبولة، لا ميزانية الرموز المخصصة لجولة تدريب، كما تعتمد الأعداد على أداة الترميز المستخدمة.

توفّر المدونة، عبر 34 تركيبة من اللغات وأنظمة الكتابة، بيانات مكتوبة بالأحرف الأصلية للغات الـ22 كلها، ونصوصًا مكتوبة بالأحرف اللاتينية لـ12 لغة. وتتوفر بيانات بالخطين الأصلي واللاتيني لـ12 لغة هي: البنغالية، والغوجاراتية، والهندية، والكانادا، والمالايالامية، والماراثية، والنيبالية، والأوديا، والبنجابية، والتاميلية، والتيلوغوية، والأردية. أما اللغات العشر الأخرى فتتوفر لها بيانات مكتوبة بالأحرف الأصلية فقط، وهي: الأسامية، والبودو، والدوجري، والكشميرية، والكونكانية، والمايثيلية، والمانيبورية، والسنسكريتية، والسنتالية، والسندية.

يعرّف المنشور الكتابة بالأحرف الأصلية بأنها استخدام نظام الكتابة الخاص باللغة، مع بقاء النص مترجمًا من الإنجليزية، بينما تعني الكتابة بالأحرف اللاتينية أن نص اللغة الهندية مكتوب بالأبجدية اللاتينية. وفي كل واحدة من اللغات الاثنتي عشرة المتاحة بخطيْن، تشمل الكتابة بالأحرف اللاتينية مجموعة فرعية من الترجمات المقبولة المكتوبة بالأحرف الأصلية.

مسارا الترجمة

يبدأ التوليد بمستندات من 15 مجموعة فرعية من Nemotron-CC-v2، تشمل النصوص المنشورة على الويب، ومواد الأسئلة والأجوبة، والرياضيات، والرموز البرمجية، ومحتوى متخصصًا آخر. ويتولى NeMo Data Designer، وهو إطار NVIDIA مفتوح المصدر لتوليد البيانات الاصطناعية، تنفيذ الترجمة وفحوص الجودة والإصلاحات الموجّهة، مع الاحتفاظ بمعرّفات المصدر طوال العملية، بحيث يمكن تتبّع أي مخرج إلى مستنده الأصلي.

تُترجم مستندات اللغات الاثنتي عشرة المتاحة بخطيْن كاملةً باستخدام Gemma-4-31B-it من Google، وهو نموذج قال الفريق إنه اختاره بعد مقارنة النماذج على مستندات كاملة. وتميّز المطالبات بين النصوص النثرية المطلوب ترجمتها والمحتوى الواجب الإبقاء عليه، بما يشمل الرموز البرمجية والمعادلات وعناوين URL والتنسيق. ثم يقيّم النموذج نفسه كل مخرج بمقارنته بمصدره الإنجليزي، مستخدمًا معيارًا مستوحى من إطار مقاييس الجودة متعددة الأبعاد، ويغطي المعنى والطلاقة والمصطلحات والأسلوب والتنسيق. ولا يُحتفظ إلا بالمخرجات التي تحصل على 75 من 100 على الأقل؛ أما المخرجات التي تقل درجاتها عن ذلك فتُصلح استنادًا إلى ملاحظات التقييم، ثم يُعاد تقييمها وفق الحد نفسه. وتفيد NVIDIA بأن حلقة الإصلاح هذه استعادت 438.4 مليار رمز عبر البيانات المكتوبة بالأحرف الأصلية وتلك المكتوبة بالأحرف اللاتينية، وهي رموز مدرجة بالفعل ضمن إجمالي المدونة. كما ساهمت مراجعات بشرية لعينات واختبارات أُدخلت فيها أخطاء عمدًا في تحسين المطالبات والفحوص.

تشكّل الترجمات المقبولة المكتوبة بالأحرف الأصلية نقطة الانطلاق لإنشاء البيانات المكتوبة بالأحرف اللاتينية، عبر خطوة منفصلة لتحويل نظام الكتابة. ووفقًا لـNVIDIA، أظهرت مقارنة بشرية أولية أن هذا النهج المؤلف من خطوتين أنتج إضافات مختلقة أقل وبقايا أقل من النص الإنجليزي مقارنةً بالتوليد المباشر للنصوص المكتوبة بالأحرف اللاتينية انطلاقًا من الإنجليزية.

تستخدم ترجمة اللغات العشر الأخرى Indic Translate، وهو نموذج على مستوى المستندات للترجمة بين الإنجليزية و22 لغة هندية من Bodhan AI، وهو مركز غير ربحي للذكاء الاصطناعي في التعليم، أُنشئ بدعم من IIT Madras؛ ويقيّم Gemma-4-31B-it كل ترجمة بمقارنتها بمصدرها الإنجليزي. وتعتمد ثماني لغات نهج الترجمة على مستوى المستند كاملًا؛ أما المستندات السنتالية الأطول فتُترجم ضمن نوافذ متداخلة ثم يُعاد تركيبها، وتُترجم المانيبورية إلى الخط البنغالي قبل تحويلها إلى Meitei Mayek، وهو نظام كتابتها الأصلي. وتلتزم مسارات العمل هذه بحد 75 من 100، وتنتج بيانات مكتوبة بالأحرف الأصلية فقط، من دون إعادة كتابة تستند إلى ملاحظات التقييم.

نتائج التدريب المسبق المتواصل

يقارن التقرير التقني لـ Nemotron 3.5 Super VL بين نقطة التحقق مباشرةً قبل مواصلة التدريب المسبق باللغات الهندية ونقطة التحقق بعد تلك المرحلة. وبلغت الميزانية المحددة 100 مليار رمز تدريبي، خُصصت منها نسبة 10 في المئة (10 مليارات رمز) لمزيج من النصوص الهندية الاصطناعية والطبيعية، فيما حافظت النسبة المتبقية، البالغة 90 في المئة، على التناسب النسبي لمزيج التدريب السابق. وارتفعت النتائج في جميع معايير المعرفة والاستدلال الخمسة باللغات الهندية التي أُبلغ عنها: MILU وIndic MMLU-Pro وIndic ARC-Challenge وIndic ARC-Easy وIndic GSM8K، بمكاسب تراوحت بين 4.98 و9.82 نقاط مئوية. وتشير NVIDIA إلى أن المقارنة تشمل مرحلة تدريب تجمع بين البيانات الهندية الاصطناعية والطبيعية، ولا تعزل إسهام المدونة الاصطناعية، كما أن GSM8K لا يشمل اللغة الأودية لأن التقييم تجاوز الحد الأقصى لسياق الاستدلال المتاح للخدمة.

بحسب المنشور، سجّل إصدار Nemotron 3.5 Super VL المتاح نتائج أعلى من Nemotron 3 Super في خمسة من ستة معايير للمهام المعروضة، تشمل المعرفة والاستدلال والرياضيات والبرمجة والترجمة، في حين تراجع أداؤه في اتباع التعليمات على IFEval 1.5 بمقدار 2.04 نقطة. كما تحسّن في الأبعاد الأربعة جميعها لمعيار IndiVibe، وهو معيار مفتوح من Sarvam AI لقياس أداء المساعدين في الاستجابة للمطالبات باللغات الهندية: الفائدة والطلاقة والدقة اللغوية ودقة الكتابة بالنص المناسب، والإيجاز أو الإسهاب الملائم.

قالت NVIDIA إنها تعتزم البناء على هذه المدونة في نماذج Nemotron المستقبلية، وإن تقييم المدونة كاملة، بما في ذلك إعادة الصياغة المستعادة ومجموعة اللغات العشر، لا يزال خطوة مقبلة في الدراسات المنضبطة.

التوافر والقيود المعلنة

تستخدم إعدادات مجموعة البيانات وسومًا للغة ونظام الكتابة والمنطقة؛ إذ يشير hi-Deva-IN إلى الهندية المكتوبة بخط الديفاناغاري، ويشير hi-Latn-IN إلى الهندية المكتوبة بالأحرف اللاتينية. وتتيح خاصية البث في Hugging Face Datasets للقراء معاينة السجلات دون تنزيل المدونة كاملة. ويوفر مكوّن الترجمة الإضافي مفتوح المصدر Nemotron Bharat، المخصص لـ NeMo Data Designer، مطالبات للترجمة والتقييم، وإعادة صياغة اختيارية استنادًا إلى الملاحظات، وتقسيم المستندات إلى نوافذ، ودعم إعادة تعيين النصوص إلى أنظمة كتابة أخرى.

تحذر NVIDIA من أن الترجمة لا تحل محل النصوص المكتوبة أصلًا باللغات الهندية، ولا تضمن تغطية المعارف والثقافات المحلية، وتوصي بدمج المدونة مع نصوص هندية طبيعية اختيرت مصادرها بعناية. ويعتمد تقييم الجودة أساسًا على الوسائل الآلية، إلى جانب مراجعة بشرية لعينات، يختلف نطاقها باختلاف اللغات؛ أما في سير العمل الخاص باللغات الاثنتي عشرة، فيؤدي المترجم أيضًا دور المُقيِّم. ويذكر المنشور أن النصوص التي جرى الإبقاء عليها قد تظل محتوية على أخطاء، وأن سير العمل الخاص باللغات العشر يحتاج إلى تحقق أوسع من متحدثين أصليين، وأن عمليات التحقق من معرّفات المصدر تزيل التكرارات الناتجة عن المعالجة، دون إجراء إزالة دلالية لتكرار المحتوى المتشابه.

مجموعة المعايير المرجعية المصاحبة

إلى جانب المدونة، قدمت AI4Bharat في IIT Madras، بدعم من NVIDIA، مجموعة Indic-LLM-Eval-Suite، وهي مجموعة مفتوحة ومتنامية من المعايير المرجعية غير المتصلة بالإنترنت لتقييم النماذج اللغوية الكبيرة عبر اللغات الهندية.

يجمع الإصدار الأول بين معايير قائمة للغات الهندية، وإصدارات محدّثة تشمل MILU-1.5 وIndicIFEval-1.5، ومعايير إنجليزية مكيّفة، ضمن ثماني فئات للقدرات: المحادثة العامة، واتباع التعليمات، والرياضيات، والعلوم والتقنية والهندسة والرياضيات، والاستدلال المنطقي العام، والمعرفة، والبرمجة، والترجمة. وقد دُمجت التقييمات مع NVIDIA NeMo-Gym، ما يوفر واجهة تقييم موحدة مع الإبقاء على إجراءات التقييم الخاصة بكل معيار.

أفادت AI4Bharat بأن تدقيقها لمعيار MILU كشف عن أسئلة غير مكتملة، وأشكال مفقودة، وترجمات غير صحيحة، وقد عولجت هذه المشكلات في النسخة المنقحة MILU-1.5. كما ذكرت أنها أصلحت مشكلات في شيفرة تقييم IndicIFEval، إذ كان يجري التحقق من بعض القيود على نحو غير صحيح أو كان يجري تجاهلها دون تنبيه. وتجمع منهجية بناء المجموعة بين الترجمة المراعية لطبيعة كل معيار، والتقييم الآلي للجودة، والتصحيح الموجّه، والتحقق على أيدي متحدثين أصليين.

قالت AI4Bharat إنها قيّمت عددًا من النماذج المفتوحة الأوزان المعاصرة باللغات الهندية والنماذج اللغوية الكبيرة متعددة اللغات باستخدام المجموعة، ووجدت أن أي نموذج لا يتفوق باستمرار في جميع المهام. ويصف المختبر الإصدار الأول بأنه نقطة انطلاق، ويقول إنه يعتزم إضافة معايير جديدة، واستيعاب مساهمات المجتمع، وتحديث النتائج دوريًا لرصد تطور النماذج اللغوية الكبيرة باللغات الهندية بمرور الوقت.