NVIDIA เปิดตัวคลังข้อมูลก่อนฝึก Indic ขนาด 2.8 ล้านล้านโทเคน พร้อมไปป์ไลน์แบบเปิด

เมื่อวันที่ 16 ตุลาคม 2026 NVIDIA ร่วมกับ IIT Madras และห้องปฏิบัติการ AI4Bharat เปิดตัว Nemotron-pretraining-Indic-v1 คลังข้อมูลสังเคราะห์สำหรับการฝึกโมเดลล่วงหน้าขนาดประมาณ 2.8 ล้านล้านโทเคน ครอบคลุม 22 ภาษาในอินเดีย ซึ่งจะเปิดให้ใช้งานเร็ว ๆ นี้ พร้อมไปป์ไลน์สร้างข้อมูลแบบเปิดที่เร่งความเร็วด้วย GPU ซึ่งใช้สร้างคลังข้อมูลนี้

ภาษาทั้ง 22 ภาษานี้เป็นภาษาที่ระบุไว้ในรัฐธรรมนูญของอินเดีย โดยประกาศระบุว่าภาษาเหล่านี้เป็นภาษาแรกของชาวอินเดีย 97% หรือเกือบ 1.2 พันล้านคน ตามสำมะโนประชากรปี 2011 ผู้เขียนบทความประกอบด้วยนักวิจัยจาก AI4Bharat ได้แก่ Mohammed Safi Ur Rahman Khan, Mitesh Khapra และ Anoop Kunchukuttan รวมถึงบุคลากรของ NVIDIA ได้แก่ Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen และ Utkarsh Vaidya Khapra ซึ่งเป็นหัวหน้า AI4Bharat ระบุถึงปัญหาสำคัญที่ทำให้เทคโนโลยีภาษาของอินเดียตามหลังภาษาอังกฤษว่า “เรามีข้อมูลสำหรับภาษาอินเดียไม่เพียงพอ”

ไปป์ไลน์นี้บันทึกกระบวนการสร้างข้อมูลไว้อย่างครบถ้วน ทั้งพรอมป์ต เวิร์กโฟลว์ของ LLM และการตรวจสอบคุณภาพ เพื่อให้นักพัฒนานำไปปรับใช้กับแหล่งข้อมูลของตนเองได้ NVIDIA ระบุว่าระเบียนข้อมูลทุกรายการสืบย้อนกลับไปยังเอกสารต้นทางที่ผ่านการคัดสรร และตรวจสอบผลลัพธ์แต่ละรายการเทียบกับข้อมูลนำเข้า

องค์ประกอบของคลังข้อมูลและภาษาที่ครอบคลุม

คลังข้อมูลนี้ประกอบด้วยโทเคนในอักษรดั้งเดิม 2,601.0 พันล้านโทเคน และโทเคนแบบถอดเป็นอักษรโรมัน 224.6 พันล้านโทเคน โดยนับด้วยตัวตัดคำ Gemma-4 NVIDIA ระบุว่าตัวเลขเหล่านี้เป็นจำนวนในคลังข้อมูลที่ผ่านการคัดกรองแล้ว ซึ่งรวมข้อความที่เขียนใหม่และได้รับการยอมรับ ไม่ใช่จำนวนโทเคนที่กำหนดไว้สำหรับการฝึกหนึ่งรอบ อีกทั้งจำนวนยังขึ้นอยู่กับตัวตัดคำที่ใช้

คลังข้อมูลนี้ครอบคลุมรูปแบบภาษาและอักษร 34 แบบ โดยมีข้อมูลในอักษรดั้งเดิมครบทั้ง 22 ภาษา และมีข้อความที่ถอดเป็นอักษรโรมันใน 12 ภาษา 12 ภาษาที่มีข้อมูลทั้งในอักษรดั้งเดิมและอักษรโรมัน ได้แก่ เบงกอล คุชราต ฮินดี กันนาดา มาลายาลัม มราฐี เนปาล โอเดีย ปัญจาบี ทมิฬ เตลูกู และอูรดู อีก 10 ภาษามีข้อมูลในอักษรดั้งเดิมเท่านั้น ได้แก่ อัสสัม โบโด โดกรี แคชเมียร์ กอนกณี ไมถิลี มณีปุระ สันสกฤต สันตาลี และสินธี

บทความให้นิยามอักษรดั้งเดิมว่าเป็นระบบการเขียนที่ใช้ โดยข้อความยังคงแปลมาจากภาษาอังกฤษ ส่วนข้อความที่ถอดเป็นอักษรโรมันหมายถึงข้อความภาษาอินดิกที่เขียนด้วยอักษรละติน สำหรับแต่ละภาษาใน 12 ภาษาที่มีข้อมูลสองรูปแบบ การถอดเป็นอักษรโรมันครอบคลุมเพียงบางส่วนของคำแปลในอักษรดั้งเดิมที่ผ่านการยอมรับ

เวิร์กโฟลว์การแปลสองรูปแบบ

การสร้างข้อมูลเริ่มจากเอกสารในชุดย่อย 15 ชุดของ Nemotron-CC-v2 ซึ่งครอบคลุมข้อความจากเว็บ เนื้อหาคำถามและคำตอบ คณิตศาสตร์ โค้ด และเนื้อหาเฉพาะทางอื่น ๆ NeMo Data Designer ซึ่งเป็นเฟรมเวิร์กโอเพนซอร์สของ NVIDIA สำหรับสร้างข้อมูลสังเคราะห์ จะดำเนินการแปล ตรวจสอบคุณภาพ และซ่อมแซมเนื้อหาแบบเจาะจง โดยเก็บตัวระบุแหล่งที่มาไว้ตลอดกระบวนการ เพื่อให้สืบย้อนผลลัพธ์กลับไปยังเอกสารต้นฉบับได้

สำหรับ 12 ภาษาที่มีข้อมูลสองรูปแบบ จะแปลเอกสารทั้งฉบับด้วย Gemma-4-31B-it ของ Google โดยทีมงานระบุว่าเลือกใช้โมเดลนี้จากการเปรียบเทียบโมเดลต่าง ๆ ด้วยเอกสารฉบับเต็ม พรอมป์ตจะแยกข้อความร้อยแก้วที่ต้องแปลออกจากเนื้อหาที่ต้องคงไว้ เช่น โค้ด สมการ URL และการจัดรูปแบบ จากนั้นโมเดลเดียวกันจะประเมินผลลัพธ์แต่ละรายการเทียบกับต้นฉบับภาษาอังกฤษ โดยใช้เกณฑ์ที่ได้รับแรงบันดาลใจจากกรอบการวัดคุณภาพหลายมิติ ซึ่งครอบคลุมความหมาย ความลื่นไหล การใช้คำศัพท์เฉพาะทาง รูปแบบภาษา และการจัดรูปแบบ จะเก็บไว้เฉพาะผลลัพธ์ที่ได้คะแนนอย่างน้อย 75 จาก 100 ส่วนผลลัพธ์ที่ได้คะแนนต่ำกว่านั้นจะได้รับการแก้ไขตามข้อเสนอแนะจากการประเมิน แล้วนำกลับมาประเมินใหม่โดยใช้เกณฑ์เดิม NVIDIA รายงานว่ากระบวนการซ่อมแซมนี้กู้คืนโทเคนได้ 438.4 พันล้านโทเคนจากข้อมูลทั้งในอักษรดั้งเดิมและอักษรโรมัน ซึ่งรวมอยู่ในยอดรวมของคลังข้อมูลแล้ว นอกจากนี้ การตรวจทานตัวอย่างโดยมนุษย์และการทดสอบด้วยข้อผิดพลาดที่จงใจใส่เข้าไป ยังช่วยให้ทีมปรับปรุงพรอมป์ตและการตรวจสอบได้ด้วย

คำแปลในอักษรดั้งเดิมที่ผ่านการยอมรับเป็นจุดเริ่มต้นของการสร้างข้อมูลแบบถอดเป็นอักษรโรมัน โดยใช้ขั้นตอนแปลงอักษรแยกต่างหาก NVIDIA ระบุว่า การเปรียบเทียบโดยมนุษย์ในเบื้องต้นพบว่าแนวทางสองขั้นตอนนี้ทำให้เกิดข้อความที่แต่งเติมขึ้นโดยไม่มีหลักฐานรองรับน้อยกว่า และมีข้อความภาษาอังกฤษตกค้างน้อยกว่าการสร้างข้อความอักษรโรมันจากภาษาอังกฤษโดยตรง

สำหรับอีก 10 ภาษา การแปลใช้ Indic Translate ซึ่งเป็นโมเดลระดับเอกสารสำหรับภาษาอังกฤษและภาษาอินเดีย 22 ภาษา จาก Bodhan AI ศูนย์ไม่แสวงหากำไรด้าน AI เพื่อการศึกษาที่บ่มเพาะโดย IIT Madras โดยให้ Gemma-4-31B-it ประเมินคำแปลแต่ละรายการเทียบกับต้นฉบับภาษาอังกฤษ มี 8 ภาษาที่ยังคงใช้แนวทางแปลทั้งเอกสาร ส่วนเอกสารภาษาสันตาลีที่ยาวกว่าจะแปลเป็นช่วงที่ซ้อนทับกันแล้วนำมาประกอบใหม่ และภาษามณีปุระจะแปลเป็นอักษรเบงกอลก่อนแปลงเป็นเมเตย์ มาเยก ซึ่งเป็นอักษรดั้งเดิมของภาษานี้ เวิร์กโฟลว์เหล่านี้ใช้เกณฑ์ 75-out-of-100 และสร้างเฉพาะข้อมูลในอักษรดั้งเดิม โดยไม่มีการเขียนแก้ไขตามข้อเสนอแนะ

ผลลัพธ์จากการฝึกต่อเนื่อง

รายงานทางเทคนิคของ Nemotron 3.5 Super VL เปรียบเทียบจุดตรวจสอบโมเดลก่อนเริ่มการฝึกต่อเนื่องล่วงหน้าด้วยข้อมูลภาษาอินดิกทันทีกับจุดตรวจสอบหลังผ่านขั้นตอนดังกล่าว งบประมาณการฝึกที่กำหนดไว้คือ 100 พันล้านโทเค็น โดยจัดสรร 10 เปอร์เซ็นต์ (10 พันล้านโทเค็น) ให้กับข้อความภาษาอินดิกทั้งแบบสังเคราะห์และแบบธรรมชาติผสมกัน ส่วนอีก 90 เปอร์เซ็นต์ยังคงใช้สัดส่วนของชุดข้อมูลฝึกก่อนหน้า คะแนนเพิ่มขึ้นในการทดสอบมาตรฐานด้านความรู้และการให้เหตุผลภาษาอินดิกทั้งห้ารายการที่รายงาน ได้แก่ MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy และ Indic GSM8K โดยเพิ่มขึ้นตั้งแต่ 4.98 ถึง 9.82 จุดเปอร์เซ็นต์ NVIDIA ระบุว่าการเปรียบเทียบนี้ครอบคลุมขั้นตอนการฝึกที่ใช้ข้อมูลภาษาอินดิกทั้งแบบสังเคราะห์และแบบธรรมชาติร่วมกัน ไม่ได้แยกวัดผลของคลังข้อมูลสังเคราะห์เพียงอย่างเดียว และการทดสอบ GSM8K ไม่รวมภาษาโอเดีย เนื่องจากการประเมินเกินขีดจำกัดบริบทที่ระบบให้บริการรองรับ

ตามโพสต์ระบุว่า Nemotron 3.5 Super VL ที่เปิดตัวทำคะแนนได้สูงกว่า Nemotron 3 Super ในการทดสอบมาตรฐานด้านภารกิจ 5 จาก 6 รายการที่แสดง ซึ่งครอบคลุมความรู้ การให้เหตุผล คณิตศาสตร์ การเขียนโค้ด และการแปล ขณะที่คะแนนด้านการทำตามคำสั่งในการทดสอบ IFEval 1.5 ลดลง 2.04 จุด นอกจากนี้ ยังทำคะแนนดีขึ้นในทั้งสี่มิติของ IndiVibe ซึ่งเป็นการทดสอบมาตรฐานแบบเปิดของ Sarvam AI สำหรับพรอมป์ต์ลักษณะผู้ช่วยในภาษาอินเดีย ได้แก่ ประโยชน์ใช้สอย ความคล่องแคล่ว ความถูกต้องของภาษาและอักษร รวมถึงความยาวของคำตอบที่เหมาะสม

NVIDIA ระบุว่ามีแผนจะนำคลังข้อมูลนี้ไปต่อยอดในโมเดล Nemotron รุ่นอนาคต และการประเมินคลังข้อมูลทั้งหมด ซึ่งรวมถึงข้อความที่ปรับเรียบเรียงใหม่จากข้อมูลที่กู้คืนได้และกลุ่มภาษาสิบภาษา ยังคงเป็นขั้นตอนถัดไปสำหรับการศึกษาแบบควบคุม

การเปิดให้ใช้งานและข้อจำกัดที่ระบุไว้

การกำหนดค่าชุดข้อมูลใช้แท็กภาษา อักษร และภูมิภาค โดย hi-Deva-IN หมายถึงภาษาฮินดีที่เขียนด้วยอักษรเทวนาครี ส่วน hi-Latn-IN หมายถึงภาษาฮินดีที่เขียนด้วยอักษรโรมัน และการสตรีมข้อมูลจาก Hugging Face Datasets ช่วยให้ผู้อ่านตรวจสอบระเบียนต่าง ๆ ได้โดยไม่ต้องดาวน์โหลดคลังข้อมูลทั้งหมด ปลั๊กอินแปลภาษารหัสเปิด Nemotron Bharat สำหรับ NeMo Data Designer มีพรอมป์ต์สำหรับการแปลและการประเมิน การปรับเรียบเรียงใหม่โดยอิงจากข้อเสนอแนะซึ่งเป็นทางเลือก การแบ่งเอกสารเป็นหน้าต่างข้อความ และการรองรับการแปลงอักษร

NVIDIA เตือนว่าการแปลไม่อาจทดแทนข้อความที่เขียนขึ้นในภาษาอินเดียแต่แรก หรือรับประกันว่าจะครอบคลุมความรู้และวัฒนธรรมท้องถิ่น จึงแนะนำให้ใช้คลังข้อมูลนี้ร่วมกับข้อความภาษาอินดิกธรรมชาติที่ได้มาอย่างเหมาะสม การประเมินคุณภาพดำเนินการโดยอัตโนมัติเป็นหลัก และเสริมด้วยการตรวจทานโดยมนุษย์จากตัวอย่าง ซึ่งมีขอบเขตครอบคลุมแตกต่างกันไปตามภาษา ส่วนในกระบวนการทำงานที่ครอบคลุมสิบสองภาษา ผู้แปลยังทำหน้าที่เป็นผู้ประเมินด้วย โพสต์ระบุว่าข้อความที่เก็บไว้ยังอาจมีข้อผิดพลาด กระบวนการทำงานสำหรับสิบภาษาจำเป็นต้องได้รับการตรวจสอบเพิ่มเติมจากเจ้าของภาษาในวงกว้างขึ้น และการตรวจสอบรหัสต้นทางช่วยกำจัดรายการซ้ำจากการประมวลผล แต่ไม่ได้กำจัดเนื้อหาที่คล้ายกันในเชิงความหมาย

ชุดการทดสอบมาตรฐานประกอบ

AI4Bharat ที่ IIT Madras โดยได้รับการสนับสนุนจาก NVIDIA เปิดตัว Indic-LLM-Eval-Suite ควบคู่ไปกับคลังข้อมูล ซึ่งเป็นชุดการทดสอบมาตรฐานแบบออฟไลน์ที่เปิดให้ใช้งานและพัฒนาเพิ่มเติมได้ เพื่อประเมิน LLM ในภาษาอินเดียต่าง ๆ

เวอร์ชันแรกประกอบด้วยการทดสอบมาตรฐานภาษาอินดิกที่มีอยู่เดิม เวอร์ชันปรับปรุงใหม่ เช่น MILU-1.5 และ IndicIFEval-1.5 ตลอดจนการทดสอบมาตรฐานภาษาอังกฤษที่ปรับให้เหมาะสม ครอบคลุมความสามารถแปดประเภท ได้แก่ การสนทนาทั่วไป การทำตามคำสั่ง คณิตศาสตร์ วิทยาศาสตร์ เทคโนโลยี วิศวกรรมศาสตร์ และคณิตศาสตร์ (STEM) การให้เหตุผลจากสามัญสำนึก ความรู้ การเขียนโค้ด และการแปล ระบบผสานการประเมินเหล่านี้เข้ากับ NVIDIA NeMo-Gym เพื่อให้มีส่วนติดต่อสำหรับการประเมินร่วมกัน โดยยังคงวิธีให้คะแนนเฉพาะของการทดสอบแต่ละรายการไว้

AI4Bharat รายงานว่าการตรวจสอบ MILU พบคำถามไม่ครบถ้วน ภาพประกอบหายไป และคำแปลไม่ถูกต้อง ซึ่งได้รับการแก้ไขใน MILU-1.5 ฉบับปรับปรุง นอกจากนี้ ยังแก้ไขปัญหาในโค้ดประเมินผลของ IndicIFEval ซึ่งก่อนหน้านี้มีการตรวจสอบข้อกำหนดบางประการอย่างไม่ถูกต้องหรือไม่ตรวจสอบโดยไม่แจ้งให้ทราบ วิธีจัดทำชุดการทดสอบนี้ประกอบด้วยการแปลที่คำนึงถึงการทดสอบมาตรฐานแต่ละรายการ การประเมินคุณภาพโดยอัตโนมัติ การแก้ไขเฉพาะจุด และการตรวจสอบโดยเจ้าของภาษา

AI4Bharat ระบุว่าได้นำ LLM แบบเปิดน้ำหนักร่วมสมัยหลายโมเดลสำหรับภาษาอินดิกและ LLM หลายภาษา มาประเมินด้วยชุดการทดสอบนี้ และพบว่าไม่มีโมเดลใดทำผลงานได้ดีที่สุดอย่างสม่ำเสมอในทุกภารกิจ ห้องปฏิบัติการมองว่าการเปิดตัวครั้งแรกเป็นจุดเริ่มต้น และระบุว่ามีแผนจะเพิ่มการทดสอบมาตรฐาน รับผลงานจากชุมชน และปรับปรุงผลการประเมินเป็นระยะ เพื่อติดตามความก้าวหน้าของ LLM ภาษาอินดิกในระยะยาว