NVIDIA ra mắt kho ngữ liệu tiền huấn luyện Indic gồm 2,8 nghìn tỷ token và quy trình mở

Ngày 16 tháng 10 năm 2026, NVIDIA phối hợp với IIT Madras và phòng thí nghiệm AI4Bharat của viện này giới thiệu Nemotron-pretraining-Indic-v1, một kho ngữ liệu tiền huấn luyện tổng hợp gồm khoảng 2,8 nghìn tỷ token thuộc 22 ngôn ngữ Ấn Độ, dự kiến sớm được phát hành, cùng với quy trình tạo dữ liệu mở, tăng tốc bằng GPU được dùng để xây dựng kho ngữ liệu.

22 ngôn ngữ này là những ngôn ngữ được liệt kê trong Hiến pháp Ấn Độ. Theo thông báo, đây là ngôn ngữ thứ nhất của 97% người dân Ấn Độ, tương đương gần 1,2 tỷ người theo Điều tra dân số năm 2011. Các tác giả bài viết gồm những nhà nghiên cứu AI4Bharat là Mohammed Safi Ur Rahman Khan, Mitesh Khapra và Anoop Kunchukuttan, cùng các cộng sự của NVIDIA là Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen và Utkarsh Vaidya. Khapra, người đứng đầu AI4Bharat, đã chỉ ra vấn đề cốt lõi khiến công nghệ ngôn ngữ Ấn Độ tụt hậu so với tiếng Anh: “chúng ta không có đủ dữ liệu cho các ngôn ngữ Ấn Độ.”

Quy trình này ghi lại toàn bộ phương thức tạo dữ liệu, bao gồm câu lệnh, quy trình làm việc với mô hình ngôn ngữ lớn (LLM) và các bước kiểm tra chất lượng, để nhà phát triển có thể điều chỉnh cho phù hợp với nguồn tư liệu của riêng mình. NVIDIA cho biết mọi bản ghi đều có thể truy nguyên về một tài liệu nguồn đã được tuyển chọn, đồng thời mỗi đầu ra đều được đối chiếu với đầu vào.

Thành phần kho ngữ liệu và phạm vi ngôn ngữ

Kho ngữ liệu gồm 2.601,0 tỷ token bằng chữ viết bản địa và 224,6 tỷ token được phiên âm bằng chữ cái Latinh, được đếm bằng bộ mã hóa token Gemma-4. NVIDIA lưu ý rằng các số liệu này mô tả kho ngữ liệu được giữ lại, bao gồm cả những bản viết lại được chấp nhận, chứ không phải ngân sách token của một lần huấn luyện; số liệu cũng phụ thuộc vào bộ mã hóa token được sử dụng.

Trong 34 tổ hợp ngôn ngữ và hệ chữ viết, kho ngữ liệu cung cấp dữ liệu bằng chữ viết bản địa cho cả 22 ngôn ngữ và văn bản phiên âm bằng chữ cái Latinh cho 12 ngôn ngữ. Mười hai ngôn ngữ có dữ liệu ở cả chữ viết bản địa lẫn dạng phiên âm bằng chữ cái Latinh là tiếng Bengal, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepal, Odia, Punjabi, Tamil, Telugu và Urdu. Mười ngôn ngữ chỉ có dữ liệu bằng chữ viết bản địa là tiếng Assam, Bodo, Dogri, Kashmir, Konkani, Maithili, Manipuri, Sanskrit, Santali và Sindhi.

Bài viết định nghĩa chữ viết bản địa là hệ chữ được sử dụng để viết ngôn ngữ đó, trong khi văn bản vẫn được dịch từ tiếng Anh; còn dạng phiên âm bằng chữ cái Latinh là văn bản tiếng Ấn Độ được viết bằng hệ chữ Latinh. Với mỗi ngôn ngữ trong số 12 ngôn ngữ có dữ liệu ở cả hai hệ chữ, phần phiên âm bao gồm một tập con các bản dịch bằng chữ viết bản địa đã được chấp nhận.

Hai quy trình dịch

Quá trình tạo dữ liệu bắt đầu từ các tài liệu thuộc 15 tập con của Nemotron-CC-v2, bao gồm văn bản trên web, nội dung hỏi đáp, toán học, mã nguồn và các nội dung chuyên ngành khác. NeMo Data Designer, khung tạo dữ liệu tổng hợp mã nguồn mở của NVIDIA, thực hiện việc dịch, kiểm tra chất lượng và sửa chữa có trọng điểm; mã định danh nguồn được giữ lại xuyên suốt để có thể truy nguyên đầu ra về tài liệu gốc.

Với 12 ngôn ngữ có dữ liệu ở cả hai hệ chữ, tài liệu được dịch toàn văn bằng Gemma-4-31B-it của Google. Nhóm nghiên cứu cho biết họ chọn mô hình này sau khi so sánh các mô hình trên những tài liệu hoàn chỉnh. Câu lệnh phân biệt phần văn xuôi cần dịch với nội dung cần giữ nguyên, bao gồm mã nguồn, phương trình, URL và định dạng. Sau đó, chính mô hình này đánh giá từng đầu ra bằng cách đối chiếu với bản tiếng Anh gốc theo bộ tiêu chí lấy cảm hứng từ khung Đo lường Chất lượng Đa chiều, xét đến ý nghĩa, độ trôi chảy, thuật ngữ, văn phong và định dạng. Chỉ những đầu ra đạt ít nhất 75 trên 100 điểm mới được giữ lại; đầu ra có điểm thấp hơn được sửa dựa trên phản hồi đánh giá rồi chấm lại theo cùng ngưỡng. NVIDIA cho biết vòng lặp sửa chữa này đã khôi phục 438,4 tỷ token trong dữ liệu chữ viết bản địa và dữ liệu phiên âm bằng chữ cái Latinh; số token này đã được tính trong tổng dung lượng kho ngữ liệu. NVIDIA cũng cho biết các đợt đánh giá mẫu do con người thực hiện, cùng những thử nghiệm cố ý đưa lỗi vào, đã giúp cải thiện câu lệnh và bước kiểm tra.

Các bản dịch bằng chữ viết bản địa được chấp nhận là cơ sở để tạo dữ liệu phiên âm bằng chữ cái Latinh thông qua một bước chuyển đổi hệ chữ riêng. Theo NVIDIA, kết quả so sánh ban đầu do con người thực hiện cho thấy phương pháp hai bước này tạo ra ít nội dung bổ sung do mô hình tự bịa đặt hơn và ít sót lại tiếng Anh hơn so với việc tạo trực tiếp văn bản phiên âm từ tiếng Anh.

Với 10 ngôn ngữ còn lại, quá trình dịch sử dụng Indic Translate, mô hình dịch ở cấp độ tài liệu dành cho tiếng Anh và 22 ngôn ngữ Ấn Độ do Bodhan AI phát triển. Đây là một trung tâm phi lợi nhuận về AI trong giáo dục, được ươm tạo tại IIT Madras. Gemma-4-31B-it đánh giá từng bản dịch bằng cách đối chiếu với bản tiếng Anh gốc. Tám ngôn ngữ vẫn sử dụng phương pháp xử lý toàn bộ tài liệu; tài liệu Santali dài hơn được dịch theo các đoạn chồng lấp rồi ghép lại, còn tiếng Manipuri được dịch sang chữ Bengali trước khi chuyển đổi sang Meitei Mayek, hệ chữ bản địa của tiếng này. Các quy trình này duy trì ngưỡng 75 trên 100 điểm và chỉ tạo dữ liệu bằng chữ viết bản địa, không có bước viết lại dựa trên phản hồi.

Kết quả tiền huấn luyện tiếp nối

Báo cáo kỹ thuật về Nemotron 3.5 Super VL so sánh checkpoint ngay trước giai đoạn huấn luyện tiếp tục bằng dữ liệu Indic với checkpoint sau giai đoạn đó. Ngân sách được thiết lập là 100 tỷ token huấn luyện, trong đó 10% (10 tỷ token) dành cho hỗn hợp văn bản Indic tổng hợp và tự nhiên, còn 90% còn lại duy trì tỷ trọng tương đối của hỗn hợp dữ liệu huấn luyện trước đó. Điểm số tăng ở cả năm bộ chuẩn về kiến thức và suy luận Indic được báo cáo: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy và Indic GSM8K, với mức tăng từ 4,98 đến 9,82 điểm phần trăm. NVIDIA lưu ý rằng phép so sánh này bao quát một giai đoạn huấn luyện kết hợp dữ liệu Indic tổng hợp và tự nhiên, chứ không tách riêng đóng góp của kho dữ liệu tổng hợp; đồng thời, GSM8K không bao gồm tiếng Odia vì quá trình đánh giá vượt quá giới hạn ngữ cảnh phục vụ.

Theo bài đăng, so với Nemotron 3 Super, Nemotron 3.5 Super VL được phát hành đạt điểm cao hơn ở năm trong sáu bộ chuẩn tác vụ được trình bày, bao quát kiến thức, suy luận, toán học, lập trình và dịch thuật; trong khi đó, khả năng làm theo chỉ dẫn trên IFEval 1.5 giảm 2,04 điểm. Mô hình cũng cải thiện ở cả bốn khía cạnh của IndiVibe, bộ chuẩn mở của Sarvam AI gồm các câu lệnh theo phong cách trợ lý bằng các ngôn ngữ Ấn Độ: tính hữu ích, độ trôi chảy, độ trung thành với ngôn ngữ và chữ viết, cùng mức độ dài câu trả lời phù hợp.

NVIDIA cho biết hãng dự định tiếp tục phát triển dựa trên kho dữ liệu này trong các mô hình Nemotron tương lai, đồng thời việc đánh giá toàn bộ kho dữ liệu, bao gồm cả các bản viết lại được khôi phục và nhóm mười ngôn ngữ, vẫn là bước tiếp theo trong các nghiên cứu có kiểm soát.

Tính sẵn có và các hạn chế được nêu

Các cấu hình tập dữ liệu sử dụng thẻ ngôn ngữ, chữ viết và khu vực; hi-Deva-IN biểu thị tiếng Hindi viết bằng chữ Devanagari, còn hi-Latn-IN biểu thị tiếng Hindi được phiên tự sang chữ La-tinh. Tính năng truyền dữ liệu theo luồng của Hugging Face Datasets cho phép người đọc xem các bản ghi mà không cần tải xuống toàn bộ kho dữ liệu. Trình cắm dịch thuật mã nguồn mở Nemotron Bharat dành cho NeMo Data Designer cung cấp các câu lệnh dịch thuật và đánh giá, tùy chọn viết lại dựa trên phản hồi, chia văn bản thành các cửa sổ tài liệu và hỗ trợ chuyển đổi chữ viết.

NVIDIA lưu ý rằng bản dịch không thể thay thế văn bản vốn được viết bằng các ngôn ngữ Ấn Độ, cũng không bảo đảm bao quát kiến thức và văn hóa địa phương; hãng khuyến nghị kết hợp kho dữ liệu này với văn bản Indic tự nhiên có nguồn phù hợp. Việc đánh giá chất lượng chủ yếu được tự động hóa, kết hợp với hoạt động rà soát thủ công trên các mẫu, với phạm vi bao quát thay đổi tùy theo ngôn ngữ; trong quy trình gồm mười hai ngôn ngữ, người dịch đồng thời đảm nhiệm vai trò người đánh giá. Bài đăng cho biết văn bản được giữ lại vẫn có thể chứa lỗi, quy trình gồm mười ngôn ngữ cần được người bản ngữ xác thực trên phạm vi rộng hơn, còn các bước kiểm tra ID nguồn loại bỏ những bản trùng lặp do xử lý nhưng không khử trùng lặp về mặt ngữ nghĩa đối với nội dung tương tự.

Bộ chuẩn đánh giá đi kèm

Song song với kho dữ liệu, AI4Bharat thuộc IIT Madras, với sự hỗ trợ của NVIDIA, đã giới thiệu Bộ đánh giá LLM Indic, một tập hợp mở và liên tục được phát triển gồm các bộ chuẩn ngoại tuyến để đánh giá LLM trên các ngôn ngữ Ấn Độ.

Phiên bản đầu tiên tập hợp các bộ chuẩn Indic hiện có, các phiên bản được cập nhật như MILU-1.5 và IndicIFEval-1.5, cùng các bộ chuẩn tiếng Anh đã được điều chỉnh, bao quát tám nhóm năng lực: trò chuyện tổng quát, làm theo chỉ dẫn, toán học, STEM, suy luận theo lẽ thường, kiến thức, lập trình và dịch thuật. Các bài đánh giá được tích hợp với NVIDIA NeMo-Gym, cung cấp giao diện đánh giá thống nhất nhưng vẫn giữ nguyên quy trình chấm điểm riêng của từng bộ chuẩn.

AI4Bharat cho biết cuộc kiểm tra MILU của họ phát hiện các câu hỏi chưa hoàn chỉnh, hình minh họa bị thiếu và bản dịch sai; những vấn đề này đã được xử lý trong MILU-1.5 bản sửa đổi. Nhóm cũng khắc phục các lỗi trong mã đánh giá của IndicIFEval, khiến một số ràng buộc bị kiểm tra sai hoặc âm thầm bỏ qua. Phương pháp xây dựng bộ chuẩn kết hợp dịch thuật có xét đến đặc thù của từng bộ chuẩn với đánh giá chất lượng tự động, hiệu đính có trọng điểm và xác minh bởi người bản ngữ.

AI4Bharat cho biết họ đã đánh giá một số mô hình ngôn ngữ lớn Indic có trọng số mở và mô hình ngôn ngữ lớn đa ngôn ngữ hiện đại trên toàn bộ bộ benchmark, và nhận thấy không có mô hình nào luôn đạt kết quả tốt nhất trong mọi tác vụ. Nhóm nghiên cứu xem bản phát hành ban đầu là điểm khởi đầu và cho biết dự định bổ sung các benchmark, tiếp nhận đóng góp từ cộng đồng, đồng thời định kỳ cập nhật kết quả để theo dõi tiến bộ của các mô hình ngôn ngữ lớn Indic theo thời gian.