NVIDIA ra mắt mô hình giọng nói có trọng số mở và bộ dữ liệu âm thanh 463.062 giờ

Ngày 28 tháng 10 năm 2026, NVIDIA phát hành Nemotron 3.5 Transcribe, một mô hình giọng nói có trọng số mở kết hợp phiên âm đa ngôn ngữ, nhận diện người nói, dịch thuật và hỏi đáp về âm thanh trong cùng một checkpoint. Cùng với mô hình, hãng cũng ra mắt Granary v2, một bộ dữ liệu giọng nói mở và quy trình tuyển chọn dữ liệu có bản kê khai công khai bao quát 463.062 giờ âm thanh thuộc 48 ngôn ngữ.

Theo thông báo của NVIDIA trên Hugging Face, mô hình phiên âm được 40 ngôn ngữ, dịch 31 ngôn ngữ trong số đó sang tiếng Anh hoặc ngược lại, đồng thời nhận diện người nói bằng 13 ngôn ngữ. Mô hình xử lý được các bản ghi âm dài tối đa một giờ và gắn nhãn tối đa tám người nói. Thẻ mô hình ghi ngày phát hành là 28 tháng 10 năm 2026 trên Hugging Face, GitHub thông qua NVIDIA NeMo Speech, NGC và Build.Nvidia.com; trọng số được phát hành theo giấy phép OpenMDW-1.1 và mô hình sẵn sàng cho mục đích sử dụng thương mại hoặc phi thương mại. Các điểm cuối được lưu trữ do Baseten, DeepInfra và Simplismart cung cấp; bản minh họa tương tác có trên Hugging Face Spaces và ModelScope Studios.

Kiến trúc và cách tạo câu lệnh

Transcribe kết hợp bộ mã hóa giọng nói với một mô hình ngôn ngữ nền tảng trong một checkpoint 34 tỷ tham số, trong đó khoảng 4,3 tỷ tham số được kích hoạt cho mỗi token, với ngữ cảnh dài 65.536 token. Phần xử lý giọng nói gồm bộ mã hóa ASR Transformer 600 triệu tham số, bộ mã hóa người nói Nemotron-3-Diarization khoảng 99 triệu tham số và một lớp phân loại thời gian kết nối để xác định mốc thời gian của từ; phần ngôn ngữ sử dụng Nemotron-3.5 Lightning 30B-A3B của NVIDIA, một mô hình hỗn hợp chuyên gia kết hợp Mamba-2 và Transformer. Trọng số được cung cấp ở định dạng BF16, cùng các phiên bản lượng tử hóa FP8 và NVFP4, cũng như mô hình nháp DFlash2 tùy chọn để giải mã suy đoán.

Câu lệnh bằng ngôn ngữ tự nhiên kiểm soát đầu ra: nhà phát triển có thể yêu cầu bản ghi nguyên văn hoặc bản chép lời đã biên tập cho dễ đọc, cung cấp từ vựng theo ngữ cảnh như thuật ngữ sản phẩm hoặc y tế, yêu cầu gắn nhãn người nói và mốc thời gian ở cấp độ từ, dịch lời nói sang tiếng Anh hoặc ngược lại, hoặc đặt câu hỏi về âm thanh. Mô hình được huấn luyện để trả lời câu hỏi về âm thanh bằng tiếng Anh; ma trận ngôn ngữ trong thẻ mô hình đánh giá từng tác vụ ở mỗi ngôn ngữ trong số 40 ngôn ngữ theo các mức chất lượng từ Dẫn đầu đến Được hỗ trợ, đồng thời lưu ý rằng khả năng hiểu âm thanh và làm theo chỉ dẫn bằng lời nói chỉ được đánh giá bằng tiếng Anh. Thẻ mô hình nhấn mạnh rằng Transcribe là mô hình ngoại tuyến: việc chia âm thanh thành các đoạn ở bên trong không biến mô hình thành dịch vụ phát trực tuyến theo thời gian thực.

Quá trình huấn luyện sử dụng khoảng 1,72 triệu giờ âm thanh duy nhất đã được lập chỉ mục, trải trên khoảng 372 triệu mẫu, cùng 5,6 tỷ token văn bản duy nhất; dữ liệu lấy từ Granary v2, các kho ngữ liệu cuộc họp có nhiều người nói, dữ liệu hiểu âm thanh và dữ liệu giọng nói tổng hợp có khả năng nhận biết thông tin nhận dạng cá nhân (PII). Một phần dữ liệu huấn luyện được cấp phép từ David AI; thẻ mô hình nêu rõ tập đánh giá DAI-ASR-I18N của David AI không được dùng trong quá trình huấn luyện.

Kết quả chuẩn đối sánh do NVIDIA công bố

NVIDIA cho biết Transcribe đứng đầu trong số các mô hình có trọng số mở trên bảng xếp hạng tiếng Anh Open ASR của Hugging Face, với tỷ lệ lỗi từ trung bình là 5,33%; các mô hình API không được tính. Mô hình cũng đạt kết quả đa ngôn ngữ thấp nhất, với WER trung bình 4,62% trên bảy ngôn ngữ, và kết quả xử lý nội dung dài thấp nhất, ở mức 10,98%, trong số các mô hình có trọng số mở được so sánh trong thẻ mô hình. Trong các bảng riêng của thẻ mô hình, được tổng hợp ngày 12 tháng 10 năm 2026, WER trung bình trên chín bộ dữ liệu tiếng Anh là 4,71%, so với 4,94% của Qwen3-ASR-1.7B, mô hình có trọng số mở đứng kế tiếp; cpWER trung bình trên các bản ghi nhiều người nói là 15,80, so với 16,83 của DiCoW v3.3 khi kết hợp với DiariZen.

Trên chỉ số chuyển giọng nói thành văn bản của Artificial Analysis, NVIDIA cho biết Transcribe đồng hạng nhất trong số các mô hình có trọng số mở, với AA-WER là 2,8%, trong khi chỉ kích hoạt khoảng 4 tỷ tham số cho mỗi token, so với 24 tỷ ở mô hình mà nó đồng hạng. Về nhận diện người nói, thông báo cho biết mô hình có tỷ lệ lỗi phân tách người nói thấp nhất trong số 14 hệ thống trên bài kiểm tra phân tách người nói DAI-ASR-I18N gồm 21 ngôn ngữ của David AI, đạt 18,26%, nhỉnh hơn một chút so với Nemotron 3 Diarization của chính NVIDIA ở mức 18,38%. Mô hình cũng đứng đầu trong số 14 hệ thống trên bài kiểm tra phân tách người nói tiếng Anh Diarization-Bench của VoiceArena, với cpWER là 32,4%; tỷ lệ từ bị xóa là 8,32% số từ trong bản tham chiếu, so với mức trung vị khoảng 31%.

Bộ dữ liệu và quy trình Granary V2

Granary v2, được phát hành cùng với mô hình, là nỗ lực dữ liệu mở đứng sau quá trình huấn luyện. Bản kê khai công khai bao quát 463.062 giờ âm thanh thuộc 48 ngôn ngữ và 16 kho ngữ liệu nguồn, tăng từ 25 ngôn ngữ trong Granary v1; NVIDIA lưu ý rằng các con số này mô tả phiên bản phát hành của bộ dữ liệu, chứ không phải toàn bộ dữ liệu kết hợp dùng để huấn luyện Transcribe. Được xây dựng bằng NVIDIA NeMo Curator, quy trình này tạo ra ba dạng bản chép lời cho mỗi bản ghi (nguyên văn có chuẩn hóa văn bản, chuẩn hóa ngược có giữ lại các chỗ ngập ngừng và chuẩn hóa ngược không có chỗ ngập ngừng), cùng với chú thích, khôi phục việc chuyển đổi giữa các ngôn ngữ, cặp câu hỏi-trả lời dựa trên lời nói, các thuật ngữ điều chỉnh theo ngữ cảnh và bản dịch kèm điểm chất lượng tự động.

Quy trình gồm bốn giai đoạn: chuẩn bị siêu dữ liệu và âm thanh; phiên âm bằng các mô hình ASR chính và dự phòng, được kiểm soát qua bước phát hiện hiện tượng ảo giác; tạo nhãn tác vụ kèm kiểm tra mức độ nhất quán; và lọc độ trung thực cao. Với kho ngữ liệu VoxPopuli, bước lọc này đã giảm dữ liệu từ 354.000 giờ xuống còn 111.000 giờ trên 22 ngôn ngữ châu Âu. Các bản kê khai chứa gợi ý về thực thể, cặp chỉ dẫn, thông tin nguồn gốc và cờ chất lượng cho từng bản ghi; âm thanh nguồn được tải xuống riêng theo giấy phép gốc của từng kho ngữ liệu, còn quy trình chạy với các hệ thống phụ trợ Ray và NVIDIA Dynamo.

Nghiên cứu tình huống tinh chỉnh cho lĩnh vực y tế và triển khai

Để minh họa khả năng thích ứng, thông báo của NVIDIA mô tả một nghiên cứu tình huống y tế sử dụng bộ chuẩn mở của Eka Care, gồm 3.619 bản ghi âm từ các bác sĩ và sinh viên y khoa Ấn Độ. Việc nêu rõ tiếng Anh và bảng chữ cái Latinh trong lời nhắc đã giảm WER trên toàn bộ bộ chuẩn từ 30.8% xuống 23.8%; tinh chỉnh tiếp tục đưa con số này xuống 11.8%. Trên 2.764 đoạn âm thanh giữ lại để đánh giá bằng quy trình KARMA của Eka Care, tinh chỉnh giảm WER từ 22.44% xuống 12.17%, tức giảm tương đối 45.8%; WER từ khóa giảm từ 9.2% xuống 6.5% và WER ngữ nghĩa giảm từ 10.0% xuống 7.6%, trong khi WER trên tập test-clean của LibriSpeech tăng nhẹ từ 1.54% lên 1.69%. Quá trình thích ứng kết hợp khoảng 153 giờ giọng nói tổng hợp với 29 giờ tiếng Anh có giọng vùng miền từ Common Voice và 63 giờ bản ghi âm y tế từ MultiMed, đồng thời mất khoảng 14 giờ GPU trên một NVIDIA GB300.

Mô hình chạy trên một GPU NVIDIA duy nhất, từ Jetson AGX Thor và DGX Spark đến các hệ thống trung tâm dữ liệu Blackwell. NVIDIA cho biết với bản triển khai NIM được tối ưu hóa, một GPU RTX PRO 6000 Blackwell Server Edition có thể phiên âm tối đa 2,238 giây âm thanh mỗi giây bằng độ chính xác NVFP4 kết hợp giải mã suy đoán DFlash2; thông báo cũng cho biết mô hình xử lý 100 giờ âm thanh trong chưa đầy ba phút ở định dạng NVFP4, với các đoạn clip dài 30 giây và mức độ đồng thời cao. Thẻ mô hình lưu ý rằng các tối ưu hóa phục vụ này chưa có trong bản phát hành mã nguồn mở. Việc phục vụ mô hình sử dụng vLLM 0.32.0 cùng trình bổ trợ NeMo Speech, hoặc suy luận cục bộ với NeMo-Speech.cpp; kỹ năng tác nhân tinh chỉnh cho phép một tác nhân lập trình chạy quy trình thích ứng, còn ModelScope hỗ trợ tinh chỉnh thông qua framework ms-swift.