NVIDIA ra mắt các mô hình mở Nemotron 3.5 Super VL và Bolt dành cho thiết bị biên

NVIDIA ra mắt Nemotron 3.5 Super VL vào ngày 15 tháng 10 năm 2026, một mô hình đa phương thức mở có 120 tỷ tham số, hướng đến các tác tử chuyên biệt hoạt động liên tục, cùng với hai mô hình Bolt nhỏ hơn dành cho phần cứng biên và thiết bị cục bộ. Super VL và Nemotron 3.5 Bolt 74B-A9B 24GB hiện đã có mặt, còn Nemotron 3.5 Bolt E4B 4GB dự kiến ra mắt vào ngày 23 tháng 10 năm 2026.

Các sản phẩm mới mở rộng dòng Nemotron, được NVIDIA phân chia theo cấp độ triển khai. Lightning, ra mắt vào tháng 8, xử lý các tác vụ có thông lượng cao; Ultra đảm nhiệm những tác vụ suy luận khó nhất; còn Bolt hướng đến thiết bị biên. NVIDIA cho biết ba mô hình mở mới bao quát toàn bộ phạm vi triển khai tác tử, từ máy chủ doanh nghiệp quy mô lớn đến thiết bị biên và phần cứng cục bộ, đồng thời Super VL được phát triển với sự hợp tác của Nemotron Coalition.

Kiến trúc và hiệu năng được công bố

Super VL sử dụng kiến trúc hỗn hợp chuyên gia (mixture-of-experts) có 120 tỷ tham số, kích hoạt 12 tỷ tham số cho mỗi token. NVIDIA cho biết mô hình đạt độ chính xác cao trong các tác vụ tác tử đa phương thức, bao gồm làm theo hướng dẫn, sử dụng công cụ, xử lý quy trình kinh doanh nhiều bước và hiểu hình ảnh, với hiệu năng tương đương mô hình suy luận lớn nhất của hãng dù chỉ có khoảng một phần năm số tham số. NVIDIA cũng mô tả đây là mô hình tác tử mở nhanh nhất trong cùng phân khúc, với thông lượng cao hơn tới 5 lần so với các mô hình mở khác cùng cỡ khi chạy trên một GPU.

Mô hình kết hợp khả năng suy luận, làm theo hướng dẫn và sử dụng công cụ với khả năng hiểu văn bản, hình ảnh, tài liệu và video trong một hệ thống duy nhất. Theo blog kỹ thuật của NVIDIA, sự tích hợp này cho phép các nhóm xử lý tác vụ văn bản và hình ảnh mà không cần triển khai riêng các mô hình văn bản và mô hình ngôn ngữ-hình ảnh, cũng không phải chuyển ngữ cảnh tác vụ giữa chúng. NVIDIA cho biết quá trình huấn luyện thị giác-ngôn ngữ của mô hình tập trung vào những nội dung mà tác tử thường gặp trong thực tế: nhận dạng ký tự quang học, bảng biểu, biểu đồ và thông tin có cấu trúc trong các tài liệu trực quan như trang web và PDF.

Các kết quả đánh giá NVIDIA công bố cho thấy Super VL đạt 63.44% trên Hermes Bench và 87.05% trong các bài đánh giá hành vi của LangChain, so với mức lần lượt là 56.33% và 84.3% của Nemotron 3 Ultra. Trên CharXiv, một bộ tiêu chuẩn đánh giá khả năng suy luận từ biểu đồ, NVIDIA báo cáo Super VL đạt 80.8%, so với 63% của Nemotron 3 Nano Omni; kết quả tăng lên 84% khi mô hình sử dụng khả năng diễn giải mã Python. NVIDIA cũng mô tả Super VL là một trong những mô hình mở hàng đầu trên bảng xếp hạng OCRBench v2; blog kỹ thuật cho biết một đánh giá độc lập của EXO Labs đã xếp mô hình vào biên Pareto về độ chính xác và thời gian hoàn thành tác vụ trên DGX Spark.

Thiết kế huấn luyện và suy luận

Super VL được chưng cất từ Nemotron 3 Ultra; blog kỹ thuật ghi nhận năng lực lập trình của Ultra và hàm mất mát SkewReverse được sử dụng trong quá trình chưng cất đã giúp cải thiện độ chính xác khi lập trình. Trong giai đoạn huấn luyện hậu kỳ, phương pháp chưng cất theo chính sách của nhiều giáo viên kết hợp hướng dẫn từ các giáo viên chuyên biệt về văn bản và hình ảnh; các giáo viên chấm điểm phản hồi của mô hình về suy luận và theo dõi video, sử dụng công cụ thị giác và căn chỉnh. Blog kỹ thuật cũng đề cập đóng góp của các tổ chức thuộc Nemotron Coalition: các bộ dữ liệu từ Perplexity hỗ trợ giai đoạn huấn luyện giữa kỳ của mô hình, còn các môi trường từ Prime Intellect được dùng để xây dựng các mô hình giáo viên.

Nemotron 3.5 Super VL được huấn luyện trên khoảng 26 nghìn tỷ token trong các giai đoạn tiền huấn luyện và tiếp tục tiền huấn luyện, sau đó được huấn luyện hậu kỳ bằng khoảng 3,8 triệu mẫu và học tăng cường trong hàng chục môi trường. Giai đoạn tiếp tục tiền huấn luyện bổ sung 10 tỷ token tiếng Ấn Độ; NVIDIA cũng đang phát hành một bộ dữ liệu gồm khoảng 2,8 nghìn tỷ token thuộc 22 ngôn ngữ Ấn Độ, được phát triển cùng IIT Madras và phòng thí nghiệm AI4Bharat của viện này.

Bản phát hành bao gồm các điểm kiểm tra của mô hình nền, mô hình đã qua huấn luyện hậu kỳ và mô hình được lượng tử hóa bằng NVFP4. Công thức NVFP4 sử dụng trọng số và giá trị kích hoạt 4 bit trên kiến trúc Blackwell của NVIDIA, kết hợp với phương pháp chưng cất có nhận biết lượng tử hóa nhằm thu hẹp khoảng cách về độ chính xác do lượng tử hóa gây ra. NVIDIA cho biết kỹ thuật giải mã suy đoán mở có tên LiLiCorr tạo token nhanh hơn tới 2.3 lần so với giải mã không dùng suy đoán trên DGX Spark. Dự đoán nhiều token cung cấp cho mô hình một bộ tạo dự thảo nội bộ, đề xuất nhiều token để xác minh trong một lượt truyền xuôi; các tối ưu hóa phục vụ tái sử dụng ngữ cảnh duy trì cả bộ nhớ đệm attention lẫn trạng thái hồi quy Mamba qua những lần gọi tác tử lặp lại.

Các mô hình Bolt dành cho thiết bị biên

Bolt 74B-A9B 24GB sử dụng lượng tử hóa 2 bit nguyên bản để vừa với bộ nhớ 24GB và chạy cục bộ trên NVIDIA RTX và DGX Spark cùng lúc với các ứng dụng khác. NVIDIA mô tả đây là mô hình mở đứng đầu phân khúc trên PinchBench và xếp thứ hai trong số các mô hình mở trên BrowseComp. Mô hình hiện có trên Hugging Face, hỗ trợ llama.cpp, Ollama, LM Studio, Unsloth và vLLM. Mô hình được thiết kế cho máy tính xách tay NVIDIA RTX Spark, dự kiến ra mắt vào ngày 16 tháng 10 năm 2026, đồng thời cũng chạy được trên máy tính GeForce RTX, DGX Spark, DGX Station và máy trạm RTX PRO.

Bolt E4B 4GB hướng đến các tác tử vật lý và hội thoại trên GeForce RTX, Jetson và RTX/DGX Spark, kết hợp khả năng trò chuyện tự nhiên với các năng lực tác tử đa lượt để phục vụ trợ lý giọng nói cục bộ, nhân vật tương tác và giao diện nhúng.

Tùy chỉnh, đơn vị tiên phong áp dụng và triển khai

Mô hình được cung cấp cùng trọng số mở, bộ dữ liệu mở và công thức huấn luyện; có thể tùy chỉnh thông qua NVIDIA NeMo, các quy trình xử lý dựa trên Python và bộ dữ liệu mở. NVIDIA đang phát hành trên Hugging Face các bộ dữ liệu mở về sử dụng công cụ của tác tử AI, tài chính, làm theo chỉ dẫn, ngữ cảnh dài, công bằng và 45 bộ dữ liệu thị giác-ngôn ngữ, cùng với các môi trường học tăng cường trong NeMo Gym.

Theo NVIDIA, hàng chục tổ chức đang tiếp tục huấn luyện Super VL trên dữ liệu, công cụ, chính sách và quy trình làm việc của riêng mình. Scale AI đã huấn luyện hậu kỳ mô hình để phục vụ tác tử tài chính tín dụng nhà cung cấp của Skydance và tác tử thẩm định chuyên sâu M&A của EY; bài viết kỹ thuật cho biết chi phí suy luận cho khối lượng công việc của Skydance sẽ giảm 40 lần và độ trễ giảm 5 lần. AfterQuery đã tùy chỉnh mô hình cho Hebbia để phân tích các thỏa thuận tín dụng, còn AI21 và Alice đã huấn luyện hậu kỳ mô hình nhằm tăng khả năng chống chịu trước các cuộc tấn công mạng; NVIDIA cho biết độ chính xác trong hoạt động phân tích tình báo về mối đe dọa và lỗ hổng của Alice cao hơn 40%. Mercor đã huấn luyện hậu kỳ mô hình trên bài kiểm tra lập trình APEX-SWE để xây dựng các tác tử lập trình có khả năng lập kế hoạch, viết và gỡ lỗi mã. Ramp đang chuyển đổi hình ảnh biên lai thành JSON có cấu trúc, chứa thông tin về đơn vị bán hàng, ngày tháng và dữ liệu thanh toán; theo bài viết kỹ thuật, công ty kỳ vọng thông lượng tăng tới 50% và độ trễ giảm 10 lần.

Các công ty nền tảng phần mềm tích hợp Super VL gồm Atlassian, dùng cho tìm kiếm bằng tác tử AI trên các ứng dụng như Jira và Confluence; CrowdStrike, dùng cho hoạt động đội xanh bằng tác tử AI trong lĩnh vực bảo mật doanh nghiệp; Dassault Systèmes, dùng trong thiết kế và mô phỏng kỹ thuật; và Perplexity, dùng cho tìm kiếm và các tác vụ bằng tác tử AI. Salesforce đang tùy chỉnh Nemotron để vận hành các tác tử AI số hóa và tự động hóa quy trình làm việc của chính phủ thông qua Missionforce Operations; phần mềm của Synopsys dùng để xác minh thiết kế bán dẫn cũng có thể tương tác với mô hình.

Để triển khai, NVIDIA NIM đóng gói mô hình thành một vi dịch vụ sẵn sàng đưa vào sản xuất, được cập nhật hai tuần một lần với các bản vá bảo mật và cải tiến hiệu năng. NVIDIA cho biết khi chạy trên 16 GPU B200 ở tốc độ 50 token mỗi giây cho mỗi người dùng, dịch vụ Dynamo với tính năng định tuyến nhận biết bộ nhớ đệm KV có thể phục vụ số người dùng nhiều hơn tới 8 lần, đồng thời giảm 85% độ trễ đến token đầu tiên. Hiện có thể sử dụng Super VL trên Hugging Face, OpenRouter, ModelScope và dưới dạng NVIDIA NIM; mô hình chạy trên DGX Spark, DGX Station, các hệ thống RTX PRO và RTX, Jetson, cũng như trong môi trường trung tâm dữ liệu và đám mây.