NVIDIA ra mắt các mô hình Nemotron 3.5 mở cho tạo embedding, xếp hạng lại và phân tích cấu trúc

Ngày 21 tháng 10 năm 2026, NVIDIA mở rộng bộ sưu tập Nemotron Retriever với các mô hình mới có trọng số mở, được cung cấp cho mục đích thương mại, phục vụ tạo embedding, xếp hạng lại và trích xuất tài liệu: Nemotron 3.5 Embed với các biến thể 8B BF16, 1B BF16 và 1B NVFP4; Nemotron 3.5 Rerank 8B BF16; và Nemotron 3.5 Parse với 631 triệu tham số.

Trong thông báo do NVIDIA soạn thảo và đăng trên Hugging Face, công ty cho biết đợt phát hành này hướng đến các quy trình làm việc của tác tử trong doanh nghiệp, bổ sung khả năng truy xuất đa phương thức, xếp hạng mức độ liên quan và xử lý tài liệu. NVIDIA nhận định chất lượng truy xuất ảnh hưởng đến cả câu trả lời do tác tử tạo ra lẫn chi phí suy luận LLM cho một tác vụ; công ty cho biết khi bằng chứng truy xuất được không đầy đủ hoặc không liên quan, tác tử sẽ tìm kiếm nhiều hơn và xem xét nhiều tài liệu hơn, tiêu tốn thêm token suy luận trước khi hoàn thành công việc.

Bốn biến thể Embed và Rerank đáp ứng những vai trò triển khai khác nhau. Nemotron 3.5 Embed 8B BF16 được thiết kế cho hoạt động tìm kiếm chú trọng chất lượng trên văn bản và tài liệu có nhiều nội dung trực quan. Mô hình 1B BF16 thu gọn khả năng truy xuất đa phương thức của mô hình 8B vào một quy mô nhỏ hơn, phục vụ lập chỉ mục đa phương thức và xử lý truy vấn. Mô hình 1B NVFP4 áp dụng lượng tử hóa NVFP4 cho cả bộ mã hóa văn bản lẫn hình ảnh, hướng đến việc lập chỉ mục tài liệu quy mô lớn và truy xuất thông lượng cao trên phần cứng được hỗ trợ. Nemotron 3.5 Rerank 8B BF16 đồng thời chấm điểm các cặp truy vấn–tài liệu để cải thiện thứ tự xếp hạng mức độ liên quan giữa các ứng viên văn bản và hình ảnh, qua đó chọn bằng chứng phục vụ tạo sinh tăng cường truy xuất và quy trình làm việc của tác tử. Hoạt động truy xuất bao gồm cả văn bản trong tài liệu lẫn hình ảnh như bảng, biểu đồ, đồ họa thông tin, tài liệu thông số kỹ thuật và sơ đồ. NVIDIA đã đánh giá khả năng truy xuất văn bản bằng 34 ngôn ngữ, đồng thời đánh giá khả năng truy xuất hình ảnh đa ngôn ngữ trên MIRACL Vision, bộ dữ liệu gồm 18 ngôn ngữ, và KoViDoRe; công ty lưu ý các mô hình có thể xử lý thêm những ngôn ngữ ngoài phạm vi thử nghiệm.

Thử nghiệm truy xuất bằng tác tử

Để đo lường ảnh hưởng của hoạt động truy xuất đến hành vi của tác tử, NVIDIA đã đánh giá Nemotron 3.5 Embed và Rerank trên ViDoRe v3, BRIGHT và BrowseComp-Plus. ViDoRe v3 sử dụng kết hợp đầu vào văn bản và hình ảnh, trong khi BRIGHT và BrowseComp-Plus chỉ sử dụng đầu vào văn bản. Quy trình được thử nghiệm yêu cầu một tác tử dùng công cụ tìm kiếm để tìm trong kho dữ liệu, xem xét bằng chứng nhận được rồi điều chỉnh các truy vấn tiếp theo. Ma trận thử nghiệm thay đổi cách triển khai công cụ tìm kiếm trong các cấu hình chỉ dùng embedding và dùng embedding kết hợp với xếp hạng lại, sử dụng những mô hình khác nhau; trong khi đó, LLM, các công cụ, tập tác vụ, kho dữ liệu và chính sách thực thi của tác tử vẫn được giữ nguyên. Đánh giá theo dõi việc tác tử có tìm được thông tin liên quan cho từng tác vụ hay không, đồng thời ghi nhận tổng số token suy luận của tác tử cho mỗi tác vụ qua tất cả các lượt, bao gồm cả token đầu vào và đầu ra.

Theo NVIDIA, việc đưa Nemotron 3.5 Rerank vào quy trình đã giảm khoảng 14% chi phí token của tác tử cho mỗi truy vấn khi kết hợp với mô hình Embed 8B, và giảm 13% khi kết hợp với mô hình 1B; độ chính xác truy xuất cũng được cải thiện trong cả hai cấu hình. NVIDIA cho biết khi kết hợp với mô hình Embed 8B, bộ xếp hạng lại đạt điểm nDCG@10 cao hơn Qwen3-VL-Reranker-8B khoảng 0,9 điểm, với chi phí token của tác tử tương đương.

Kết quả trên bảng xếp hạng

Trên ViDoRe v3.1, NVIDIA cho biết Nemotron 3.5 Embed 8B BF16 đạt 61.17 nDCG@10, đứng đầu trong số các mô hình truy xuất dày đặc tính đến ngày 20 tháng 10 năm 2026. Công ty mô tả đây là mức cải thiện 8,94 điểm so với số điểm 52.23 của mô hình Llama Nemotron Embed VL 1B. Theo NVIDIA, mô hình 1B BF16 được chưng cất đạt 58.38 nDCG@10, bằng 95,4% điểm số của mô hình giáo viên 8B. Trên MIRACL Vision, NVIDIA cho biết mô hình 8B đạt 72.6 nDCG@10, cao hơn Qwen3-VL-Embedding-8B 4,3 điểm; công ty cũng cho biết cả hai kích thước Embed đều vượt các mô hình cơ sở Qwen trên KoViDoRe với đầu vào kết hợp hình ảnh và văn bản.

NVIDIA cùng nhóm MTEB đang ra mắt bảng xếp hạng khả năng xếp hạng lại trên ViDoRe v3.1, bao gồm đầu vào chỉ có hình ảnh, chỉ có văn bản và kết hợp hình ảnh với văn bản. NVIDIA cho biết bộ xếp hạng lại đạt 60.49 nDCG@10 với đầu vào kết hợp, so với 59.17 của Qwen3-VL-Reranker-8B, qua đó đứng đầu bảng xếp hạng này tính đến ngày 20 tháng 10 năm 2026.

Thông lượng và tinh chỉnh theo lĩnh vực

Về triển khai trong môi trường sản xuất, NVIDIA cho biết biến thể NVFP4 có thông lượng cao hơn 27,1% so với mô hình 1B BF16 trên NVIDIA GB200, đạt 128,8 tài liệu mỗi giây so với 101,3, đồng thời duy trì 99,85% độ chính xác truy xuất của mô hình BF16 trên ViDoRe v3 với đầu vào kết hợp hình ảnh và văn bản. Trong thử nghiệm của công ty trên RTX PRO 6000 Blackwell Server Edition, NVIDIA NIM xử lý 6.031 yêu cầu truy vấn mỗi giây, nhanh gấp khoảng 2,9 lần cấu hình vLLM tương đương với 2.099 yêu cầu mỗi giây; thông lượng xử lý đoạn văn bản được mô tả là tương đương.

NVIDIA cũng công bố một quy trình hướng dẫn tinh chỉnh embedding đa phương thức, trình bày xuyên suốt các bước tạo dữ liệu tổng hợp, khai thác mẫu âm khó, tinh chỉnh bằng NVIDIA NeMo AutoModel và đánh giá trong cùng một quy trình, giúp các nhóm tạo truy vấn và nhãn mức độ liên quan từ bộ sưu tập tài liệu của riêng mình. Trong thử nghiệm của NVIDIA với quy trình này, công ty sử dụng 8.202 hình ảnh biểu đồ và đồ họa thông tin cùng 8.591 truy vấn tổng hợp do Qwen3.8-Flash-Next tạo ra; các truy vấn tập trung vào dạng liệt kê và câu hỏi mở, có nhiều hình ảnh liên quan. Sau một epoch tinh chỉnh trên 6.872 truy vấn, điểm nDCG@10 của mô hình 1B BF16 tăng từ 37.34 lên 44.12 trên 1.719 truy vấn tổng hợp được giữ lại để đánh giá. NVIDIA mô tả mức tăng này là 18% tính theo tương đối; mô hình 8B BF16 tăng từ 41.44 lên 42.75, tương ứng mức tăng 3% tính theo tương đối.

Kiến trúc và quá trình huấn luyện mô hình

Đối với mô hình embedding 8B, NVIDIA phát triển dựa trên Ministral-3-8B-Instruct và khởi tạo thành phần ngôn ngữ từ Nemotron-3-Embed-8B-BF16, sau đó áp dụng phương pháp học tương phản trên các kho dữ liệu hình ảnh và văn bản để tạo ra các biểu diễn truy xuất đa phương thức. Các mô hình 1B được chưng cất từ mô hình 8B bằng hàm mất mát cosine và sai số bình phương trung bình, giúp căn chỉnh embedding của mô hình học viên với embedding của mô hình giáo viên; thành phần ngôn ngữ của chúng được khởi tạo từ Nemotron-3-Embed-1B-BF16. Vì thành phần ngôn ngữ được giữ cố định trong quá trình huấn luyện embedding, NVIDIA cho biết embedding chỉ từ văn bản sẽ khớp với embedding của các mô hình Nemotron 3 Embed tương ứng, nhờ đó có thể tiếp tục sử dụng các embedding văn bản và chỉ mục vector hiện có.

Nemotron 3.5 Rerank có chung kiến trúc mạng xương sống với mô hình embedding 8B, nhưng hoạt động như một bộ mã hóa chéo, mã hóa đồng thời từng cặp truy vấn–tài liệu thay vì tạo embedding riêng cho truy vấn và tài liệu để chấm điểm mức độ tương đồng; sau đó, một đầu chấm điểm perceptron nhiều lớp tạo ra một giá trị logit mức độ liên quan. Tất cả các mô hình đều được huấn luyện trên tập dữ liệu kết hợp giữa dữ liệu đa ngôn ngữ, đa phương thức công khai và dữ liệu tổng hợp; trọng số phát hành cuối cùng được tạo bằng phương pháp kết hợp các điểm kiểm tra mô hình. NVIDIA cho biết có thể tìm thêm thông tin về dữ liệu huấn luyện trong thẻ mô hình Hugging Face của từng mô hình.

Nemotron 3.5 Parse

Nemotron 3.5 Parse chuyển đổi hình ảnh tài liệu thành văn bản máy có thể đọc được, đồng thời giữ nguyên cấu trúc giúp nội dung có ý nghĩa. Mô hình nhận diện các thành phần của tài liệu, vị trí và thứ tự đọc của chúng, sau đó xuất bảng và biểu đồ dưới dạng Markdown, bảng HTML và các khối có cấu trúc để nhà phát triển có thể lập chỉ mục, tìm kiếm và xử lý ở các bước tiếp theo. NVIDIA báo cáo Parse đạt 75.20 điểm trên ParseBench với tốc độ 10.5 trang mỗi giây trên một GPU NVIDIA H100, đứng đầu trong số các mô hình có dưới 1 tỷ tham số tính đến ngày 20 tháng 10 năm 2026. ParseBench đánh giá khả năng trích xuất bảng và biểu đồ, độ trung thực của nội dung, định dạng ngữ nghĩa và khả năng liên kết với nội dung trực quan.

Ba chế độ suy luận cho phép nhà phát triển đánh đổi thông lượng để lấy độ chính xác khi sử dụng cùng một mô hình. Chế độ một lượt xử lý mỗi trang một lần và đạt 72.74 điểm với tốc độ 16.1 trang mỗi giây. Chế độ hai lượt xử lý lại các bảng và biểu đồ được đánh dấu trong lần phân tích trang ban đầu, đạt 74.92 điểm với tốc độ 11.2 trang mỗi giây. Chế độ ba lượt bổ sung một bước phát hiện để tìm thêm các vùng cần tinh chỉnh, đạt 75.20 điểm với tốc độ 10.5 trang mỗi giây. NVIDIA mô tả cả ba điểm vận hành này là tối ưu Pareto trong phạm vi so sánh của mình, vì không cấu hình nào khác được đem ra so sánh có thể đồng thời cải thiện độ chính xác và thông lượng.

Dữ liệu huấn luyện cho Parse bao gồm tài liệu doanh nghiệp, bài báo khoa học, biểu mẫu, bảng, biểu đồ và văn bản đa ngôn ngữ, được mở rộng nhờ một hệ thống tạo dữ liệu tổng hợp; NVIDIA cho biết mô hình đạt hiệu suất cao trong các đánh giá bao quát 163 tổ hợp ngôn ngữ và hệ chữ. Trong giai đoạn huấn luyện sau, NVIDIA áp dụng phương pháp Tối ưu hóa Chính sách Tương đối theo Nhóm (Group Relative Policy Optimization), sử dụng các mức thưởng tùy chỉnh cho cấu trúc chính xác và hình phạt cho các lỗi. Theo NVIDIA, phương pháp này giúp giảm các vòng lặp tạo nội dung lặp lại và các khối chưa đóng, làm cho bảng nhất quán hơn, đồng thời cải thiện mức độ tuân thủ các lược đồ biểu đồ. NVIDIA cũng cảm ơn LightOn, đồng thời cho biết các kỹ thuật mã nguồn mở được chia sẻ đã đóng vai trò then chốt trong việc cải thiện mô hình.

Đánh giá từ đối tác và khả năng cung cấp

Thông báo bao gồm các đánh giá ban đầu từ những đối tác doanh nghiệp. Theo bài đăng, với Elastic, Inference API trong Elasticsearch cung cấp các mô hình embedding và xếp hạng lại Nemotron Retriever thông qua các điểm cuối suy luận của NVIDIA; Nemotron 3 sẽ sớm được bổ sung thông qua Elastic Inference Service, còn hỗ trợ triển khai tại chỗ đang nằm trong lộ trình. Vectorize đã thử nghiệm Nemotron 3.5 Embed trong Hindsight Agent Memory và, theo bài đăng, mô hình đứng đầu ở hai điểm chuẩn về bộ nhớ hội thoại dài, đạt recall@10 là 93.8% trên LoCoMo và 65.9% trên BEAM 100K khi so với bảy mô hình embedding cạnh tranh, đồng thời đạt MRR và recall@5 cao nhất. Trong đánh giá của Perplexity, Nemotron 3.5 Rerank 8B đạt điểm trung bình cao nhất trên điểm chuẩn xếp hạng lại riêng gồm 72 tác vụ của Perplexity, với kết quả cao được ghi nhận trên cả sáu lĩnh vực. Turbopuffer, đơn vị đã thử nghiệm mô hình embedding 8B trên điểm chuẩn tìm kiếm PDF doanh nghiệp, báo cáo rằng mô hình này cung cấp nhiều hơn khoảng 5% kết quả phù hợp ở Recall@20 so với mô hình đứng thứ hai, đồng thời hiện cung cấp các mô hình này như một tùy chọn tạo embedding tích hợp sẵn.

Trọng số mở, dữ liệu và quy trình huấn luyện được cung cấp trên Hugging Face; có thể triển khai trong môi trường sản xuất thông qua NVIDIA NIM cũng như các đối tác đám mây AI và suy luận Baseten, DeepInfra và FriendliAI. Các quy trình tinh chỉnh embedding và xếp hạng lại được đăng trong kho GitHub NVIDIA NeMo Nemotron.