Baseten mang chuyên môn về suy luận đến Liên minh Nemotron của NVIDIA

Ngày 5 tháng 11 năm 2026, Baseten thông báo đã gia nhập Liên minh Nemotron của NVIDIA, đóng góp những hiểu biết từ khối lượng công việc doanh nghiệp cùng chuyên môn về hậu huấn luyện và suy luận cho quá trình phát triển mô hình mở. Việc gia nhập mở rộng hợp tác giữa công ty với NVIDIA trên các lĩnh vực ra mắt mô hình, học tăng cường, tùy chỉnh và suy luận chuyên dụng.

NVIDIA ra mắt liên minh vào ngày 16 tháng 3 năm 2026 nhằm tập hợp nghiên cứu, chuyên môn, dữ liệu và năng lực tính toán xoay quanh các mô hình tiên phong mở. Thông báo ra mắt của NVIDIA cho biết dự án đầu tiên sẽ là một mô hình nền tảng do Mistral AI và NVIDIA cùng phát triển, được huấn luyện trên NVIDIA DGX Cloud, phát hành dưới dạng mã nguồn mở để các nhà phát triển và tổ chức chuyên biệt hóa, đồng thời làm nền tảng cho dòng Nemotron 4 sắp ra mắt.

Baseten là đối tác ra mắt ngay từ ngày đầu của Nemotron 3.5 Super VL và Nemotron 3 Ultra. Vai trò của công ty trong liên minh không chỉ dừng ở việc cung cấp các mô hình hoàn thiện mà còn bao gồm môi trường huấn luyện và kiến thức vận hành được đúc kết từ quá trình sử dụng trong doanh nghiệp. Trọng tâm thực tiễn là tùy chỉnh theo các yêu cầu kinh doanh cụ thể, đồng thời xem chất lượng triển khai, chi phí và tính linh hoạt là những mối quan tâm gắn kết với nhau.

Huấn luyện cho khối lượng công việc thực tế

Công ty đã phát triển các môi trường học tăng cường để xử lý hệ thống chỉ dẫn phân cấp phức tạp, bỏ qua thông tin thừa và làm theo những yêu cầu chi tiết về văn phong. Các môi trường khác tập trung vào suy luận và lập kế hoạch trong thời gian dài thông qua phân tích thống kê các tập dữ liệu sinh học phức tạp, chứng minh định lý toán học và chơi trò chơi mang tính cạnh tranh. Những tác vụ này phản ánh cách chỉ dẫn trong môi trường sản xuất được truyền tải qua lời nhắc hệ thống, định nghĩa công cụ, câu hỏi tiếp nối của người dùng, phản hồi từ công cụ và thông báo lỗi.

Công việc đa phương thức của Baseten bổ sung các tác vụ suy luận thị giác và không gian, cùng những lượt gọi công cụ nhiều bước đòi hỏi khả năng hiểu hình ảnh. Baseten cho biết hậu huấn luyện đã cải thiện kết quả trên MMMU-Pro, một bộ tiêu chuẩn đánh giá năng lực suy luận đa phương thức ở cấp độ chuyên gia. Một bài báo nghiên cứu liên quan, được gửi vào ngày 5 tháng 10 năm 2026, mô tả một bộ chiếu 50 triệu tham số kết nối bộ mã hóa thị giác của Kimi K2.6 với GLM 5.2 và GLM 5.3 trong khi giữ nguyên các trọng số đã tiền huấn luyện; bài báo đánh giá bộ chiếu này trên MMMU-Pro và BLINK.

Kết quả tùy chỉnh được đo lường

Bản tường thuật nghiên cứu ngày 11 tháng 8 năm 2026 của CodeRabbit mô tả một dự án cùng NVIDIA và Baseten nhằm tùy chỉnh Nemotron 3.5 Lightning để định tuyến yêu cầu đánh giá mã, thông qua tinh chỉnh có giám sát rồi đến học tăng cường với phần thưởng có thể xác minh. Trong một đợt đánh giá cố định gồm 1.000 tác vụ, tỷ lệ khớp chính xác về định tuyến tăng từ 75,8% với mô hình cơ sở lên 80,4% sau khi tinh chỉnh có giám sát và 80,7% sau khi huấn luyện bằng phần thưởng. Kappa của Cohen, thước đo mức độ đồng thuận vượt quá khả năng trùng hợp ngẫu nhiên, tăng từ 0,429 lên 0,461 rồi 0,544.

CodeRabbit xem mức thay đổi cuối cùng 0,3 điểm phần trăm về tỷ lệ khớp định tuyến là không làm giảm hiệu suất, chứ không phải một cải thiện có ý nghĩa thống kê mang tính quyết định, vì khoảng tin cậy ghép cặp có chứa số 0. So sánh về chi phí phục vụ của công ty ước tính chi phí giảm 50,4% ở mức thông lượng bão hòa: cùng một lượt đánh giá tốn 2,34 USD trên mô hình cơ sở và 1,16 USD trên một A100 của Baseten. Các bước kiểm tra dưới tải liên tục và lưu lượng thực tế vẫn được để lại cho giai đoạn sau.

Harvey là một trường hợp tùy chỉnh khác. Baseten cho biết nền tảng AI pháp lý này hậu huấn luyện Nemotron trên Baseten để phục vụ các quy trình chuyên biệt cho hàng chục nghìn luật sư mỗi ngày. Một nghiên cứu riêng do Harvey và Baseten công bố ngày 8 tháng 9 năm 2026 đã tải một phòng dữ liệu M&A vào môi trường Python và cho phép một tác tử gốc phân công các tác vụ rà soát có phạm vi giới hạn cho những tác tử phụ. Harvey báo cáo rằng trên bảy mô hình được thử nghiệm với 50 phòng dữ liệu giữ lại để đánh giá, hệ thống này đã nâng tỷ lệ đạt tiêu chí trung bình theo thang đánh giá từ 23,3% lên 62,4%.

Bản tường thuật của Harvey cũng cho biết học tăng cường trên mô hình gốc Qwen3.5-122B-A10B đã nâng tỷ lệ đạt từ 29,9% lên 63,0% trên 50 phòng dữ liệu đó, đồng thời mô tả các thử nghiệm là những khảo sát ban đầu và khoảng cách còn lại để đạt tỷ lệ gần như tuyệt đối là đáng kể.

Triển khai và AI giọng nói

Baseten Loops kết nối các quy trình học tăng cường được quản lý với suy luận chuyên dụng, trong khi khách hàng vẫn sở hữu các trọng số mô hình đã huấn luyện. Loops hỗ trợ Nemotron 3.5 Super VL và Nemotron 3 Ultra; Super VL có thể được huấn luyện bằng BF16 và NVFP4.

Các công ty cũng đang đánh giá những tác tử giọng nói dùng Nemotron trên toàn bộ ứng dụng, bao gồm chất lượng mô hình và khả năng phản hồi. Phép thử chuẩn nhận dạng giọng nói ngày 4 tháng 8 năm 2026 của Baseten cho biết một NVIDIA H100 duy trì được tối đa 100 luồng âm thanh WebSocket thời gian thực đồng thời. Độ trễ hoàn tất — khoảng thời gian từ khi người nói kết thúc đến khi bản ghi chép cuối cùng sẵn sàng — tăng từ 98 mili giây ở mức tám luồng lên 138 mili giây ở mức 100 luồng.

Việc gia nhập liên minh của Baseten kết nối quá trình điều chỉnh mô hình với hạ tầng dùng để cung cấp các mô hình sau khi hoàn thiện. Kết quả từ khách hàng là bằng chứng cụ thể cho cách tiếp cận này, trong khi ước tính ở mức thông lượng bão hòa và các bước kiểm tra sản xuất chưa hoàn tất của CodeRabbit, cùng những thử nghiệm giai đoạn đầu của Harvey, cho thấy các giới hạn của nó. Câu hỏi cốt yếu là những mức cải thiện được đo lường sẽ duy trì tốt đến đâu khi vận hành liên tục trong môi trường sản xuất.