Mô hình và nền tảng AI
Sarvam mở nhà máy token tại Ấn Độ cho các mô hình có trọng số mở

Điểm chínhSarvam phục vụ các mô hình trọng số mở từ GPU của Ấn Độ thay vì chuyển tiếp yêu cầu đến…
Xem thêm
- Sarvam phục vụ các mô hình trọng số mở từ GPU của Ấn Độ thay vì chuyển tiếp yêu cầu đến API của nhà phát triển ở nước ngoài.
- Việc tách prefill khỏi decode trên các nhóm GPU riêng biệt giúp các lời nhắc lập trình dài không làm đình trệ các phiên decode đang hoạt động.
- So sánh DeepSeek của chính Sarvam cho thấy Together trả về token đầu tiên nhanh hơn và truyền phát ở tốc độ 278 token đầu ra mỗi giây.
Ngày 16 tháng 11 năm 2026, Sarvam AI ra mắt Sarvam Token Factory dành cho nhà phát triển và doanh nghiệp, cung cấp các mô hình có trọng số mở của chính mình và bên thứ ba từ những cụm GPU tại Ấn Độ thông qua một API tương thích với OpenAI. Sarvam cho biết dịch vụ hiện xử lý hơn 450 tỷ token DeepSeek V4.1 Flash mỗi ngày.
Danh mục mô hình ra mắt gồm Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro và Gemma 4 31B. Tài liệu API cho biết Token Factory sử dụng cùng khóa API, SDK và tín dụng như các API khác của Sarvam: người dùng thay đổi model trường này để chuyển đổi mô hình, còn các ứng dụng tương thích với OpenAI có thể được cấu hình để kết nối tới https://api.sarvam.ai/v2.
Giá cả, triển khai và xử lý dữ liệu
Giá ưu đãi ra mắt của Sarvam 105B là ₹10 cho mỗi triệu token đầu vào và ₹25 cho mỗi triệu token đầu ra. Điểm cuối Standard của DeepSeek V4.1 Flash 1017 có giá lần lượt là ₹14 và ₹55. Cả hai đều có mức giá token đầu vào được lưu trong bộ nhớ đệm là ₹0,25 cho mỗi triệu token trong danh mục giá. Tài liệu API cho biết giá ưu đãi ra mắt có hiệu lực đến hết năm 2026; tất cả mức giá bằng rupee đều chưa bao gồm GST.
Quyền truy cập không chỉ giới hạn ở các điểm cuối phi máy chủ tính phí theo mức sử dụng. DeepSeek V4 Pro và Kimi K3.1 Pro được kích hoạt riêng cho từng tổ chức theo hình thức Thông lượng được cấp phát, trong khi các mô hình khác trong đợt ra mắt được cung cấp dưới dạng phi máy chủ. Khách hàng có thể chọn dung lượng dùng chung hoặc dành riêng. Sarvam cũng cung cấp bộ công cụ tối ưu hóa suy luận để triển khai tại chỗ và cho biết hệ thống này đã được vận hành theo cách đó tại các tổ chức trọng yếu.
Trang sản phẩm của Sarvam cho biết quá trình suy luận được thực hiện trên GPU do Sarvam vận hành tại Ấn Độ, thay vì chuyển tiếp đến các API ở nước ngoài của nhà phát triển mô hình gốc. Theo thỏa thuận không lưu giữ dữ liệu đã thống nhất, lời nhắc và phản hồi sẽ không được lưu lại; phạm vi xử lý nhật ký vận hành được quy định riêng. Dữ liệu khách hàng không được dùng để huấn luyện mô hình cho khách hàng khác, và các đợt triển khai cho doanh nghiệp đi kèm thỏa thuận mức dịch vụ có tính ràng buộc theo hợp đồng, bảo đảm thời gian hoạt động 99,95%.
Bộ nhớ đệm dùng chung cho các phiên làm việc dài của tác tử
Ngăn xếp phục vụ tách riêng giai đoạn tiền nạp, đọc toàn bộ lời nhắc, với giai đoạn giải mã, tạo từng token một; hai giai đoạn này chạy trên các cụm GPU khác nhau. Cách tách này nhằm ngăn một lời nhắc lập trình dài mới khiến các phiên giải mã đang hoạt động bị đình trệ, như có thể xảy ra khi cả hai giai đoạn dùng chung một GPU. Mặt phẳng điều khiển có khả năng nhận biết bộ nhớ đệm định tuyến mỗi lượt xử lý về ngữ cảnh hiện có, trong khi khâu tiếp nhận chỉ tính các token chưa được lưu trong bộ nhớ đệm.
Một tầng bộ nhớ đệm thứ hai, kho G3 dựa trên Mooncake của Moonshot, có thể được mọi máy chủ tiền nạp truy cập và lưu lời nhắc trong nhiều giờ hoặc nhiều ngày, tùy theo lưu lượng. Chỉ riêng bộ nhớ GPU có thể giữ lời nhắc khoảng bốn giây, giảm còn khoảng hai giây khi tải cao. Khác biệt đó rất quan trọng đối với các tác tử quay lại sau khi gọi công cụ với lời nhắc gần như giống hệt. Sarvam cho biết 95,7% số token lời nhắc DeepSeek V4.1 Flash được phục vụ từ bộ nhớ đệm, đồng thời G3 giúp giảm số nút tiền nạp GLM 5.3 cần thiết ở mức cao nhất từ 58 xuống còn 34.
Với Sarvam 105B, công ty cho biết việc chuyển từ trọng số BF16 sang MXFP8, định dạng 8 bit, đồng thời bổ sung giải mã suy đoán đã giúp thông lượng đầu ra tăng khoảng 2,2 lần, trong khi số GPU B200 trên mỗi bản sao giảm từ hai xuống còn một mà không làm giảm độ chính xác. Riêng một tác tử điều phối giao các thử nghiệm tối ưu hóa cho các tác tử con, nhưng kỹ sư phải phê duyệt mọi thay đổi trước khi triển khai.
Hiệu năng trên các mô hình và điểm cuối
Sarvam cho biết trong thử nghiệm trung vị kéo dài 72 giờ, Gemma 4 31B nhận lời nhắc 10.000 token từ một ứng dụng khách AWS tại Mumbai, trả về token đầu tiên trong 0,40 giây và truyền 308 token mỗi giây; nhà cung cấp duy nhất khác phục vụ mô hình này đạt lần lượt 2,00 giây và 193 token mỗi giây. Phép so sánh sử dụng gói dịch vụ tốt nhất của nhà cung cấp đó cho từng chỉ số. Trong một thử nghiệm riêng của Sarvam với Kimi K3.1 Pro trên các dấu vết hoạt động của tác tử lập trình và 16 GPU B200, hệ thống đạt 6.177 token mỗi giây trên mỗi GPU, ở mức khoảng 70 token mỗi giây cho mỗi người dùng, so với mức 3.213 trên đường cong hiệu năng do InferenceX công bố.
Kết quả so sánh riêng của Sarvam về DeepSeek V4.1 Flash kém thuận lợi hơn: trong phép thử độ trễ với lời nhắc 10.000 token, Together trả về token đầu tiên trong 0,71 giây, so với 0,90 giây của Sarvam Standard. Một bảng riêng của Sarvam về giá và tốc độ ghi nhận Together đạt 278 token đầu ra mỗi giây, còn Sarvam Standard đạt 130. Các số liệu độ trễ được đo từ ngày 3 đến ngày 5 tháng 11 năm 2026, với mỗi lần chỉ gửi một yêu cầu và sử dụng gói dịch vụ nhanh nhất của từng nhà cung cấp.
Token Factory đặt chính ngăn xếp phục vụ làm sản phẩm cốt lõi. Cơ sở kinh doanh của dịch vụ kết hợp xử lý dữ liệu tại Ấn Độ và khả năng chuyển đổi tương thích với OpenAI với mức tiết kiệm GPU nhờ bộ nhớ đệm và tinh chỉnh theo từng mô hình; kết quả được công bố cho thấy mức cải thiện đáng kể ở một số khối lượng công việc, đồng thời cũng cho thấy lợi thế về thông lượng và độ trễ thay đổi tùy theo mô hình và điểm cuối.












