AI 模型与平台
Sarvam 为开放权重模型推出印度本土托管的 Token Factory

要点Sarvam 从印度 GPU 提供开放权重模型,而不是将请求转发到海外开发者的 API。
查看更多
- Sarvam 从印度 GPU 提供开放权重模型,而不是将请求转发到海外开发者的 API。
- 将预填充与解码分离到不同的 GPU 池上,可防止长编码提示阻塞活跃的解码会话。
- Sarvam 自己的 DeepSeek 对比显示,Together 返回首批 token 更快,并以每秒 278 个输出 token 的速度进行流式传输。
2026年11月16日,Sarvam AI 推出了 Sarvam Token Factory,面向开发者和企业,通过一个兼容 OpenAI 的 API,在印度的 GPU 集群上提供自有及第三方开放权重模型服务。Sarvam 表示,该服务目前每天处理超过 4,500 亿个 DeepSeek V4.1 Flash token。
此次推出的模型包括 Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3.1 Pro 和 Gemma 4 31B。其API 文档称,Token Factory 使用与 Sarvam 其他 API 相同的 API 密钥、SDK 和额度:用户更改 model 字段即可切换模型;兼容 OpenAI 的客户端则可将请求指向 https://api.sarvam.ai/v2.
定价、部署与数据处理
Sarvam 105B 的首发价格为每百万个输入 token ₹10、每百万个输出 token ₹25。DeepSeek V4.1 Flash 1017 的 Standard 端点价格分别为 ₹14 和 ₹55。两者的缓存输入价格均为每百万个 token ₹0.25,详见定价目录。API 文档称,首发价格持续至 2026 年底;所有卢比价格均不含 GST。
访问方式不限于按使用量计费的无服务器端点。DeepSeek V4 Pro 和 Kimi K3.1 Pro 可通过 Provisioned Throughput 按组织启用,其他首发模型则列为无服务器模型。客户可以选择共享或专用算力。Sarvam 还提供用于本地部署的推理优化技术栈,并表示目前已为关键机构采用这种部署方式。
Sarvam 的产品页面称,推理任务由 Sarvam 在印度运营的 GPU 执行,而不会转发至原始模型开发者在海外的 API。根据双方约定的零数据保留安排,提示词和响应不会被保留;运营日志则另行规定处理范围。客户数据不会用于训练供其他客户使用的模型,企业部署还包含合同服务等级协议,保证 99.95% 的正常运行时间。
面向长时间智能体会话的共享缓存
服务技术栈将预填充分离出来:预填充阶段读取完整提示词,解码阶段则逐个生成 token;两个阶段分别运行在不同的 GPU 池上。这种分离旨在避免新的长篇编码提示词阻塞正在进行的解码会话;如果两个阶段共用一块 GPU,就可能出现这种情况。具备缓存感知能力的控制平面会将每轮请求路由至其已有上下文,而准入计数只计算未缓存的 token。
第二层缓存是基于 Moonshot 的 Mooncake 构建的 G3 存储层,所有预填充服务器都可以访问它,并会根据流量情况将提示词保留数小时或数天。仅靠 GPU 显存,提示词只能保留约 4 秒;负载升高时,这一时间会降至约 2 秒。对于调用工具后带着几乎相同提示词返回的智能体而言,这一差异十分重要。Sarvam 表示,DeepSeek V4.1 Flash 的提示词 token 中有 95.7% 通过缓存提供;G3 还将 GLM 5.3 所需的预填充节点峰值数量从 58 个降至 34 个。
针对 Sarvam 105B,该公司表示,将 BF16 权重改为 8 位格式 MXFP8,并加入推测解码后,输出吞吐量提高了约 2.2 倍,同时将每个副本所需的 B200 GPU 数量从两块减至一块,且准确率没有下降。另一方面,一个编排智能体会将优化实验分配给子智能体,但每项变更在部署前都须经工程师批准。
不同模型与端点的性能
Sarvam 表示,在一项为期 72 小时的测试中,从 AWS 孟买客户端发送 10,000-token 提示词后,Gemma 4 31B 的中位首 token 延迟为 0.40 秒,生成速度为每秒 308 个 token;唯一一家提供该模型的其他服务商则分别为 2.00 秒和每秒 193 个 token。比较时,每项指标均采用该服务商表现最佳的套餐。Sarvam 另行使用编码智能体轨迹和 16 块 B200 GPU 对 Kimi K3.1 Pro 进行测试,结果为每块 GPU 每秒生成 6,177 个 token,平均每位用户约每秒 70 个 token;InferenceX 公布的曲线对应数值为 3,213。
Sarvam 自行进行的 DeepSeek V4.1 Flash 对比测试结果则不占优势:在使用 10,000-token 提示词进行的延迟测试中,Together 的首 token 延迟为 0.71 秒,Sarvam Standard 为 0.90 秒。Sarvam 另行发布的价格与速度对比表显示,Together 的输出速度为每秒 278 个 token,Sarvam Standard 则为每秒 130 个 token。延迟数据于 2026 年11月3日至5日测得,测试时每次只发送一个请求,并使用各服务商速度最快的套餐。
Token Factory 将服务技术栈本身打造为核心产品。其商业价值在于结合印度本地处理能力和兼容 OpenAI 的迁移方式,以及通过缓存和针对各模型进行调优来节省 GPU 资源;公布的结果显示,部分工作负载的性能提升显著,但吞吐量和延迟方面的优势会因模型和端点而异。












