AI 模型与平台

Sarvam 为开放权重模型推出印度本土托管的 Token Factory

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点Sarvam 从印度 GPU 提供开放权重模型,而不是将请求转发到海外开发者的 API。
查看更多
  • Sarvam 从印度 GPU 提供开放权重模型,而不是将请求转发到海外开发者的 API。
  • 将预填充与解码分离到不同的 GPU 池上,可防止长编码提示阻塞活跃的解码会话。
  • Sarvam 自己的 DeepSeek 对比显示,Together 返回首批 token 更快,并以每秒 278 个输出 token 的速度进行流式传输。

2026年11月16日,Sarvam AI 推出了 Sarvam Token Factory,面向开发者和企业,通过一个兼容 OpenAI 的 API,在印度的 GPU 集群上提供自有及第三方开放权重模型服务。Sarvam 表示,该服务目前每天处理超过 4,500 亿个 DeepSeek V4.1 Flash token。

此次推出的模型包括 Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3.1 Pro 和 Gemma 4 31B。其API 文档称,Token Factory 使用与 Sarvam 其他 API 相同的 API 密钥、SDK 和额度:用户更改 model 字段即可切换模型;兼容 OpenAI 的客户端则可将请求指向 https://api.sarvam.ai/v2.

定价、部署与数据处理

Sarvam 105B 的首发价格为每百万个输入 token ₹10、每百万个输出 token ₹25。DeepSeek V4.1 Flash 1017 的 Standard 端点价格分别为 ₹14 和 ₹55。两者的缓存输入价格均为每百万个 token ₹0.25,详见定价目录。API 文档称,首发价格持续至 2026 年底;所有卢比价格均不含 GST。

访问方式不限于按使用量计费的无服务器端点。DeepSeek V4 Pro 和 Kimi K3.1 Pro 可通过 Provisioned Throughput 按组织启用,其他首发模型则列为无服务器模型。客户可以选择共享或专用算力。Sarvam 还提供用于本地部署的推理优化技术栈,并表示目前已为关键机构采用这种部署方式。

Sarvam 的产品页面称,推理任务由 Sarvam 在印度运营的 GPU 执行,而不会转发至原始模型开发者在海外的 API。根据双方约定的零数据保留安排,提示词和响应不会被保留;运营日志则另行规定处理范围。客户数据不会用于训练供其他客户使用的模型,企业部署还包含合同服务等级协议,保证 99.95% 的正常运行时间。

面向长时间智能体会话的共享缓存

服务技术栈将预填充分离出来:预填充阶段读取完整提示词,解码阶段则逐个生成 token;两个阶段分别运行在不同的 GPU 池上。这种分离旨在避免新的长篇编码提示词阻塞正在进行的解码会话;如果两个阶段共用一块 GPU,就可能出现这种情况。具备缓存感知能力的控制平面会将每轮请求路由至其已有上下文,而准入计数只计算未缓存的 token。

第二层缓存是基于 Moonshot 的 Mooncake 构建的 G3 存储层,所有预填充服务器都可以访问它,并会根据流量情况将提示词保留数小时或数天。仅靠 GPU 显存,提示词只能保留约 4 秒;负载升高时,这一时间会降至约 2 秒。对于调用工具后带着几乎相同提示词返回的智能体而言,这一差异十分重要。Sarvam 表示,DeepSeek V4.1 Flash 的提示词 token 中有 95.7% 通过缓存提供;G3 还将 GLM 5.3 所需的预填充节点峰值数量从 58 个降至 34 个。

针对 Sarvam 105B,该公司表示,将 BF16 权重改为 8 位格式 MXFP8,并加入推测解码后,输出吞吐量提高了约 2.2 倍,同时将每个副本所需的 B200 GPU 数量从两块减至一块,且准确率没有下降。另一方面,一个编排智能体会将优化实验分配给子智能体,但每项变更在部署前都须经工程师批准。

不同模型与端点的性能

Sarvam 表示,在一项为期 72 小时的测试中,从 AWS 孟买客户端发送 10,000-token 提示词后,Gemma 4 31B 的中位首 token 延迟为 0.40 秒,生成速度为每秒 308 个 token;唯一一家提供该模型的其他服务商则分别为 2.00 秒和每秒 193 个 token。比较时,每项指标均采用该服务商表现最佳的套餐。Sarvam 另行使用编码智能体轨迹和 16 块 B200 GPU 对 Kimi K3.1 Pro 进行测试,结果为每块 GPU 每秒生成 6,177 个 token,平均每位用户约每秒 70 个 token;InferenceX 公布的曲线对应数值为 3,213。

Sarvam 自行进行的 DeepSeek V4.1 Flash 对比测试结果则不占优势:在使用 10,000-token 提示词进行的延迟测试中,Together 的首 token 延迟为 0.71 秒,Sarvam Standard 为 0.90 秒。Sarvam 另行发布的价格与速度对比表显示,Together 的输出速度为每秒 278 个 token,Sarvam Standard 则为每秒 130 个 token。延迟数据于 2026 年11月3日至5日测得,测试时每次只发送一个请求,并使用各服务商速度最快的套餐。

Token Factory 将服务技术栈本身打造为核心产品。其商业价值在于结合印度本地处理能力和兼容 OpenAI 的迁移方式,以及通过缓存和针对各模型进行调优来节省 GPU 资源;公布的结果显示,部分工作负载的性能提升显著,但吞吐量和延迟方面的优势会因模型和端点而异。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。