AI 模型与平台

Baseten以私密预览形式推出 Voice Agent Stack 和 Realtime Voice

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点将编排与语音模型共置可消除远程编排器每轮增加的网路往返。
查看更多
  • 将编排与语音模型共置可消除远程编排器每轮增加的网路往返。
  • Baseten 的技术栈让操作者能够独立扩展每个流水线阶段,而不是复制整个流水线。
  • OpenAI SDK 客户端无法直接连接,因为 Baseten 的端点不提供所附加的实时路径。

Baseten宣布,将于2026年11月16日推出 Voice Agent Stack 和 Baseten Realtime Voice,并通过候补名单开放两者的私密预览。据其测试环境的数据,在最多56个并发会话下,轮次延迟中位数约为1秒。该技术栈将语音模型与编排器部署在同一位置,允许客户独立选择模型,并分别扩展各个流水线组件。

同区域部署的基础设施

Voice Agent Stack 运行于 Baseten Dedicated Inference,将编排器和模型部署在同一云区域,并通过集群内网络连接。Baseten表示,即使语音转文本、语言处理和文本转语音组件都托管在其平台上,远程编排器每轮仍可能因网络往返而增加数百毫秒延迟。该技术栈还提供推理运行时优化、模型间网络连接、流量自动扩缩容、跨云故障切换以及模型后训练支持。

Realtime Voice 是一套参考实现,采用由 Baseten 优化的开放权重模型级联,处理语音转文本、语言处理和文本转语音,并配有基于 Pipecat 定制的编排器。其可选的委派设计由快速且与编排器同区域部署的对话模型负责交互,同时由能力更强的外部思考模型异步处理推理、网络搜索、决策和工具调用。服务器端工具在同区域部署的编排器上执行;该编排器还可以调用远程 Model Context Protocol 服务器,从而避免客户端额外的网络往返;此外也支持客户端工具。

模型控制与 API 兼容性

客户可以分别选择语音转文本、语言处理和文本转语音模型,将专用组件与第三方 API 组合使用,并随着时间推移,将各个组件迁移到专用基础设施上。后训练选项包括根据行业术语调整转录、针对通话场景微调语言模型行为,以及使用客户的语音数据对语音模型进行监督微调。会话可以切换语言模型、语音或转录路径,无需重新部署。

该 API 与 OpenAI Realtime 的核心事件协议一致,支持音频输入/音频输出和文本输入/音频输出模式,还支持转录关键词增强、可配置的确认回复和语音克隆。实际使用中存在兼容性限制:客户端必须能够接受完整的 WebSocket URL。OpenAI 的 Python SDK 无法直接连接,因为它会在基础 URL 后追加 /realtime 一个路径,而 Baseten 的端点并不提供该路径。浏览器客户端需要通过后端保存 API 密钥并转发套接字,因为浏览器无法设置所需的 Authorization 请求头。

并发情况下的延迟与成本

Baseten报告称,并发通话数从1增加到56时,首次音频输出的中位时间从0.94秒升至1.14秒。延迟测试使用的上下文最长为16,000个令牌;更长的上下文可能增加轮次延迟,而可配置的摘要功能可以将每个会话的上下文长度控制在目标范围内。测试配置包括:在一块 RTX-6000 上运行 Qwen3-ASR,在一块 B200 上运行 Gemma-4-31B,在另一块 RTX-6000 上运行 Qwen3-TTS,并通过 Baseten Model APIs 使用 GLM-5.3 Fast 进行委派。

每个组件都根据自身的并发目标独立扩缩容,使运营人员能够只为达到容量上限的阶段增加容量,而不必复制整条流水线。该设计旨在保持 p90 和 p95 延迟尾部严格受控,同时维持较高的 GPU 利用率。Baseten估算,在其所述的利用率假设下,32个并发会话时,每分钟音频成本为0.012美元(不包括思考模型委派的每令牌费用);56个会话时,每通话分钟成本为0.008美元,其中包括 Model API 委派费用。专用定价将硬件成本分摊到更多会话,因此,持续保持较高利用率是实现这些成本效益的关键。

Coval 提供的一项独立语音转文本基准测试可作为组件层面的参考。其24小时排行榜的数据时间戳为2026年11月16日 UTC 17:30;按最终片段到达时间中位数排名,由 Baseten 托管的 Qwen3 ASR 1.7b 位列第二,成绩为33毫秒;在456个样本中的词错误率为2.1%。该指标从双方共用的语音结束时刻开始计时,到最终转录文本到达时结束,不包括实时系统检测到轮次结束所花费的时间。因此,它并不能衡量代理的完整响应时间。

Baseten表示,后续工作包括支持更复杂的编排流程、让现有语音流水线更易迁移、原生语音到语音全双工系统、配有专用语音生成头的全模态模型,以及适用于级联架构的新调度原语。此次发布使编排成为语音代理成本效益的控制点:模型选择、工具执行和组件级容量管理一并处理,让运营人员能够通过多种方式调整延迟和 GPU 使用率,而无需重建整条流水线。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。