AI 模型与平台

Perplexity 推出具备同模型故障切换功能的 Orchestrator API

Jonas Reeve
将 Unite.AI 添加到您在 Google 上的首选来源
要点Orchestrator会在同一模型的另一个部署上重试失败的请求,因此Claude请求可以在不更换模型的情况下切换提供商。
查看更多
  • Orchestrator会在同一模型的另一个部署上重试失败的请求,因此Claude请求可以在不更换模型的情况下切换提供商。
  • Perplexity报告称,通过Orchestrator发出的Claude和GPT请求,其成功率高于其测量的任何单个提供商的请求。
  • 自动模型路由是一项预览功能,可能会在单次对话的不同轮次之间改变能力和成本。

Perplexity 于 2026 年 11 月 17 日推出了 Orchestrator,这是一款 API,可用于访问托管在该公司推理基础设施上的专有模型和开放权重模型。它提供统一计费、同模型提供商故障切换,以及一项处于预览阶段的可选自动模型路由功能。

路由文档将两项决策区分开来。选定模型后,提供商路由会根据观测到的错误率、容量和延迟,在各个部署之间分配流量。客户无法选择部署。提供商错误、速率限制和超时可能触发在该模型的另一个部署上重试;因此,Claude 请求发生故障后可以从 Anthropic 切换到 AWS Bedrock,同时仍然是 Claude 请求。

Orchestrator 接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 请求。开发者可以继续使用自己的 OpenAI 或 Anthropic SDK,只需改用 Perplexity API 密钥、Orchestrator 基础 URL,以及从模型目录中选择的完整模型 ID。快速入门指南将这项服务描述为无状态服务,旨在让客户使用自己的提示词和工具直接访问模型。这一点使它有别于Agent API;后者返回以网络信息为依据并内置引用的答案。

模型目录涵盖 Anthropic、OpenAI、Google、xAI、Z.AI、DeepSeek 和 Moonshot AI 的模型系列。所有使用等级均可访问 Google、xAI 和开放权重模型。调用 OpenAI 和 Anthropic 模型需要达到 Tier 1 或更高级别,而 Claude Opus 5、Opus 5.5 和 Fable 模型则需要达到 Tier 2 或更高级别。

提供商故障切换与实测性能

Perplexity 报告称,在 2026 年 10 月 4 日至 2026 年 11 月 2 日期间,通过 Orchestrator 发送的 Claude 和 GPT 请求,成功率高于发往其测评的任何单个提供商的请求;提供商发生故障时,每日波动幅度也较小。这里的失败是指所有可用部署均已耗尽,或服务层返回错误;无效请求、违反客户端速率限制等客户端错误不在统计之列。在同一 30 天内,Anthropic 和 AWS Bedrock 各有 15 天在 Claude Opus 5.5 输出速度方面领先;Azure 的 GPT-5.6 Sol 输出速度中位数则比 OpenAI 高 27%。能够根据这些速度差异作出响应的自适应路由仍在开发中。

故障切换有其限制。无效请求以及超出模型上下文窗口的提示词会返回 HTTP 400,不会在其他部署上重试。所有部署均耗尽时会返回带有 Retry-After 标头的 HTTP 429;未能生成任何输出的请求不计费。如果流式传输在开始输出后失败,客户仍需为已传输的令牌付费。

预览版路由与按用量计费

自动模型路由针对的是模型选择,而非部署选择。将 model 设置为 perplexity/auto 会调用一个决策模型。该模型可以查看对话文本和自然语言描述的路由,但看不到路由名称或模型 ID。自定义路由对象可以定义一个默认模型和一至五条任务路由。如果没有合适的路由、决策模型失败或超时,或者对话中包含图像、音频、视频或文件,就会使用默认模型。

每个请求都会独立进行路由,因此随着任务变化,同一对话中的不同轮次可以使用不同模型。每个请求都必须携带完整对话内容,而且每个模型都有独立的提示词缓存。稳定的会话标识符或提示词缓存键有助于让相关请求使用同一部署,但这种亲和性仅尽力而为,无法保证跨轮次固定使用同一模型。响应标头会说明路由结果及所选路由;响应中的 model 字段则标明实际作答的模型。

计费依据是实际作答的模型,并按该模型公布的每令牌费率计算,无论请求由哪个部署处理。用量从与 Perplexity API 项目其他服务共用的预付额度中扣除。模型目录列出的 Tier 0 GLM-5.3 Flash 价格为:每百万输入令牌 0.15 美元,每百万输出令牌 0.50 美元;缓存读取费用为每百万令牌 0.03 美元。推理令牌按适用的输出费率计费。

Orchestrator 最明确的可靠性优势,是无需更改所选模型或其令牌费率即可提升韧性。其更广泛的自动化能力则有一些限制:模型路由仍处于预览阶段,不同轮次可能使用能力和成本各异的模型;而能够感知速度差异的自适应提供商选择功能仍在开发中。

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。