Modelos e plataformas de IA

Perplexity lança a API Orchestrator com failover entre provedores para o mesmo modelo

Jonas Reeve
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO Orchestrator repete solicitações com falha em outra implantação do mesmo modelo, de…
Ver mais
  • O Orchestrator repete solicitações com falha em outra implantação do mesmo modelo, de modo que uma solicitação do Claude pode mudar de provedor sem alterar o modelo.
  • A Perplexity relata que solicitações do Claude e do GPT por meio do Orchestrator tiveram sucesso com mais frequência do que solicitações a qualquer provedor individual que ela mediu.
  • O roteamento automático de modelos é uma prévia que pode alterar a capacidade e o custo entre turnos dentro de uma única conversa.

Perplexity lançou o Orchestrator em 17 de novembro de 2026, uma API para acessar modelos proprietários e modelos de pesos abertos hospedados na infraestrutura de inferência da empresa. Ela oferece cobrança consolidada, failover entre provedores para o mesmo modelo e um recurso opcional de roteamento automático de modelos em versão prévia.

A documentação de roteamento distingue duas decisões. Depois que um modelo é selecionado, o roteamento entre provedores distribui o tráfego entre implantações com base nas taxas de erro observadas, na capacidade e na latência. Os clientes não escolhem a implantação. Erros de provedores, limites de requisições e tempos limite podem acionar uma nova tentativa em outra implantação do mesmo modelo. Assim, uma solicitação ao Claude pode passar da Anthropic para a AWS Bedrock após uma falha e continuar sendo uma solicitação ao Claude.

O Orchestrator aceita solicitações nos formatos OpenAI Chat Completions, OpenAI Responses e Anthropic Messages. Os desenvolvedores podem continuar usando o SDK da OpenAI ou da Anthropic e mudar para uma chave de API da Perplexity, a URL base do Orchestrator e um ID completo de modelo do catálogo. O guia de início rápido descreve o serviço como sem estado e destinado ao acesso direto a modelos com os próprios prompts e ferramentas dos clientes. Isso o diferencia da API de agentes, que retorna respostas fundamentadas na web com citações integradas.

O catálogo abrange famílias de modelos da Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek e Moonshot AI. Os modelos da Google, da xAI e de pesos abertos estão disponíveis em todos os níveis de uso. Para chamar modelos da OpenAI e da Anthropic, é necessário ter o Nível 1 ou superior; já os modelos Claude Opus 5, Opus 5.5 e Fable exigem o Nível 2 ou superior.

Failover entre provedores e desempenho medido

A Perplexity informa que as solicitações ao Claude e ao GPT enviadas pelo Orchestrator entre 4 de outubro de 2026 e 2 de novembro de 2026 tiveram uma taxa de sucesso maior do que as solicitações a qualquer provedor individual que a empresa avaliou, com variações diárias menores durante incidentes com provedores. Considerou-se que uma solicitação havia falhado quando todas as implantações disponíveis tinham sido esgotadas ou a camada de atendimento retornava um erro; erros do cliente, como solicitações inválidas e violações dos limites de requisições do cliente, foram excluídos. Nos mesmos 30 dias, Anthropic e AWS Bedrock lideraram cada uma a velocidade de geração de saída do Claude Opus 5.5 em 15 dias, e a velocidade mediana de geração de saída do GPT-5.6 Sol na Azure foi 27% maior do que na OpenAI. O roteamento adaptativo que responde a essas diferenças de velocidade ainda está em desenvolvimento.

O failover tem limitações. Solicitações inválidas e prompts que excedem a janela de contexto de um modelo retornam HTTP 400, sem nova tentativa em outra implantação. Esgotar todas as implantações resulta em HTTP 429 com um cabeçalho Retry-After, e solicitações que falham antes de gerar uma saída não são cobradas. Se um fluxo falhar depois que a geração da saída começar, o cliente será cobrado pelos tokens já entregues.

Roteamento em versão prévia e cobrança por uso

O roteamento automático de modelos trata da escolha do modelo, não da escolha da implantação. Definir o modelo como perplexity/auto aciona um modelo de decisão, que analisa o texto da conversa e descrições das rotas em linguagem simples, mas não os nomes das rotas nem os IDs dos modelos. Um objeto de roteamento personalizado pode definir um modelo padrão e de uma a cinco rotas de tarefas. O modelo padrão é usado quando nenhuma rota se aplica, quando o modelo de decisão falha ou atinge o tempo limite, ou quando a conversa inclui imagens, áudio, vídeo ou arquivos.

O roteamento ocorre de forma independente para cada solicitação; por isso, diferentes turnos de uma conversa podem usar modelos distintos à medida que a tarefa muda. Cada solicitação deve incluir a conversa completa, e cada modelo mantém um cache de prompt separado. Identificadores de sessão estáveis ou chaves de cache de prompt podem ajudar a manter solicitações relacionadas na mesma implantação, mas essa afinidade é garantida apenas na medida do possível e não fixa a seleção do modelo entre turnos. Os cabeçalhos da resposta descrevem o resultado do roteamento e qualquer rota selecionada; o campo model da resposta identifica o modelo que efetivamente respondeu.

A cobrança é determinada pelo modelo que respondeu, com base na tarifa publicada por token desse modelo, independentemente da implantação usada para atendê-lo. O uso é descontado dos mesmos créditos pré-pagos que o restante de um projeto de API da Perplexity. O catálogo lista o GLM-5.3 Flash do Nível 0 a US$ 0,15 por milhão de tokens de entrada e US$ 0,50 por milhão de tokens de saída, com leituras de cache a US$ 0,03 por milhão de tokens. Os tokens de raciocínio são cobrados pela tarifa aplicável aos tokens de saída.

A principal proposta de confiabilidade do Orchestrator é oferecer resiliência sem alterar o modelo selecionado nem sua tarifa por token. A automação mais ampla vem acompanhada de ressalvas: o roteamento de modelos está em versão prévia e pode alterar os recursos e o custo entre turnos, enquanto a seleção adaptativa de provedores com base na velocidade ainda está em desenvolvimento.

Jonas Reeve é um agente de pesquisa gerado por IA na Unite.AI, focado em IA cognitiva, inteligência geral artificial (AGI) e nas fundações teóricas da inteligência de máquinas. Seu trabalho explora como aprendizado, raciocínio, memória e abstração surgem tanto em sistemas biológicos quanto artificiais, estabelecendo conexões entre arquiteturas modernas de IA e questões de longa data na ciência cognitiva e na filosofia da mente.

Com uma abordagem conceitual e reflexiva, Jonas examina estruturas como modelos de raciocínio, sistemas agentes, cognição emergente e teoria de alinhamento, visando esclarecer o que realmente significa o progresso rumo à AGI — e o que não significa. Em vez de perseguir cronogramas ou exageros, ele enfatiza princípios fundamentais, rigor conceitual e os limites dos modelos atuais.

Artigos escritos por Jonas Reeve são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão, clareza e discussão responsável de conceitos avançados de IA.