AI 모델 및 플랫폼
Perplexity, 동일 모델 내 장애 조치를 지원하는 Orchestrator API 출시

핵심 포인트오케스트레이터는 동일한 모델의 다른 배포에서 실패한 요청을 재시도하므로 Claude 요청이 모델을 변경하지 않고도 제공자를 전환할 수 있습니다.
더 보기
- 오케스트레이터는 동일한 모델의 다른 배포에서 실패한 요청을 재시도하므로 Claude 요청이 모델을 변경하지 않고도 제공자를 전환할 수 있습니다.
- Perplexity는 오케스트레이터를 통한 Claude 및 GPT 요청이 측정한 개별 제공자에 대한 요청보다 더 자주 성공했다고 보고합니다.
- 자동 모델 라우팅은 단일 대화 내에서 턴 사이에 기능과 비용이 변경될 수 있는 미리보기입니다.
Perplexity는 2026년 11월 17일 Orchestrator를 출시했다. 이 API를 이용하면 회사의 추론 인프라에서 호스팅되는 독점 모델과 오픈 웨이트 모델에 액세스할 수 있다. 통합 결제, 동일 모델 내 공급자 장애 조치, 그리고 미리보기로 제공되는 선택형 자동 모델 라우팅 기능을 지원한다.
라우팅 문서에서는 두 가지 결정을 구분한다. 모델을 선택한 뒤 공급자 라우팅은 관측된 오류율, 용량, 지연 시간을 바탕으로 여러 배포 환경에 트래픽을 분산한다. 고객은 배포 환경을 선택하지 않는다. 공급자 오류, 요청 제한 또는 시간 초과가 발생하면 같은 모델의 다른 배포 환경으로 재시도할 수 있다. 따라서 Claude 요청은 실패가 발생한 뒤에도 Claude 요청으로 유지된 채 Anthropic에서 AWS Bedrock으로 이동할 수 있다.
Orchestrator는 OpenAI Chat Completions, OpenAI Responses, Anthropic Messages 요청을 지원한다. 개발자는 기존 OpenAI 또는 Anthropic SDK를 그대로 사용하면서 Perplexity API 키와 Orchestrator 기본 URL, 카탈로그의 전체 모델 ID로 바꾸면 된다. 빠른 시작 안내에서는 이 서비스를 상태 비저장 방식으로 설명하며, 고객이 직접 제공하는 프롬프트와 도구를 사용해 모델에 직접 액세스하도록 설계됐다고 안내한다. 이는 웹 기반 근거와 기본 제공 인용을 포함한 답변을 반환하는 Agent API와 차이가 있다.
카탈로그에는 Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek, Moonshot AI의 모델 제품군이 포함된다. Google, xAI 모델과 오픈 웨이트 모델은 모든 사용 등급에서 이용할 수 있다. OpenAI 및 Anthropic 모델을 호출하려면 Tier 1 이상이어야 하며, Claude Opus 5, Opus 5.5, Fable 모델을 호출하려면 Tier 2 이상이어야 한다.
공급자 장애 조치와 측정된 성능
Perplexity에 따르면 2026년 10월 4일부터 2026년 11월 2일까지 Orchestrator를 통해 전송된 Claude 및 GPT 요청은 측정 대상인 어느 개별 공급자에 직접 보낸 요청보다 성공률이 높았으며, 공급자 장애가 발생했을 때 일별 성능 변동 폭도 더 작았다. 실패란 이용 가능한 모든 배포 환경을 소진했거나 서비스 제공 계층에서 오류가 반환된 경우를 뜻한다. 잘못된 요청이나 클라이언트 요청 제한 위반과 같은 클라이언트 오류는 집계에서 제외됐다. 같은 30일 동안 Anthropic과 AWS Bedrock은 각각 15일씩 Claude Opus 5.5의 출력 속도에서 가장 앞섰으며, Azure의 GPT-5.6 Sol 출력 속도 중앙값은 OpenAI보다 27% 높았다. 이러한 속도 차이에 대응하는 적응형 라우팅은 아직 개발 중이다.
장애 조치에는 한계가 있다. 잘못된 요청과 모델의 컨텍스트 창을 초과하는 프롬프트에는 다른 배포 환경으로 재시도하지 않고 HTTP 400을 반환한다. 모든 배포 환경이 소진되면 Retry-After 헤더와 함께 HTTP 429를 반환하며, 출력을 생성하기 전에 실패한 요청에는 요금이 부과되지 않는다. 스트림에서 출력이 시작된 뒤 오류가 발생하면 고객에게 이미 전달된 토큰에 대해 요금이 부과된다.
미리보기 라우팅 및 사용량 기반 요금
자동 모델 라우팅은 배포 환경이 아니라 모델 선택을 처리한다. 모델을 다음과 같이 설정하면 perplexity/auto 결정 모델이 호출된다. 이 모델에는 대화 내용과 일반 언어로 작성된 경로 설명이 전달되지만 경로 이름이나 모델 ID는 전달되지 않는다. 사용자 지정 라우팅 객체에는 기본 모델과 1~5개의 작업 경로를 정의할 수 있다. 적합한 경로가 없거나 결정 모델이 실패하거나 시간 초과되는 경우, 또는 대화에 이미지, 오디오, 비디오나 파일이 포함된 경우에는 기본 모델이 사용된다.
라우팅은 요청마다 독립적으로 이뤄지므로 작업이 바뀌면 한 대화의 각 차례에서 서로 다른 모델을 사용할 수 있다. 모든 요청에는 전체 대화 내용이 포함되어야 하며, 모델마다 별도의 프롬프트 캐시를 유지한다. 안정적인 세션 식별자나 프롬프트 캐시 키를 사용하면 관련 요청을 하나의 배포 환경에 유지하는 데 도움이 될 수 있지만, 이러한 선호도는 최선의 노력 수준으로 제공되며 대화의 각 차례에서 모델 선택을 고정하지는 않는다. 응답 헤더에는 라우팅 결과와 선택된 경로가 표시되고, 응답의 model 필드에는 실제로 답변한 모델이 표시된다.
요금은 실제로 답변한 모델의 공개된 토큰당 요율을 기준으로 부과되며, 어떤 배포 환경이 응답을 제공했는지는 관계없다. 사용량은 다른 Perplexity API 프로젝트와 동일한 선불 크레딧에서 차감된다. 카탈로그에는 Tier 0 모델인 GLM-5.3 Flash의 요율이 입력 토큰 100만 개당 0.15달러, 출력 토큰 100만 개당 0.50달러로 표시되어 있으며, 캐시 읽기는 토큰 100만 개당 0.03달러다. 추론 토큰에는 해당 출력 요율이 적용된다.
Orchestrator의 가장 분명한 신뢰성 측면의 강점은 선택한 모델이나 토큰 요율을 바꾸지 않고도 복원력을 제공한다는 점이다. 다만 더 폭넓은 자동화에는 몇 가지 조건이 따른다. 모델 라우팅은 미리보기 기능이므로 대화 차례에 따라 기능과 비용이 달라질 수 있으며, 속도에 대응하는 적응형 공급자 선택은 아직 개발 중이다.












