Модели и платформы ИИ
Perplexity запускает API Orchestrator с переключением на того же провайдера модели при сбое

Ключевые моментыОркестратор повторяет неудавшиеся запросы на другом развертывании той же модели…
Показать больше
- Оркестратор повторяет неудавшиеся запросы на другом развертывании той же модели, поэтому запрос Claude может переключаться между провайдерами без смены модели.
- Perplexity сообщает, что запросы Claude и GPT через Оркестратор завершались успешно чаще, чем запросы к любому отдельному провайдеру, который она измеряла.
- Автоматическая маршрутизация моделей — это предварительная версия, которая может менять возможности и стоимость между ходами в рамках одного разговора.
Perplexity запустила Orchestrator 17 ноября 2026 года — API для доступа к проприетарным моделям и моделям с открытыми весами, размещённым на собственной инфраструктуре компании для инференса. API обеспечивает консолидированную тарификацию, переключение между провайдерами той же модели при сбое и дополнительную функцию автоматической маршрутизации моделей, доступную в предварительной версии.
В документации по маршрутизации описаны два отдельных решения. После выбора модели маршрутизация между провайдерами распределяет трафик между развёртываниями с учётом наблюдаемых показателей ошибок, доступной мощности и задержки. Клиенты не выбирают конкретное развёртывание. Ошибки провайдера, ограничения частоты запросов и превышение времени ожидания могут вызвать повторную попытку на другом развёртывании той же модели. Поэтому после сбоя запрос к Claude может быть перенаправлен от Anthropic к AWS Bedrock, оставаясь запросом к Claude.
Orchestrator принимает запросы в форматах OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Разработчики могут продолжать использовать SDK от OpenAI или Anthropic, заменив только ключ API на ключ Perplexity, базовый URL Orchestrator и полный идентификатор модели из каталога. В кратком руководстве по началу работы сервис описан как не сохраняющий состояние и предназначенный для прямого доступа к моделям с использованием собственных промптов и инструментов клиентов. Этим он отличается от API Agent, который возвращает ответы, основанные на веб-источниках, со встроенными цитатами.
Каталог включает семейства моделей от Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek и Moonshot AI. Модели Google, xAI и модели с открытыми весами доступны на всех уровнях использования. Для вызова моделей OpenAI и Anthropic требуется уровень Tier 1 или выше, а для Claude Opus 5, Opus 5.5 и моделей Fable — Tier 2 или выше.
Переключение между провайдерами при сбое и измеренная производительность
По данным Perplexity, запросы к Claude и GPT, отправленные через Orchestrator с 4 октября по 2 ноября 2026 года, завершались успешно чаще, чем запросы к любому отдельно взятому провайдеру, производительность которого измерялась; при этом во время сбоев у провайдеров суточные колебания были меньше. Сбоем считалась ситуация, когда исчерпаны все доступные развёртывания или слой обработки запросов возвращал ошибку; ошибки клиента, например некорректные запросы и превышение клиентом лимита частоты запросов, не учитывались. За те же 30 дней Anthropic и AWS Bedrock каждый лидировали по скорости генерации Claude Opus 5.5 в течение 15 дней, а медианная скорость генерации GPT-5.6 Sol в Azure была на 27% выше, чем в OpenAI. Адаптивная маршрутизация с учётом таких различий в скорости всё ещё находится в разработке.
У переключения при сбое есть ограничения. Некорректные запросы и промпты, превышающие контекстное окно модели, приводят к ответу HTTP 400 без повторной попытки на другом развёртывании. Если исчерпаны все развёртывания, возвращается HTTP 429 с заголовком Retry-After, а запросы, завершившиеся сбоем до выдачи результата, не тарифицируются. Если поток прерывается после начала выдачи результата, клиент оплачивает уже переданные токены.
Маршрутизация в предварительной версии и оплата по фактическому использованию
Автоматическая маршрутизация моделей решает задачу выбора модели, а не развёртывания. Если указать в поле модели значение perplexity/auto вызывается модель принятия решения: она анализирует текст диалога и описания маршрутов на обычном языке, но не видит названий маршрутов и идентификаторов моделей. Пользовательский объект маршрутизации может задавать модель по умолчанию и от одного до пяти маршрутов для конкретных задач. Модель по умолчанию используется, если ни один маршрут не подходит, модель принятия решения выдаёт ошибку или не отвечает вовремя либо диалог содержит изображения, аудио, видео или файлы.
Маршрутизация выполняется отдельно для каждого запроса, поэтому на разных этапах одного диалога могут использоваться разные модели в зависимости от задачи. Каждый запрос должен содержать весь диалог, а у каждой модели свой отдельный кэш промптов. Стабильные идентификаторы сеанса или ключи кэша промптов могут помочь направлять связанные запросы на одно развёртывание, однако такое закрепление не гарантируется и не фиксирует выбор модели между этапами диалога. В заголовках ответа указываются результат маршрутизации и выбранный маршрут, если он есть; поле model в ответе показывает, какая модель фактически на него ответила.
Оплата рассчитывается по тарифу за токен, установленному для ответившей модели, независимо от того, какое развёртывание её обслуживало. Расходы списываются с тех же предоплаченных средств, что и остальные расходы в рамках проекта Perplexity API. В каталоге указано, что модель GLM-5.3 Flash уровня Tier 0 стоит 0,15 доллара за миллион входных токенов и 0,50 доллара за миллион выходных токенов; чтение из кэша стоит 0,03 доллара за миллион токенов. Токены рассуждений оплачиваются по применимому тарифу на выходные токены.
Главное преимущество Orchestrator с точки зрения надёжности — устойчивость без смены выбранной модели или тарифа за токены. Однако возможности автоматизации имеют ограничения: маршрутизация моделей пока доступна в предварительной версии и может менять модель и стоимость между этапами диалога, а адаптивный выбор провайдера с учётом скорости всё ещё находится в разработке.












