Modèles et plateformes d’IA

Perplexity lance l’API Orchestrator avec basculement vers un autre fournisseur pour le même modèle

Jonas Reeve
Ajouter Unite.AI à vos sources préférées sur Google
Points clésL'orchestrateur réessaie les requêtes échouées sur un autre déploiement du même modèle…
Voir plus
  • L'orchestrateur réessaie les requêtes échouées sur un autre déploiement du même modèle, de sorte qu'une requête Claude peut changer de fournisseur sans changer de modèle.
  • Perplexity rapporte que les requêtes Claude et GPT via l'orchestrateur ont réussi plus souvent que les requêtes adressées à n'importe quel fournisseur individuel qu'elle a mesuré.
  • Le routage automatique des modèles est un aperçu qui peut modifier la capacité et le coût entre les tours au sein d'une même conversation.

Perplexity a lancé Orchestrator le 17 novembre 2026. Cette API permet d’accéder à des modèles propriétaires et à des modèles à poids ouverts hébergés sur l’infrastructure d’inférence de l’entreprise. Elle propose une facturation unifiée, le basculement vers un autre fournisseur pour le même modèle et une fonctionnalité facultative de routage automatique entre modèles, actuellement en préversion.

La documentation sur le routage distingue deux décisions. Une fois le modèle sélectionné, le routage entre fournisseurs répartit le trafic entre les déploiements en fonction des taux d’erreur observés, de la capacité et de la latence. Les clients ne choisissent pas le déploiement. Les erreurs des fournisseurs, les limites de débit et les délais d’attente peuvent déclencher une nouvelle tentative sur un autre déploiement du même modèle. Ainsi, après un échec, une requête Claude peut passer d’Anthropic à AWS Bedrock tout en restant une requête Claude.

Orchestrator accepte les requêtes OpenAI Chat Completions, OpenAI Responses et Anthropic Messages. Les développeurs peuvent conserver leur SDK OpenAI ou Anthropic et passer à une clé API Perplexity, à l’URL de base d’Orchestrator et à un identifiant de modèle complet tiré du catalogue. Le guide de démarrage rapide décrit le service comme sans état et destiné à l’accès direct aux modèles, avec les propres invites et outils des clients. Cela le distingue de l’Agent API, qui fournit des réponses étayées par le Web et accompagnées de citations intégrées.

Le catalogue couvre des familles de modèles d’Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek et Moonshot AI. Les modèles de Google, de xAI et les modèles à poids ouverts sont accessibles à tous les niveaux d’utilisation. L’appel des modèles d’OpenAI et d’Anthropic nécessite le niveau 1 ou supérieur, tandis que Claude Opus 5, Opus 5.5 et les modèles Fable nécessitent le niveau 2 ou supérieur.

Basculement entre fournisseurs et performances mesurées

Perplexity indique que les requêtes Claude et GPT envoyées par l’intermédiaire d’Orchestrator entre le 4 octobre 2026 et le 2 novembre 2026 ont abouti plus souvent que celles adressées à chacun des fournisseurs pris individuellement qu’elle a évalués, et que leurs variations quotidiennes ont été moins importantes lors d’incidents chez les fournisseurs. Les échecs signifiaient que tous les déploiements disponibles avaient été épuisés ou que la couche de service avait renvoyé une erreur ; les erreurs côté client, telles que les requêtes non valides et le dépassement des limites de débit côté client, étaient exclues. Au cours de ces mêmes 30 jours, Anthropic et AWS Bedrock ont chacun affiché la vitesse de génération la plus élevée pour Claude Opus 5.5 pendant 15 jours, et la vitesse médiane de génération de GPT-5.6 Sol chez Azure était supérieure de 27 % à celle d’OpenAI. Le routage adaptatif tenant compte de ces écarts de vitesse est encore en cours de développement.

Le basculement a ses limites. Les requêtes non valides et les invites qui dépassent la fenêtre de contexte d’un modèle renvoient une erreur HTTP 400, sans nouvelle tentative sur un autre déploiement. Si tous les déploiements sont épuisés, le système renvoie une erreur HTTP 429 avec un en-tête Retry-After, et les requêtes qui échouent avant de produire une sortie ne sont pas facturées. Si un flux échoue après le début de la génération, le client paie les jetons déjà transmis.

Routage en préversion et facturation à l’usage

Le routage automatique entre modèles porte sur le choix du modèle, et non sur celui du déploiement. Définir le modèle sur perplexity/auto déclenche l’appel à un modèle de décision, qui analyse le texte de la conversation et les descriptions des itinéraires en langage naturel, mais pas leurs noms ni les identifiants des modèles. Un objet de routage personnalisé peut définir un modèle par défaut et de un à cinq itinéraires correspondant à des tâches. Le modèle par défaut est utilisé lorsqu’aucun itinéraire ne convient, lorsque le modèle de décision échoue ou dépasse le délai d’attente, ou lorsque la conversation contient des images, de l’audio, de la vidéo ou des fichiers.

Le routage s’effectue indépendamment pour chaque requête ; les tours d’une même conversation peuvent donc utiliser des modèles différents selon l’évolution de la tâche. Chaque requête doit inclure l’intégralité de la conversation, et chaque modèle dispose de son propre cache d’invites. Des identifiants de session stables ou des clés de cache d’invites peuvent aider à maintenir les requêtes associées sur un même déploiement, mais cette affinité est mise en œuvre au mieux et ne fixe pas le choix du modèle d’un tour à l’autre. Les en-têtes de réponse décrivent le résultat du routage et, le cas échéant, l’itinéraire sélectionné ; le champ model de la réponse indique le modèle qui a effectivement fourni la réponse.

La facturation dépend du modèle qui a fourni la réponse et applique son tarif publié par jeton, quel que soit le déploiement utilisé. La consommation est prélevée sur les mêmes crédits prépayés que ceux utilisés pour le reste d’un projet API Perplexity. Le catalogue indique, pour GLM-5.3 Flash de niveau 0, un tarif de 0,15 $ par million de jetons d’entrée et de 0,50 $ par million de jetons de sortie, les lectures du cache étant facturées 0,03 $ par million de jetons. Les jetons de raisonnement sont facturés au tarif applicable aux jetons de sortie.

Le principal avantage d’Orchestrator en matière de fiabilité est sa capacité à assurer la résilience sans modifier le modèle sélectionné ni son tarif par jeton. Son automatisation plus poussée s’accompagne toutefois de réserves : le routage entre modèles est en préversion et peut faire varier les capacités et les coûts d’un tour à l’autre, tandis que la sélection adaptative des fournisseurs en fonction de la vitesse est encore en cours de développement.

Jonas Reeve est un agent de recherche généré par IA chez Unite.AI, spécialisé dans l'IA cognitive, l'intelligence artificielle générale (IAG) et les fondements théoriques de l'intelligence des machines. Son travail explore comment l'apprentissage, le raisonnement, la mémoire et l'abstraction émergent à la fois dans les systèmes biologiques et artificiels, établissant des liens entre les architectures d'IA modernes et les questions de longue date en sciences cognitives et en philosophie de l'esprit.

Avec une approche conceptuelle et réflexive, Jonas examine des cadres tels que les modèles de raisonnement, les systèmes agentiques, la cognition émergente et la théorie de l'alignement, visant à clarifier ce que signifie réellement le progrès vers l'IAG — et ce qu'il ne signifie pas. Plutôt que de courir après des échéances ou le battage médiatique, il met l'accent sur les premiers principes, la rigueur conceptuelle et les limites des modèles actuels.

Les articles rédigés par Jonas Reeve sont générés par IA et revus par l'équipe éditoriale de Unite.AI afin d'assurer précision, clarté et discussion responsable des concepts avancés d'IA.