AI-modellen en platforms
Perplexity lanceert de Orchestrator-API met failover naar hetzelfde model

Belangrijkste puntenOrchestrator probeert mislukte verzoeken opnieuw op een andere deployment van hetzelfde…
Meer weergeven
- Orchestrator probeert mislukte verzoeken opnieuw op een andere deployment van hetzelfde model, zodat een Claude-verzoek van provider kan wisselen zonder het model te wijzigen.
- Perplexity meldt dat Claude- en GPT-verzoeken via Orchestrator vaker slaagden dan verzoeken naar elke afzonderlijke provider die het mat.
- Automatische modelroutering is een preview die de mogelijkheden en kosten tussen beurten binnen één gesprek kan veranderen.
Perplexity lanceerde Orchestrator op 17 november 2026: een API voor toegang tot propriëtaire modellen en modellen met open gewichten die worden gehost op de inferentie-infrastructuur van het bedrijf. De API biedt gebundelde facturering, failover naar een andere provider voor hetzelfde model en een optionele functie voor automatische modelroutering, die momenteel in preview is.
De documentatie over routering maakt onderscheid tussen twee beslissingen. Nadat een model is geselecteerd, verdeelt de routering naar providers het verkeer over implementaties op basis van waargenomen foutpercentages, capaciteit en latentie. Klanten kiezen de implementatie niet zelf. Fouten bij providers, limieten voor het aantal verzoeken en time-outs kunnen leiden tot een nieuwe poging via een andere implementatie van dat model. Zo kan een Claude-verzoek na een storing van Anthropic naar AWS Bedrock worden verplaatst, terwijl het een Claude-verzoek blijft.
Orchestrator accepteert verzoeken volgens OpenAI Chat Completions, OpenAI Responses en Anthropic Messages. Ontwikkelaars kunnen hun OpenAI- of Anthropic-SDK blijven gebruiken en overstappen op een Perplexity API-sleutel, de basis-URL van Orchestrator en een volledige model-ID uit de catalogus. De beknopte introductie beschrijft de dienst als stateless en bedoeld voor rechtstreekse toegang tot modellen met de eigen prompts en tools van klanten. Daarmee onderscheidt de dienst zich van de Agent-API, die antwoorden geeft op basis van informatie op het web, met ingebouwde bronvermeldingen.
De catalogus omvat modelfamilies van Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek en Moonshot AI. Modellen van Google en xAI en modellen met open gewichten zijn beschikbaar in alle gebruiksniveaus. Voor het aanroepen van modellen van OpenAI en Anthropic is Tier 1 of hoger vereist; voor Claude Opus 5, Opus 5.5 en Fable-modellen is Tier 2 of hoger vereist.
Failover tussen providers en gemeten prestaties
Perplexity meldt dat Claude- en GPT-verzoeken die tussen 4 oktober 2026 en 2 november 2026 via Orchestrator werden verstuurd, vaker slaagden dan verzoeken aan elke afzonderlijke provider die het heeft gemeten. Ook waren de dagelijkse schommelingen kleiner tijdens incidenten bij providers. Als mislukking gold dat alle beschikbare implementaties waren uitgeput of dat de serverlaag een foutmelding gaf; fouten aan de clientzijde, zoals ongeldige verzoeken en overschrijdingen van de limiet voor clientverzoeken, werden uitgesloten. In dezelfde periode van 30 dagen hadden Anthropic en AWS Bedrock elk op 15 dagen de hoogste uitvoersnelheid voor Claude Opus 5.5. De mediane uitvoersnelheid van Azure voor GPT-5.6 Sol lag 27% hoger dan die van OpenAI. Adaptieve routering die op deze snelheidsverschillen inspeelt, is nog in ontwikkeling.
Failover kent beperkingen. Ongeldige verzoeken en prompts die het contextvenster van een model overschrijden, leveren HTTP 400 op, zonder nieuwe poging via een andere implementatie. Als alle implementaties zijn uitgeput, volgt HTTP 429 met een Retry-After-header. Verzoeken die mislukken voordat ze uitvoer opleveren, worden niet in rekening gebracht. Als een stream uitvalt nadat de uitvoer is begonnen, betaalt de klant voor de al geleverde tokens.
Routering in preview en gebruiksafhankelijke facturering
Automatische modelroutering bepaalt welk model wordt gekozen, niet welke implementatie. Stel het model in op perplexity/auto dan wordt een beslismodel aangeroepen. Dat model ziet de gesprekstekst en routebeschrijvingen in gewone taal, maar niet de routenamen of model-ID’s. Een aangepast routeringsobject kan een standaardmodel en één tot vijf taakroutes definiëren. Het standaardmodel wordt gebruikt als geen enkele route geschikt is, als het beslismodel een fout geeft of een time-out krijgt, of als het gesprek afbeeldingen, audio, video of bestanden bevat.
De routering vindt voor elk verzoek afzonderlijk plaats. Daardoor kunnen verschillende beurten binnen één gesprek verschillende modellen gebruiken naarmate de taak verandert. Elk verzoek moet het volledige gesprek bevatten en elk model heeft een eigen promptcache. Stabiele sessie-ID’s of sleutels voor de promptcache kunnen helpen om verwante verzoeken bij één implementatie te houden, maar die voorkeur is niet gegarandeerd en legt de modelkeuze voor volgende beurten niet vast. De antwoordheaders beschrijven de routeringsuitkomst en eventuele geselecteerde route; het modelveld van het antwoord geeft aan welk model daadwerkelijk heeft geantwoord.
De facturering is gebaseerd op het model dat heeft geantwoord, tegen het gepubliceerde tarief per token van dat model, ongeacht welke implementatie het verzoek heeft verwerkt. Het gebruik wordt verrekend met dezelfde vooraf betaalde tegoeden als de rest van een Perplexity API-project. De catalogus vermeldt voor GLM-5.3 Flash in Tier 0 een tarief van $0,15 per miljoen invoertokens en $0,50 per miljoen uitvoertokens, met een tarief van $0,03 per miljoen tokens voor cachelezingen. Redeneertokens worden tegen het toepasselijke uitvoertarief in rekening gebracht.
De duidelijkste belofte van Orchestrator op het gebied van betrouwbaarheid is veerkracht zonder de geselecteerde modelkeuze of het bijbehorende tokentarief te veranderen. Aan de bredere automatisering zijn wel voorwaarden verbonden: modelroutering is een previewfunctie die de mogelijkheden en kosten tussen beurten kan veranderen, terwijl adaptieve providerselectie op basis van snelheid nog in ontwikkeling is.












