AI-modeller og platforme
Perplexity lancerer Orchestrator API med failover til samme model

NøglepunkterOrchestrator forsøger igen med mislykkede anmodninger på en anden udrulning af samme…
Vis mere
- Orchestrator forsøger igen med mislykkede anmodninger på en anden udrulning af samme model, så en Claude-anmodning kan skifte udbyder uden at skifte model.
- Perplexity rapporterer, at Claude- og GPT-anmodninger gennem Orchestrator lykkedes oftere end anmodninger til nogen enkelt udbyder, den målte.
- Automatisk modelrouting er en forhåndsvisning, der kan ændre kapacitet og omkostninger mellem ture inden for en enkelt samtale.
Perplexity lancerede Orchestrator den 17. november 2026, en API til adgang til proprietære modeller og modeller med åbne vægte, der hostes på virksomhedens inferensinfrastruktur. Den tilbyder samlet fakturering, failover mellem udbydere for samme model og en valgfri funktion til automatisk modelrouting, som er i forhåndsvisning.
Dokumentationen om routing adskiller to beslutninger. Når en model er valgt, fordeler routing mellem udbydere trafikken mellem udrulninger ud fra observerede fejlprocenter, kapacitet og latenstid. Kunderne vælger ikke udrulningen. Fejl hos udbyderen, hastighedsbegrænsninger og timeout kan udløse et nyt forsøg på en anden udrulning af den pågældende model. En Claude-anmodning kan derfor flyttes fra Anthropic til AWS Bedrock efter en fejl, mens den fortsat er en Claude-anmodning.
Orchestrator accepterer anmodninger via OpenAI Chat Completions, OpenAI Responses og Anthropic Messages. Udviklere kan beholde deres OpenAI- eller Anthropic-SDK og skifte til en Perplexity API-nøgle, Orchestrators basis-URL og et fuldt model-id fra kataloget. Hurtigstartvejledningen beskriver tjenesten som tilstandsløs og beregnet til direkte adgang til modeller med kundernes egne prompts og værktøjer. Det adskiller den fra Agent-API’en, som returnerer webbaserede svar med indbyggede kildehenvisninger.
Kataloget omfatter modelfamilier fra Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek og Moonshot AI. Modeller fra Google og xAI samt modeller med åbne vægte er tilgængelige på alle forbrugsniveauer. Brug af modeller fra OpenAI og Anthropic kræver niveau 1 eller højere, mens Claude Opus 5, Opus 5.5 og Fable-modeller kræver niveau 2 eller højere.
Failover mellem udbydere og målte ydeevneresultater
Perplexity oplyser, at Claude- og GPT-anmodninger sendt via Orchestrator mellem 4. oktober 2026 og 2. november 2026 oftere blev gennemført end anmodninger til enhver enkelt udbyder, som virksomheden målte, og at de daglige udsving var mindre under driftsforstyrrelser hos udbyderne. Fejl betød, at alle tilgængelige udrulninger var udtømte, eller at betjeningslaget returnerede en fejl; klientfejl som ugyldige anmodninger og overskridelser af klientens hastighedsbegrænsning blev udelukket. I de samme 30 dage havde Anthropic og AWS Bedrock hver den højeste outputhastighed for Claude Opus 5.5 på 15 dage, og Azures mediane outputhastighed for GPT-5.6 Sol var 27 % højere end OpenAIs. Adaptiv routing, der reagerer på disse hastighedsforskelle, er stadig under udvikling.
Failover har sine begrænsninger. Ugyldige anmodninger og prompts, der overskrider en models kontekstvindue, returnerer HTTP 400 uden et nyt forsøg på en anden udrulning. Hvis alle udrulninger er udtømte, returneres HTTP 429 med en Retry-After-header, og anmodninger, der fejler, før der produceres output, faktureres ikke. Hvis en strøm afbrydes, efter at outputproduktionen er begyndt, faktureres kunden for de tokens, der allerede er leveret.
Routing i forhåndsvisning og forbrugsbaseret fakturering
Automatisk modelrouting handler om valg af model, ikke valg af udrulning. Hvis modellen indstilles til perplexity/auto kaldes en beslutningsmodel, som ser samtaleteksten og rutebeskrivelser i almindeligt sprog, men ikke rutenavne eller model-id’er. Et brugerdefineret routingobjekt kan definere en standardmodel og mellem én og fem opgaveruter. Standardmodellen bruges, når ingen rute passer, når beslutningsmodellen fejler eller får timeout, eller når samtalen indeholder billeder, lyd, video eller filer.
Routing udføres uafhængigt for hver anmodning, så forskellige ture i samme samtale kan bruge forskellige modeller, efterhånden som opgaven ændrer sig. Hver anmodning skal indeholde hele samtalen, og hver model har sin egen promptcache. Stabile sessions-id’er eller nøgler til promptcachen kan hjælpe med at holde relaterede anmodninger på én udrulning, men denne tilknytning er ikke garanteret og fastholder ikke modelvalget på tværs af samtaleture. Svarheadere beskriver routingresultatet og eventuelle valgte ruter; modellens felt i svaret angiver, hvilken model der faktisk besvarede anmodningen.
Faktureringen følger den model, der svarede, og bruger dens offentliggjorte pris pr. token, uanset hvilken udrulning der betjente anmodningen. Forbruget trækkes fra de samme forudbetalte kreditter som resten af et Perplexity API-projekt. Kataloget angiver, at GLM-5.3 Flash på niveau 0 koster $0.15 pr. million inputtokens og $0.50 pr. million outputtokens, med cachelæsninger til $0.03 pr. million tokens. Resonnementtokens faktureres til den gældende outputpris.
Orchestrators tydeligste løfte om pålidelighed er robusthed uden at ændre den valgte model eller dens tokenpris. Den bredere automatisering kommer dog med forbehold: Modelrouting er i forhåndsvisning og kan ændre funktionalitet og omkostninger fra én samtaletur til den næste, mens adaptivt valg af udbyder baseret på hastighed stadig er under udvikling.












