AI-modeller och plattformar
Perplexity lanserar Orchestrator API med reservlösning för samma modell

Viktiga punkterOrchestrator gör om misslyckade förfrågningar på en annan distribution av samma modell…
Visa mer
- Orchestrator gör om misslyckade förfrågningar på en annan distribution av samma modell så att en Claude-förfrågan kan byta leverantör utan att modellen ändras.
- Perplexity rapporterar att Claude- och GPT-förfrågningar via Orchestrator lyckades oftare än förfrågningar till någon enskild leverantör som det mätte.
- Automatisk modellrouting är en förhandsversion som kan ändra kapacitet och kostnad mellan turer inom en och samma konversation.
Perplexity lanserade Orchestrator den 17 november 2026, ett API för åtkomst till proprietära modeller och modeller med öppna vikter som driftas på företagets inferensinfrastruktur. Det erbjuder samlad fakturering, växling till en annan leverantör för samma modell och en valfri funktion för automatisk modellroutning, som för närvarande är i förhandsvisning.
Dokumentationen om routning skiljer mellan två beslut. När en modell har valts fördelar leverantörsroutningen trafiken mellan driftsinstanser utifrån observerade felfrekvenser, kapacitet och latens. Kunderna väljer inte driftsinstans. Leverantörsfel, anropsbegränsningar och tidsgränser kan utlösa ett nytt försök med en annan driftsinstans för samma modell. En Claude-förfrågan kan alltså flyttas från Anthropic till AWS Bedrock efter ett fel och ändå fortsätta vara en Claude-förfrågan.
Orchestrator hanterar förfrågningar enligt OpenAI Chat Completions, OpenAI Responses och Anthropic Messages. Utvecklare kan fortsätta använda sitt OpenAI- eller Anthropic-SDK och byta till en Perplexity API-nyckel, Orchestrators bas-URL och ett fullständigt modell-ID från katalogen. Snabbstartsguiden beskriver tjänsten som tillståndslös och avsedd för direkt åtkomst till modeller med kundernas egna promptar och verktyg. Det skiljer tjänsten från Agent API, som ger webbförankrade svar med inbyggda källhänvisningar.
Katalogen omfattar modelfamiljer från Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek och Moonshot AI. Modeller från Google och xAI samt modeller med öppna vikter är tillgängliga på alla användningsnivåer. För att anropa modeller från OpenAI och Anthropic krävs nivå 1 eller högre, medan modellerna Claude Opus 5, Opus 5.5 och Fable kräver nivå 2 eller högre.
Reservlösning för leverantörsfel och uppmätt prestanda
Perplexity uppger att Claude- och GPT-förfrågningar som skickades via Orchestrator mellan den 4 oktober 2026 och den 2 november 2026 lyckades oftare än förfrågningar till någon enskild leverantör som företaget mätte, och att de dagliga variationerna var mindre vid leverantörsstörningar. Med fel avsågs att alla tillgängliga driftsinstanser hade förbrukats eller att serveringslagret returnerade ett fel; klientfel, till exempel ogiltiga förfrågningar och överskridna anropsbegränsningar för klienter, räknades inte med. Under samma 30 dagar hade Anthropic och AWS Bedrock vardera högst genereringshastighet för Claude Opus 5.5 under 15 dagar, och Azures medianhastighet för utdata från GPT-5.6 Sol var 27 % högre än OpenAI:s. Adaptiv routning som reagerar på dessa hastighetsskillnader är fortfarande under utveckling.
Reservlösningen har sina begränsningar. Ogiltiga förfrågningar och promptar som överskrider en modells kontextfönster returnerar HTTP 400 utan att ett nytt försök görs med en annan driftsinstans. Om alla driftsinstanser förbrukas returneras HTTP 429 med en Retry-After-header, och förfrågningar som misslyckas innan någon utdata har skapats debiteras inte. Om en dataström misslyckas efter att utdata har börjat produceras debiteras kunden för de token som redan har levererats.
Routning i förhandsvisning och användningsbaserad fakturering
Automatisk modellroutning gäller modellval, inte val av driftsinstans. Om du ställer in modellen på perplexity/auto anropas en beslutsmodell, som analyserar konversationstext och ruttbeskrivningar på vanlig svenska, men inte ruttnamn eller modell-ID:n. Ett anpassat routningsobjekt kan ange en standardmodell och en till fem uppgiftsrutter. Standardmodellen används när ingen rutt passar, när beslutsmodellen misslyckas eller får tidsgräns, eller när konversationen innehåller bilder, ljud, video eller filer.
Routningen görs separat för varje förfrågan, så olika turer i en och samma konversation kan använda olika modeller när uppgiften ändras. Varje förfrågan måste innehålla hela konversationen, och varje modell har en separat promptcache. Stabila sessionsidentifierare eller nycklar för promptcache kan bidra till att relaterade förfrågningar hanteras av samma driftsinstans, men sådan tillhörighet är inte garanterad och låser inte modellvalet mellan turer. Svarshuvuden beskriver routningsresultatet och eventuell vald rutt; modellfältet i svaret anger vilken modell som faktiskt svarade.
Faktureringen baseras på modellen som svarade och dess publicerade pris per token, oavsett vilken driftsinstans som hanterade förfrågan. Användningen dras från samma förbetalda krediter som övrig användning i ett Perplexity API-projekt. I katalogen anges priset för GLM-5.3 Flash på nivå 0 till 0,15 $ per miljon indatatoken och 0,50 $ per miljon utdatatoken, med cacheläsningar till priset 0,03 $ per miljon token. Resonemangstoken debiteras enligt det tillämpliga priset för utdata.
Orchestrators tydligaste fördel vad gäller tillförlitlighet är att tjänsten ger motståndskraft utan att ändra den valda modellen eller dess tokenpris. Den bredare automatiseringen har dock vissa förbehåll: modellroutning är en förhandsvisningsfunktion som kan ändra kapacitet och kostnad mellan turer, medan adaptivt val av leverantör utifrån hastighet fortfarande är under utveckling.












