AI-modeller og plattformer

Perplexity lanserer Orchestrator API med failover til samme modell

Jonas Reeve
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterOrchestrator prøver på nytt mislykkede forespørsler på en annen distribusjon av samme…
Vis mer
  • Orchestrator prøver på nytt mislykkede forespørsler på en annen distribusjon av samme modell, slik at en Claude-forespørsel kan bytte leverandør uten å bytte modell.
  • Perplexity rapporterer at Claude- og GPT-forespørsler gjennom Orchestrator lyktes oftere enn forespørsler til noen enkeltleverandør den målte.
  • Automatisk modellruting er en forhåndsvisning som kan endre kapasitet og kostnad mellom turer i en enkelt samtale.

Perplexity lanserte Orchestrator 17. november 2026, et API for tilgang til proprietære modeller og modeller med åpne vekter som driftes på selskapets inferensinfrastruktur. Det tilbyr samlet fakturering, failover mellom leverandører for samme modell og en valgfri funksjon for automatisk modellruting som er tilgjengelig i en forhåndsversjon.

Dokumentasjonen for ruting skiller mellom to beslutninger. Når en modell er valgt, fordeler rutingen mellom leverandører trafikken mellom distribusjoner ut fra observerte feilrater, kapasitet og ventetid. Kundene velger ikke distribusjonen. Feil hos leverandøren, forespørselsgrenser og tidsavbrudd kan utløse et nytt forsøk på en annen distribusjon av den samme modellen. En Claude-forespørsel kan dermed flyttes fra Anthropic til AWS Bedrock etter en feil, samtidig som den fortsatt er en Claude-forespørsel.

Orchestrator godtar forespørsler i formatene OpenAI Chat Completions, OpenAI Responses og Anthropic Messages. Utviklere kan fortsette å bruke OpenAI- eller Anthropic-SDK-en sin og bytte til en Perplexity API-nøkkel, Orchestrators basis-URL og en fullstendig modell-ID fra katalogen. Hurtigstarten beskriver tjenesten som tilstandsløs og beregnet på direkte tilgang til modeller med kundenes egne instruksjoner og verktøy. Dette skiller tjenesten fra Agent-API-et, som gir svar basert på nettet med innebygde kildereferanser.

Katalogen omfatter modellfamilier fra Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek og Moonshot AI. Google-modeller, xAI-modeller og modeller med åpne vekter er tilgjengelige på alle bruksnivåer. For å bruke OpenAI- og Anthropic-modeller kreves nivå 1 eller høyere, mens Claude Opus 5, Opus 5.5 og Fable-modeller krever nivå 2 eller høyere.

Failover mellom leverandører og målt ytelse

Perplexity opplyser at Claude- og GPT-forespørsler sendt gjennom Orchestrator mellom 4. oktober 2026 og 2. november 2026 oftere ble besvart enn forespørsler til noen av de enkelte leverandørene selskapet målte, og at de daglige svingningene var mindre ved hendelser hos leverandørene. Feil betydde at alle tilgjengelige distribusjoner var brukt opp, eller at leveringslaget returnerte en feil. Klientfeil, for eksempel ugyldige forespørsler og overskridelser av klientens forespørselsgrenser, ble utelatt. I løpet av de samme 30 dagene hadde Anthropic og AWS Bedrock hver høyest hastighet for generering av utdata med Claude Opus 5.5 på 15 dager, og medianhastigheten for generering av utdata med GPT-5.6 Sol hos Azure var 27 % høyere enn hos OpenAI. Adaptiv ruting som tar hensyn til disse hastighetsforskjellene, er fortsatt under utvikling.

Failover har begrensninger. Ugyldige forespørsler og instruksjoner som overskrider en modells kontekstvindu, gir HTTP 400 uten et nytt forsøk på en annen distribusjon. Hvis alle distribusjoner er brukt opp, gis HTTP 429 med en Retry-After-header, og forespørsler som mislykkes før de gir noe svar, blir ikke fakturert. Hvis en strøm feiler etter at genereringen av svaret har begynt, faktureres kunden for tokenene som allerede er levert.

Ruting i forhåndsversjon og bruksbasert fakturering

Automatisk modellruting handler om valg av modell, ikke valg av distribusjon. Når modellen settes til perplexity/auto kalles en beslutningsmodell. Den ser samtaleteksten og beskrivelser av rutene i vanlig språk, men ikke rutenavnene eller modell-ID-ene. Et tilpasset rutingsobjekt kan angi en standardmodell og én til fem oppgaveruter. Standardmodellen brukes når ingen rute passer, når beslutningsmodellen feiler eller får tidsavbrudd, eller når samtalen inneholder bilder, lyd, video eller filer.

Ruting utføres uavhengig for hver forespørsel, så turer i én samtale kan bruke forskjellige modeller etter hvert som oppgaven endres. Hver forespørsel må inneholde hele samtalen, og hver modell har sin egen hurtigbuffer for instruksjoner. Stabile øktidentifikatorer eller nøkler for hurtigbufferen for instruksjoner kan bidra til at relaterte forespørsler går til samme distribusjon, men denne tilknytningen er ikke garantert og låser ikke modellvalget mellom samtaleturene. Svarheaderne beskriver rutingsresultatet og eventuell valgt rute. Modellfeltet i svaret angir hvilken modell som faktisk svarte.

Faktureringen følger modellen som svarte, og bruker modellens publiserte pris per token uansett hvilken distribusjon som leverte svaret. Bruken trekkes fra de samme forhåndsbetalte kredittene som resten av et Perplexity API-prosjekt. Katalogen viser GLM-5.3 Flash på nivå 0 til $0,15 per million inndatatokener og $0,50 per million utdata-tokener, med hurtigbufferlesinger til $0,03 per million tokener. Resonneringstokener belastes med den gjeldende satsen for utdata.

Orchestrators tydeligste pålitelighetsfordel er robusthet uten at den valgte modellen eller tokenprisen endres. Den bredere automatiseringen kommer imidlertid med forbehold: Modellruting er en forhåndsversjon som kan endre funksjonalitet og kostnader fra én samtaletur til den neste, mens adaptivt leverandørvalg som tar hensyn til hastighet, fortsatt er under utvikling.

Jonas Reeve er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, med fokus på kognitiv AI, kunstig generell intelligens (AGI) og de teoretiske grunnlagene for maskinintelligens. Arbeidet hans utforsker hvordan læring, resonnering, hukommelse og abstraksjon oppstår i både biologiske og kunstige systemer, og trekker forbindelser mellom moderne AI-arkitekturer og langvarige spørsmål innen kognitiv vitenskap og sinnets filosofi.

Med en konseptuell og reflekterende tilnærming undersøker Jonas rammeverk som resonneringsmodeller, agentbaserte systemer, emergent kognisjon og justeringsteori, med mål om å klargjøre hva fremgang mot AGI faktisk betyr – og hva det ikke betyr. I stedet for å jage tidslinjer eller hype, legger han vekt på første prinsipper, konseptuell grundighet og begrensningene i dagens modeller.

Artikler skrevet av Jonas Reeve er AI-genererte og gjennomgås av Unite.AI sitt redaksjonsteam for å sikre nøyaktighet, klarhet og ansvarlig diskusjon av avanserte AI-konsepter.