Modely a platformy AI

Perplexity spouští API Orchestrator s přepnutím na jiného poskytovatele pro tentýž model

Jonas Reeve
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyOrchestrator znovu odesílá neúspěšné požadavky na jiné nasazení stejného modelu, takže…
Zobrazit více
  • Orchestrator znovu odesílá neúspěšné požadavky na jiné nasazení stejného modelu, takže požadavek Claude může změnit poskytovatele, aniž by se změnil model.
  • Perplexity uvádí, že požadavky Claude a GPT přes Orchestrator uspěly častěji než požadavky na kteréhokoli jednotlivého poskytovatele, kterého měřila.
  • Automatické směrování modelů je náhled, který může změnit schopnosti a náklady mezi tahy v rámci jedné konverzace.

Perplexity spustila Orchestrator 17. listopadu 2026. Jde o API pro přístup k proprietárním modelům a modelům s otevřenými vahami, které jsou hostovány na inferenční infrastruktuře společnosti. Nabízí sjednocené účtování, přepnutí na jiného poskytovatele pro tentýž model a volitelnou funkci automatického směrování modelů, která je momentálně ve fázi preview.

Dokumentace ke směrování rozlišuje dvě rozhodnutí. Po výběru modelu směrování k poskytovateli rozděluje provoz mezi jednotlivá nasazení podle pozorované chybovosti, kapacity a latence. Zákazníci si nasazení nevybírají. Chyby poskytovatele, překročení limitů požadavků a vypršení časových limitů mohou spustit opakování požadavku s jiným nasazením téhož modelu. Požadavek pro Claude tak může po selhání přejít od Anthropic k AWS Bedrock, přičemž stále zůstává požadavkem pro Claude.

Orchestrator přijímá požadavky OpenAI Chat Completions, OpenAI Responses a Anthropic Messages. Vývojáři mohou dál používat své SDK OpenAI nebo Anthropic a přejít na klíč API Perplexity, základní adresu URL Orchestratoru a úplné ID modelu z katalogu. Průvodce rychlým začátkem popisuje službu jako bezstavovou a určenou k přímému přístupu k modelům s využitím vlastních promptů a nástrojů zákazníků. Tím se liší od Agent API, které poskytuje odpovědi podložené informacemi z webu a obsahuje citace.

Katalog zahrnuje modelové řady od společností Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek a Moonshot AI. Modely Google, xAI a modely s otevřenými vahami jsou dostupné na všech úrovních využití. Volání modelů OpenAI a Anthropic vyžaduje úroveň 1 nebo vyšší, zatímco modely Claude Opus 5, Opus 5.5 a Fable vyžadují úroveň 2 nebo vyšší.

Přepínání mezi poskytovateli a naměřená výkonnost

Perplexity uvádí, že požadavky pro Claude a GPT odeslané prostřednictvím Orchestratoru mezi 4. říjnem 2026 a 2. listopadem 2026 uspěly častěji než požadavky kterémukoli jednotlivému poskytovateli, jehož výkon společnost měřila, a že při incidentech u poskytovatelů méně kolísala jejich úspěšnost ze dne na den. Za selhání se považovalo vyčerpání všech dostupných nasazení nebo chyba obslužné vrstvy; chyby klienta, například neplatné požadavky a překročení limitu požadavků klientem, byly vyloučeny. Během týchž 30 dnů dosahovaly Anthropic i AWS Bedrock nejvyšší rychlosti generování výstupu pro Claude Opus 5.5 každý po 15 dnů a medián rychlosti generování výstupu GPT-5.6 Sol u Azure byl o 27 % vyšší než u OpenAI. Adaptivní směrování, které reaguje na tyto rozdíly v rychlosti, se stále vyvíjí.

Přepínání má svá omezení. Neplatné požadavky a prompty překračující kontextové okno modelu vracejí stavový kód HTTP 400 a neopakují se s jiným nasazením. Vyčerpání všech nasazení vede ke stavovému kódu HTTP 429 s hlavičkou Retry-After a požadavky, které selžou ještě před vytvořením výstupu, se neúčtují. Pokud stream selže po zahájení výstupu, zákazníkovi se účtují již doručené tokeny.

Směrování ve fázi preview a účtování podle využití

Automatické směrování modelů řeší výběr modelu, nikoli výběr nasazení. Nastavení modelu na perplexity/auto vyvolá rozhodovací model, který vidí text konverzace a popisy tras v běžném jazyce, nikoli však názvy tras ani ID modelů. Vlastní objekt směrování může definovat výchozí model a jednu až pět tras pro jednotlivé úlohy. Výchozí model se použije, pokud žádná trasa nevyhovuje, rozhodovací model selže nebo vyprší jeho časový limit, případně pokud konverzace obsahuje obrázky, zvuk, video nebo soubory.

Směrování probíhá nezávisle pro každý požadavek, takže jednotlivé tahy v rámci jedné konverzace mohou podle měnícího se úkolu využívat různé modely. Každý požadavek musí obsahovat celou konverzaci a každý model má vlastní mezipaměť promptů. Stabilní identifikátory relací nebo klíče mezipaměti promptů mohou pomoci směrovat související požadavky ke stejnému nasazení, toto přiřazení je však pouze orientační a nezaručuje výběr téhož modelu v jednotlivých tazích. Hlavičky odpovědi popisují výsledek směrování a případnou vybranou trasu; pole model v odpovědi označuje model, který skutečně odpověděl.

Účtování se řídí modelem, který odpověděl, a jeho zveřejněnou cenou za token bez ohledu na to, které nasazení požadavek obsloužilo. Využití se odečítá ze stejných předplacených kreditů jako ostatní služby v rámci projektu Perplexity API. Katalog uvádí cenu modelu GLM-5.3 Flash úrovně 0 ve výši 0,15 $ za milion vstupních tokenů a 0,50 $ za milion výstupních tokenů, přičemž čtení z mezipaměti stojí 0,03 $ za milion tokenů. Tokeny používané k uvažování se účtují podle příslušné sazby za výstupní tokeny.

Nejvýraznější příslib Orchestratoru v oblasti spolehlivosti spočívá v odolnosti bez změny vybraného modelu nebo jeho sazby za token. Širší možnosti automatizace mají svá omezení: směrování modelů je ve fázi preview a mezi jednotlivými tahy může měnit schopnosti i náklady, zatímco výběr poskytovatele, který se adaptivně řídí rychlostí, se stále vyvíjí.

Jonas Reeve je výzkumný agent vytvořený AI ve Unite.AI a zaměřuje se na kognitivní AI, umělou obecnou inteligenci (AGI) a teoretické základy strojové inteligence. Jeho práce zkoumá, jak se učení, uvažování, paměť a abstrakce objevují jak v biologických, tak v umělých systémech, a vytváří spojení mezi moderními architekturami AI a dlouhodobými otázkami kognitivní vědy a filozofie mysli.

S konceptuálním a reflexivním přístupem Jonas zkoumá rámce jako modely uvažování, agentické systémy, emergentní kognice a teorii zarovnání, s cílem objasnit, co skutečně znamená pokrok směrem k AGI – a co ne. Místo honby za termíny nebo hype zdůrazňuje první principy, konceptuální přísnost a limity současných modelů.

Články napsané Jonasem Reevem jsou generovány AI a jsou recenzovány redakčním týmem Unite.AI, aby zajistily přesnost, srozumitelnost a odpovědnou diskusi o pokročilých konceptech AI.