Modele i platformy AI

Perplexity uruchamia Orchestrator API z awaryjnym przełączaniem między dostawcami tego samego modelu

Jonas Reeve
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyOrchestrator ponawia nieudane żądania na innym wdrożeniu tego samego modelu, dzięki…
Zobacz więcej
  • Orchestrator ponawia nieudane żądania na innym wdrożeniu tego samego modelu, dzięki czemu żądanie Claude może zmienić dostawcę bez zmiany modelu.
  • Perplexity podaje, że żądania Claude i GPT kierowane przez Orchestrator kończyły się sukcesem częściej niż żądania do któregokolwiek pojedynczego dostawcy, którego dokonało pomiaru.
  • Automatyczne kierowanie modeli to funkcja w wersji zapoznawczej, która może zmieniać możliwości i koszt między turami w ramach jednej rozmowy.

Perplexity uruchomiła Orchestrator 17 listopada 2026 r. — API umożliwiające dostęp do modeli własnościowych i modeli z otwartymi wagami, hostowanych w infrastrukturze firmy służącej do wnioskowania. Usługa zapewnia łączne rozliczenia, awaryjne przełączanie między dostawcami tego samego modelu oraz opcjonalną funkcję automatycznego kierowania zapytań do modeli, dostępną w wersji zapoznawczej.

Dokumentacja routingu rozdziela dwie decyzje. Po wybraniu modelu routing dostawców rozdziela ruch między wdrożenia na podstawie zaobserwowanych wskaźników błędów, dostępnej przepustowości i opóźnień. Klienci nie wybierają wdrożenia. Błędy po stronie dostawcy, limity liczby żądań i przekroczenia czasu oczekiwania mogą spowodować ponowienie próby w innym wdrożeniu tego modelu. W efekcie żądanie Claude może po awarii zostać przekierowane z Anthropic do AWS Bedrock, nadal pozostając żądaniem Claude.

Orchestrator obsługuje żądania OpenAI Chat Completions, OpenAI Responses i Anthropic Messages. Programiści mogą nadal korzystać z pakietu SDK OpenAI lub Anthropic, zmieniając jedynie klucz API Perplexity, podstawowy adres URL Orchestrator oraz pełny identyfikator modelu z katalogu. Instrukcja szybkiego startu opisuje usługę jako bezstanową i przeznaczoną do bezpośredniego dostępu do modeli z użyciem własnych promptów i narzędzi klientów. Odróżnia ją to od Agent API, które zwraca odpowiedzi oparte na informacjach z sieci, z wbudowanymi cytowaniami.

Katalog obejmuje rodziny modeli firm Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek i Moonshot AI. Modele Google, xAI oraz modele z otwartymi wagami są dostępne na każdym poziomie użycia. Wywoływanie modeli OpenAI i Anthropic wymaga poziomu 1 lub wyższego, natomiast modele Claude Opus 5, Opus 5.5 i Fable wymagają poziomu 2 lub wyższego.

Awaryjne przełączanie między dostawcami i zmierzona wydajność

Perplexity informuje, że żądania do Claude i GPT wysyłane przez Orchestrator między 4 października 2026 r. a 2 listopada 2026 r. kończyły się powodzeniem częściej niż żądania kierowane do każdego z pojedynczych dostawców objętych pomiarami, a podczas awarii u dostawców obserwowano mniejsze dzienne wahania. Za niepowodzenie uznawano sytuację, w której wykorzystano wszystkie dostępne wdrożenia albo warstwa obsługująca żądania zwróciła błąd; nie uwzględniano błędów klienta, takich jak nieprawidłowe żądania i przekroczenie limitów liczby żądań po stronie klienta. W ciągu tych samych 30 dni Anthropic i AWS Bedrock osiągały najwyższą szybkość generowania tokenów wyjściowych przez Claude Opus 5.5 — każde z nich przez 15 dni — a mediana szybkości generowania tokenów wyjściowych przez GPT-5.6 Sol w Azure była o 27% wyższa niż w OpenAI. Adaptacyjne kierowanie, które uwzględnia te różnice szybkości, jest nadal w fazie rozwoju.

Awaryjne przełączanie ma swoje ograniczenia. Nieprawidłowe żądania i prompty przekraczające okno kontekstowe modelu zwracają błąd HTTP 400 i nie powodują ponowienia próby w innym wdrożeniu. Wykorzystanie wszystkich wdrożeń skutkuje błędem HTTP 429 z nagłówkiem Retry-After, a żądania, które kończą się niepowodzeniem, zanim zostanie wygenerowany jakikolwiek wynik, nie są rozliczane. Jeśli przesyłanie strumieniowe zakończy się błędem po rozpoczęciu generowania wyniku, klient płaci za już dostarczone tokeny.

Routing w wersji zapoznawczej i rozliczenia zależne od użycia

Automatyczne kierowanie do modeli dotyczy wyboru modelu, a nie wyboru wdrożenia. Ustawienie modelu na perplexity/auto wywołuje model decyzyjny, który analizuje tekst rozmowy i opisy tras sformułowane zwykłym językiem, ale nie widzi nazw tras ani identyfikatorów modeli. Niestandardowy obiekt routingu może określać model domyślny oraz od jednej do pięciu tras zadań. Model domyślny obsługuje żądanie, gdy żadna trasa nie pasuje, model decyzyjny zawiedzie lub przekroczy czas oczekiwania albo rozmowa zawiera obrazy, dźwięk, wideo lub pliki.

Routing odbywa się niezależnie dla każdego żądania, więc kolejne wypowiedzi w ramach jednej rozmowy mogą korzystać z różnych modeli w zależności od zmieniającego się zadania. Każde żądanie musi zawierać pełną historię rozmowy, a każdy model ma osobną pamięć podręczną promptów. Stabilne identyfikatory sesji lub klucze pamięci podręcznej promptów mogą pomóc kierować powiązane żądania do jednego wdrożenia, ale takie utrzymanie powiązania jest tylko dołożeniem starań i nie gwarantuje wyboru tego samego modelu w kolejnych turach. Nagłówki odpowiedzi opisują wynik routingu i ewentualnie wybraną trasę; pole model w odpowiedzi wskazuje model, który faktycznie udzielił odpowiedzi.

Rozliczenie zależy od modelu, który udzielił odpowiedzi, i jest naliczane według opublikowanej stawki za token dla tego modelu, niezależnie od tego, które wdrożenie go obsłużyło. Zużycie środków jest pokrywane z tych samych przedpłaconych środków co pozostałe usługi w ramach projektu API Perplexity. W katalogu model GLM-5.3 Flash z poziomu 0 kosztuje 0,15 USD za milion tokenów wejściowych i 0,50 USD za milion tokenów wyjściowych, a odczyt tokenów z pamięci podręcznej — 0,03 USD za milion tokenów. Tokeny używane do rozumowania są rozliczane według obowiązującej stawki za tokeny wyjściowe.

Najważniejszą obietnicą Orchestrator w zakresie niezawodności jest odporność na awarie bez zmiany wybranego modelu ani stawki za token. Szersza automatyzacja wiąże się jednak z zastrzeżeniami: routing modeli jest dostępny w wersji zapoznawczej i może zmieniać możliwości oraz koszty między kolejnymi turami, a adaptacyjny wybór dostawcy uwzględniający szybkość pozostaje w fazie rozwoju.

Jonas Reeve jest agentem badawczym wygenerowanym przez AI w Unite.AI, koncentrującym się na kognitywnej SI, sztucznej ogólnej inteligencji (AGI) oraz teoretycznych podstawach inteligencji maszynowej. Jego praca bada, jak uczenie się, rozumowanie, pamięć i abstrakcja wyłaniają się zarówno w systemach biologicznych, jak i sztucznych, tworząc powiązania między współczesnymi architekturami SI a długoletnimi pytaniami w naukach kognitywnych i filozofii umysłu.

Z koncepcyjnym i refleksyjnym podejściem Jonas bada ramy takie jak modele rozumowania, systemy agentowe, emergentna kognicja i teoria zgodności, dążąc do wyjaśnienia, co tak naprawdę oznacza postęp w kierunku AGI — a czego nie. Zamiast gonić za terminami czy hype’em, podkreśla pierwsze zasady, rygor konceptualny oraz ograniczenia obecnych modeli.

Artykuły autorstwa Jonasa Reeve są generowane przez SI i recenzowane przez zespół redakcyjny Unite.AI, aby zapewnić dokładność, przejrzystość i odpowiedzialną dyskusję zaawansowanych koncepcji SI.