Modele și platforme AI
Perplexity lansează API-ul Orchestrator cu comutare automată la alt furnizor pentru același model

Puncte cheieOrchestrator reîncearcă cererile eșuate pe o altă implementare a aceluiași model…
Vezi mai mult
- Orchestrator reîncearcă cererile eșuate pe o altă implementare a aceluiași model, astfel încât o cerere Claude poate schimba furnizorii fără a schimba modelul.
- Perplexity raportează că cererile Claude și GPT prin Orchestrator au reușit mai des decât cererile către orice furnizor individual pe care l-a măsurat.
- Rutarea automată a modelelor este o previzualizare care poate schimba capacitatea și costul între ture în cadrul unei singure conversații.
Perplexity a lansat Orchestrator pe 17 noiembrie 2026, un API pentru accesarea modelelor proprietare și a modelelor cu ponderi deschise găzduite pe infrastructura de inferență a companiei. Acesta oferă facturare unificată, comutare automată la alt furnizor pentru același model și o funcție opțională de rutare automată a modelelor, disponibilă în versiune de previzualizare.
Documentația privind rutarea face distincție între două decizii. După selectarea unui model, rutarea către furnizori distribuie traficul între implementări în funcție de ratele de eroare observate, capacitate și latență. Clienții nu aleg implementarea. Erorile furnizorului, limitele de rată și expirarea timpului de așteptare pot declanșa o nouă încercare pe o altă implementare a modelului respectiv, astfel încât o solicitare Claude poate fi redirecționată de la Anthropic la AWS Bedrock în urma unei erori, continuând să fie o solicitare Claude.
Orchestrator acceptă solicitări pentru OpenAI Chat Completions, OpenAI Responses și Anthropic Messages. Dezvoltatorii își pot păstra SDK-ul OpenAI sau Anthropic și pot trece la o cheie API Perplexity, URL-ul de bază al Orchestrator și un ID complet de model din catalog. Ghidul de pornire rapidă descrie serviciul ca fiind fără stare și destinat accesării directe a modelelor, cu prompturile și instrumentele proprii ale clienților. Acest lucru îl diferențiază de API-ul pentru agenți, care oferă răspunsuri fundamentate pe web, cu citări integrate.
Catalogul cuprinde familii de modele de la Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek și Moonshot AI. Modelele Google, xAI și cele cu ponderi deschise sunt disponibile la toate nivelurile de utilizare. Apelarea modelelor OpenAI și Anthropic necesită nivelul 1 sau superior, în timp ce modelele Claude Opus 5, Opus 5.5 și Fable necesită nivelul 2 sau superior.
Comutarea la alt furnizor și performanța măsurată
Perplexity raportează că solicitările Claude și GPT trimise prin Orchestrator între 4 octombrie 2026 și 2 noiembrie 2026 au avut mai des succes decât solicitările adresate oricărui furnizor individual evaluat de companie, cu variații zilnice mai mici în timpul incidentelor care au afectat furnizorii. Eșecurile însemnau că fuseseră epuizate toate implementările disponibile sau că nivelul de servire returnase o eroare; erorile clientului, precum solicitările nevalide și depășirea limitelor de rată impuse clientului, au fost excluse. În aceleași 30 de zile, Anthropic și AWS Bedrock au avut fiecare cea mai mare viteză de generare a tokenurilor de ieșire pentru Claude Opus 5.5 în câte 15 zile, iar viteza mediană de generare a tokenurilor de ieșire pentru GPT-5.6 Sol pe Azure a fost cu 27% mai mare decât cea de pe OpenAI. Rutarea adaptivă care ține cont de aceste diferențe de viteză este încă în curs de dezvoltare.
Comutarea la alt furnizor are limite. Solicitările nevalide și solicitările care depășesc fereastra de context a unui model returnează codul HTTP 400, fără o nouă încercare pe o altă implementare. Epuizarea tuturor implementărilor produce codul HTTP 429, împreună cu un antet Retry-After, iar solicitările care eșuează înainte de a genera rezultate nu sunt facturate. Dacă un flux eșuează după începerea generării, clientul este facturat pentru tokenurile deja livrate.
Rutare în versiune de previzualizare și facturare în funcție de utilizare
Rutarea automată a modelelor vizează alegerea modelului, nu alegerea implementării. Setarea modelului la perplexity/auto apelează un model de decizie, care analizează textul conversației și descrierile rutelor în limbaj obișnuit, dar nu și numele rutelor sau ID-urile modelelor. Un obiect de rutare personalizat poate defini un model implicit și între una și cinci rute pentru sarcini. Modelul implicit este folosit atunci când nicio rută nu se potrivește, când modelul de decizie eșuează sau depășește timpul de așteptare ori când conversația include imagini, conținut audio sau video sau fișiere.
Rutarea are loc independent pentru fiecare solicitare, astfel încât, pe măsură ce sarcina se schimbă, replicile dintr-o conversație pot folosi modele diferite. Fiecare solicitare trebuie să includă întreaga conversație, iar fiecare model menține o memorie cache separată pentru prompturi. Identificatorii stabili de sesiune sau cheile de memorie cache pentru prompturi pot ajuta la menținerea solicitărilor asociate pe aceeași implementare, însă această afinitate este garantată doar în măsura posibilului și nu fixează selectarea modelului de la o replică la alta. Antetele răspunsului descriu rezultatul rutării și orice rută selectată; câmpul model din răspuns identifică modelul care a furnizat efectiv răspunsul.
Facturarea se face în funcție de modelul care a răspuns, la tariful publicat pentru fiecare token, indiferent de implementarea folosită. Utilizarea este scăzută din aceleași credite preplătite ca restul proiectului Perplexity API. Catalogul listează GLM-5.3 Flash de nivel 0 la 0,15 USD pentru fiecare milion de tokenuri de intrare și 0,50 USD pentru fiecare milion de tokenuri de ieșire, iar citirile din memoria cache costă 0,03 USD pentru fiecare milion de tokenuri. Tokenurile de raționament sunt tarifate la tariful aplicabil tokenurilor de ieșire.
Principalul avantaj al Orchestrator în materie de fiabilitate este reziliența fără schimbarea modelului selectat sau a tarifului per token. Automatizarea mai amplă vine însă cu unele precizări: rutarea modelelor este în versiune de previzualizare și poate modifica funcționalitățile și costurile de la o replică la alta, în timp ce selectarea adaptivă a furnizorilor în funcție de viteză este încă în curs de dezvoltare.












