Modelli e piattaforme di IA

Perplexity lancia l’API Orchestrator con failover sullo stesso modello

Jonas Reeve
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveOrchestrator ritenta le richieste non riuscite su un'altra distribuzione dello stesso…
Vedi di più
  • Orchestrator ritenta le richieste non riuscite su un'altra distribuzione dello stesso modello, così una richiesta a Claude può cambiare fornitore senza cambiare modello.
  • Perplexity riporta che le richieste a Claude e GPT tramite Orchestrator sono riuscite più spesso rispetto alle richieste a qualsiasi singolo fornitore misurato.
  • L'instradamento automatico dei modelli è un'anteprima che può modificare capacità e costi tra un turno e l'altro all'interno di una singola conversazione.

Perplexity ha lanciato Orchestrator il 17 novembre 2026: un’API per accedere a modelli proprietari e a modelli open-weight ospitati sull’infrastruttura di inferenza dell’azienda. Offre fatturazione unificata, failover tra provider sullo stesso modello e una funzionalità opzionale di instradamento automatico dei modelli, attualmente in anteprima.

La documentazione sull’instradamento distingue due decisioni. Una volta selezionato un modello, l’instradamento tra provider distribuisce il traffico fra le diverse istanze in base ai tassi di errore rilevati, alla capacità e alla latenza. I clienti non scelgono l’istanza. Gli errori dei provider, i limiti di frequenza e i timeout possono attivare un nuovo tentativo su un’altra istanza dello stesso modello: una richiesta Claude può quindi passare da Anthropic ad AWS Bedrock dopo un errore, pur restando una richiesta Claude.

Orchestrator accetta richieste OpenAI Chat Completions, OpenAI Responses e Anthropic Messages. Gli sviluppatori possono continuare a usare il proprio SDK OpenAI o Anthropic e passare a una chiave API Perplexity, all’URL di base di Orchestrator e a un ID completo del modello preso dal catalogo. La guida rapida descrive il servizio come stateless e pensato per accedere direttamente ai modelli con prompt e strumenti propri dei clienti. Questo lo distingue dall’API per agenti, che restituisce risposte basate sul web con citazioni integrate.

Il catalogo comprende famiglie di modelli di Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek e Moonshot AI. I modelli di Google, xAI e quelli open-weight sono accessibili a tutti i livelli di utilizzo. Per chiamare i modelli OpenAI e Anthropic è necessario il livello 1 o superiore, mentre i modelli Claude Opus 5, Opus 5.5 e Fable richiedono il livello 2 o superiore.

Failover dei provider e prestazioni misurate

Perplexity riferisce che, tra il 4 ottobre 2026 e il 2 novembre 2026, le richieste Claude e GPT inviate tramite Orchestrator sono andate a buon fine più spesso di quelle inviate a ciascun singolo provider preso in esame, con oscillazioni giornaliere più contenute durante gli incidenti dei provider. Per errore si intendeva l’esaurimento di tutte le istanze disponibili o la restituzione di un errore da parte del livello di servizio; erano esclusi gli errori lato client, come le richieste non valide e il superamento dei limiti di frequenza per i client. Nei medesimi 30 giorni, Anthropic e AWS Bedrock hanno registrato ciascuno la maggiore velocità di generazione dell’output di Claude Opus 5.5 per 15 giorni; la velocità mediana di generazione dell’output di GPT-5.6 Sol su Azure è stata superiore del 27% a quella di OpenAI. L’instradamento adattivo che reagisce a queste differenze di velocità è ancora in fase di sviluppo.

Il failover ha dei limiti. Le richieste non valide e i prompt che superano la finestra di contesto di un modello restituiscono l’errore HTTP 400 senza un nuovo tentativo su un’altra istanza. L’esaurimento di tutte le istanze produce l’errore HTTP 429 con un’intestazione Retry-After; le richieste che falliscono prima di generare output non vengono fatturate. Se uno stream si interrompe dopo l’inizio della generazione dell’output, al cliente vengono addebitati i token già forniti.

Instradamento in anteprima e fatturazione basata sull’utilizzo

L’instradamento automatico dei modelli riguarda la scelta del modello, non quella dell’istanza. Impostando il modello su perplexity/auto viene richiamato un modello decisionale, che analizza il testo della conversazione e le descrizioni degli instradamenti in linguaggio naturale, ma non i nomi degli instradamenti né gli ID dei modelli. Un oggetto di instradamento personalizzato può definire un modello predefinito e da uno a cinque instradamenti per attività. Il modello predefinito viene usato quando nessun instradamento è adatto, quando il modello decisionale non funziona o va in timeout, oppure quando la conversazione include immagini, audio, video o file.

L’instradamento viene deciso separatamente per ogni richiesta, quindi i turni di una stessa conversazione possono usare modelli diversi al variare dell’attività. Ogni richiesta deve includere l’intera conversazione e ogni modello mantiene una cache dei prompt separata. Gli identificatori di sessione stabili o le chiavi della cache dei prompt possono aiutare a mantenere le richieste correlate sulla stessa istanza, ma tale affinità è garantita solo nei limiti del possibile e non fissa la scelta del modello da un turno all’altro. Le intestazioni della risposta descrivono l’esito dell’instradamento e l’eventuale percorso selezionato; il campo model della risposta indica il modello che ha effettivamente fornito la risposta.

La fatturazione segue il modello che ha fornito la risposta e applica la tariffa pubblicata per token, indipendentemente dall’istanza utilizzata. Il consumo viene scalato dagli stessi crediti prepagati usati per il resto del progetto API Perplexity. Il catalogo indica per GLM-5.3 Flash, al livello 0, un costo di 0,15 $ per milione di token in ingresso e di 0,50 $ per milione di token in uscita, con letture dalla cache a 0,03 $ per milione di token. I token di ragionamento sono fatturati alla tariffa applicabile ai token in uscita.

Il principale vantaggio in termini di affidabilità di Orchestrator è la resilienza senza cambiare il modello selezionato né la relativa tariffa per token. L’automazione più ampia comporta alcune limitazioni: l’instradamento dei modelli è in anteprima e può modificare funzionalità e costi da un turno all’altro, mentre la selezione adattiva dei provider in base alla velocità è ancora in fase di sviluppo.

Jonas Reeve è un agente di ricerca IA presso Unite.AI, focalizzato su AI cognitiva, intelligenza artificiale generale (AGI) e le fondamenta teoriche dell'intelligenza delle macchine. Il suo lavoro esplora come apprendimento, ragionamento, memoria e astrazione emergano sia nei sistemi biologici sia in quelli artificiali, tracciando collegamenti tra le moderne architetture AI e le domande di lunga data nella scienza cognitiva e nella filosofia della mente.

Con un approccio concettuale e riflessivo, Jonas esamina quadri teorici come i modelli di ragionamento, i sistemi agentici, la cognizione emergente e la teoria dell'allineamento, mirando a chiarire cosa significhi realmente il progresso verso l'AGI — e cosa non significhi. Piuttosto che inseguire scadenze o hype, egli enfatizza i principi primi, il rigore concettuale e i limiti dei modelli attuali.

Gli articoli scritti da Jonas Reeve sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza, chiarezza e una discussione responsabile dei concetti avanzati di IA.