Perplexity pubblica una guida esplicativa sul funzionamento e sui limiti dei gateway per l’IA

Perplexity ha pubblicato il 20 ottobre 2026 una guida che spiega come i gateway per l’IA instradano, misurano e gestiscono il traffico tra applicazioni e modelli linguistici di grandi dimensioni, e quando un’organizzazione ne ha bisogno. Intitolato «Che cos’è un gateway per l’IA? Una guida all’instradamento, al controllo dei costi e alla governance del traffico di LLM e agenti», il post è apparso come ultimo contenuto pubblicato sul blog dell’azienda.

Definizione e gestione delle richieste

La guida definisce un gateway per l’IA come un livello proxy centrale che si interpone tra le applicazioni o gli agenti IA di un’organizzazione, da un lato, e i modelli linguistici di grandi dimensioni e gli strumenti che questi utilizzano, dall’altro. Il gateway gestisce in un unico punto l’instradamento, il controllo dei costi, l’applicazione delle misure di sicurezza e il monitoraggio dell’utilizzo. Poiché ogni fornitore (la guida cita OpenAI, Anthropic, Google, modelli open source ed endpoint ospitati in proprio) mette a disposizione il proprio SDK, le proprie chiavi API e il proprio formato di richiesta, il gateway accetta una richiesta standard e la traduce nel formato del fornitore destinatario. I modelli vengono aggiunti, sostituiti o ritirati tramite la configurazione del gateway, anziché modificando il codice dell’applicazione.

Secondo la guida, ogni richiesta indirizzata all’URL di base del gateway segue gli stessi quattro passaggi: il gateway autentica e autorizza il chiamante in base alla chiave e al ruolo; applica criteri quali limiti di token, budget e misure di protezione, compresa la rimozione dei dati personali identificabili (PII); instrada la richiesta verso un modello o un fornitore in base a costo, latenza o disponibilità, passando a un servizio di riserva e traducendo la richiesta nel formato del fornitore di destinazione; infine, registra il modello, il numero di token, la latenza e l’esito, così da monitorare la spesa e agevolare il debug.

Funzionalità e limiti dichiarati

La guida descrive sei aree funzionali. L’instradamento e il passaggio a un servizio di riserva selezionano un modello in base a costo, latenza o capacità e reindirizzano automaticamente le richieste quando un fornitore non è disponibile o ha raggiunto il limite di frequenza. I limiti di frequenza basati sui token e i budget fissano un tetto all’utilizzo per team, progetto o utente, rifiutando le richieste una volta esaurita la quota assegnata. La memorizzazione nella cache semantica confronta i nuovi prompt con le risposte salvate in base al significato e restituisce la risposta memorizzata senza interrogare un modello quando i prompt sono sufficientemente simili. Le misure di protezione esaminano ogni prompt e risposta, rimuovono i dati personali o sensibili prima che raggiungano un fornitore, riducono il rischio di prompt injection e filtrano i contenuti indesiderati. Le funzionalità di osservabilità registrano quale modello è stato eseguito, l’utilizzo dei token, la latenza e gli errori; quelle di governance assegnano l’accesso ai modelli in base ai ruoli e conservano un registro di controllo di ogni chiamata.

Quanto ai limiti, la guida afferma che un gateway aggiunge latenza, ma descrive il ritardo come relativamente contenuto per il traffico LLM. Cita un benchmark indipendente del giugno 2026, condotto dal team VMware Cloud Foundation di Broadcom, nel quale un Envoy AI Gateway ottimizzato ha aggiunto circa 2 millisecondi per richiesta con un massimo di 224 utenti simultanei, attivando l’instradamento e la limitazione della frequenza ma senza ispezionare i contenuti; secondo quanto riportato dalla guida, lo stesso benchmark rileva che le misure di protezione e la memorizzazione nella cache semantica possono aggiungere da decine a centinaia di millisecondi. La guida afferma inoltre che i gateway non decidono che cosa chiedere a un modello, non ricordano le conversazioni, non eseguono la logica passo per passo di un agente e non valutano la qualità delle risposte; avverte anche che un instradamento basato sui costi può ridurre la qualità quando un modello più economico fornisce una risposta peggiore.

Tipi di gateway e traffico degli agenti

La guida mette a confronto i gateway per l’IA e i gateway API tradizionali sotto diversi aspetti: misurazione dei token anziché limiti al numero di richieste, memorizzazione nella cache semantica anziché corrispondenza esatta, ispezione dei prompt per individuare dati sensibili e istruzioni nascoste anziché autenticazione tramite chiave, e instradamento verso modelli in base a costo, latenza o capacità anziché instradamento verso servizi back-end. Distingue inoltre due termini più specifici: un gateway LLM gestisce la chiamata al modello, mentre un gateway MCP controlla a quali strumenti e fonti di dati può accedere un agente tramite il Model Context Protocol. La guida osserva che LiteLLM, Portkey, Azure API Management ed Envoy AI Gateway ora aggiungono funzionalità di governance MCP; i termini descrivono quindi livelli di controllo che si sovrappongono.

Secondo la guida, gli agenti lavorano attraverso cicli di chiamate ai modelli e utilizzo di strumenti finché un’attività non è completata. Il gateway controlla e monitora tutto il traffico avviato dagli agenti, autorizza gli strumenti e le fonti di dati a cui possono accedere e registra in un registro di controllo tutte le chiamate ai modelli e agli strumenti.

Dati citati sull’adozione e indicazioni per l’implementazione

Per stimare la domanda, la guida cita dati di terze parti. L’AI Readiness Index 2025 di Cisco ha rilevato che l’83% degli 8.039 dirigenti aziendali di alto livello intervistati presso organizzazioni con più di 500 dipendenti prevede di sviluppare o implementare agenti IA; Gartner prevede che, entro la fine del 2026, agenti specializzati in attività specifiche saranno presenti nel 40% delle applicazioni aziendali, rispetto a meno del 5% nel 2025. Per quanto riguarda i costi, la guida cita il sondaggio DoiT/Sapio del 2026, secondo cui il 79% dei responsabili finanziari partecipanti ha superato il proprio budget per l’IA nell’ultimo anno, e un sondaggio del 2026 condotto da Dataiku e Harris Poll, dal quale emerge che il 93% dei CIO delle imprese ritiene che modelli diversi offrano prestazioni migliori per casi d’uso diversi, l’81% delle imprese prevede di utilizzare due o più fornitori di modelli e il 55% ha cambiato fornitore LLM almeno una volta.

Il monitoraggio indipendente citato nella guida stima che a maggio 2026 i principali fornitori di LLM abbiano registrato una disponibilità compresa tra il 99,85% e il 99,9%, un livello che la guida traduce in circa 9–13 ore di interruzione del servizio all’anno; in un sondaggio del 2026 di Cockroach Labs condotto su 1.125 responsabili senior delle infrastrutture, due terzi hanno stimato che un’ora di interruzione dei servizi di IA costerebbe alla propria organizzazione oltre 100.000 $. La guida cita inoltre la classifica OWASP del 2025, che colloca la prompt injection al primo posto tra i rischi per la sicurezza degli LLM, e una rilevazione di Zscaler ThreatLabz secondo cui i dati aziendali inviati alle applicazioni di IA sono aumentati del 93% in un anno, con ChatGPT da solo all’origine di 410 milioni di violazioni delle misure di prevenzione della perdita di dati.

La guida elenca alcuni segnali che indicano la necessità di un gateway per un’organizzazione: chiavi dei fornitori inserite direttamente nel codice di diverse codebase, fatture dei modelli che il reparto finanziario non riesce ad attribuire, errori di limite di frequenza o di interruzione del servizio legati alla dipendenza da un unico fornitore, prompt non controllati contenenti dati sensibili, integrazioni con fornitori in concorrenza tra i vari team, integrazioni di strumenti MCP e assenza di una panoramica sulla sicurezza o sulla conformità. Specifica che un gateway non è necessario per un singolo prototipo, un progetto secondario con volumi ridotti o chiamate a un unico endpoint di modello con requisiti di sicurezza minimi. Tra le opzioni ospitate autonomamente figurano LiteLLM, Portkey e Apache APISIX, utilizzabili su cloud privato, Kubernetes o infrastruttura locale; tra quelle gestite figurano Cloudflare AI Gateway, Azure API Management e Amazon Bedrock AgentCore Gateway. La guida presenta la scelta come una valutazione che tiene conto del controllo sui dati e della privacy, del carico operativo, inclusi gli archivi di stato come PostgreSQL, Redis o etcd, della rapidità di distribuzione e delle integrazioni. Nelle FAQ afferma che «gateway di IA generativa» e «gateway di IA» sono espressioni intercambiabili e che non esiste un unico gateway di IA open source migliore.