Perplexity publica uma explicação sobre o funcionamento e os limites dos gateways de IA

Perplexity publicou um guia em 20 de outubro de 2026, explicando como os gateways de IA encaminham, contabilizam e gerenciam o tráfego entre aplicativos e grandes modelos de linguagem, e quando uma organização precisa de um. Intitulada “O que é um gateway de IA? Um guia sobre roteamento, controle de custos e governança do tráfego de LLMs e agentes”, a publicação foi a mais recente no blog da empresa.

Definição e processamento de solicitações

O guia define um gateway de IA como uma camada central de proxy posicionada entre, de um lado, os aplicativos ou agentes de IA de uma organização e, do outro, os grandes modelos de linguagem e as ferramentas que eles utilizam. O roteamento, o controle de custos, a aplicação de medidas de segurança e o monitoramento do uso são gerenciados em um único lugar. Como cada provedor (o guia cita OpenAI, Anthropic, Google, modelos de código aberto e endpoints auto-hospedados) oferece seu próprio SDK, suas próprias chaves de API e seu próprio formato de solicitação, o gateway recebe uma solicitação padronizada e a traduz para o provedor chamado. Os modelos são adicionados, substituídos ou retirados por meio da configuração do gateway, e não do código do aplicativo.

Segundo o guia, toda solicitação direcionada à URL base do gateway passa pelas mesmas quatro etapas: o gateway autentica e autoriza o solicitante por chave e função; aplica políticas, como limites de tokens, orçamentos e mecanismos de proteção, incluindo a remoção de informações pessoais identificáveis (PII); encaminha a solicitação a um modelo ou provedor com base em custo, latência ou disponibilidade, transfere o processamento para um provedor de reserva e converte a solicitação para o formato do provedor de destino; e registra o modelo, a quantidade de tokens, a latência e o resultado para acompanhar os gastos e depurar problemas.

Recursos e limitações declaradas

O guia descreve seis áreas de recursos. O roteamento e a transferência automática para outro provedor selecionam um modelo com base em custo, latência ou capacidade e redirecionam as solicitações automaticamente quando um provedor está fora do ar ou sujeito a limites de taxa. Os limites de taxa e orçamentos baseados em tokens restringem o uso por equipe, projeto ou usuário, rejeitando solicitações quando a cota é atingida. O cache semântico identifica prompts novos que correspondem por significado a respostas armazenadas e retorna a resposta salva sem fazer uma chamada ao modelo quando os prompts são suficientemente semelhantes. Os mecanismos de proteção analisam cada prompt e resposta, removem dados pessoais ou confidenciais antes que cheguem a um provedor, reduzem o risco de injeção de prompts e filtram conteúdo indesejado. A observabilidade registra qual modelo foi executado, o uso de tokens, a latência e as falhas, enquanto os recursos de governança concedem acesso aos modelos com base em funções e mantêm um registro de auditoria de cada chamada.

Quanto às limitações, o guia afirma que um gateway acrescenta latência, mas descreve o atraso como relativamente pequeno para o tráfego de LLMs. Cita um benchmark independente de junho de 2026, realizado pela equipe VMware Cloud Foundation da Broadcom, no qual um Envoy AI Gateway ajustado acrescentou cerca de 2 milissegundos por solicitação, com até 224 usuários simultâneos, usando roteamento e limitação de taxa, mas sem inspeção de conteúdo. O mesmo benchmark, segundo a citação, observa que os mecanismos de proteção e o cache semântico podem acrescentar dezenas a centenas de milissegundos. O guia também afirma que os gateways não decidem o que perguntar a um modelo, não se lembram das conversas, não executam a lógica passo a passo de um agente nem avaliam a qualidade das respostas. Além disso, alerta que o roteamento orientado pelo custo pode reduzir a qualidade quando um modelo mais barato fornece uma resposta pior.

Tipos de gateway e tráfego de agentes

O guia compara os gateways de IA com os gateways de API tradicionais em vários aspectos: contabilização de tokens em vez de limites por número de solicitações; cache semântico em vez de correspondência exata; inspeção de prompts em busca de dados confidenciais e instruções ocultas em vez de autenticação por chave; e roteamento para modelos por custo, latência ou capacidade em vez de roteamento para serviços de back-end. Também distingue dois termos mais específicos: um gateway de LLM gerencia a própria chamada ao modelo, enquanto um gateway MCP controla quais ferramentas e fontes de dados um agente pode acessar por meio do Model Context Protocol. LiteLLM, Portkey, Azure API Management e Envoy AI Gateway agora oferecem governança de MCP, observa o guia; por isso, os termos descrevem camadas de controle que se sobrepõem.

No caso dos agentes, que, segundo o guia, trabalham em ciclos de chamadas ao modelo e uso de ferramentas até concluir uma tarefa, o gateway controla e monitora todo o tráfego iniciado pelos agentes, autoriza as ferramentas e fontes de dados que eles podem acessar e registra todas as chamadas a modelos e ferramentas em um log de auditoria.

Dados citados sobre adoção e orientações de implantação

Para estimar a demanda, o guia cita dados de terceiros. O AI Readiness Index 2025 da Cisco constatou que 83% dos 8.039 líderes empresariais seniores entrevistados em organizações com mais de 500 funcionários planejam desenvolver ou implantar agentes de IA. A Gartner prevê que, até o fim de 2026, agentes específicos para tarefas estarão presentes em 40% dos aplicativos corporativos, ante menos de 5% em 2025. Sobre custos, o guia cita a pesquisa DoiT/Sapio de 2026, na qual 79% dos líderes financeiros participantes disseram ter excedido o orçamento de IA no último ano, e uma pesquisa de 2026 da Dataiku e Harris Poll, na qual 93% dos CIOs de empresas disseram que modelos diferentes têm melhor desempenho em casos de uso diferentes, 81% das empresas esperam usar dois ou mais provedores de modelos e 55% já trocaram de provedor de LLM pelo menos uma vez.

O monitoramento independente citado no guia estimou que, em maio de 2026, a disponibilidade dos principais provedores de LLM ficava em torno de 99,85–99,9%, nível que, segundo o guia, corresponde a aproximadamente 9–13 horas de indisponibilidade por ano. Em uma pesquisa da Cockroach Labs de 2026 com 1.125 líderes seniores de infraestrutura, dois terços estimaram que uma hora de indisponibilidade de IA custaria mais de US$ 100.000 à organização. O guia também cita a classificação da OWASP de 2025, que apontou a injeção de prompt como o principal risco de segurança para LLMs, e uma constatação da Zscaler ThreatLabz de que a quantidade de dados corporativos enviados a aplicativos de IA aumentou 93% em um ano, com o ChatGPT, sozinho, provocando 410 milhões de violações dos controles de prevenção contra perda de dados.

O guia enumera sinais de que uma organização precisa de um gateway: chaves de provedores codificadas diretamente em várias bases de código; contas de modelos que a área financeira não consegue atribuir; erros de limite de requisições ou de indisponibilidade relacionados à dependência de um único provedor; prompts não inspecionados que contêm dados confidenciais; integrações concorrentes de provedores entre equipes; integrações com ferramentas MCP; e ausência de uma visão geral de segurança ou conformidade. O guia diz que não é necessário usar um gateway para um único protótipo, um projeto paralelo de baixo volume ou chamadas a um único endpoint de modelo com requisitos mínimos de segurança. Entre as opções auto-hospedadas estão LiteLLM, Portkey e Apache APISIX, em nuvem privada, Kubernetes ou infraestrutura local; entre as opções gerenciadas estão Cloudflare AI Gateway, Azure API Management e Amazon Bedrock AgentCore Gateway. O guia estrutura a escolha em torno do controle e da privacidade dos dados, da carga operacional — incluindo armazenamentos de estado como PostgreSQL, Redis ou etcd —, da velocidade de implantação e das integrações. A seção de perguntas frequentes afirma que «gateway de IA generativa» e «gateway de IA» são termos intercambiáveis e que não existe um único melhor gateway de IA de código aberto.