Perplexity explica o funcionamento dos gateways de LLM e os riscos em produção

Perplexity publicou um guia prático sobre gateways de LLM em 27 de outubro de 2026, explicando às equipes de engenharia como a camada intermediária encaminha, autentica, armazena em cache e registra chamadas a modelos, além de catalogar os riscos de segurança e confiabilidade associados à concentração das credenciais dos provedores em um único serviço.

Definição e taxonomia dos gateways

O guia define um gateway de LLM como um proxy reverso para chamadas a modelos: em vez de se conectarem diretamente a provedores como OpenAI, Anthropic ou Google, os aplicativos enviam solicitações ao gateway, que as encaminha aplicando as regras do operador. O guia apresenta essa categoria como uma resposta à proliferação de ferramentas e começa com uma publicação de setembro de 2026 no subreddit r/LLMDevs do Reddit, na qual um engenheiro descreveu um ambiente de trabalho em que cada pessoa tinha suas próprias chaves para Claude, OpenAI, AWS Bedrock e outros provedores de inferência.

A tabela comparativa do guia distingue quatro tipos de gateway. Um gateway de API fica diante dos serviços de backend e determina se um cliente está autenticado e dentro do limite de requisições. Um gateway de LLM fica diante dos provedores de modelos e determina qual modelo recebe uma solicitação, quem paga por ela e se a resposta foi recebida. Um gateway MCP determina se um agente pode chamar determinada ferramenta com determinados argumentos. O guia usa a expressão «gateway de IA» para designar produtos de fornecedores que combinam algumas dessas funções.

O ciclo de vida de uma solicitação em seis etapas

O guia explica o funcionamento acompanhando uma solicitação desde o aplicativo até o modelo e de volta. Primeiro, o aplicativo envia uma solicitação de chat ao endpoint do gateway, muitas vezes em um formato compatível com o OpenAI. O gateway valida as credenciais — geralmente uma chave virtual emitida para uma equipe ou um produto — e, quando há proteções de entrada configuradas, pode verificar se os prompts contêm dados confidenciais ou tentativas de substituir as instruções do modelo. Se o armazenamento em cache estiver ativado, uma solicitação correspondente que atenda aos critérios pode ser respondida com uma resposta salva; alguns gateways também oferecem cache semântico, que identifica solicitações consideradas semelhantes, em vez de idênticas. Em seguida, o gateway procura a rota correspondente em sua configuração e pode recorrer a um provedor alternativo se o primeiro não responder dentro do prazo. Ele converte a solicitação para o formato do provedor escolhido, autentica a chamada de saída e converte a resposta de volta para o aplicativo. Quando o registro está ativado, anota quem fez a chamada, qual modelo a atendeu, a quantidade de tokens, a latência e o custo.

Riscos de segurança e confiabilidade

O principal alerta do guia é que o gateway concentra credenciais. A equipe de segurança da Microsoft enumerou o que uma implantação do LiteLLM pode armazenar ou recuperar: chaves de API dos provedores, a chave mestra do LiteLLM, registros de chaves virtuais, strings de conexão com bancos de dados, configuração de roteamento e dados de políticas dos locatários. Na publicação de 26 de agosto de 2026, a Microsoft descreveu um comprometimento observado de um gateway LiteLLM, no qual invasores extraíram credenciais do ambiente de execução do gateway.

Em 13 de outubro de 2026, a Check Point Research divulgou duas vulnerabilidades de alto risco no LiteLLM: a CVE-2026-35029, uma falha de controle de acesso que permitia a usuários autenticados, inclusive os com acesso somente de leitura, acessar funções administrativas e assumir o controle do gateway; e a CVE-2026-59823, uma falha de falsificação de requisição do lado do servidor que permitia aos usuários redirecionar solicitações do gateway para um servidor controlado por um invasor e capturar chaves de API de provedores de IA. Ambas foram corrigidas na versão 1.83.9 do LiteLLM. A Check Point informou que o LiteLLM registrava 97 milhões de downloads por mês e mais de 59.000 estrelas no GitHub, e afirmou que iniciou a divulgação coordenada com o LiteLLM em outubro de 2025.

O guia também recomenda que as equipes definam uma política de falha para as proteções. Ele descreve os hooks como pontos no fluxo da solicitação em que o gateway envia o conteúdo a um scanner externo para obter uma avaliação. O guia observa que a documentação da Portkey menciona before_request_hooks e after_request_hooks e que a TrueFoundry executa quatro hooks, acrescentando verificações antes e depois das chamadas a ferramentas MCP.

Quanto à confiabilidade, o guia cita interrupções de serviço documentadas. O relato da própria Cloudflare sobre a interrupção de 12 de junho de 2025 afirma que a taxa de erros do AI Gateway chegou a 97% das solicitações porque o AI Gateway depende do Workers KV para configurações de clientes e internas; a interrupção geral durou 2 horas e 28 minutos. O relatório pós-incidente da OpenRouter sobre as interrupções de 17 e 19 de fevereiro de 2026 informa que os incidentes duraram 38 e 35 minutos após a falha de uma dependência de cache de terceiros, geraram erros 401 «Usuário não encontrado» e levaram a medidas corretivas, entre elas disjuntores e o retorno de erros 503 em vez de 401 quando problemas de infraestrutura impedem a verificação de autorização.

Opções de implantação, preços e particularidades dos fornecedores

O guia apresenta quatro opções de implantação. As equipes podem desenvolver internamente um gateway mínimo — que aceite solicitações, verifique a chave de quem as envia, acrescente a credencial do provedor, encaminhe a chamada e registre o resultado — ou hospedar por conta própria um gateway de código aberto, com LiteLLM, Bifrost e Helicone como opções. Entre os gateways gerenciados citados estão Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter e o gateway hospedado da Portkey. Uma quarta opção é ampliar um gateway de API que a empresa já utiliza; o guia cita Kong AI Gateway, as políticas de gateway de IA do Apigee e o gateway de IA do Azure API Management.

Em relação aos custos, o guia afirma que os gateways de LLM vão de softwares gratuitos de código aberto a planos pagos a partir de cerca de US$ 50 por mês, com preços personalizados para empresas, e que alguns cobram uma porcentagem em vez disso: segundo o guia, o plano Standard da OpenRouter acrescenta 5,5% às compras de créditos.

O guia termina com respostas específicas sobre cada fornecedor. Afirma que o Amazon Bedrock AgentCore Gateway oferece suporte a chamadas de modelos por meio do que a AWS chama de «alvos de inferência», permitindo que os aplicativos usem um único endpoint para acessar provedores como Amazon Bedrock, OpenAI e Anthropic. O guia observa que a própria Agent API da Perplexity oferece suporte à interface Responses API da OpenAI, permitindo que as equipes reutilizem bibliotecas de cliente existentes da OpenAI, e que a Agent API permite aos usuários listar até cinco modelos, inclusive modelos de diferentes provedores, na ordem de preferência. O guia também menciona o Numbat, de código aberto da Perplexity, que se conecta a agentes compatíveis por meio de ganchos locais e pode inspecionar ações planejadas, como comandos de shell ou gravações de arquivos, antes que sejam executadas; o bloqueio é opcional e fica desativado por padrão.