Perplexity publica una explicación sobre el funcionamiento y las limitaciones de las pasarelas de IA

Perplexity publicó el 20 de octubre de 2026 una guía que explica cómo las pasarelas de IA enrutan, miden y gobiernan el tráfico entre aplicaciones y modelos de lenguaje de gran tamaño, y cuándo las necesita una organización. La publicación, titulada «¿Qué es una pasarela de IA? Guía para enrutar el tráfico de LLM y agentes, controlar los costos y establecer la gobernanza», apareció como la entrada más reciente del blog de la empresa.

Definición y gestión de solicitudes

La guía define una pasarela de IA como una capa de proxy central situada entre las aplicaciones o los agentes de IA de una organización, por un lado, y los modelos de lenguaje de gran tamaño y las herramientas que estos utilizan, por otro. En ella se gestionan el enrutamiento, el control de costos, la aplicación de medidas de seguridad y la supervisión del uso. Como cada proveedor (la guía menciona OpenAI, Anthropic, Google, modelos de código abierto y puntos de acceso alojados por el propio usuario) ofrece su propio SDK, sus propias claves de API y su propio formato de solicitud, la pasarela acepta una solicitud estándar y la adapta al proveedor al que se dirige. Los modelos se añaden, se sustituyen o se retiran mediante la configuración de la pasarela, y no modificando el código de la aplicación.

Según la guía, todas las solicitudes dirigidas a la URL base de la pasarela siguen los mismos cuatro pasos: la pasarela autentica y autoriza a quien realiza la solicitud mediante una clave y un rol; aplica políticas como límites de tokens, presupuestos y medidas de protección, incluida la eliminación de información de identificación personal (PII); enruta la solicitud a un modelo o proveedor según el costo, la latencia o la disponibilidad, con conmutación por error a una alternativa y adaptación de la solicitud al formato del proveedor de destino; y registra el modelo, la cantidad de tokens, la latencia y el resultado para hacer un seguimiento del gasto y depurar problemas.

Capacidades y limitaciones indicadas

La guía describe seis áreas de capacidad. El enrutamiento y la conmutación por error seleccionan un modelo según el costo, la latencia o la capacidad, y redirigen las solicitudes automáticamente cuando un proveedor deja de estar disponible o alcanza su límite de solicitudes. Los límites de uso y los presupuestos basados en tokens restringen el consumo por equipo, proyecto o usuario, y rechazan las solicitudes cuando se agota la asignación. La caché semántica compara las nuevas indicaciones con respuestas almacenadas según su significado y devuelve la respuesta guardada sin llamar a un modelo cuando las indicaciones son lo bastante parecidas. Las medidas de protección examinan cada indicación y respuesta, eliminan los datos personales o confidenciales antes de que lleguen a un proveedor, reducen el riesgo de inyección de instrucciones y filtran el contenido no deseado. La observabilidad registra qué modelo se utilizó, el consumo de tokens, la latencia y los errores; las funciones de gobernanza, por su parte, conceden acceso a los modelos según el rol y mantienen un registro de auditoría de cada llamada.

En cuanto a las limitaciones, la guía señala que una pasarela añade latencia, aunque describe el retraso como relativamente pequeño para el tráfico de LLM. Cita una evaluación comparativa independiente de junio de 2026, realizada por el equipo de VMware Cloud Foundation de Broadcom, en la que una pasarela de IA de Envoy optimizada añadió unos 2 milisegundos por solicitud con hasta 224 usuarios simultáneos, al aplicar enrutamiento y limitación de solicitudes, pero sin inspeccionar el contenido. Según la misma evaluación, tal como la cita la guía, las medidas de protección y la caché semántica podrían añadir entre decenas y cientos de milisegundos. La guía también señala que las pasarelas no deciden qué preguntarle a un modelo, no recuerdan conversaciones, no ejecutan la lógica paso a paso de un agente ni evalúan la calidad de las respuestas. Además, advierte que el enrutamiento basado en el costo puede reducir la calidad cuando un modelo más barato ofrece una respuesta peor.

Tipos de pasarela y tráfico de agentes

La guía compara las pasarelas de IA con las pasarelas de API tradicionales en varios aspectos: medición de tokens frente a límites por número de solicitudes; almacenamiento en caché semántico frente a coincidencia exacta; inspección de indicaciones para detectar datos confidenciales e instrucciones ocultas frente a autenticación mediante claves; y enrutamiento a modelos según el costo, la latencia o la capacidad frente al enrutamiento a servicios de backend. También distingue dos términos más específicos: una pasarela de LLM gestiona la propia llamada al modelo, mientras que una pasarela de MCP controla las herramientas y las fuentes de datos a las que puede acceder un agente mediante el protocolo Model Context Protocol. LiteLLM, Portkey, Azure API Management y Envoy AI Gateway ahora incorporan gobernanza de MCP, señala la guía, por lo que los términos describen capas de control que se solapan.

En el caso de los agentes, que según la guía trabajan en ciclos de llamadas a modelos y uso de herramientas hasta completar una tarea, la pasarela controla y supervisa todo el tráfico iniciado por los agentes, autoriza las herramientas y fuentes de datos a las que estos pueden acceder y registra todas las llamadas a modelos y herramientas en un registro de auditoría.

Datos citados sobre adopción y recomendaciones de implementación

Para estimar la demanda, la guía cita cifras de terceros. El AI Readiness Index 2025 de Cisco reveló que el 83% de los 8.039 altos directivos empresariales encuestados en organizaciones con más de 500 empleados planean desarrollar o implementar agentes de IA. Gartner prevé que, para finales de 2026, el 40% de las aplicaciones empresariales incluirá agentes especializados en tareas, frente a menos del 5% en 2025. En cuanto a los costos, la guía cita la encuesta de DoiT/Sapio de 2026, en la que el 79% de los responsables de finanzas participantes afirmó haber excedido su presupuesto de IA durante el último año, y una encuesta de Dataiku y Harris Poll de 2026, según la cual el 93% de los directores de sistemas de información de empresas afirmó que distintos modelos ofrecen mejores resultados para distintos casos de uso, el 81% de las empresas espera utilizar dos o más proveedores de modelos y el 55% ha cambiado de proveedor de LLM al menos una vez.

La monitorización independiente citada en la guía situó la disponibilidad de los principales proveedores de LLM en torno al 99,85–99,9 % en mayo de 2026, un nivel que la guía traduce en aproximadamente 9–13 horas de inactividad al año; en una encuesta de Cockroach Labs de 2026 a 1.125 altos directivos de infraestructura, dos tercios calcularon que una hora de inactividad de la IA costaría a su organización más de 100.000 dólares. La guía también cita la clasificación de OWASP de 2025, que situó la inyección de prompts como el principal riesgo de seguridad de los LLM, y un hallazgo de Zscaler ThreatLabz según el cual los datos empresariales enviados a aplicaciones de IA aumentaron un 93 % en un año, y solo ChatGPT provocó 410 millones de infracciones de prevención de pérdida de datos.

La guía enumera varias señales de que una organización necesita una pasarela: claves de proveedor codificadas directamente en varias bases de código, facturas de modelos que el departamento de finanzas no puede atribuir, errores de limitación de tasa o de inactividad vinculados a la dependencia de un único proveedor, prompts no inspeccionados que contienen datos sensibles, integraciones de proveedores que compiten entre sí en distintos equipos, integraciones de herramientas MCP y falta de una visión general de la seguridad o el cumplimiento. Señala que no hace falta una pasarela para un único prototipo, un proyecto paralelo de bajo volumen o llamadas a un único punto de conexión de modelo con requisitos de seguridad mínimos. Entre las opciones autogestionadas figuran LiteLLM, Portkey y Apache APISIX, que pueden ejecutarse en una nube privada, Kubernetes o una infraestructura local; entre las opciones gestionadas figuran Cloudflare AI Gateway, Azure API Management y Amazon Bedrock AgentCore Gateway. La guía plantea que la elección depende del control de los datos y la privacidad, la carga operativa —incluidos los almacenes de estado, como PostgreSQL, Redis o etcd—, la velocidad de implementación y las integraciones. En sus preguntas frecuentes, afirma que «pasarela de IA generativa» y «pasarela de IA» son términos intercambiables y que no existe una única pasarela de IA de código abierto que sea la mejor.