Por qué las herramientas de trazas de LLM ahora están creando pasarelas de IA

En 2026, LangSmith, Langfuse, Opik y Braintrust incorporaron una pasarela delante de los proveedores de modelos. La razón principal es el control: una herramienta de trazas solo puede registrar una llamada a un modelo, mientras que una pasarela puede impedirla.

Dos herramientas con funciones distintas

Durante los últimos dos años, muchos equipos ejecutaron aplicaciones de modelos de lenguaje grandes (LLM) con dos herramientas independientes. Una pasarela se situaba entre la aplicación y los proveedores de modelos. Almacenaba las claves de API de los proveedores, traducía entre sus API y volvía a intentar las llamadas fallidas. LiteLLM, un proxy de código abierto, se convirtió en una opción habitual para esta tarea. Junto a la aplicación había una herramienta de trazas, como LangSmith o Langfuse, que registraba cada llamada al modelo, cada llamada a una herramienta y cada paso de recuperación, para que los ingenieros pudieran ver qué había hecho un agente.

La división tenía sentido, porque una pasarela debe ser rápida y admitir la API de cada proveedor, mientras que una herramienta de trazas necesita una buena interfaz, almacenamiento para cargas útiles de gran tamaño y un SDK que envuelva el código de la aplicación. Langfuse sigue documentando esta configuración de dos herramientas, con una integración con LiteLLM Proxy que envía cada llamada a través del proxy y luego a Langfuse. En 2026, los proveedores de herramientas de trazas empezaron a crear sus propias pasarelas.

Cuatro lanzamientos en seis meses

LangChain anunció la pasarela LLM de LangSmith en versión beta privada en mayo de 2026 y la abrió a la beta pública el 30 de julio. Desde entonces, también la ha incorporado a las implementaciones de LangSmith en la nube del cliente. Braintrust dejó de ofrecer su anterior proxy de IA y dirigió a los usuarios a una nueva pasarela, que está en fase de vista previa y será gratuita hasta su disponibilidad general. Comet lanzó la pasarela LLM de Opik como un punto de conexión beta que acepta solicitudes con formato OpenAI. El 4 de noviembre, Langfuse abrió su pasarela de IA en beta pública, tanto en Langfuse Cloud como para implementaciones autogestionadas. La pasarela tiene licencia MIT y está escrita en Rust.

MLflow, que comenzó como una herramienta para gestionar el ciclo de vida del aprendizaje automático y no como una herramienta de trazas, lleva más tiempo ofreciendo una pasarela de IA, con alertas y límites de presupuesto.

Las pasarelas existen desde hace años, y los riesgos de operar una están bien documentados. Las nuevas pasarelas proceden de empresas cuyo negocio consistía en registrar llamadas a modelos, y ahora esas empresas quieren que todas las llamadas pasen primero por sus sistemas.

Por qué un presupuesto requiere estar en la ruta de las solicitudes

Una herramienta de trazas registra una llamada a un modelo después de que el proveedor haya respondido y se hayan pagado los tokens. Ese registro basta para elaborar un gráfico de gastos, pero la herramienta de trazas no puede detener el gasto. Hacer cumplir el presupuesto de un equipo, bloquear un modelo o eliminar un secreto de una instrucción requiere comprobar la solicitud antes de que llegue al proveedor. Solo el componente que forma parte de la ruta de la solicitud puede hacerlo.

LangChain plantea este argumento en su publicación de lanzamiento. Describe cómo los equipos combinan una pasarela independiente, un producto de medidas de protección y una herramienta de observabilidad, y afirma que, para evitar problemas, hay que aplicar las políticas en la capa de solicitudes. Si una llamada superaría el presupuesto, su pasarela responde con el estado HTTP 402 en vez de reenviarla al proveedor.

Un único punto de entrada registra todas las llamadas

La segunda razón es la cobertura. Un SDK solo registra las rutas de código que alguien instrumentó. Es fuera de esas rutas donde los fallos de los agentes suelen pasar inadvertidos. Un script en un equipo portátil, un cuaderno o un agente de programación que use una clave de API copiada no deja rastro. Una pasarela que almacena las claves de los proveedores ve todas las llamadas, porque no hay otra ruta para llegar al proveedor.

Langfuse diseña su pasarela en torno a esta idea. Según la documentación de la pasarela, cada clave de pasarela pertenece a un usuario o a una cuenta de servicio y puede incluir metadatos, como un equipo o un centro de costos. Solo la pasarela almacena la credencial del proveedor, y los administradores aprueban a qué modelos puede llamar cada credencial. LangSmith publica páginas de configuración para enrutar Claude Code, Codex y Gemini CLI a través de su pasarela. Estos agentes llaman a modelos desde el equipo del desarrollador, fuera del código de trazas de cualquier aplicación.

Qué aporta la pasarela de una herramienta de trazas

Los proveedores de herramientas de trazas también plantean el argumento inverso: una pasarela independiente no basta por sí sola. La publicación de lanzamiento de Langfuse afirma que una pasarela independiente solo puede contabilizar tokens y costos, mientras que su propia pasarela convierte cada llamada en parte de una traza completa. La pasarela de Langfuse acepta un encabezado W3C traceparent, de modo que una llamada que pasa por ella se incorpora a la traza que la aplicación ya había iniciado. De forma predeterminada, registra el uso y el costo, pero no el contenido de las instrucciones ni de las respuestas.

Este es el argumento técnico más sólido para integrar la pasarela en la herramienta de trazas. Una pasarela independiente ve una lista plana de respuestas generadas. Una herramienta de trazas ya dispone, gracias a su SDK, de las llamadas del agente a las herramientas y de sus pasos de recuperación de información, y puede situar cada llamada que pasa por la pasarela dentro de esa estructura.

También hay una lectura comercial que los proveedores no expresan abiertamente. Quien opera la pasarela controla las claves de los proveedores y el informe de gastos, que es lo que consultan los equipos de finanzas y de plataformas. Eso hace que sea más difícil sustituir una pasarela que un visor de trazas. LangSmith y Langfuse ya aprovechan esa posición de distintas maneras: LangSmith vende Gateway Credits, que permiten a los clientes llamar a modelos alojados, como Kimi, sin usar sus propias claves de proveedor, mientras que las preguntas frecuentes de Langfuse indican que no revende tokens.

Lo que las pasarelas beta aún no pueden hacer

Estas pasarelas son recientes, y los proveedores documentan sus propias limitaciones. Actualmente, la pasarela de Langfuse solo es compatible con OpenAI y Anthropic; Amazon Bedrock, Google Vertex AI y Google AI Studio figuran en su hoja de ruta. Las alternativas entre proveedores y los límites estrictos de gasto por equipo, usuario o clave están previstos, pero aún no se han lanzado; por ahora, la pasarela ofrece un panel de gastos y alertas. Su documentación no menciona límites de solicitudes ni almacenamiento en caché de respuestas.

La pasarela de Langfuse no convierte entre formatos de API, por lo que un cliente de OpenAI solo puede llamar a modelos de OpenAI. La versión autohospedada solo llama a las URL oficiales de los proveedores, lo que por ahora excluye Azure OpenAI, Bedrock o un proxy interno. Comet describe la pasarela de Opik como diseñada para el desarrollo y las pruebas. Braintrust no ha anunciado los precios de su pasarela.

La pasarela de LangSmith ya ofrece más que las demás. Su documentación enumera las alternativas, los límites de gasto, los límites de solicitudes y las políticas de datos como funciones disponibles actualmente, y es compatible con los formatos OpenAI Chat Completions, OpenAI Responses y Anthropic Messages. En mayo, las alternativas y los límites de solicitudes figuraban como funciones futuras, así que se incorporaron durante la versión beta. El producto en su conjunto sigue etiquetado como beta.

Las pruebas de carga revelan otro tipo de limitación. Una prueba comparativa autohospedada de la pasarela de Langfuse, LiteLLM y AcruxCore reveló que la pasarela de Langfuse añadía menos latencia por llamada que LiteLLM. Sin embargo, con la configuración predeterminada de Docker, falló en 739 de las 1.000 transmisiones simultáneas porque el proceso mantuvo el límite predeterminado de Docker de 1.024 archivos abiertos. Bastó una línea en el archivo Compose de Langfuse para solucionarlo.

En comparación con estas versiones beta, LiteLLM, una pasarela independiente que lleva años en el mercado, admite más de 100 proveedores y ya incluye claves virtuales, seguimiento del gasto, barreras de protección, equilibrio de carga y un panel de administración. LiteLLM también está migrando la ruta de solicitudes de Python a Rust. Su pasarela de IA en Rust está en fase beta, y el equipo de LiteLLM prevé que las solicitudes /v1/messages al estilo de Anthropic se procesen de principio a fin en Rust antes del 1 de diciembre, con una latencia aproximadamente 20 veces menor. Algunas plataformas de código abierto, como MLflow y AcruxCore, ya incluyen una pasarela y el seguimiento de trazas en un mismo producto.

Razones para mantenerlas separadas

Integrar la pasarela en el sistema de trazas tiene sus costos, y el principal es el acoplamiento. Con una pasarela independiente, un equipo puede cambiar de proveedor de trazas modificando una función de registro. Si el sistema de trazas también funciona como pasarela, cambian además la URL base, las claves y los identificadores de modelo de cada servicio. Langfuse, por ejemplo, escribe los identificadores de modelo con el formato credencial:modelo.

El sistema de trazas también pasa a ser una dependencia en tiempo de ejecución. Si deja de funcionar el sistema de trazas de un proveedor, el equipo pierde las trazas. Si deja de funcionar una pasarela, fallan las llamadas a los modelos. Un proveedor de trazas que opera la pasarela ahora debe ofrecer la disponibilidad propia de una infraestructura crítica.

Los proveedores de seguridad también quieren ocupar ese mismo lugar en la ruta de solicitudes. Palo Alto Networks completó la adquisición de Portkey, una pasarela independiente, en mayo de 2026 y la convirtió en la pasarela de IA de su plataforma Prisma AIRS. Es posible que un equipo de seguridad quiera controlar la pasarela directamente, en lugar de integrarla en una herramienta de observabilidad. Las pasarelas también se han convertido en objetivo de los atacantes, como demostró en marzo la brecha en la cadena de suministro de LiteLLM.

Cómo pueden elegir los equipos

Los equipos pueden empezar por enumerar todo lo que debe ocurrir antes de llamar a un modelo. Si solo necesitan visibilidad, basta con un sistema de trazas fuera de la ruta de solicitudes, que no añade dependencias en tiempo de ejecución. Si también necesitan presupuestos, políticas de claves o aprobación de modelos, necesitan algún tipo de pasarela.

A continuación, hay que comprobar la cobertura de proveedores. Un equipo debería anotar todos los proveedores y formatos de API que utiliza en producción, incluidos Azure OpenAI y Bedrock, y comparar esa lista con la compatibilidad actual de cada pasarela, no con lo que figura en su hoja de ruta.

Los equipos que ya usan LiteLLM tienen pocos motivos para cambiar hasta que una pasarela beta ofrezca algo que les falte. Lo principal que aporta la pasarela de un sistema de trazas es que coloca la llamada a la pasarela dentro de la traza del agente, y eso debe justificar la migración. Los equipos que empiezan desde cero pueden mantener la pasarela como una capa independiente, incluso si un mismo proveedor ofrece ambas soluciones. Si la URL base y las claves están en un único módulo de configuración, un cambio posterior requiere modificar la configuración, no el código.

La mayoría de estas pasarelas están etiquetadas como beta o versión preliminar, por lo que la lista de limitaciones se reducirá rápidamente. La pregunta pendiente es quién controlará la ruta de solicitudes en una empresa típica: el equipo de observabilidad, el equipo de plataformas que opera una pasarela independiente o el equipo de seguridad. Este año, LangSmith y Langfuse crearon sus propias pasarelas y Palo Alto Networks adquirió una, pero en muchas arquitecturas la ruta de solicitudes sigue pasando por LiteLLM.