Together AI incorpora la compilación continua a la inferencia en producción

Together AI anunció la inferencia polimórfica el 4 de noviembre de 2026 y presentó Together Compiler como su primera implementación. Este sistema basado en agentes reajusta continuamente la inferencia para adaptarse a los cambios en los modelos, el tráfico y el hardware, y ya funciona en muchas de las principales cargas de trabajo de inferencia en producción de la empresa y en algunos de sus populares puntos de conexión sin servidor.

Together AI afirma que, en menos de 24 horas, el compilador alcanzó entre 1.3 y 3 veces más tokens por segundo que las bases de referencia de código abierto altamente optimizadas, en pruebas con Kimi K3, GLM 5.3, MiniMax M3.1-Flash y DeepSeek v4.1-Flash. Estos resultados ilustran la propuesta central del anuncio: la optimización puede ser un proceso de búsqueda continuo y vinculado a una implementación, en lugar de una ronda de ajustes manuales que queda fijada en el momento del lanzamiento.

Modelos, tráfico y hardware en constante cambio

Inferencia polimórfica es el término que Together AI utiliza para referirse a una infraestructura de servicio que se adapta a lanzamientos más rápidos de modelos, arquitecturas diversas, patrones de tráfico cambiantes, requisitos de nivel de servicio y cambios más frecuentes en el hardware. En cambio, el enfoque estático parte de una configuración fija del motor. Una configuración ajustada para una situación no necesariamente resulta adecuada para otra, sobre todo cuando cambian el comportamiento del modelo y la distribución de las solicitudes.

Las observaciones de la empresa en producción ofrecen ejemplos concretos. Together AI afirma que, durante el horario laboral de un país, las solicitudes alcanzaron unos 97,000 tokens, frente a 70,000 en otros lugares, y que la longitud de las solicitudes aumentó un 80% en las dos semanas posteriores al lanzamiento de un modelo, a medida que el uso se desplazaba hacia cargas de trabajo agénticas. Los picos de actividad de los clientes también pueden duplicar la longitud de las solicitudes y reducir las tasas de aciertos de la caché, lo que cambia las condiciones para las que se había ajustado una configuración existente.

El anuncio también matiza el énfasis anterior de Together AI en los megakernels, que fusionan operaciones en un solo kernel. Tras poner en producción las primeras versiones, la empresa concluyó que la fusión por sí sola no constituye un objetivo de diseño universal: las arquitecturas de mezcla de expertos y las cargas de trabajo dinámicas pueden requerir técnicas distintas. Del mismo modo, los kernels desarrollados para un tráfico fijo o aleatorio pueden estar mal calibrados para el tráfico de producción, donde el enrutamiento dependiente de los datos influye en qué optimizaciones dan mejores resultados.

Cómo funciona la compilación continua

Together Compiler toma como datos de entrada el patrón de tráfico, el modelo y el hardware, y luego utiliza agentes para generar y medir posibles optimizaciones para un motor de inferencia. Un motor persistente carga el modelo una sola vez y recarga en caliente las pasadas hacia delante candidatas sin reiniciar el motor completo. Los agentes en paralelo generan candidatos y se comunican mediante un tablero de mensajes, manteniendo las pruebas en cola mientras otros agentes razonan o utilizan herramientas.

Dos niveles de medición equilibran el volumen de experimentos y el realismo. Los motores rápidos cargan un subconjunto de capas para permitir iteraciones ágiles y mediciones con poca variabilidad; los motores más lentos cargan más capas para comprobar si los candidatos funcionan bien con distribuciones de datos realistas. Un modelo de costes independiente combina las especificaciones del hardware, micropruebas de rendimiento y pasadas hacia delante medidas para reducir las opciones de configuración del paralelismo antes de que los agentes dediquen tiempo a optimizar candidatos.

El artículo técnico señala que los candidatos ganadores se someten a pruebas de verificación para detectar contaminación de la caché KV y evaluar la calidad de los resultados antes de que puedan ponerse en servicio. Las comprobaciones se realizan una vez agotado el presupuesto de optimización, cuando se prepara el código fuente final para integrarlo en el motor de servicio.

La comparación de arranque incluida en la publicación del lanzamiento indica que el proceso habitual tarda 467 segundos en poner el sistema en servicio, frente a 9.0 segundos con la configuración de Together Compiler. Estas cifras corresponden al arranque del motor durante la optimización, no a la latencia de solicitudes individuales, y ayudan a explicar por qué la recarga en caliente es fundamental para el rendimiento experimental del sistema.

Alcance de la evaluación y acceso para clientes

Para comparar los motores, el artículo utilizó las principales configuraciones abiertas disponibles al 30 de octubre de 2026 y mantuvo fija la estrategia de paralelismo de referencia para aislar el efecto de la optimización agéntica. Trainium2 fue la excepción declarada a la carga de trabajo estándar de evaluación: se utilizó un conjunto de datos sintético de múltiples turnos porque la implementación aún no admitía niveles de concurrencia mayores dentro de la capacidad de HBM disponible.

Together AI atribuye en parte los resultados de optimización a un rendimiento experimental 252 veces superior al de los sistemas de optimización de referencia basados en la automejora recursiva agéntica.

Más allá de la inferencia de modelos lingüísticos, el artículo informa de aceleraciones de entre 1.5 y 6.4 veces en los modelos evaluados de meteorología, biología, series temporales y ecuaciones en derivadas parciales, manteniendo resultados idénticos bit a bit en las evaluaciones indicadas.

Los clientes finales pueden solicitar acceso anticipado mediante una beta limitada. Together AI tiene previsto ofrecer optimización con un solo clic para puntos de conexión dedicados; su hoja de ruta de investigación incluye decodificación especulativa adaptable al dominio, la solicitud, el token y la carga de tráfico, además de enrutamiento dinámico entre trabajadores y configuraciones de implementación para tráfico heterogéneo sin servidor.

El lanzamiento establece la medición específica de cada implementación, en lugar de un kernel universalmente óptimo, como principio organizador de la pila de inferencia de Together AI. La pregunta inmediata para los clientes es si la beta limitada puede reproducir las mejoras comunicadas con sus propios modelos, tráfico y hardware, y superar las mismas comprobaciones de calidad: una variabilidad que Continuous Compilation está diseñada para abordar.