Together AI lanza Together Post-Training, un servicio para crear modelos personalizados

El 19 de octubre de 2026, Together AI lanzó Together Post-Training, un servicio para crear modelos personalizados mediante ciclos de aprendizaje por refuerzo y ajuste fino supervisado definidos por los usuarios, con un precio promocional inicial de 9 dólares por hora de GPU de uso de B200 durante las primeras seis semanas.

Modelos disponibles en el lanzamiento, precios y acceso anticipado

El servicio está diseñado para crear modelos personalizados tanto a partir de recompensas del entorno mediante aprendizaje por refuerzo (RL) como de datos de supervisión mediante ajuste fino supervisado (SFT). Los clientes definen el ciclo de entrenamiento, incluidos los datos, los entornos y los marcos de trabajo para agentes, y pueden añadir pasos como el registro de datos o la evaluación comparativa externa; mientras tanto, Together optimiza conjuntamente los sistemas y la infraestructura subyacentes para mejorar la calidad de los modelos y la velocidad de entrenamiento. Together explicó que creó el servicio porque la infraestructura de RL es cada vez más compleja y muchas empresas que podrían beneficiarse del postentrenamiento nunca lo inician o, si lo hacen, se quedan estancadas por la carga que supone la infraestructura.

El servicio se lanza con los modelos de pesos abiertos Muse Spark Open, GLM 5.3, Kimi K3 y Qwen 3.8-27B. Together indicó que ampliará la selección en las próximas semanas para incluir tanto modelos de lenguaje grandes (LLM) de vanguardia como modelos pequeños y eficientes. Durante las primeras seis semanas, el servicio tendrá un precio reducido de 9 dólares por hora de GPU de uso de B200.

Antes del lanzamiento, Together concedió acceso anticipado a un grupo selecto de organizaciones durante los últimos meses. Adit Jain, investigador de Collinear AI, afirmó que su equipo colaboraba con la empresa desde que se lanzó la versión beta de Post-Training en abril de 2026.

Recursos de modelo dedicados y facturación por minuto de GPU

Todos los experimentos se ejecutan en lo que Together denomina recursos de modelo: asignaciones de GPU dedicadas a un solo cliente, sin competir con las solicitudes de prioridad de otros usuarios. Cada recurso de modelo puede alojar una o varias sesiones de entrenamiento, y cada sesión corresponde a un único experimento sobre el mismo modelo base, por ejemplo, un conjunto de adaptadores LoRA. Together señaló que las asignaciones dedicadas también permiten realizar ajustes finos de todos los pesos, más allá de LoRA, al adaptar modelos a tareas que requieren grandes cantidades de conocimiento.

Cada sesión contiene una instancia de entrenamiento, responsable de las pasadas hacia delante y hacia atrás y de las actualizaciones de pesos, junto con instancias generadoras que ejecutan trayectorias a partir de la política. Para el ajuste fino supervisado, un recurso de modelo puede iniciarse sin generadores para reducir los costos. Los usuarios deciden cuándo se envían los parámetros del entrenador al generador, y se admite el RL asíncrono para lograr una alta utilización de GPU en ambos componentes, especialmente durante las trayectorias prolongadas de agentes.

Los usuarios pueden ejecutar entrenamientos de LoRA, incluso con varios adaptadores LoRA que comparten la misma capacidad de GPU, además de experimentos con todos los pesos para determinados modelos. El servicio admite funciones de pérdida estándar, como la entropía cruzada, GRPO, CISPO y DPPO. Los usuarios también pueden calcular localmente un objetivo de entrenamiento personalizado y enviar sus gradientes al entrenador.

Según la documentación de postentrenamiento, la interfaz principal del SDK consta de un método create, que aprovisiona un recurso de modelo (la unidad facturable), y un método create_session, que le asocia una sesión de entrenamiento. A continuación, se realizan llamadas para cada paso: sample_batch, que genera respuestas para su puntuación; forward_backward, que calcula la pérdida y propaga los gradientes hacia atrás; optim_step, que actualiza los pesos; y weights_sync, que publica los nuevos pesos en las réplicas del generador. SFT y DPO omiten sample_batch y weights_sync porque no generan respuestas mediante muestreo.

Los recursos de modelo se facturan por minuto de GPU, y Together afirmó que, en cuanto los experimentos aumentan de escala, los costos totales de entrenamiento son inferiores a los de la facturación por token. La documentación compara este modelo con el servicio estándar de ajuste fino de la empresa, que cobra por token procesado y se ejecuta como una tarea hasta completarse, sin permitir control durante la ejecución. En cambio, los usuarios de postentrenamiento pueden consultar métricas de cada paso, cambiar la tasa de aprendizaje, reorganizar los datos o detener una ejecución según sus propias reglas.

Estabilidad del entrenamiento y vía de implementación

Together afirmó que el servicio elimina numerosas fuentes de divergencia entre las políticas de los motores de entrenamiento e inferencia, donde pequeñas discrepancias numéricas con los mismos pesos pueden hacer que una ejecución de RL rinda por debajo de lo esperado o colapse. Para ello, emplea técnicas estándar, como Rollout Routing Replay, junto con optimizaciones derivadas de sus investigaciones sobre la estabilidad del entrenamiento. La empresa indicó que sus motores de ejecución de trayectorias aprovechan las mismas optimizaciones que su infraestructura de servicio, con almacenamiento en caché y enrutamiento inteligentes para agentes con varios turnos, además de paralelismo optimizado y empaquetado de secuencias que aceleran tanto los pasos de SFT como los de RL.

Tras el entrenamiento, la empresa ahora admite el servicio de adaptadores multi-LoRA en Dedicated Model Inference, lo que permite a los usuarios cambiar de adaptador dentro de una sola implementación en GPU, en lugar de iniciar una implementación de producción independiente para cada ejecución. Together afirmó que cada punto de control del entrenamiento conserva su calidad durante el servicio, incluso después de pasar del muestreo multi-LoRA a la inferencia con adaptadores combinados en precisión FP4.

La documentación describe un flujo de trabajo que abarca el entrenamiento, la evaluación y la puesta en producción: entrenar varios adaptadores con un único modelo base congelado, asociar las opciones candidatas a una sola implementación multi-LoRA y compararlas indicando un adaptador diferente en cada solicitud; después, implementar la opción ganadora en modo combinado en una implementación independiente. En el caso de GLM-5.3 y Kimi-K3, primero hay que preparar los adaptadores para la inferencia FP4.

Incorporación, migración de Tinker y primeros usuarios

Para empezar, se necesitan la versión más reciente del SDK de Together y la documentación. Together publicó guías prácticas en un repositorio de GitHub llamado post-training-cookbook, que abarca el entrenamiento con GRPO en el benchmark GSM8K, DPO implementado como una función de pérdida personalizada y el entrenamiento de varios adaptadores LoRA dentro del mismo recurso de modelo; la documentación describe estas guías como una biblioteca de Python con ciclos listos para usar, cuyos cuadernos explican GRPO, SFT y el entrenamiento con varios adaptadores en un mismo recurso de modelo mediante llamadas asíncronas del SDK. Para los equipos que ya tienen una configuración en la API de Tinker, existe una vía de migración que sustituye una línea de importación por import together.post_training.tinker as tinker, según se detalla en una guía de migración.

Entre los usuarios con acceso anticipado, Anthony Li, director asociado de ciencia de datos en Deel, afirmó que el control y la flexibilidad de la plataforma permitieron a su equipo empezar a ejecutar experimentos de RL reales en un par de horas y llevar a cabo hasta cinco experimentos de RL simultáneos con la misma capacidad de GPU. Oliver Normand, ingeniero fundador de Jack & Jill, dijo que su equipo realizó el postentrenamiento de un modelo que predice qué candidatos querrá conocer un responsable de contratación —un paso fundamental en la búsqueda que lleva a cabo el agente de selección Jill de la empresa— y que, en evaluaciones sin conexión, igualó la calidad de un modelo de código cerrado con un modelo de código abierto cuyo servicio es considerablemente más barato; también señaló que los ingenieros de Together asignados directamente a los clientes escribieron los scripts que produjeron los primeros resultados del equipo.

Jain, de Collinear AI, afirmó que la incorporación autónoma y sin complicaciones facilitó el inicio de ejecuciones de RL agéntico a gran escala. Los ingenieros de Together asignados directamente a los clientes trabajan codo con codo con ellos durante todo el ciclo de vida del postentrenamiento: desde la selección de un modelo abierto y un entorno de ejecución para agentes, pasando por los datos y los entornos de entrenamiento, hasta las evaluaciones y la puesta en marcha de un punto de conexión optimizado.