Together AI lança o serviço Together Post-Training para modelos personalizados

Em 19 de outubro de 2026, a Together AI lançou o Together Post-Training, um serviço para criar modelos personalizados por meio de ciclos de aprendizado por reforço e ajuste fino supervisionado definidos pelos usuários, com preço promocional de US$ 9 por hora de GPU de uso do B200 durante as seis primeiras semanas.

Modelos disponíveis no lançamento, preços e acesso antecipado

O serviço foi desenvolvido para criar modelos personalizados tanto com base em recompensas do ambiente, por meio de RL, quanto em dados de supervisão, por meio de SFT. Os clientes definem o ciclo de treinamento — incluindo dados, ambientes e estruturas para agentes — e podem adicionar etapas como registro de dados ou avaliação comparativa externa, enquanto a Together cootimiza os sistemas e a infraestrutura subjacentes para melhorar a qualidade dos modelos e a velocidade do treinamento. A Together afirmou que criou o serviço porque a infraestrutura de RL está se tornando mais complexa e muitas empresas que poderiam se beneficiar do pós-treinamento nunca chegam a começar ou começam, mas acabam parando diante da carga imposta pela infraestrutura.

O serviço é lançado com os modelos de pesos abertos Muse Spark Open, GLM 5.3, Kimi K3 e Qwen 3.8-27B. A Together afirmou que ampliará a seleção nas próximas semanas para incluir tanto LLMs de ponta quanto modelos menores e eficientes. Durante as seis primeiras semanas, o serviço será oferecido pelo preço reduzido de US$ 9 por hora de GPU de uso do B200.

Antes do lançamento, a Together concedeu acesso antecipado a um grupo seleto de organizações nos últimos meses. Adit Jain, pesquisador da Collinear AI, afirmou que sua equipe colaborava com a empresa desde o lançamento da versão beta do serviço Post-Training, em abril de 2026.

Recursos de modelo dedicados e cobrança por minuto de GPU

Todos os experimentos são executados no que a Together chama de Model Resources: alocações de GPU dedicadas a um único cliente, sem concorrência com solicitações de prioridade de outros usuários. Cada Model Resource pode conter uma ou várias Training Sessions, e cada sessão corresponde a um único experimento no mesmo modelo-base, por exemplo, um conjunto de adaptadores LoRA. A Together afirmou que as alocações dedicadas também permitem executar ajustes finos de todos os pesos, além de LoRA, ao adaptar modelos para tarefas que exigem amplo conhecimento.

Cada sessão contém uma instância do Trainer, responsável pelas etapas de propagação direta e retropropagação e pelas atualizações dos pesos, além de instâncias do Generator, que executam trajetórias a partir da política. No ajuste fino supervisionado, um recurso de modelo pode começar sem nenhum gerador para reduzir os custos. Os usuários decidem quando os parâmetros do Trainer são enviados ao Generator, e há suporte a RL assíncrono para manter alta a utilização de GPU dos dois componentes, especialmente durante trajetórias longas de agentes.

Os usuários podem executar treinamento com LoRA, inclusive com vários adaptadores LoRA compartilhando a mesma capacidade de GPU, bem como experimentos com todos os pesos para determinados modelos. O serviço oferece suporte a funções de perda padrão, como entropia cruzada, GRPO, CISPO e DPPO. Os usuários também podem calcular localmente um objetivo de treinamento personalizado e enviar seus gradientes ao Trainer.

De acordo com a documentação de pós-treinamento, a principal interface do SDK consiste em um método create, que provisiona um recurso de modelo (a unidade faturável), e um método create_session, que associa a ele uma sessão de treinamento, seguidos de chamadas a cada etapa: sample_batch, para gerar conclusões a serem avaliadas; forward_backward, para calcular a perda e propagar os gradientes de volta; optim_step, para atualizar os pesos; e weights_sync, para distribuir os novos pesos às réplicas do Generator. SFT e DPO não usam sample_batch nem weights_sync porque não geram amostras de conclusões.

Os recursos de modelo são cobrados por minuto de GPU, e a Together afirmou que, assim que os experimentos aumentam de escala, os custos gerais de treinamento ficam abaixo dos praticados na cobrança por token. A documentação compara esse modelo ao serviço padrão de ajuste fino da empresa, que cobra por token processado e é executado como uma tarefa que segue até a conclusão, sem permitir controle durante a execução. Com o pós-treinamento, os usuários podem consultar métricas de cada etapa, alterar a taxa de aprendizado, reorganizar os dados ou interromper uma execução com base em sua própria lógica.

Estabilidade do treinamento e caminho para a implantação

A Together afirmou que o serviço elimina inúmeras fontes de divergência entre as políticas dos mecanismos de treinamento e de inferência. Pequenas discrepâncias numéricas, mesmo com pesos idênticos, podem fazer com que uma execução de RL tenha desempenho inferior ou entre em colapso. Para isso, o serviço usa técnicas padrão, como Rollout Routing Replay, além de otimizações derivadas das pesquisas da empresa sobre estabilidade do treinamento. A empresa afirmou que seus mecanismos de execução de trajetórias aproveitam as mesmas otimizações de sua infraestrutura de serving, com cache inteligente e roteamento para agentes de várias rodadas, além de paralelismo otimizado e empacotamento de sequências, que aceleram as etapas de SFT e RL.

Após o treinamento, a empresa passou a oferecer suporte à disponibilização de adaptadores multi-LoRA no Dedicated Model Inference, permitindo que os usuários troquem de adaptador em uma única implantação de GPU, em vez de iniciar uma implantação de produção separada para cada execução. A Together afirmou que cada checkpoint de treinamento mantém sua qualidade na disponibilização, mesmo após a mudança da amostragem multi-LoRA para a inferência com pesos mesclados na precisão FP4.

A documentação descreve um fluxo de trabalho de treinamento, avaliação e preparação para produção: treinar vários adaptadores em relação a um único modelo-base congelado; anexar os candidatos a uma única implantação multi-LoRA e compará-los indicando um adaptador diferente em cada solicitação; e, por fim, implantar o vencedor no modo de pesos mesclados em uma implantação própria. No caso de GLM-5.3 e Kimi-K3, os adaptadores precisam passar primeiro por uma etapa de preparação para inferência FP4.

Integração, migração do Tinker e primeiros usuários

Para começar, é necessário ter a versão mais recente do Together SDK e consultar a documentação. A Together publicou guias práticos no repositório post-training-cookbook, no GitHub, com conteúdos sobre treinamento GRPO no benchmark GSM8K, DPO implementado como uma função de perda personalizada e treinamento de vários adaptadores LoRA no mesmo recurso de modelo; a documentação descreve o cookbook como uma biblioteca Python de ciclos prontos, cujos notebooks explicam o GRPO, o SFT e o treinamento de vários adaptadores em um único recurso de modelo, usando chamadas assíncronas do SDK. Para equipes que já usam a API Tinker, há um caminho de migração que substitui uma linha de importação por import together.post_training.tinker as tinker, detalhado em um guia de migração.

Entre os usuários com acesso antecipado, Anthony Li, diretor associado de ciência de dados na Deel, afirmou que o controle e a flexibilidade da plataforma permitiram que sua equipe começasse a executar experimentos reais de RL em poucas horas e realizasse até cinco experimentos de RL simultâneos com a mesma capacidade de GPU. Oliver Normand, engenheiro fundador da Jack & Jill, disse que sua equipe fez o pós-treinamento de um modelo que prevê quais candidatos um gerente de contratação vai querer conhecer — uma etapa central da busca realizada pelo agente de recrutamento Jill da empresa — e igualou a qualidade de um modelo de código fechado em avaliações offline usando um modelo de código aberto significativamente mais barato de executar; ele afirmou que os engenheiros da Together alocados junto aos clientes escreveram os scripts que geraram os primeiros resultados da equipe.

Jain, da Collinear AI, afirmou que o processo de integração autônoma e sem atritos facilitou o início de execuções de RL agêntico em larga escala. Os engenheiros da Together alocados junto aos clientes trabalham com eles durante todo o ciclo de pós-treinamento, desde a seleção de um modelo aberto e de uma estrutura de agente até a preparação dos dados e dos ambientes de treinamento, as avaliações e a disponibilização de um endpoint otimizado.