A Together AI leva a compilação contínua à inferência em produção

A Together AI anunciou a inferência polimórfica em 4 de novembro de 2026, apresentando o Together Compiler como sua primeira implementação. O sistema baseado em agentes reajusta continuamente a inferência para acompanhar mudanças nos modelos, no tráfego e no hardware, e já opera em muitas das principais cargas de trabalho de inferência em produção da empresa e em alguns de seus populares endpoints sem servidor.

A Together AI informa que, em menos de 24 horas, o compilador alcançou uma taxa de tokens por segundo de 1,3 a 3 vezes a das bases de código aberto altamente otimizadas, em testes com Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Esses resultados ilustram a principal proposta do anúncio: a otimização pode ser um processo contínuo de busca, vinculado a uma implantação, em vez de uma rodada de ajustes manuais que fica congelada no lançamento.

Modelos, tráfego e hardware em constante mudança

Inferência polimórfica é o termo que a Together AI usa para descrever uma infraestrutura de serving que se adapta a lançamentos mais rápidos de modelos, arquiteturas diversas, formatos de tráfego e requisitos de nível de serviço em evolução, além de mudanças mais frequentes no hardware. A abordagem estática, em contraste, parte de uma configuração fixa do mecanismo. Uma configuração ajustada para determinado cenário não é necessariamente adequada para outro, sobretudo quando o comportamento dos modelos e a distribuição das solicitações mudam.

As observações da empresa em produção oferecem exemplos concretos. A Together AI informa que, durante o horário de trabalho de um país, os prompts chegaram a cerca de 97.000 tokens, ante 70.000 em outros lugares, e que o tamanho dos prompts aumentou 80% nas duas semanas após o lançamento de um modelo, à medida que o uso se deslocou para cargas de trabalho baseadas em agentes. Picos de atividade dos clientes também podem dobrar o tamanho dos prompts e reduzir as taxas de acerto do cache, alterando as condições para as quais uma configuração existente foi ajustada.

O anúncio também revê a ênfase anterior da Together AI em megakernels, que fundem operações em um único kernel. Depois de colocar as primeiras versões em produção, a empresa concluiu que a fusão, por si só, não é um objetivo de projeto universal: arquiteturas de mistura de especialistas e cargas de trabalho dinâmicas podem exigir técnicas diferentes. Da mesma forma, kernels desenvolvidos para tráfego fixo ou aleatório podem ficar mal calibrados para o tráfego de produção, no qual o roteamento dependente dos dados influencia quais otimizações são mais eficazes.

Como funciona a compilação contínua

O Together Compiler recebe como entradas o formato do tráfego, o modelo e o hardware e, em seguida, usa agentes para gerar e medir otimizações candidatas para um mecanismo de inferência. Um mecanismo persistente carrega o modelo uma única vez e recarrega dinamicamente as passagens forward candidatas, sem reiniciar o mecanismo inteiro. Agentes paralelos geram opções e se comunicam por meio de um quadro de mensagens, mantendo os experimentos na fila enquanto outros agentes raciocinam ou usam ferramentas.

Duas camadas de medição equilibram o volume de experimentos e o realismo. Mecanismos rápidos carregam um subconjunto das camadas para permitir iterações ágeis e medições com baixa variância; mecanismos mais lentos carregam mais camadas para testar se as opções candidatas têm bom desempenho em distribuições de dados realistas. Um modelo de custos separado combina especificações de hardware, microbenchmarks e passagens forward medidas para reduzir o espaço de busca das configurações de paralelismo antes que os agentes dediquem tempo à otimização das opções candidatas.

O artigo técnico afirma que as opções candidatas vencedoras passam por testes de verificação para detectar contaminação do cache KV e avaliar a qualidade das saídas antes de poderem ser usadas no serving. Essas verificações são executadas quando o orçamento de otimização se esgota, durante a preparação do código-fonte final para integração ao mecanismo de serving.

A comparação de inicialização na publicação de lançamento informa que a sequência de referência levou 467 segundos até começar a atender solicitações, contra 9,0 segundos com a configuração do Together Compiler. Esses números dizem respeito à inicialização do mecanismo durante a otimização, não à latência de solicitações individuais, e ajudam a explicar por que o recarregamento dinâmico é essencial para a capacidade do sistema de executar experimentos.

Escopo da avaliação e acesso para clientes

Nas comparações entre mecanismos, o artigo usou as principais configurações abertas disponíveis em 30 de outubro de 2026 e manteve fixa a estratégia de paralelismo da linha de base para isolar o efeito da otimização baseada em agentes. O Trainium2 foi a exceção declarada à carga de trabalho padrão da avaliação: nele, foi usado um conjunto de dados sintético com várias interações, pois a implementação ainda não oferecia suporte a níveis mais altos de concorrência dentro da capacidade de HBM disponível.

A Together AI atribui os resultados da otimização, em parte, a uma vazão de experimentação 252 vezes maior que a dos sistemas de referência de otimização agêntica por autoaperfeiçoamento recursivo.

Além da inferência de modelos de linguagem, o artigo relata acelerações de 1,5 a 6,4 vezes nos modelos testados de previsão do tempo, biologia, séries temporais e equações diferenciais parciais, mantendo saídas idênticas bit a bit nas avaliações descritas.

Os clientes finais podem solicitar acesso antecipado por meio de uma versão beta limitada. A Together AI planeja oferecer otimização de endpoints dedicados com um único clique, enquanto seu roteiro de pesquisa inclui decodificação especulativa que se adapta ao domínio, à solicitação, ao token e à carga de tráfego, além de roteamento dinâmico entre workers e configurações de implantação para tráfego heterogêneo de serviços sem servidor.

O lançamento coloca a medição específica de cada implantação, e não um kernel universalmente ideal, como princípio organizador da pilha de inferência da Together AI. A questão imediata para os clientes é se a beta limitada consegue reproduzir os ganhos relatados com seus próprios modelos, tráfego e hardware, passando pelas mesmas verificações de qualidade — a variação que a Continuous Compilation foi desenvolvida para enfrentar.