Baseten leva sua experiência em inferência à coalizão Nemotron da NVIDIA

A Baseten anunciou em 5 de novembro de 2026 que passou a integrar a coalizão NVIDIA Nemotron, contribuindo para o desenvolvimento de modelos abertos com insights de cargas de trabalho empresariais e experiência em pós-treinamento e inferência. A adesão amplia a colaboração com a NVIDIA em lançamentos de modelos, aprendizado por reforço, personalização e inferência dedicada.

A NVIDIA lançou a coalizão em 16 de março de 2026 para reunir pesquisa, experiência, dados e capacidade computacional em torno de modelos de fronteira abertos. No anúncio do lançamento, a NVIDIA afirmou que o primeiro projeto seria um modelo-base desenvolvido em conjunto pela Mistral AI e pela NVIDIA, treinado na NVIDIA DGX Cloud, lançado como código aberto para ser especializado por desenvolvedores e organizações e usado como base para a futura família Nemotron 4.

A Baseten foi parceira desde o lançamento inicial do Nemotron 3.5 Super VL e do Nemotron 3 Ultra. Seu papel na coalizão vai além de disponibilizar modelos prontos: abrange ambientes de treinamento e conhecimento operacional moldado pelo uso empresarial. O foco prático é a personalização para requisitos empresariais específicos, considerando a qualidade da implantação, o custo e a flexibilidade como aspectos interligados.

Treinamento para cargas de trabalho de produção

A empresa desenvolveu ambientes de aprendizado por reforço para hierarquias complexas de instruções, nos quais se ignora informação irrelevante e se seguem preferências detalhadas de estilo. Outros ambientes abordam raciocínio e planejamento de longo prazo por meio da análise estatística de conjuntos de dados biológicos complexos, da demonstração de teoremas matemáticos e de jogos competitivos. Essas tarefas refletem a forma como as instruções chegam em ambientes de produção: por meio de prompts de sistema, definições de ferramentas, mensagens subsequentes dos usuários, respostas das ferramentas e mensagens de erro.

O trabalho multimodal da empresa inclui tarefas de raciocínio visual e espacial, além de chamadas de ferramentas em várias etapas que exigem compreensão visual. Segundo a Baseten, o pós-treinamento melhorou os resultados no MMMU-Pro, um benchmark de raciocínio multimodal de nível especializado. Um artigo relacionado, enviado em 5 de outubro de 2026, descreve um projetor de 50 milhões de parâmetros que conecta o codificador visual do Kimi K2.6 ao GLM 5.2 e ao GLM 5.3, mantendo fixos os pesos pré-treinados, com avaliações no MMMU-Pro e no BLINK.

Resultados mensuráveis da personalização

O relato de pesquisa de 11 de agosto de 2026 da CodeRabbit descreve um projeto com a NVIDIA e a Baseten que personalizou o Nemotron 3.5 Lightning para encaminhar revisões de código, primeiro por meio de ajuste fino supervisionado e, em seguida, de aprendizado por reforço com recompensas verificáveis. Em uma avaliação fixa de 1.000 tarefas, a concordância exata de roteamento passou de 75,8% com o modelo de referência para 80,4% após o ajuste fino supervisionado e 80,7% após o treinamento com recompensas. O kappa de Cohen, uma medida de concordância além do acaso, subiu de 0,429 para 0,461 e, depois, para 0,544.

A CodeRabbit considerou que a variação final de 0,3 ponto percentual na concordância de roteamento representava ausência de regressão, e não uma melhora estatisticamente conclusiva, pois o intervalo de confiança pareado incluía zero. A comparação de inferência estimou uma redução de 50,4% no custo com vazão saturada: a mesma avaliação custou US$ 2,34 no modelo de referência e US$ 1,16 em uma A100 da Baseten. As verificações sob carga contínua e com tráfego de produção ficaram para uma fase posterior.

A Harvey oferece um caso diferente de personalização. Segundo a Baseten, a plataforma de IA jurídica faz o pós-treinamento do Nemotron na Baseten para fluxos de trabalho especializados que atendem dezenas de milhares de advogados diariamente. Em uma pesquisa publicada pela Harvey e pela Baseten em 8 de setembro de 2026, uma sala de dados de fusões e aquisições foi carregada em um ambiente Python, e um agente principal recebeu a tarefa de delegar análises delimitadas a subagentes. A Harvey relatou que, em sete modelos avaliados em 50 salas de dados reservadas para teste, o sistema elevou de 23,3% para 62,4% a taxa média de aprovação dos critérios da rubrica.

O relato da Harvey também informa que o aprendizado por reforço em um modelo principal Qwen3.5-122B-A10B elevou de 29,9% para 63,0% a taxa de aprovação nessas 50 salas, ao mesmo tempo que caracteriza os experimentos como explorações iniciais e considera substancial a distância que ainda falta percorrer para alcançar taxas de aprovação quase perfeitas.

Implantação e IA de voz

O Baseten Loops conecta fluxos de trabalho gerenciados de aprendizado por reforço à inferência dedicada, enquanto os clientes mantêm a propriedade dos pesos dos modelos treinados. O Loops é compatível com o Nemotron 3.5 Super VL e o Nemotron 3 Ultra; o Super VL está disponível para treinamento em BF16 e NVFP4.

As empresas também estão avaliando agentes de voz com tecnologia Nemotron em aplicações completas, incluindo a qualidade e a capacidade de resposta dos modelos. O benchmark de reconhecimento de fala de 4 de agosto de 2026 da Baseten informou que uma NVIDIA H100 manteve até 100 fluxos simultâneos de áudio em tempo real via WebSocket. A latência de finalização — o tempo entre o fim da fala de uma pessoa e a disponibilização da transcrição final — passou de 98 milissegundos com oito fluxos para 138 milissegundos com 100.

A participação da Baseten na coalizão conecta a adaptação de modelos à infraestrutura usada para disponibilizar os modelos resultantes. Os resultados dos clientes oferecem evidências concretas dessa abordagem, enquanto a estimativa da CodeRabbit com vazão saturada e as verificações de produção ainda pendentes, juntamente com os experimentos em estágio inicial da Harvey, delimitam seus limites. A questão central é até que ponto os ganhos medidos se mantêm no uso contínuo em produção.