O Tülu 3 da Allen AI Acaba de Se Tornar um Rival Inesperado do DeepSeek

As manchetes continuam chegando. Os modelos do DeepSeek têm desafiado benchmarks, estabelecido novos padrões e feito muito barulho. Mas algo interessante acabou de acontecer na cena de pesquisa de IA que também vale a pena prestar atenção.

Allen AI lançou silenciosamente sua nova família de modelos Tülu 3, e sua versão de 405B parâmetros não está apenas competindo com o DeepSeek – está igualando ou superando-o em benchmarks importantes.

Vamos colocar isso em perspectiva.

O modelo Tülu 3 de 405B parâmetros está competindo com os principais performers, como DeepSeek V3, em uma variedade de tarefas. Estamos vendo desempenho comparável ou superior em áreas como problemas matemáticos, desafios de codificação e seguimento de instruções precisas. E também estão fazendo isso com uma abordagem completamente aberta.

Eles lançaram o pipeline de treinamento completo, o código e até mesmo seu novo método de aprendizado por reforço chamado Aprendizado por Reforço com Recompensas Verificáveis (RLVR) que tornou isso possível.

Desenvolvimentos como esses nas últimas semanas estão realmente mudando como o desenvolvimento de IA de ponta acontece. Quando um modelo completamente de código aberto pode igualar os melhores modelos fechados lá fora, isso abre possibilidades que anteriormente estavam trancadas atrás de paredes corporativas privadas.

A Batalha Técnica

O que fez o Tülu 3 se destacar? Isso se resume a um processo de treinamento de quatro etapas único que vai além das abordagens tradicionais.

Vamos ver como a Allen AI construiu esse modelo:

Etapa 1: Seleção Estratégica de Dados

A equipe sabia que a qualidade do modelo começa com a qualidade dos dados. Eles combinaram conjuntos de dados estabelecidos como WildChat e Open Assistant com conteúdo gerado personalizado. Mas aqui está a principal percepção: eles não apenas agregaram dados – criaram conjuntos de dados direcionados para habilidades específicas, como raciocínio matemático e proficiência em codificação.

Etapa 2: Construindo Respostas Melhores

Na segunda etapa, a Allen AI se concentrou em ensinar ao modelo habilidades específicas. Eles criaram diferentes conjuntos de dados de treinamento – alguns para matemática, outros para codificação e mais para tarefas gerais. Testando essas combinações repetidamente, eles puderam ver exatamente onde o modelo se destacava e onde precisava de melhoria. Esse processo iterativo revelou o verdadeiro potencial do que o Tülu 3 poderia alcançar em cada área.

Etapa 3: Aprendendo com Comparações

Aqui é onde a Allen AI se tornou criativa. Eles construíram um sistema que poderia comparar instantaneamente as respostas do Tülu 3 com as de outros principais modelos. Mas também resolveram um problema persistente em IA – a tendência dos modelos a escrever respostas longas apenas por causa da longitude. Sua abordagem, usando Otimização de Preferência Direta Normalizada por Comprimento (DPO), significava que o modelo aprendia a valorizar a qualidade sobre a quantidade. O resultado? Respostas que são tanto precisas quanto propositadas.

Quando os modelos de IA aprendem com preferências (qual resposta é melhor, A ou B?), eles tendem a desenvolver um viés frustrante: começam a pensar que respostas mais longas são sempre melhores. É como se estivessem tentando vencer dizendo mais em vez de dizer coisas bem.

A Otimização de Preferência Direta Normalizada por Comprimento (DPO) corrige isso ajustando como o modelo aprende com preferências. Em vez de apenas olhar para qual resposta foi preferida, leva em conta o comprimento de cada resposta. Pense nisso como julgar respostas pela qualidade por palavra, não apenas pelo impacto total.

Por que isso importa? Porque ajuda o Tülu 3 a aprender a ser preciso e eficiente. Em vez de preencher respostas com palavras extras para parecer mais abrangente, aprende a entregar valor no comprimento que realmente é necessário.

Isso pode parecer um detalhe pequeno, mas é crucial para construir IA que se comunica naturalmente. Os melhores especialistas humanos sabem quando ser concisos e quando elaborar – e é exatamente isso que a Otimização de Preferência Direta Normalizada por Comprimento (DPO) ajuda a ensinar ao modelo.

Etapa 4: A Inovação RLVR

Essa é a quebra técnica que merece atenção. O RLVR substitui modelos de recompensa subjetivos por verificação concreta.

A maioria dos modelos de IA aprende por meio de um sistema complexo de modelos de recompensa – basicamente palpites educados sobre o que torna uma boa resposta. Mas a Allen AI seguiu um caminho diferente com o RLVR.

Pense sobre como atualmente treinamos modelos de IA. Normalmente precisamos de outros modelos de IA (chamados de modelos de recompensa) para julgar se uma resposta é boa ou não. É subjetivo, complexo e frequentemente inconsistente. Algumas respostas podem parecer boas, mas conter erros sutis que passam despercebidos.

O RLVR vira essa abordagem de cabeça para baixo. Em vez de confiar em julgamentos subjetivos, usa resultados concretos e verificáveis. Quando o modelo tenta resolver um problema matemático, não há área cinzenta – a resposta está certa ou errada. Quando escreve código, esse código funciona corretamente ou não.

Aqui é onde as coisas ficam interessantes:

• O modelo recebe feedback imediato e binário: 10 pontos para respostas corretas, 0 para respostas incorretas
• Não há espaço para crédito parcial ou avaliação fuzzy
• O aprendizado se torna focado e preciso
• O modelo aprende a priorizar a precisão sobre respostas plausíveis, mas incorretas

Treinamento RLVR (Allen AI)

Os resultados? O Tülu 3 mostrou melhorias significativas em tarefas onde a correção importa mais. Seu desempenho em raciocínio matemático (benchmark GSM8K) e desafios de codificação aumentou notavelmente. Até mesmo seu seguimento de instruções se tornou mais preciso porque o modelo aprendeu a valorizar a precisão concreta sobre respostas aproximadas.

O que torna isso particularmente emocionante é como isso muda o jogo para a IA de código aberto. Abordagens anteriores frequentemente lutavam para igualar a precisão dos modelos fechados em tarefas técnicas. O RLVR mostra que, com a abordagem de treinamento certa, os modelos de código aberto podem alcançar o mesmo nível de confiabilidade.

Um Olhar para os Números

A versão de 405B parâmetros do Tülu 3 compete diretamente com os principais modelos do campo. Vamos examinar onde ele se destaca e o que isso significa para a IA de código aberto.

Matemática

O Tülu 3 se destaca em raciocínio matemático complexo. Em benchmarks como GSM8K e MATH, ele iguala o desempenho do DeepSeek. O modelo lida com problemas de múltiplos passos e mostra fortes capacidades de raciocínio matemático.

Código

Os resultados de codificação são igualmente impressionantes. Graças ao treinamento RLVR, o Tülu 3 escreve código que resolve problemas efetivamente. Sua força reside em entender instruções de codificação e produzir soluções funcionais.

Seguimento de Instruções Preciso

A capacidade do modelo de seguir instruções se destaca como uma força central. Enquanto muitos modelos aproximam ou generalizam instruções, o Tülu 3 demonstra precisão notável em executar exatamente o que é solicitado.

Abrindo a Caixa Preta do Desenvolvimento de IA

A Allen AI lançou tanto um modelo poderoso quanto seu processo de desenvolvimento completo.

Todo aspecto do processo de treinamento está documentado e acessível. Desde a abordagem de quatro etapas até os métodos de preparação de dados e a implementação do RLVR – o processo inteiro está aberto para estudo e replicação. Essa transparência estabelece um novo padrão no desenvolvimento de IA de alto desempenho.

Os desenvolvedores recebem recursos abrangentes:

• Pipelines de treinamento completos
• Ferramentas de processamento de dados
• Quadros de avaliação
• Especificações de implementação

Isso permite que as equipes:

• Modifiquem processos de treinamento
• Adaptem métodos para necessidades específicas
• Construam sobre abordagens comprovadas
• Criem implementações especializadas

Essa abordagem aberta acelera a inovação em todo o campo. Pesquisadores podem construir sobre métodos verificados, enquanto os desenvolvedores podem se concentrar em melhorias em vez de começar do zero.

O Surgimento da Excelência de Código Aberto

O sucesso do Tülu 3 é um grande momento para o desenvolvimento de IA de código aberto. Quando modelos de código aberto igualam ou superam alternativas privadas, isso muda fundamentalmente a indústria. Equipes de pesquisa em todo o mundo ganham acesso a métodos comprovados, acelerando seu trabalho e gerando novas inovações. Laboratórios de IA privados precisarão se adaptar – seja aumentando a transparência ou empurrando os limites técnicos ainda mais.

Olhando para o futuro, as inovações do Tülu 3 em recompensas verificáveis e treinamento em múltiplas etapas sugerem o que está por vir. As equipes podem construir sobre essas fundações, potencialmente empurrando o desempenho ainda mais alto. O código existe, os métodos estão documentados e uma nova onda de desenvolvimento de IA começou. Para os desenvolvedores e pesquisadores, a oportunidade de experimentar e melhorar esses métodos marca o início de um capítulo emocionante no desenvolvimento de IA.

Perguntas Frequentes (FAQ) sobre o Tülu 3

O que é o Tülu 3 e quais são suas principais características?

O Tülu 3 é uma família de LLMs de código aberto desenvolvida pela Allen AI, construída sobre a arquitetura Llama 3.1. Ele vem em vários tamanhos (8B, 70B e 405B parâmetros). O Tülu 3 é projetado para melhorar o desempenho em uma variedade de tarefas, incluindo conhecimento, raciocínio, matemática, codificação, seguimento de instruções e segurança.

Qual é o processo de treinamento do Tülu 3 e quais dados são usados?

O treinamento do Tülu 3 envolve várias etapas importantes. Primeiro, a equipe seleciona um conjunto diversificado de prompts de conjuntos de dados públicos e dados sintéticos direcionados a habilidades específicas, garantindo que os dados estejam descontaminados em relação a benchmarks. Em seguida, é realizada uma fine-tuning supervisionada (SFT) em uma mistura de dados de seguimento de instruções, matemática e codificação. Em seguida, é utilizada a otimização de preferência direta (DPO) com dados de preferência gerados por meio de feedback humano e LLM. Finalmente, é utilizada a Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para tarefas com correção mensurável. O Tülu 3 usa conjuntos de dados curados para cada etapa, incluindo instruções direcionadas, matemática e dados de codificação.

Como o Tülu 3 aborda a segurança e quais métricas são usadas para avaliá-la?

A segurança é um componente central do desenvolvimento do Tülu 3, abordada ao longo do processo de treinamento. Um conjunto de dados específico de segurança é usado durante a SFT, que é encontrado para ser em grande parte ortogonal a outros dados orientados a tarefas.

O que é RLVR?

RLVR é uma técnica na qual o modelo é treinado para otimizar contra uma recompensa verificável, como a correção de uma resposta. Isso difere do RLHF tradicional, que usa um modelo de recompensa.