Baseten lança Joey-1, um modelo de decisão de 2B com pesos abertos

Em 29 de outubro de 2026, a Baseten lançou joey-1, um modelo de decisão com 2 bilhões de parâmetros desenvolvido por seu laboratório interno de pesquisa, Base Labs, com preço de US$ 0,01 por milhão de tokens e disponível por meio das APIs Baseten Model APIs e com pesos abertos no Hugging Face.

Com o joey-1, a família de modelos de decisão da Base Labs passa a abranger três tamanhos. O anúncio apresenta o novo modelo ao lado do mammoth-1 (27B) e do elephant-1 (9B), lançados com a apresentação da família em 21 de outubro. Na ocasião, a Baseten descreveu o mammoth-1 como o modelo mais bem classificado entre 208 modelos de decisão no Jev Decision Index, e o elephant-1 como o principal modelo de decisão de 9B. Os três modelos são treinados com a mesma composição de dados e compartilham a mesma API, o que, segundo a empresa, permite alternar entre eles com uma alteração de uma linha. A Baseten posiciona o mammoth-1 para decisões em que a precisão é mais importante, o elephant-1 como a opção padrão equilibrada e o joey-1 para cargas de trabalho de alto volume e sensíveis à latência.

Ao contrário dos LLMs generativos, um modelo de decisão não gera texto. Em uma única passagem direta, ele retorna um rótulo e uma pontuação de confiança para esse rótulo, sendo que a soma das pontuações de todas as respostas possíveis é igual a 1. Dado um estado — texto, opcionalmente acompanhado de imagens — e um conjunto de perguntas, o joey-1 retorna uma probabilidade calibrada para cada opção a partir de um único pré-preenchimento com prefixo compartilhado. O modelo aceita três tipos de pergunta: sim/não, escolha entre opções nomeadas e níveis de pontuação ordenados. A publicação anterior da família feita pela Baseten lista casos de uso para modelos de decisão, incluindo triagem e encaminhamento de chamados, detecção de spam e phishing, proteções contra prompts e detecção de jailbreaks, além do encaminhamento de solicitações entre LLMs pequenos e de fronteira.

A Baseten afirmou que vale a pena transferir uma carga de trabalho de LLM para o joey-1 quando o volume de decisões é alto o suficiente para que o custo por chamada determine a viabilidade econômica do projeto, ou quando a decisão é um pré-requisito para outra etapa e sua latência é acrescentada a cada resposta. Como exemplo, classificar 10 milhões de chamados de suporte por mês, com cerca de 500 tokens cada, totaliza 5 bilhões de tokens, cujo custo no joey-1, segundo a empresa, é de aproximadamente US$ 50 por mês, em comparação com US$ 500 no mammoth-1. A Baseten descreve o joey-1 como um modelo de primeira linha, com modelos maiores, como o elephant-1 ou o mammoth-1, disponíveis como opção de escalonamento quando o joey-1 não tem certeza.

Latência e resultados de benchmark relatados

A Baseten informou que, em escala de produção, o joey-1 atende a uma solicitação média de 2.000 tokens com latência P50 de ponta a ponta de 20 ms, cerca de 2,5 vezes mais rápido que o elephant-1, com 49 ms, e descreveu o modelo como 5 vezes mais rápido que modelos de decisão comparáveis. A empresa afirmou que, em seus testes internos — cujos detalhes serão divulgados posteriormente —, o joey-1 é o modelo de decisão mais potente entre os que têm 3B de parâmetros ou menos.

A ficha do modelo informa que o joey-1 obteve 63,30 no subconjunto público do Jev Decision Index 0.4, ficando em 37º lugar entre 230 modelos e registrando a maior pontuação entre os modelos com menos de 4B de parâmetros nesse subconjunto. A tabela do subconjunto público da ficha lista o elephant-1 com 72,24, o Cloudflare Clef com 61,71, o Jev 1.14 com 60,70 e o Perplexity Decider Flash v1.2 com 60,06. Segundo a ficha, o joey-1 tem pontuação inferior à do elephant-1 em todas as áreas avaliadas e superior à do Jev 1.14 em quatro das cinco: linguagem, ferramentas e automação, recuperação e classificação, e artes e gosto humano.

Na réplica interna do Artificial Analysis Decision Index criada pela Base Labs, a ficha informa que o joey-1 obteve 62,9, atrás do mammoth-1, com 65,9, do elephant-1, com 65,2, e do d1-ultra, com 65. A página da biblioteca de modelos da Baseten afirma que, no lançamento, em outubro de 2026, o joey-1 é o modelo de 2B mais bem classificado no Jev Decision Index 0.4.

Dados e metodologia de treinamento

Segundo a ficha do modelo, o joey-1 foi submetido a pós-treinamento a partir do Qwen3.5-2B, usando a mesma composição de dados e metodologia do elephant-1 e do mammoth-1, por meio do Baseten Training Jobs. O processo consistiu no ajuste fino completo do modelo de linguagem com decisões envolvendo texto e imagens, mantendo congelado o codificador visual, usando uma máscara de atenção bidirecional em blocos nas camadas de atenção completa e um comprimento máximo de sequência de 16.384 tokens.

O conjunto de dados de treinamento era composto por 6,21 milhões de exemplos de decisão, distribuídos em uma mistura que o laboratório chama de Mix 8: 58,3% de habilidades centrais de decisão, 16,1% de segurança e abstenção, 16,1% de avaliação e domínios especializados, e 9,5% de dados públicos de decisão. O objetivo de treinamento combinou entropia cruzada com um termo de calibração de Brier, com lambda definido como 1, e incluiu uma opção “Não sei” treinada para os casos em que o modelo não tem certeza da resposta. A metodologia usou uma época de 43.390 etapas, com taxa de aprendizado máxima de 1e-5, o otimizador AdamW, valores beta de 0,9 e 0,95 e sem decaimento de pesos, aquecimento de 3%, decaimento cossenoidal e precisão bf16 em dois nós com oito GPUs H100 cada, totalizando 16 GPUs.

Disponibilidade, preços e implantação

O joey-1 está disponível nas APIs Baseten Model APIs pelo endpoint /v1/systemone, com o ID de modelo decision-models/baseten-joey-2b-latest e retenção zero de dados ativada por padrão. O preço anunciado é de US$ 0,01 por milhão de tokens de entrada, enquanto os tokens de entrada em cache e os tokens de saída custam US$ 0,00. A tabela de preços da família lista o elephant-1 a US$ 0,035 e o mammoth-1 a US$ 0,1 por milhão de tokens, e o anúncio descreve o preço do joey-1 como um décimo do preço do mammoth-1.

Nas Model APIs, os modelos de decisão oferecem uma janela de contexto de 16k e são otimizados para cargas de trabalho de baixa latência. As implantações dedicadas liberam a janela de contexto completa de 262k e oferecem suporte a pesos ajustados; a Baseten afirmou que elas também podem proporcionar TTFT e TPS (tempo até o primeiro token e tokens por segundo) mais rápidos, graças a otimizações específicas para cada carga de trabalho e à co-localização com cargas de trabalho de LLM. elephant-1 e joey-1 estão disponíveis para pós-treinamento nos Baseten Training Jobs, e a empresa publicou no GitHub um guia prático de ajuste fino.

Os pesos estão disponíveis sob a licença MIT. Para hospedagem própria, o script de configuração do cartão do modelo instala um ambiente de execução para servir modelos com versão fixada, o OneJev com um patch de serving, e exige uma GPU CUDA. O cartão informa que solicitações que excedam os limites de comprimento usados no treinamento são recusadas, em vez de truncadas.