Baseten 发布 Joey-1：一款拥有 20 亿参数、开放权重的决策模型

2026 年 10 月 29 日，Baseten 发布了 joey-1。这是一款拥有 20 亿参数的决策模型，由其内部研究实验室 Base Labs 开发，定价为每百万词元 0.01 美元，可通过 Baseten Model APIs 使用，也以开放权重形式发布在 Hugging Face 上。

随着 joey-1 的推出，Base Labs 的决策模型系列现已涵盖三种规模。此次公告将这款新模型与10 月 21 日发布的系列模型 mammoth-1（27B）和 elephant-1（9B）并列介绍。在此前的发布中，Baseten 称 mammoth-1 在 Jev Decision Index 的 208 款决策模型中排名第一，并称 elephant-1 是领先的 9B 决策模型。三款模型均使用相同的数据组合训练，并共用同一套 API。该公司表示，在它们之间切换只需改动一行代码。Baseten 将 mammoth-1 定位为最看重准确性的决策任务，将 elephant-1 定位为均衡的默认选择，将 joey-1 定位为适用于高吞吐量、对延迟敏感的工作负载。

与生成式 LLM 不同，决策模型不会生成文本。它会在一次前向传播中返回一个标签及该标签的置信度分数，所有可能答案的分数之和为 1。给定一个状态（文本，也可选择包含图像）和一组问题，joey-1 会通过一次共享前缀预填充，为每个选项返回经过校准的概率。该模型支持三种问题类型：是/否题、从具名选项中选择，以及按顺序排列的评分等级。Baseten 此前发布的系列介绍列举了决策模型的应用场景，包括工单分类与路由、垃圾邮件和网络钓鱼检测、提示词防护与越狱检测，以及在小型 LLM 与前沿 LLM 之间路由请求。

Baseten 表示，如果决策请求量足够大，以至于单次调用成本会决定项目的经济可行性，或者决策是后续步骤的前提、其延迟会叠加到每次响应中，那么将 LLM 工作负载迁移至 joey-1 就值得考虑。例如，每月对 1000 万张支持工单进行分类，每张工单约需 500 个词元，总计 50 亿个词元。按该公司的定价，在 joey-1 上处理这些请求每月约需 50 美元，而在 mammoth-1 上则需 500 美元。Baseten 将 joey-1 描述为首线模型；当 joey-1 无法确定答案时，可升级至 elephant-1 或 mammoth-1 等规模更大的模型。

报告的延迟与基准测试结果

Baseten 报告称，在生产规模下，joey-1 处理一个平均长度为 2000 个词元的请求时，端到端延迟中位数（P50）为 20 毫秒，比延迟为 49 毫秒的 elephant-1 快约 2.5 倍；该公司还称，这款模型比同类决策模型快 5 倍。该公司表示，根据其内部测试（详情将于之后公布），joey-1 是参数量不超过 3B 的最强决策模型。

模型卡报告称，joey-1 在 Jev Decision Index 0.4 的公开测试集上得分为 63.30，在 230 款模型中排名第 37，并且在该测试集中，得分高于所有参数量低于 4B 的模型。模型卡的公开测试集表格列出的得分分别为：elephant-1 为 72.24、Cloudflare Clef 为 61.71、Jev 1.14 为 60.70、Perplexity Decider Flash v1.2 为 60.06。根据模型卡，joey-1 在所有评估领域的得分都低于 elephant-1；在五个领域中的四个领域——语言、工具与自动化、检索与分类、艺术与人类品味——得分高于 Jev 1.14。

在 Base Labs 对 Artificial Analysis Decision Index 的内部复刻测试中，模型卡报告 joey-1 的得分为 62.9，低于 mammoth-1 的 65.9、elephant-1 的 65.2 和 d1-ultra 的 65。Baseten 的模型库页面指出，joey-1 于 2026 年 10 月发布时，是 Jev Decision Index 0.4 上排名最高的 2B 模型。

训练数据与方案

根据模型卡，joey-1 基于 Qwen3.5-2B 进行后训练，使用与 elephant-1 和 mammoth-1 相同的数据组合与训练方案，并通过 Baseten Training Jobs 执行。训练过程采用完整微调，在冻结视觉编码器的情况下，对文本和图像决策任务进行语言模型微调；全注意力层使用块双向注意力掩码，最大序列长度为 16,384 个词元。

训练数据集包含 621 万个决策示例，采用研究实验室称为 Mix 8 的数据组合：58.3% 为核心决策技能，16.1% 为安全与弃答，16.1% 为评判与专家领域，9.5% 为公开决策数据。训练目标结合了交叉熵和 Brier 校准项，其中 lambda 设为 1；此外，还训练了一个“我不知道”选项，以处理模型不确定答案的情况。训练方案共运行一个周期、43,390 步，峰值学习率为 1e-5，使用 AdamW 优化器，beta 值为 0.9 和 0.95，且不进行权重衰减；预热比例为 3%，采用余弦衰减和 bf16 精度，并在两台节点上运行，每台节点配备 8 块 H100 GPU，共计 16 块 GPU。

可用性、定价与部署

joey-1 已通过 Baseten Model APIs 上线，使用 /v1/systemone 端点，模型 ID 为 decision-models/baseten-joey-2b-latest，且默认启用零数据保留。公布的价格为每百万输入词元 0.01 美元，缓存输入和输出的价格均为 0.00 美元。系列定价表列出的价格为：elephant-1 每百万词元 0.035 美元，mammoth-1 每百万词元 0.1 美元；公告称 joey-1 的价格是 mammoth-1 的十分之一。

在模型 API 上，决策模型支持 16k 上下文窗口，并针对低延迟工作负载进行了优化。专属部署可解锁完整的 262k 上下文窗口，并支持微调后的权重；Baseten 表示，通过针对特定工作负载进行优化，并与 LLM 工作负载共置，这些部署还能实现更快的 TTFT 和 TPS（首个 token 生成时间和每秒 token 数）。elephant-1 和 joey-1 可通过 Baseten Training Jobs 进行后训练，该公司还在 GitHub 上发布了微调指南。

这些权重基于 MIT 许可证开放。若要自行托管，模型卡中的设置脚本会安装固定版本的服务运行时 OneJev（带有服务补丁），并且需要一块 CUDA GPU。模型卡指出，超过训练长度限制的请求会被拒绝，而不会被截断。