Together AI 推出面向定制模型的 Together 后训练服务

Together AI 于 2026 年 10 月 19 日推出了 Together 后训练，这项服务通过用户自定义的强化学习和监督微调训练循环来构建定制模型。服务在推出后的前六周提供优惠价格：每使用一小时 B200 GPU 收费 9 美元。

推出时支持的模型、定价与早期体验

这项服务旨在通过环境奖励进行强化学习（RL），以及通过监督数据进行监督微调（SFT），以构建定制模型。客户可以定义训练循环，包括数据、环境和智能体运行框架；也可以加入日志记录或外部基准测试等步骤。与此同时，Together 会对底层系统和基础设施进行协同优化，以提升模型质量和训练速度。Together 表示，推出这项服务的原因是 RL 基础设施日趋复杂，许多原本可以从后训练中受益的公司，却因基础设施负担而始终没有启动，或启动后便停滞不前。

这项服务推出时支持开放权重模型 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B。Together 表示，未来几周将扩大可选模型范围，涵盖前沿大语言模型（LLM）和高效的小型模型。服务在推出后的前六周提供优惠价格：每使用一小时 B200 GPU 收费 9 美元。

在服务正式推出前，Together 已在过去几个月向一组选定的机构开放早期体验。Collinear AI 研究员 Adit Jain 表示，自 Together 于 2026 年 4 月推出后训练测试版以来，他的团队便一直与该公司合作。

专属模型资源与按 GPU 分钟计费

所有实验都在 Together 所称的“模型资源”上运行：GPU 资源专供单个客户使用，不会因其他用户的请求而产生优先级竞争。每个模型资源可以容纳一个或多个训练会话，每个会话对应在同一基础模型上进行的一项实验，例如一组 LoRA 适配器。Together 表示，这种专属资源分配也使模型能够进行超越 LoRA 的全权重微调，以适配知识密集型的大型任务。

每个会话都包含一个负责前向和反向计算步骤及权重更新的 Trainer 实例，以及负责根据策略执行采样展开的 Generator 实例。进行监督微调时，模型资源可以从不配置任何 Generator 开始，以节省成本。用户可以决定何时将 Trainer 参数发送给 Generator；服务也支持异步 RL，以提高这两个组件的 GPU 利用率，尤其是在较长的智能体采样展开过程中。

用户可以运行 LoRA 训练，包括让多个 LoRA 适配器共享同一 GPU 容量，也可以针对部分模型进行全权重实验。服务支持交叉熵、GRPO、CISPO 和 DPPO 等标准损失函数；用户还可以在本地计算自定义训练目标，并将其梯度发送给 Trainer。

根据后训练文档，SDK 的主要接口包括一个用于分配模型资源（计费单位）的 create 方法，以及一个用于将训练会话关联到该资源的 create_session 方法。之后，用户可按步骤调用相关方法：sample_batch 用于生成待评分的补全文本，forward_backward 用于计算损失并反向传播梯度，optim_step 用于更新权重，weights_sync 用于将新权重发布到 Generator 副本。SFT 和 DPO 不会采样生成补全文本，因此会跳过 sample_batch 和 weights_sync。

模型资源按 GPU 分钟计费。Together 表示，实验规模扩大后，整体训练成本很快就会低于按 token 计费的成本。文档将这种模式与该公司的标准微调服务进行了对比：标准服务按处理的 token 数量收费，并以任务形式运行，启动后会持续执行直至完成，中途无法控制；而后训练服务的用户可以查看每一步的指标、调整学习率、重新打乱数据，或根据自己的逻辑停止运行。

训练稳定性与部署路径

Together 表示，这项服务通过 Rollout Routing Replay 等标准技术，并结合其训练稳定性研究中的优化方法，消除了训练引擎与推理引擎之间造成策略偏移的多种因素。即使权重相同，细微的数值差异也可能导致 RL 训练运行表现不佳，甚至崩溃。该公司称，其采样展开引擎采用了与服务引擎相同的优化方法，包括面向多轮智能体的智能缓存和路由，以及经过优化的并行处理和序列打包，从而加快 SFT 和 RL 的执行。

训练完成后，该公司现已支持在 Dedicated Model Inference 中提供多 LoRA 适配器服务，用户可以在单个 GPU 部署中切换适配器，无需为每次训练单独启动生产部署。Together 表示，即使从多 LoRA 采样切换为 FP4 精度的合并推理，每个训练检查点在服务中的质量仍能保持不变。

文档介绍了一套从训练、评估到投入生产的工作流程：针对同一个冻结的基础模型训练多个适配器；将候选适配器挂载到单个多 LoRA 部署中，并在每个请求中指定不同的适配器名称进行比较；最后，以合并模式将胜出的适配器部署到独立部署中。对于 GLM-5.3 和 Kimi-K3，适配器必须先经过准备步骤，才能用于 FP4 推理。

入门、迁移 Tinker 与早期用户

开始使用需要安装最新版 Together SDK 并查阅文档。Together 在 GitHub 上的 post-training-cookbook 仓库中发布了多个示例手册，涵盖在 GSM8K 基准上进行 GRPO 训练、将 DPO 实现为自定义损失函数，以及在同一模型资源中训练多个 LoRA 适配器；文档将这些示例手册介绍为一个 Python 库，其中包含现成的训练循环，配套笔记本会演示如何使用 SDK 的异步调用，在单个模型资源上进行 GRPO、SFT 和多适配器训练。对于已经在 Tinker API 上搭建现有环境的团队，迁移路径只需改动一行导入语句， import together.post_training.tinker as tinker具体操作详见迁移指南。

早期体验用户之一、Deel 数据科学副总监 Anthony Li 表示，平台的可控性和灵活性让他的团队在短短几小时内就开始运行真实的强化学习实验，并能利用相同的 GPU 容量同时运行最多五项强化学习实验。Jack & Jill 创始工程师 Oliver Normand 表示，他的团队对一个模型进行了后训练，使其能够预测招聘经理想要面试哪些候选人；这是该公司招聘智能体 Jill 执行人才搜索的核心步骤。团队使用一个开源模型，在离线评估中达到了闭源模型的质量，而该开源模型的服务成本显著更低。他还表示，Together 的前线部署工程师编写了脚本，帮助团队取得首批成果。

Collinear AI 的 Jain 表示，无缝的自主入门流程让他们能够轻松启动全面的智能体强化学习任务。Together 的前线部署工程师会在整个后训练生命周期中与客户并肩合作，涵盖从选择开源模型和智能体框架，到准备数据和训练环境、开展评估以及发布优化后的端点等各个环节。