Baseten 开放 Serverless Loops，供所有用户用于后训练

Baseten 于 2026 年 11 月 6 日宣布，Serverless Loops 已正式全面开放使用，其托管式 SDK 现已面向所有用户开放，可用于对开放模型进行监督微调和强化学习。该服务按 token 计费，并提供从检查点直接部署到 Baseten 专用推理的途径。

Loops 的设计围绕分工展开：用户提供训练信号，Baseten则负责管理 GPU、内核、模型架构和分布式训练后端。Python SDK 会在冻结基础模型权重的情况下训练 LoRA 适配器。用户选择基础模型、LoRA 秩、学习率、损失函数、数据或环境以及算法；Baseten 负责运行训练器和采样器、同步权重，并提供配套基础设施。

兼容性软件包保留了 Tinker 的导入语句以及核心训练和采样调用，方便团队迁移现有脚本。迁移指南仍要求将身份验证方式改为 Baseten API 密钥；检查点以分页文件 URL 的形式返回；图像输入必须内联提供；LoRA 模块覆盖范围则按模型系列固定。该兼容性涵盖训练 API，但团队仍需调整若干特定于基础设施的细节。

无服务器模型与计费

无服务器目录包含三种模型： Qwen/Qwen3.6-35B-A3B 以及 zai-org/GLM-5.3-Flash 适用于文本和视觉任务，以及 zai-org/GLM-5.3 仅适用于文本。每种模型支持的最大序列长度均为 262,144 个 token。GLM-5.3 的长上下文配置不支持 cross_entropy 或 dpo 损失函数。专用模式涵盖更广泛的模型目录，按 GPU 使用时长计费，并提供副本、温启动复用和抢占式容量控制。

无服务器运行使用共享容量，无需预留 GPU，并按训练和采样所用的 token 数量计费。读取结果、修改奖励函数或空闲等待所花的时间均不收取 token 费用。默认模式选择可能会在模型、LoRA 秩或序列长度不受支持时回退到专用容量；如果一次运行复用另一次运行的部署，也可能回退。将范围设为无服务器模式，则会使不受支持的请求直接失败。

启用模型并不保证一定能获得资源。工作区特定的访问权限、GPU 不可用以及组织的训练器限额，仍可能导致运行无法启动；因此，按 token 付费的模式除了已公布的模型目录外，还受到一系列实际容量限制。

检查点与生产推理

快速入门指南介绍了四项核心操作： forward_backward 用于损失和梯度计算， optim_step 用于更新适配器， sample 用于生成，以及 save_state 用于可恢复训练。发布采样器权重后，会生成可部署的检查点，以及一个绑定至该检查点的采样客户端。另一个单独的 save_state 操作会保留模型和优化器状态。无服务器容量启动期间，首次采样请求可能需要数分钟；对于短期实验而言，这一点值得考虑。

采样器检查点会以基础模型的形式部署，并加载经过训练的 LoRA 适配器。检查点的生命周期长于其所属的运行，并可通过 CLI、REST API 或控制面板部署；由于部署过程会下载基础权重，因此需要使用 Hugging Face 访问令牌。生成的兼容 OpenAI 的端点在运行期间会按 GPU 使用情况计费。删除该部署会停止 GPU 费用，但不会删除检查点；停用 Loops 运行也不会移除部署。

在正式全面开放前，Baseten 改进了对暂时性网络错误和 GPU 故障的处理，降低了启动开销，并加快了训练器与采样器之间的权重传输。Baseten 表示，这些改进有助于同时处理更多客户工作负载；其生产推理技术栈每天可处理超过 150 亿次请求。生产部署路径包括自动扩缩容、部署管理和推理指标，用户还可以下载 Hugging Face Safetensors 格式的权重。

验证与早期客户工作负载

Baseten 表示，他们通过数值测试和端到端强化学习实验验证了这项服务。实验使用了涵盖零售、航空和银行领域的 τ-bench 任务，随后还在保留的高难度任务上进行了评估。τ-bench 项目介绍了一项基准测试，用于评估智能体能否在企业领域中与用户对话、调用工具、检索知识并遵循策略；测试结果会与可验证的数据库结果进行核对。

Baseten 表示，NVIDIA在文本和视觉任务上对 Nemotron Super 3.5 VL 进行了后训练，将意图分类准确率从 76.8% 提高到 94%，并在收据提取任务中达到 87% 的验证 F1 分数；相关工作还包括针对视觉物体计数的强化学习。Datadog 正在使用多轮智能体强化学习测试其 SRE 智能体的训练方案；Ambience Healthcare 则对模型进行了后训练，以纠正临床转录错误，并准确捕捉医学术语和格式。

LangChain Labs正在基于智能体轨迹对用于 LangSmith Engine 的模型进行后训练，其中包括读取 GitHub 仓库以诊断问题，并为拉取请求起草提示词或代码变更。它可以切换到规模较小的开放权重模型，按故障模式和严重程度对轨迹进行分类，或将轨迹映射到现有问题。LangChain 的工作流程展示了应用行为如何成为训练目标，以及如何根据具体任务选择模型规模和任务专用化程度。

客户案例记录了正式可用（GA）公告发布前的使用情况，并展示了预期的基础设施循环：应用数据成为训练输入，检查点经过评估，选定的模型则逐步投入生产。对于基础设施团队而言，成本边界同样明确。受支持的无服务器运行无需预留 GPU，也不会产生空闲时段的令牌费用；而运行中的推理端点仍会按其 GPU 计费。无服务器目录和工作区容量决定了无服务器选项适用的范围。