Salesforce 的 SFR-AutoR&D 实现模型研究与验证自动化

Salesforce 于 2026 年 11 月 11 日推出了 SFR-AutoR&D，并表示，该系统的智能体只用了约 80 小时就生成了 SFR-Embedding v4，而人类进行实验通常需要数周时间。该系统旨在自主运行整个研究周期，既能修改现有代码库，也能开发并测试新的 AI 模型训练方法。

这项工作并非只是一次独立的研究演示。在研究人员将 SFR-AutoR&D 用于开源基线模型EmbeddingGemma 2以创建 v4 之前，它已经改进了 SFR-Embedding V3；Salesforce 使用后者在 Data Cloud 中执行检索。嵌入模型会将文本转换为数值表示，让系统能够检索记录、文档或案例历史。在 Salesforce 的架构中，检索结果提供客户信息，作为 Agentforce 回答的依据，因此检索质量会影响智能体随后生成的回答。

两个智能体，一个受控研究循环

SFR-AutoR&D 项目将工作分为四个阶段：提出可检验的假设、构建候选方案并与基线进行比较、评估正确性或模型质量，以及从成功和失败的实验中学习。若候选方案无法证明带来经验证的提升，基线就保持不变。

AutoR&D-Engineer 接收代码库、目标和约束条件，然后生成候选补丁，并附上基准测试证据。TrainForge 以基线模型、任务、评估方式和计算预算为输入，生成经验证的最佳检查点及其评估记录。

TrainForge 的方法发现流程会生成训练策略，而不是只从固定的配方列表中挑选。Codex 会从空白工作区编写实现，检查则用于验证正在运行的代码是否符合提出的构想。有潜力的候选方案会依次从快速 LoRA 测试推进到短时全参数运行，再进入完整训练。LoRA 测试会在保留基础模型的同时更新一小组可训练参数。冻结的留出数据集专门用于评估。

两个智能体都运行在AutoInfra上。这是 Salesforce 共享的训练和推理基础设施，负责将 GPU 工作进程分配给并行实验，并持久保存请求、进度和结果，以便在网关中断后恢复工作。AutoInfra 还将算法、训练服务和沙盒环境彼此隔离，以保护系统完整性并防止奖励操纵。

Salesforce 执行副总裁兼首席科学家 Silvio Savarese 表示：“科学方法依然是准则，而整个循环运行得更快了。”

嵌入模型提升与代码库成果

在公开的嵌入模型评测中，Salesforce 报告称，研究检查点得分为 57.21，EmbeddingGemma 2 得分为 51.07；按 0–100 分制计算，报告的提升幅度为 6.13 分。获得生产支持的检查点得分为 55.76。这些分数是同一套包含 41 项任务的 MTEB 测试套件中 10 项检索任务的 nDCG@10 平均值；该指标评估前 10 条结果的相关性，并赋予排名更靠前的项目更高权重。

三种模型的评估均采用 8,192 个 token 的上下文长度上限。Salesforce 明确说明，这些测量结果是本地检查点之间的比较，并非 MTEB 官方排行榜排名。因此，这些结果证明了在受控协议下相较于选定基线的改进，但并未确立其在更广泛领域中的位置。

另一场持续约 9 小时的自主运行，目标是提升服务效率。Salesforce 报告称，吞吐量提高了 36%，延迟降低了 17%，而质量几乎没有损失。这将研究成果与大规模客户数据集检索的成本和响应速度联系起来。

工程成果还报告称，在可空数据类型上，pandas 的归约运算速度最高提升 1.84 倍；这类数据类型可以明确表示缺失值。报告还记录了 hnswlib 的每秒查询数中位数在三次索引构建中提升 4.1%，以及在 GCC 11.4 环境下，USearch 的单核吞吐量提高 17.5%。后两种库都用于向量搜索，而向量搜索是 AI 检索中的核心操作。

同一份工程记录还记载，可空数据类型的 pandas 补丁经过了 134,064 个差分测试案例，数值、掩码、数据类型或异常均无差异。对于不在快速路径适用范围内的输入，系统会回退到 pandas 现有实现；三项 pandas 优化均已作为上游拉取请求提交。hnswlib 补丁为每个工作进程重复利用暂存内存，同时保持搜索结果逐字节一致。USearch 补丁会缓存存储向量的范数，每个向量增加 4 个字节，同时在所报告的评估中保持召回率不变。

自主运行与部署的限制

研究人员仍负责设定目标、预算、评估方式和数据约束。拟用于产品的模型只能使用已通过伦理和法律审查的训练数据集；改进后的模型还必须满足生产环境中的信任与安全要求。Salesforce 表示，生产化工作仍在进行中，因此 SFR-Embedding v4 的研究成果并不意味着已完成面向客户的部署。

SFR-AutoR&D 将自主实验与人为设定的约束和证据要求结合起来。它眼下的重要意义，在于将这一受控研究周期从数周压缩至数天；下一项实质性考验是，v4 的改进能否通过生产审核，并应用于Salesforce 企业级智能体所依赖的检索系统。