AI 模型与平台
AWS 将全量权重训练引入无服务器 SageMaker 定制功能

要点全量微调会更新每一个权重,而LoRA冻结预训练权重并插入低秩适配器。
查看更多
- 全量微调会更新每一个权重,而LoRA冻结预训练权重并插入低秩适配器。
- 5e-5或更高的激进学习率导致了灾难性遗忘,MMLU准确率降至3.6%。
- 无服务器运行消除了基础设施管理,但并未减少被训练的权重数量。
Amazon Web Services 于 2026 年 11 月 18 日宣布为 SageMaker AI 无服务器模型定制功能提供全量微调(FFT)支持,并报告称,在一项使用超过 100,000 个训练示例的编码实验中,语义正确率达到 90.0%;同时提醒,激进的设置会导致通用知识严重损失。
客户提供基础模型、数据集和超参数;该服务会分配计算资源并管理检查点,无需用户配置 GPU、设置集群或配置分布式训练。在 AWS 的 SageMaker Python SDK 示例中,切换方法意味着将 TrainingType.FULL 替换为 TrainingType.LORA,其余作业配置保持不变。
FFT 会更新模型的每一个权重。LoRA 则冻结预训练权重并插入低秩适配器矩阵,从而降低对 GPU 容量的要求,但也将更新限制在较小的表征空间内。AWS 的解释是,随着数据集增大,全秩训练能够捕捉更复杂的领域适配,而不只是增加可训练参数的数量。
受控编码测试
AWS 使用 Qwen3-4B 基础模型进行监督式微调(SFT),并以相同的提示、目标和评估代码比较这些方法。Magicoder-Evol-Instruct-110K数据集提供了涵盖算法设计、调试、数据结构和系统编程的编码指令—响应对。数据集划分为 99,000 条训练记录、5,500 条验证记录,以及 5,500 条留出测试记录。
评估将任务表现与知识保留情况分开考察。Amazon Nova Pro 充当大语言模型(LLM)评审器,结合原始提示阅读生成的代码,以评估其逻辑正确性。PRIMECODE 通过确定性的 BLEU、ROUGE-1/2/L 和 F1 指标衡量生成结果与参考解答的相似度;MMLU 则测试模型在 57 个学科领域的通用知识。
AWS 报告称,语义正确性得分在训练 3 个轮次时达到峰值,继续训练则会使每种受测变体的表现都下降。AWS 的雷达图比较显示,在图中呈现的所有质量维度上,FFT 的表现都优于 LoRA 和基础模型;它在 BLEU 和 ROUGE-2 上的领先幅度最大,这表明差异并非只体现在单一指标上。
AWS 表示,该公司使用多个基础模型进行了数十项定制实验,调整了学习率、批量大小、预热比例、训练轮数和数据集规模;每次实验从提交作业到完成评估都需要数小时。生成的模型会自动以带版本号的模型包注册到 SageMaker Model Registry,以供审核或部署。
全量微调的遗忘风险
AWS 提醒,FFT 并非在所有情况下都更优:在 MATH 精确匹配测试中,FFT 和 LoRA 的表现都不如基础模型;另一项由大语言模型担任评审的比较则显示,LoRA 的得分为 81.5%,高于 FFT 的 79.5%。
激进的学习率会造成严重损失。在 AWS 的测试中,学习率达到 5e-5 或更高时,MATH 得分降至 2–3%,MMLU 准确率降至 3.6%。这表明发生了灾难性遗忘:针对特定领域的训练覆盖预训练知识时,模型更广泛的能力会随之丧失。AWS 的风险图指出,对于大型数据集,2e-5 是较安全的设置;在受测配置中,将这一学习率与 5% 的预热比例和 8 的全局批量大小结合,最能保留通用知识(以 MMLU 衡量)。
批量大小也会影响知识保留。在学习率固定时,较小的批量会产生更嘈杂的更新,其效果类似于提高学习率,从而增加遗忘风险。较大的批量能减少噪声,但也会减少优化步骤,可能导致模型欠拟合。
部署方面的权衡
根据 AWS 的受支持模型列表,包括 DeepSeek R1 Distill Qwen 1.5B、Google Gemma 4 26B A4B 和 NVIDIA Nemotron 3 Nano 30B (A3B) 在内的开放权重模型均支持使用 FFT 进行 SFT。
FFT 文档指出,该方法使用与 LoRA 相同的数据集格式,但需要更多计算资源和更长的训练时间,生成的制品也更大,因为其中包含完整的模型权重;此外,该方法与持续定制不兼容。它还消除了推理时的适配器开销。
无服务器运行模式改变的是由谁分配基础设施和管理检查点,并不会减少参与训练的权重数量。因此,这次发布让深度定制更容易实施,但其计算与质量方面的成本效益,仍取决于特定任务上的收益能否抵消更高的训练成本,以及更广泛能力可能遭受的损失。












