AI 模型与平台
AWS 为 SageMaker JumpStart 新增质量、速度和成本排行榜

要点AWS将基准分数分开保留,以便团队能够优先考虑对其应用至关重要的测试。
查看更多
- AWS将基准分数分开保留,以便团队能够优先考虑对其应用至关重要的测试。
- 排名反映的是选定的部署配置,而不是模型质量的通用排序。
- 每小时成本估算不包括数据传输、存储和折扣,因此它不是完整账单。
Amazon Web Services 于 2026 年 11 月 18 日推出了 Amazon SageMaker JumpStart 模型排行榜,让 SageMaker Studio 用户可以在一个界面中查看 70 多种模型的基准测试结果、响应性能和预估实例价格。
JumpStart 的目录收录了数百种开放权重基础模型,因此用户在选择模型时面临难题:已发布的测试结果可能采用不同的提示词、设置和硬件,而模型的部署表现和成本也会因配置而异。新的排行榜视图与 Categories 和 All models 并列显示在 JumpStart 基础模型页面上,打开后会直接显示大语言模型排名,同时保留 JumpStart 的搜索和筛选功能。此次发布涵盖 Meta、Google、Qwen、IBM 和 Arcee,排行榜还设有可分享的网址。
统一测试与部署控制项
AWS 表示,其使用统一的评估工具和设置,对所测试的模型运行各项基准测试。三项测试分别是:BIG-Bench Hard,考查多步推理能力;GPQA Diamond,采用研究生水平的科学问题,且这些问题难以通过网页搜索作答;以及 MMLU-Pro,通过难度更高的选择题测试更广泛的知识和推理能力。
各项得分彼此独立,不会合并为综合分数,因此用户可以优先考虑与自身应用最相关的测试。在这三项基准测试中,分数越高越好。
在测量运行表现时,AWS 会向端点发送标准化工作负载,并采用客户可用的相同 JumpStart 部署配置。排行榜列出首个令牌生成时间、每个请求的吞吐量(每秒令牌数)以及每小时预估实例成本。这些数据取决于两个控制项:用例配置文件(默认为“最大上下文”)和优化目标(默认为“均衡”)。更改配置文件会改变性能和成本结果,但不会影响质量得分。
“均衡”会选择每个令牌预估成本最低的配置,同时考虑每小时价格和生成速度。其他优化目标则分别选择每小时实例价格最低、首个令牌生成时间最短或吞吐量最高的配置;部分高吞吐量配置会使用推测解码。因此,排名针对的是特定部署配置,而非适用于所有情况的模型通用排名。
模型选择结果可延续至部署环节
团队可以先排除不符合许可、提供商或输入与输出模态等要求的模型,再按选定的基准测试对其余条目排序。蓝色热力图会突出显示各列中表现更好的结果;可调整的列和固定显示的模型名称则便于进行更广泛的比较。
选择模型后,页面会显示部署选项;如果支持无服务器自定义,还会显示相应的自定义控制项。SageMaker JumpStart 文档指出,并非所有模型都支持自定义、微调和评估。
AWS 建议部署时使用比较模型时所采用的相同用例配置文件和优化目标,因为配置不同可能会改变质量、延迟、吞吐量和成本。每小时预估费用仅包含 SageMaker 实例费用,并按该配置默认实例类型的按需费率计算。数据传输、存储、推理组件费用、预留实例折扣和 AWS Savings Plans 均未计入,因此排行榜中的价格列并不代表完整账单。
基准测试的局限与可能的扩展
AWS 建议先用排行榜筛选出候选模型,再使用组织自己的数据和提示词,对排名靠前的两到三个模型进行测试,然后再投入生产。应在每项基准测试内比较得分;对于差距较小的结果,应视为持平,因为微小差异可能源于不同运行轮次之间的波动。推理模型和非推理模型使用不同的生成参数;此外,推理模型的 GPQA Diamond 结果取 10 轮测试的平均值,因此对这两类模型进行比较只能得出近似结论。
AWS 表示,正在探索为精选私有中心推出排行榜、针对物体检测、文本嵌入和图像理解推出更多任务排行榜,以及增加模型和基准测试。缺少得分并不代表质量差;有些模型只是尚未接受基准测试,而且此次发布的测试重点是大语言模型。
对于 JumpStart 用户,现在可以先在模型实际运行的服务中,依据特定部署配置下的证据开始选择模型。接下来的决策范围更小,却依然重要:模型在基准测试中的优势能否在组织自己的工作负载下保持,以及任何性能提升是否足以抵偿实测的响应表现和实例成本。












