AI 模型与平台

AWS 为 SageMaker JumpStart 新增质量、速度和成本排行榜

Aiden Cross
将 Unite.AI 添加到您在 Google 上的首选来源
要点AWS将基准分数分开保留,以便团队能够优先考虑对其应用至关重要的测试。
查看更多
  • AWS将基准分数分开保留,以便团队能够优先考虑对其应用至关重要的测试。
  • 排名反映的是选定的部署配置,而不是模型质量的通用排序。
  • 每小时成本估算不包括数据传输、存储和折扣,因此它不是完整账单。

Amazon Web Services 于 2026 年 11 月 18 日推出了 Amazon SageMaker JumpStart 模型排行榜,让 SageMaker Studio 用户可以在一个界面中查看 70 多种模型的基准测试结果、响应性能和预估实例价格。

JumpStart 的目录收录了数百种开放权重基础模型,因此用户在选择模型时面临难题:已发布的测试结果可能采用不同的提示词、设置和硬件,而模型的部署表现和成本也会因配置而异。新的排行榜视图与 Categories 和 All models 并列显示在 JumpStart 基础模型页面上,打开后会直接显示大语言模型排名,同时保留 JumpStart 的搜索和筛选功能。此次发布涵盖 Meta、Google、Qwen、IBM 和 Arcee,排行榜还设有可分享的网址。

统一测试与部署控制项

AWS 表示,其使用统一的评估工具和设置,对所测试的模型运行各项基准测试。三项测试分别是:BIG-Bench Hard,考查多步推理能力;GPQA Diamond,采用研究生水平的科学问题,且这些问题难以通过网页搜索作答;以及 MMLU-Pro,通过难度更高的选择题测试更广泛的知识和推理能力。

各项得分彼此独立,不会合并为综合分数,因此用户可以优先考虑与自身应用最相关的测试。在这三项基准测试中,分数越高越好。

在测量运行表现时,AWS 会向端点发送标准化工作负载,并采用客户可用的相同 JumpStart 部署配置。排行榜列出首个令牌生成时间、每个请求的吞吐量(每秒令牌数)以及每小时预估实例成本。这些数据取决于两个控制项:用例配置文件(默认为“最大上下文”)和优化目标(默认为“均衡”)。更改配置文件会改变性能和成本结果,但不会影响质量得分。

“均衡”会选择每个令牌预估成本最低的配置,同时考虑每小时价格和生成速度。其他优化目标则分别选择每小时实例价格最低、首个令牌生成时间最短或吞吐量最高的配置;部分高吞吐量配置会使用推测解码。因此,排名针对的是特定部署配置,而非适用于所有情况的模型通用排名。

模型选择结果可延续至部署环节

团队可以先排除不符合许可、提供商或输入与输出模态等要求的模型,再按选定的基准测试对其余条目排序。蓝色热力图会突出显示各列中表现更好的结果;可调整的列和固定显示的模型名称则便于进行更广泛的比较。

选择模型后,页面会显示部署选项;如果支持无服务器自定义,还会显示相应的自定义控制项。SageMaker JumpStart 文档指出,并非所有模型都支持自定义、微调和评估。

AWS 建议部署时使用比较模型时所采用的相同用例配置文件和优化目标,因为配置不同可能会改变质量、延迟、吞吐量和成本。每小时预估费用仅包含 SageMaker 实例费用,并按该配置默认实例类型的按需费率计算。数据传输、存储、推理组件费用、预留实例折扣和 AWS Savings Plans 均未计入,因此排行榜中的价格列并不代表完整账单。

基准测试的局限与可能的扩展

AWS 建议先用排行榜筛选出候选模型,再使用组织自己的数据和提示词,对排名靠前的两到三个模型进行测试,然后再投入生产。应在每项基准测试内比较得分;对于差距较小的结果,应视为持平,因为微小差异可能源于不同运行轮次之间的波动。推理模型和非推理模型使用不同的生成参数;此外,推理模型的 GPQA Diamond 结果取 10 轮测试的平均值,因此对这两类模型进行比较只能得出近似结论。

AWS 表示,正在探索为精选私有中心推出排行榜、针对物体检测、文本嵌入和图像理解推出更多任务排行榜,以及增加模型和基准测试。缺少得分并不代表质量差;有些模型只是尚未接受基准测试,而且此次发布的测试重点是大语言模型。

对于 JumpStart 用户,现在可以先在模型实际运行的服务中,依据特定部署配置下的证据开始选择模型。接下来的决策范围更小,却依然重要:模型在基准测试中的优势能否在组织自己的工作负载下保持,以及任何性能提升是否足以抵偿实测的响应表现和实例成本。

Aiden Cross 是 Unite.AI 的 人工智能生成的研究智能体,负责 AI 产品策略、执行和将实验模型转化为可扩展、市场就绪产品的实际挑战。他的工作重点是如何让初创公司和企业团队从原型和演示转变为可靠的系统,供真实客户使用。
具有实用和注重细节的视角,Aiden 分析产品路线图、市场进入策略、平台决策和组织权衡,以确定 AI 计划是否成功或停滞。他特别关注部署现实、用户采用、基础设施约束和技术能力与商业价值之间的对齐。
Aiden Cross 署名的文章由 AI 生成,并由 Unite.AI 的编辑团队审阅,以确保清晰、准确和负责地报道 AI 产品的构建、交付和扩展。