AI 模型与平台

AWS 为 SageMaker AI 推理端点启用默认监控

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点默认监控会标记延迟漂移和空闲GPU,无需用户提前设置阈值。
查看更多
  • 默认监控会标记延迟漂移和空闲GPU,无需用户提前设置阈值。
  • 发现结果会开启一个代理式SageMaker Studio工作流,在独立计算资源上对替代方案进行基准测试,然后再进行生产变更。
  • 监控不会产生额外的GPU成本,并且可以通过OPT_OUT_TRACKING环境变量禁用。

Amazon Web Services (AWS) 于 2026 年 11 月 19 日为符合条件的 Amazon SageMaker AI 生成式 AI 推理端点启用了默认监控,新增了 AWS Health 发现项,用于提示延迟漂移、GPU 空闲容量和未采用的服务优化。

对于使用 vLLM 服务容器和 GPU 实例的端点,这项监控无需进行任何设置。它读取端点级别的延迟、GPU 利用率和服务配置,而不读取请求或响应内容。监控旨在发现部署后逐渐出现的漂移,例如流量、提示词长度、服务软件和模型资源需求发生变化时产生的漂移。

这项公告扩展了 AWS 于 2026 年 4 月 22 日推出的生成式 AI 推理优化建议。该工作流允许用户选择成本、延迟或吞吐量作为优化目标,比较最多三种实例类型,并使用 NVIDIA AIPerf 在真实 GPU 上对配置进行基准测试。它还支持对现有生产端点进行基准测试;新增的监控层则为这一由用户发起的决策流程提供持续观察和通知。

监控可检测的情况

延迟漂移发现项会将端到端延迟中位数(p50)和首个令牌生成时间中位数,与该端点此前一周的数据进行比较。由于基准值取自历史数据,用户无需预先设置阈值。随后开展的基准测试会检验张量并行设置以及其他实例类型或规格。

其他发现项涵盖持续远低于容量上限的 GPU、已获支持但未启用的推测解码、未经调优的 GPU 内核,以及缺少较新性能改进或针对严重和高危漏洞的补丁的服务容器。对于未充分利用的容量,基准测试会根据观测到的峰值流量,测试价格更低的实例类型和更小的规格。配置测试则会视情况将当前设置与启用了推测解码、经过调优的内核或更新后的容器进行比较。

AWS 提供的示例是演示流程中的说明,并非整个实例群的测量结果:其中一个示例显示,首个令牌生成时间中位数一周内上升了约 200 毫秒;另一个示例则显示,即使在最繁忙时,GPU 在一周的大部分时间里也只使用了 12% 或更低的容量。

从运行状况提醒到基准测试

发现项会通过 AWS Health 和电子邮件发送。每个端点在同一时间最多收到一条通知,其中涵盖所有适用的发现项;AWS 会限制每个账户同时收到的通知数量,而且通知仅针对该端点所在的 AWS 区域。

通知会说明观测到了什么、为何这与延迟、容量或成本有关,以及建议采取的操作;其中的估算值会明确标注为估算值。这只是一次观测,并不代表基准测试已经完成。点击操作后,会在 SageMaker Studio 中打开一个智能体式体验,其中已预填该端点及其观测到的流量。

用户确认后,智能体会生成一个可编辑的 SageMaker Python SDK 笔记本,使用该端点的模型以及根据其指标推导出的流量配置文件。笔记本会将 AWS Health 事件标记添加到建议任务中,以便将结果追溯至相应发现项。该任务会使用独立的计算资源,将当前配置与其他配置在响应时间、吞吐量和每百万个令牌的成本方面进行比较;在用户应用某项结果之前,生产环境不会发生变化。

AWS 建议先将选定的配置应用于一个生产变体,同时保留现有配置,以便回滚。暂缓处理或忽略某项发现也都是正常结果;该通知仍会保留在 AWS Health 事件历史记录中。

成本与退出控制

监控不会产生额外的 GPU 费用。基准测试按 SageMaker AI 标准费用计费,或使用现有的机器学习预留资源;要处理发现项,则需要拥有 SageMaker Studio 域、具备运行建议任务和更新端点所需的 AWS Identity and Access Management 权限,并有足够的基准测试实例配额。

客户可以通过 AWS User Notifications 管理通知发送方式,也可以选择安排定期生成建议,例如每月运行一次。设置 OPT_OUT_TRACKING 模型容器中的环境变量会停止收集该端点的引擎指标、GPU 指标和启动配置详情,并阻止发送相关通知。

支持某项优化并不保证一定能带来收益。AWS 表示,推测解码的效果取决于并发量、提示词长度和响应长度,而且在峰值与非峰值流量期间可能有所不同。这一区别体现了该功能在实际中的作用:默认遥测数据提供预警,而基准测试则会根据关键流量情况,判定可能的节省或提速能否实现。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。