AWS 为 SageMaker 推理端点新增 NVIDIA GPU 分区功能

Amazon Web Services (AWS) 于 2026 年 11 月 6 日宣布 Amazon SageMaker Inference 支持 NVIDIA Multi-Instance GPU，让多个经过硬件隔离的模型能够在实时端点上共享一块加速器，而不必为每个部署分配整块 GPU。

这项功能解决了整块 GPU 分配方式的两项限制。加速器数量决定了一个实例最多能承载多少个模型，无论每个模型实际使用的内存或计算资源有多少；考虑采用较新 GPU 的客户也必须分配整块设备。Multi-Instance GPU（MIG）则为每个分区分配固定份额的计算单元和专用内存块，并通过硬件实现隔离。由于每个模型都会常驻设备，这种配置也避免了多模型端点首次使用模型时将其加载到共享设备所产生的延迟。

分区功能仅适用于使用推理组件的实时端点。推理组件是 SageMaker 提供的一种机制，可将多个模型部署到同一端点，并设置各模型获得的计算资源。单模型端点、无服务器端点和异构实例池均不支持分区。异步工作负载也不在此功能的适用范围内，因为异步调用无法指定推理组件。

Salesforce协助制定了需求并验证了初始实现。Salesforce 软件工程架构师 Richard Chang 表示，公司预计 MIG 能够安全地整合工作负载、提高 GPU 利用率并降低推理成本，同时保持性能和隔离性可预测。Salesforce 正准备使用具有代表性的生产工作负载验证该软件，因此这些益处目前只是预期，并非已报告的生产结果。

两个 API 字段控制分区

SageMaker AI 开发者文档列出了两个可选字段： AcceleratorPartitionLayouts 在生产变体上声明分区配置，并 AcceleratorPartitionType 为推理组件选择所用的配置文件。AWS 没有新增 API 操作、资源类型或 AWS Identity and Access Management 操作；如果两个字段都不填写，端点行为将保持不变。

所选布局会统一应用于该变体中每个实例上的所有加速器。AWS 的示例将某个……上的 8 块 A100 各自划分为 ml.p4d.24xlarge 划分为 mig-4g.20gb, mig-2g.10gb 和 mig-1g.5gb 个分区，从而使整个端点共有 24 个分区。每个推理组件副本占用一个指定的分区，而 InvokeEndpoint 仍通过组件名称指定模型，无需提供分区标识符。AWS 表示，在其测试中，对加速器进行分区使预置时间增加了约 17 秒。

隔离范围包括 GPU 计算资源和显存，不包括整个主机。同一实例上的模型仍共用主机 CPU、主机内存、存储、网络和端点路由。如果组件请求的配置文件不在布局中，系统会拒绝该请求，而不会为其分配整块 GPU。要更改运行中端点的布局，必须创建新端点并迁移流量；要将组件移至另一配置文件，则必须创建新组件。

AWS 测试 H100 分区与整块 A100 的性能对比

AWS 对比了一个 mig-3g.40gb 比较 H100 分区与整块 A100-40GB 时，测试在生产环境中的 SageMaker 实时端点上使用 Llama-3.1-8B-Instruct。两种配置均使用一个模型副本、相同的容器、分词器和客户端配置，并由 genai-bench 在并发级别为 2 至 512 的情况下驱动五种流量模式。NVIDIA 的配置文件指南为受测 H100 配置文件分配了七份流式多处理器份额中的三份，以及八个内存单元中的四个。两种配置的内存容量相近，但计算资源分配不同。

AWS 报告称，在各测试场景成本收益最大的负载下，H100 分区每秒生成的输出词元比 A100 多 53% 至 89%。词元间延迟降低了 8.9% 至 42.1%，首词元生成时间降低了 5.6% 至 47.5%。在 6,000 词元和 8,000 词元工作负载的最高并发级别下，A100 有三分之一至一半的请求未能在服务时限内完成，而分区没有一个请求失败。

AWS 的成本分析按具体场景进行比较，而非给出普遍适用的结论。分析发现，当流量超过针对特定工作负载设定的盈亏平衡点后，每百万个输出词元的成本可降低 18% 至 34%。对于 100 词元的提示，该平衡点出现在并发数 64 时；对于 8,000 词元的提示，则出现在并发数 4 时。在低于平衡点时，整块 A100 的成本仍较低，因此，输入较短或并发较低的工作负载可能更适合较旧的整块 GPU。单位成本对比的计算方法是，将按需实例价格除以每个实例上受测单元的数量。

支持的硬件与运行限制

此次发布支持四个实例系列，分区数量和配置文件取决于所用加速器：

GPU 分区功能已在美国东部（北弗吉尼亚）、美国东部（俄亥俄）、美国西部（俄勒冈）、亚太地区（新加坡）、亚太地区（东京）、欧洲（法兰克福）和欧洲（爱尔兰）推出，具体取决于相应区域是否提供实例以及端点配额。分区不会跨越多个加速器，因此需要使用完整 GPU 或多个 GPU 的模型仍必须使用完整设备。

客户仍需为完整 GPU 实例付费；分区可以提高可用容量，但不会降低实例的每小时价格。分区端点及其推理组件也不会向 CloudWatch 发布 GPU、CPU 或内存利用率指标，不过调用和延迟指标仍可用。在 P4d 上， mig-1g.10gb 配置文件要求使用 NVIDIA R525 或更高版本的驱动程序；AWS 建议客户使用较新的推理 AMI，因为默认映像不提供该驱动程序。

在容量规划方面，此次推出的功能可将每种受支持的加速器划分为多个固定的 GPU 规格，但更高密度、硬件隔离的部署也伴随着按完整实例计费、无法原地更改配置以及利用率遥测数据减少等限制。AWS 的基准测试表明，衡量实际流量的价值不容忽视：在这些测试中，H100 分区在更繁重的长上下文场景下兼具性能和成本优势；而盈亏平衡测试结果则显示，对于较轻负载，使用完整 A100 的成本更低。