AWS bổ sung khả năng phân vùng GPU NVIDIA cho các điểm cuối suy luận SageMaker

Amazon Web Services (AWS) đã công bố hỗ trợ NVIDIA Multi-Instance GPU trên Amazon SageMaker Inference vào ngày 6 tháng 11 năm 2026, cho phép nhiều mô hình được cách ly bằng phần cứng cùng sử dụng một bộ tăng tốc trên các điểm cuối thời gian thực, thay vì phải dành riêng toàn bộ GPU cho mỗi lần triển khai.

Tính năng này giải quyết hai hạn chế của việc cấp phát toàn bộ GPU. Số lượng bộ tăng tốc giới hạn số mô hình mà một phiên bản có thể lưu trữ, bất kể mỗi mô hình sử dụng ít bộ nhớ hay năng lực tính toán đến mức nào; đồng thời, khách hàng muốn dùng GPU đời mới hơn phải cấp phát toàn bộ thiết bị. Thay vào đó, Multi-Instance GPU (MIG) cấp cho mỗi phân vùng một phần cố định của các đơn vị tính toán cùng một khối bộ nhớ riêng, với cơ chế cách ly được thực thi bằng phần cứng. Vì mỗi mô hình luôn được duy trì trong bộ nhớ, cách bố trí này cũng tránh được độ trễ phát sinh khi một điểm cuối đa mô hình tải mô hình lên thiết bị dùng chung để sử dụng lần đầu.

Khả năng phân vùng chỉ áp dụng cho các điểm cuối thời gian thực sử dụng thành phần suy luận—cấu trúc của SageMaker để triển khai nhiều mô hình trên một điểm cuối và thiết lập năng lực tính toán cấp cho từng mô hình. Không thể phân vùng các điểm cuối đơn mô hình, điểm cuối phi máy chủ và nhóm phiên bản không đồng nhất. Khối lượng công việc bất đồng bộ cũng nằm ngoài phạm vi của tính năng, vì lệnh gọi bất đồng bộ không thể nhắm đến một thành phần suy luận.

Salesforce đã góp phần xác định các yêu cầu và xác thực bản triển khai ban đầu. Richard Chang, kiến trúc sư kỹ thuật phần mềm tại Salesforce, cho biết công ty kỳ vọng MIG sẽ giúp hợp nhất khối lượng công việc một cách an toàn, cải thiện mức độ sử dụng GPU và giảm chi phí suy luận, đồng thời duy trì hiệu năng ổn định, có thể dự đoán và khả năng cách ly. Salesforce đang chuẩn bị xác thực phần mềm bằng các khối lượng công việc sản xuất tiêu biểu, vì vậy những lợi ích này mới chỉ là kỳ vọng, chưa phải kết quả sản xuất được báo cáo.

Hai trường API kiểm soát việc phân vùng

Tài liệu dành cho nhà phát triển SageMaker AI xác định hai trường không bắt buộc: AcceleratorPartitionLayouts khai báo cách phân chia trên một biến thể sản xuất, và AcceleratorPartitionType chọn cấu hình phân vùng được một thành phần suy luận sử dụng. Không có thao tác API, loại tài nguyên hay hành động AWS Identity and Access Management mới nào; nếu bỏ qua cả hai trường, điểm cuối vẫn hoạt động như trước.

Bố cục được chọn áp dụng đồng nhất cho mọi bộ tăng tốc trên mọi phiên bản thuộc biến thể. Trong ví dụ của AWS, mỗi GPU trong số tám GPU A100 trên một ml.p4d.24xlarge được chia thành mig-4g.20gb, mig-2g.10gb và mig-1g.5gb phân vùng, tạo ra tổng cộng 24 phân vùng trên điểm cuối. Mỗi bản sao của thành phần suy luận chiếm một phân vùng được yêu cầu, trong khi InvokeEndpoint vẫn truy cập các mô hình theo tên thành phần mà không cần mã định danh phân vùng. AWS cho biết trong quá trình thử nghiệm, việc chia nhỏ các bộ tăng tốc làm thời gian cấp phát tăng thêm khoảng 17 giây.

Khả năng cách ly áp dụng cho năng lực tính toán và bộ nhớ GPU, chứ không bao trùm toàn bộ máy chủ. Các mô hình trên cùng một phiên bản vẫn dùng chung CPU máy chủ, bộ nhớ máy chủ, bộ nhớ lưu trữ, mạng và cơ chế định tuyến điểm cuối. Nếu một thành phần yêu cầu cấu hình phân vùng không có trong bố cục, yêu cầu sẽ bị từ chối thay vì được cấp toàn bộ GPU. Muốn thay đổi bố cục của một điểm cuối đang chạy, cần tạo điểm cuối mới và chuyển lưu lượng sang đó; muốn chuyển một thành phần sang cấu hình phân vùng khác, cần tạo thành phần mới.

AWS thử nghiệm một phân vùng H100 so với toàn bộ GPU A100

AWS so sánh một mig-3g.40gb phân vùng H100 với một GPU A100-40GB nguyên vẹn, sử dụng Llama-3.1-8B-Instruct trên các điểm cuối thời gian thực SageMaker trong môi trường sản xuất. Cả hai cấu hình đều dùng một bản sao mô hình, cùng bộ chứa, bộ tách từ và cấu hình máy khách; genai-bench tạo năm dạng lưu lượng ở các mức đồng thời từ 2 đến 512. Hướng dẫn cấu hình phân vùng của NVIDIA cho biết cấu hình H100 được thử nghiệm cấp ba trong số bảy phần của bộ đa xử lý luồng và bốn trong số tám đơn vị bộ nhớ. Hai cấu hình có dung lượng bộ nhớ tương đương nhưng được phân bổ năng lực tính toán khác nhau.

Trong các thử nghiệm, AWS báo cáo rằng phân vùng H100 xử lý nhiều hơn từ 53% đến 89% token đầu ra mỗi giây so với GPU A100 nguyên vẹn tại mức tải có lợi ích chi phí lớn nhất trong từng kịch bản. Độ trễ giữa các token thấp hơn từ 8,9% đến 42,1%, còn thời gian đến token đầu tiên thấp hơn từ 5,6% đến 47,5%. Ở mức đồng thời cao nhất với khối lượng công việc 6.000 và 8.000 token, A100 không đáp ứng thời hạn phục vụ đối với từ một phần ba đến một nửa số yêu cầu, trong khi phân vùng không bỏ lỡ yêu cầu nào.

Phân tích chi phí của AWS, được trình bày dưới dạng so sánh từng trường hợp thay vì kết luận áp dụng chung, cho thấy chi phí trên mỗi triệu token đầu ra thấp hơn từ 18% đến 34% khi lưu lượng vượt qua ngưỡng hòa vốn riêng của từng khối lượng công việc. Ngưỡng này xuất hiện ở mức đồng thời 64 với lời nhắc 100 token và mức đồng thời 4 với lời nhắc 8.000 token. Dưới ngưỡng đó, A100 nguyên vẹn vẫn rẻ hơn, nên GPU nguyên vẹn đời cũ có thể phù hợp hơn với khối lượng công việc có đầu vào ngắn hoặc mức đồng thời thấp. Phép so sánh chi phí trên mỗi đơn vị lấy giá phiên bản theo nhu cầu chia cho số đơn vị được thử nghiệm trên mỗi phiên bản.

Phần cứng được hỗ trợ và giới hạn vận hành

Phiên bản ra mắt hỗ trợ bốn họ phiên bản; số lượng và cấu hình phân vùng tùy thuộc vào bộ tăng tốc:

Tính năng phân vùng GPU hiện được cung cấp tại US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) và Europe (Ireland), tùy thuộc vào tình trạng khả dụng của phiên bản máy tại từng khu vực và hạn mức endpoint. Không phân vùng nào trải rộng trên nhiều bộ tăng tốc, vì vậy các mô hình cần toàn bộ một GPU hoặc nhiều GPU vẫn phải sử dụng các thiết bị nguyên vẹn.

Khách hàng vẫn phải trả phí cho toàn bộ phiên bản GPU; việc phân vùng có thể tăng dung lượng sử dụng được nhưng không làm giảm giá theo giờ. Các endpoint được phân vùng và thành phần suy luận của chúng cũng không gửi số liệu về mức sử dụng GPU, CPU hoặc bộ nhớ lên CloudWatch, dù số liệu về số lần gọi và độ trễ vẫn có sẵn. Đối với P4d, mig-1g.10gb cấu hình này yêu cầu trình điều khiển R525 của NVIDIA hoặc mới hơn, và AWS hướng dẫn khách hàng sử dụng AMI suy luận mới hơn vì ảnh mặc định không có trình điều khiển này.

Để lập kế hoạch dung lượng, đợt ra mắt này chia mỗi bộ tăng tốc được hỗ trợ thành một số kích thước GPU cố định. Tuy nhiên, việc triển khai dày đặc hơn với khả năng cách ly phần cứng đi kèm với hình thức tính phí toàn bộ phiên bản, các bố cục không thể thay đổi trực tiếp và dữ liệu đo lường mức sử dụng hạn chế hơn. Điểm chuẩn của AWS cho thấy việc đo lưu lượng thực tế có giá trị như thế nào: trong các thử nghiệm đó, phân vùng H100 mang lại lợi thế về hiệu năng và chi phí khi xử lý các ngữ cảnh dài hơn, nặng hơn, trong khi kết quả hòa vốn cho thấy một GPU A100 nguyên chiếc có chi phí thấp hơn đối với các khối lượng công việc nhẹ hơn.