Mô hình và nền tảng AI
AWS bổ sung NVIDIA Dynamo được quản lý vào dịch vụ suy luận SageMaker HyperPod

Điểm chínhKiến trúc phân tách của Dynamo cho phép các nhóm prefill và decode mở rộng quy mô độc…
Xem thêm
- Kiến trúc phân tách của Dynamo cho phép các nhóm prefill và decode mở rộng quy mô độc lập trong khi cả hai vẫn tải toàn bộ trọng số mô hình.
- Mức tăng thông lượng 2,05 lần của AWS so sánh các kết quả bị ràng buộc bởi độ trễ ở các mức độ đồng thời khác nhau thay vì các giá trị cực đại không giới hạn.
- HyperPod được quản lý tự động hóa việc phối hợp và khôi phục nhưng để lại các đánh đổi về kiến trúc và phân bổ GPU cho hành vi khối lượng công việc được đo lường.
Amazon Web Services đã thông báo vào ngày 17 tháng 11 năm 2026 rằng Amazon SageMaker HyperPod Inference hiện hỗ trợ NVIDIA Dynamo để phục vụ mô hình đa nút và phân tách được quản lý, đồng thời công bố kết quả đo hiệu năng cho thấy thông lượng token đầu ra tổng hợp đủ điều kiện cao nhất trên mỗi GPU đạt gấp 2,05 lần trong các ngưỡng độ trễ của AWS.
Việc bổ sung này giải quyết hai hạn chế khi phục vụ các mô hình ngôn ngữ lớn: đưa trọng số mô hình và bộ nhớ đệm khóa-giá trị (KV) có thể tái sử dụng vào bộ nhớ GPU, đồng thời tránh để việc xử lý prompt dài làm chậm quá trình tạo token khi cả hai cùng dùng GPU. AWS minh họa áp lực bộ nhớ bằng GLM-5.3, vốn có riêng trọng số dấu phẩy động 8 bit (FP8) đã vượt quá 640 GB bộ nhớ GPU trên một ml.p5.48xlarge máy chủ, chưa tính bộ nhớ đệm KV và phần bộ nhớ phụ trợ khi chạy.
HyperPod cung cấp hạ tầng được quản lý cho khung phần mềm này: mạng Elastic Fabric Adapter (EFA), điều phối lịch chạy GPU, giám sát tình trạng của các nút, GPU và EFA, cùng với việc thay thế nút. HyperPod quản lý việc thay thế đó trong khi các thành phần điều phối tạo lại những tiến trình worker bị ảnh hưởng.
Phục vụ phân tách và định tuyến nhận biết KV
Dynamo là khung suy luận phân tán mã nguồn mở, tương thích với vLLM, SGLang và TensorRT-LLM. Cấu trúc phân tách của hệ thống sử dụng một giao diện đầu vào để định tuyến yêu cầu đến các worker tiền xử lý, nơi xử lý prompt, và các worker giải mã, nơi tạo token. Hai nhóm worker này có thể được mở rộng và tinh chỉnh độc lập, nhưng cả hai đều tải toàn bộ trọng số mô hình; bộ nhớ đệm KV được chuyển giữa chúng qua EFA.
Ở kiểu phục vụ tổng hợp, cả hai giai đoạn đều chạy trên cùng một worker. Với cả hai cấu trúc, worker có thể chạy trên một máy chủ hoặc trải rộng trên nhiều máy chủ, sử dụng song song hóa tensor và song song hóa pipeline để phân chia mô hình trên các GPU. Bộ định tuyến nhận biết KV của Dynamo xét đến bộ nhớ đệm tiền tố có thể tái sử dụng và mức tải hiện tại của worker. AWS cho biết việc tái sử dụng tiền tố có thể giảm nhu cầu tính toán lại prompt và cải thiện thời gian đến token đầu tiên, còn khả năng nhận biết tải giúp tránh làm quá tải từng worker.
Đo hiệu năng trong điều kiện giới hạn độ trễ
Phép so sánh Qwen3-235B-A22B-FP8 sử dụng Dynamo và TensorRT-LLM trên hai p5en.48xlarge máy chủ, với tổng cộng 16 GPU H200. AIPerf tạo các yêu cầu gồm 4.000 token đầu vào và 200 token đầu ra. AWS chỉ giữ lại các điểm đo có thời gian đến token đầu tiên ở phân vị thứ 90 dưới một giây và tốc độ tạo trung vị tối thiểu 50 token mỗi giây cho mỗi người dùng.
AWS báo cáo rằng kiểu phục vụ phân tách đạt 207 token đầu ra mỗi giây trên mỗi GPU ở mức đồng thời 80, so với 101 ở mức đồng thời 32 của kết quả phục vụ tổng hợp đủ điều kiện cao nhất. Vì vậy, phép so sánh này phản ánh thông lượng trong điều kiện giới hạn độ trễ ở các mức đồng thời khác nhau, chứ không phải mức thông lượng tối đa không giới hạn của bất kỳ cấu trúc nào.
Một phép thử riêng với Qwen3.5-397B-A17B-FP8 sử dụng Dynamo và vLLM để so sánh tám GPU H200 trên một p5en.48xlarge máy chủ với bốn GPU trên mỗi máy trong hai máy chủ, đồng thời giữ nguyên mô hình, mức song song hóa và cấu hình khối lượng công việc. AWS báo cáo rằng cấu hình hai nút đạt 126,4 token đầu ra mỗi giây trên mỗi GPU, tương đương 99,1% thông lượng của cấu hình một nút, ở mức đồng thời 32 với khả năng tái sử dụng tiền tố cao. Mô hình có thể chạy vừa trên một máy chủ và trên thực tế thường sẽ không bị phân tách, vì vậy phép thử đóng vai trò là mốc đối chứng có kiểm soát để đánh giá ảnh hưởng của việc vượt qua ranh giới giữa các nút đến thông lượng.
Cấu hình được quản lý và hoạch định tài nguyên
Người dùng có hai cách cấu hình. Người dùng Dynamo hiện tại có thể cung cấp một DynamoGraphDeployment tệp kê khai mô tả đồ thị phục vụ và tự quản lý lưu trữ, mạng, vị trí đặt pod, điểm cuối, TLS, đăng ký và tự động mở rộng. Lộ trình InferenceEndpointConfig này sử dụng dynamoSpec để thiết lập điểm cuối được quản lý và Kubernetes Event-driven Autoscaling (KEDA) cho cả hai cấu trúc phục vụ. Cấu hình mặc định dùng vLLM, cung cấp các thiết lập mặc định cho định tuyến nhận biết KV và số lượng bản sao, đồng thời hỗ trợ giao diện tương thích với OpenAI thông qua các điểm cuối SageMaker.
Tiện ích bổ sung cài đặt các định nghĩa tài nguyên tùy chỉnh của Dynamo cùng các thành phần phục vụ và lập lịch, còn AWS Deep Learning Containers cung cấp môi trường chạy. Với lộ trình được quản lý, HyperPod Inference Operator chuyển trọng số từ Amazon S3 hoặc FSx và tạo DynamoGraphDeployment. Grove điều phối các nhóm pod có liên quan, trong khi KAI Scheduler sử dụng cơ chế lập lịch đồng loạt để đặt các pod của mỗi worker đa nút cùng nhau. Muốn áp dụng bản Dynamo được hỗ trợ, cần cập nhật tiện ích bổ sung.
Ví dụ GLM-5.3 của AWS cho thấy rõ cách phân bổ GPU. Cấu hình tổng hợp chạy một bản sao worker mô hình trên hai ml.p5.48xlarge máy chủ với song song hóa tensor 16 chiều và hai bản sao giao diện đầu vào. Biến thể phân tách cấu hình một bản sao tiền xử lý và hai bản sao giải mã, mỗi bản trải rộng trên hai máy chủ, tổng cộng là sáu máy chủ. Số lượng bản sao riêng biệt cho thấy một hệ thống triển khai có thể dành mức năng lực khác nhau cho việc xử lý prompt và tạo token, thay vì mở rộng một nhóm kết hợp duy nhất.
AWS khuyến nghị xác minh hoạt động giao tiếp EFA trước khi đo hiệu năng, thử nghiệm với độ dài lời nhắc, độ dài đầu ra và mức độ tái sử dụng tiền tố đại diện, rà soát các mức đồng thời dựa trên mục tiêu cấp dịch vụ, đồng thời tinh chỉnh cấu trúc liên kết và phân bổ worker theo các nút thắt đã đo được trước khi thay đổi cài đặt công cụ.
HyperPod hiện đảm nhiệm nhiều hơn các công việc điều phối và khôi phục, nhưng các điều kiện đo hiệu năng và ví dụ triển khai cho thấy việc vận hành được quản lý không loại bỏ những đánh đổi trong quá trình phục vụ mô hình. Cấu hình phù hợp vẫn phụ thuộc vào hành vi đã đo được của lời nhắc và quá trình sinh đầu ra, cách phân bổ GPU giữa các nhóm worker, cũng như mức độ ưu tiên về độ trễ và chi phí của khối lượng công việc.












