Mô hình và nền tảng AI

AWS định tuyến tác vụ suy luận của HyperPod xuyên khu vực chỉ qua một điểm cuối

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhCổng kết nối toàn cầu bổ sung một tầng lựa chọn cụm phía trên định tuyến Inference…
Xem thêm
  • Cổng kết nối toàn cầu bổ sung một tầng lựa chọn cụm phía trên định tuyến Inference Gateway hiện có ở cấp độ pod.
  • Người vận hành điều chỉnh bốn tín hiệu có trọng số, bao gồm RegionProximity ở mức 0,40, để cân bằng độ trễ với khả năng phục hồi.
  • AWS nêu rõ rằng cổng kết nối không ghi nhật ký hay lưu trữ lời nhắc hoặc kết quả hoàn thành và chỉ định tuyến qua PrivateLink.

Ngày 20 tháng 11 năm 2026, AWS giới thiệu Cổng suy luận toàn cầu Amazon SageMaker HyperPod, cung cấp cho khách hàng một điểm cuối được quản lý duy nhất để tiếp nhận yêu cầu suy luận trên các cụm HyperPod đã đăng ký trong một hoặc nhiều Khu vực AWS. Dịch vụ chọn cụm dựa trên các tín hiệu về năng lực, hàng đợi, mức độ gần và lỗi, đồng thời tự động chuyển đổi dự phòng khi một cụm không khả dụng.

Đợt ra mắt này bổ sung một lớp định tuyến thứ hai bên trên Cổng suy luận SageMaker HyperPod hiện có. Cổng ở cấp cụm này tiếp tục chọn từng pod mô hình dựa trên các tín hiệu như mức sử dụng bộ nhớ đệm khóa-giá trị (KV) và độ dài hàng đợi; lớp toàn cục mới chọn cụm trước, còn việc chọn pod vẫn giữ nguyên.

AWS đang giải quyết vấn đề sử dụng năng lực: yêu cầu có thể phải chờ trong hàng đợi ở một cụm đã quá tải, trong khi GPU đã được cấp phát ở nơi khác lại không hoạt động. Trong ví dụ của AWS, khi bốn mô hình được phục vụ trên năm cụm thuộc hai Khu vực, nếu phục vụ từng mô hình riêng thì các ứng dụng khách phải theo dõi 20 điểm cuối. Cổng ở cấp cụm giảm con số đó xuống còn năm, còn cổng toàn cục chỉ cần một điểm cuối. Lớp được quản lý này loại bỏ nhu cầu tự xây dựng và duy trì bộ cân bằng tải, DNS cũng như mạng liên khu vực cho việc định tuyến, đồng thời cho phép chuyển lưu lượng vào giờ cao điểm sang các cụm còn năng lực.

Có thể cấu hình việc chọn cụm

Người vận hành công bố từng cụm tham gia bằng cách bật spec.globalRouting trong InferenceGatewayConfig, sau đó gọi CreateGlobalInferenceGateway với các cụm cần nhóm lại. Việc công bố tạo một Network Load Balancer, một dịch vụ điểm cuối đám mây riêng ảo (VPC) và các tài nguyên chứng chỉ trong tài khoản của khách hàng. Không thể thêm thành công một cụm chưa được công bố.

Ứng dụng khách gửi các yêu cầu tương thích với OpenAI, được ký bằng AWS Signature Version 4 (SigV4), đến điểm cuối khu vực. Cổng xác thực người gọi và chọn một cụm khỏe mạnh; AWS PrivateLink truyền yêu cầu trong cùng Khu vực hoặc giữa các Khu vực, rồi Inference Gateway của cụm chọn pod mô hình. SageMaker vận hành đội định tuyến, các điểm cuối riêng tư, việc xác thực chứng chỉ, kiểm tra tình trạng, xác thực và giới hạn tốc độ; một trình công bố do dịch vụ quản lý trên mỗi cụm cung cấp số liệu tải.

Với mỗi yêu cầu, cổng chấm điểm các cụm khỏe mạnh dựa trên bốn tín hiệu có thể cấu hình:

Tín hiệu Chỉ số đo lường Trọng số mặc định
KVHeadroom Dung lượng bộ nhớ đệm KV và bộ nhớ GPU còn trống trên cụm 0.20
QueueDepth Mức độ ùn tắc của cụm 0.25
RegionProximity Khoảng cách giữa cụm và Khu vực của cổng 0.40
ErrorRate Các yêu cầu gần đây bị lỗi trên cụm 0.15

Khách hàng ghi đè các giá trị mặc định phải đặt trọng số cho cả bốn tín hiệu, sử dụng các giá trị từ 0.0 đến 1.0 sao cho tổng bằng 1.0; họ có thể tắt một tín hiệu bằng cách đặt trọng số bằng 0. UpdateGlobalInferenceGateway thay đổi trọng số áp dụng cho các yêu cầu mới mà không cần cấp phát lại; các yêu cầu đang xử lý vẫn hoàn tất theo cài đặt cũ. AWS cho biết các khối lượng công việc ưu tiên khả năng phục hồi hơn mức độ gần có thể tăng ErrorRate và giảm RegionProximity.

Chuyển đổi dự phòng và quyền riêng tư

Cổng kiểm tra tình trạng của mọi cụm và chuyển lưu lượng sang cụm phù hợp tiếp theo khi xảy ra lỗi mà không cần thay đổi ứng dụng khách; khi cụm được khôi phục, lưu lượng sẽ được chuyển trở lại dần dần. Một yêu cầu thất bại sẽ được thử lại một lần trên cụm khác, trừ khi quá trình truyền phát đã bắt đầu; nếu không còn cụm nào khỏe mạnh, cổng trả về HTTP 503. Việc thêm một cụm khỏe mạnh không làm thay đổi điểm cuối hay ảnh hưởng đến các cụm khác, còn khi xóa một cụm, hệ thống sẽ ngừng gửi yêu cầu mới đến đó nhưng để các tác vụ đang xử lý hoàn tất.

IAM kiểm soát riêng việc gọi dịch vụ thông thường và truyền phát; nếu sử dụng, Mã thông báo web JSON của khách hàng được gửi bên trong chữ ký SigV4. Yêu cầu chỉ đến được các cụm thông qua AWS PrivateLink, và AWS cho biết cổng không ghi nhật ký hoặc lưu trữ lời nhắc hay nội dung hoàn tất. Xóa cổng toàn cục sẽ dừng điểm cuối của cổng, nhưng các điểm cuối riêng lẻ của từng cụm vẫn tiếp tục phục vụ.

Jinhyung Park, Phó chủ tịch phụ trách Nền tảng AI tại Bagelcode, cho biết trong thông báo của AWS rằng các thử nghiệm beta đã định tuyến yêu cầu qua cổng giữa hai Khu vực và tiếp tục phục vụ khi một cụm không còn khả năng chạy mô hình. Nhờ đó, nhóm nền tảng nhỏ của công ty có được khả năng chuyển đổi dự phòng liên khu vực mà không cần tự xây dựng hoặc duy trì một lớp định tuyến.

Khả năng cung cấp và chuyển đổi

Dịch vụ hiện có mặt tại 13 Khu vực: miền Đông Hoa Kỳ (Bắc Virginia và Ohio), miền Tây Hoa Kỳ (Bắc California và Oregon), Nam Mỹ (São Paulo), châu Âu (Frankfurt, Ireland, London và Stockholm) và châu Á – Thái Bình Dương (Tokyo, Mumbai, Singapore và Sydney).

AWS khuyến nghị khách hàng chỉ sử dụng một cụm tiếp tục dùng điểm cuối Inference Gateway của cụm đó và chuyển sang dịch vụ toàn cục khi bổ sung cụm thứ hai. Các điểm cuối riêng lẻ hiện có vẫn tiếp tục phục vụ trong quá trình chuyển đổi ứng dụng khách; cổng chỉ chứa các cụm thuộc một Khu vực cũng có thể giữ khối lượng công việc trong Khu vực đó. Một cụm đã được công bố nhưng không nằm trong cổng nào sẽ không nhận lưu lượng, dù Network Load Balancer của cụm vẫn chạy và phát sinh chi phí.

Bằng cách đưa các tín hiệu về độ gần, năng lực và tình trạng sự cố vào cùng một chính sách, dịch vụ biến việc tận dụng tài nguyên GPU vốn đang nhàn rỗi thành một quyết định cấu hình, thay vì một dự án mạng riêng biệt.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.