Mô hình và nền tảng AI

Amazon SageMaker AI bổ sung bộ định tuyến chuyển đổi dự phòng theo khu vực, hiện đã được cung cấp rộng rãi

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhBộ định tuyến chuyển kỹ thuật chuyển đổi dự phòng sang SageMaker AI nhưng khách hàng…
Xem thêm
  • Bộ định tuyến chuyển kỹ thuật chuyển đổi dự phòng sang SageMaker AI nhưng khách hàng vẫn phải trả tiền cho dung lượng dự phòng ở nơi khác.
  • Điểm số tình trạng bỏ qua độ trễ của mô hình nên các điểm cuối trả về phản hồi thành công vẫn giữ lưu lượng truy cập dù chậm.
  • Khách hàng không thể đặt ngưỡng trọng số hoặc thời điểm chuyển đổi dự phòng vì bộ định tuyến tự động kiểm soát mọi quyết định định tuyến.

Ngày 19 tháng 11 năm 2026, Amazon Web Services đã chính thức cung cấp rộng rãi tính năng định tuyến suy luận xuyên khu vực trong Amazon SageMaker AI, cho phép ứng dụng gọi một bộ định tuyến duy nhất để truy cập các tài nguyên hiện có đang phục vụ mô hình trên nhiều khu vực và tài khoản AWS khi dung lượng tại khu vực cục bộ không còn đủ.

Một điểm cuối SageMaker AI hoạt động trong một khu vực và một tài khoản. Khi tính năng tự động mở rộng không thể bổ sung loại phiên bản cần thiết, các yêu cầu có thể bị giới hạn tốc độ hoặc hết thời gian chờ, ngay cả khi cùng mô hình đó còn dư dung lượng ở nơi khác. Trước đây, khách hàng sử dụng các điểm cuối được quản lý phải tự xây dựng cơ chế định tuyến xuyên khu vực, bao gồm phát hiện lỗi, thử lại an toàn, xử lý khôi phục và truy cập xuyên tài khoản.

Bộ định tuyến suy luận theo khu vực mới sử dụng một đích định tuyến có tên riêng cho mỗi mô hình logic. Một đích có thể kết hợp các điểm cuối thời gian thực và thành phần suy luận trên nhiều khu vực, nhiều tài khoản, hoặc chỉ bao gồm các điểm cuối bất đồng bộ. Ứng dụng gọi đích thông qua bộ định tuyến. Mô hình, cấu hình điểm cuối, nhóm phiên bản, bộ chứa và tính năng tự động mở rộng vẫn được giữ nguyên, còn các lệnh gọi trực tiếp InvokeEndpoint vẫn tiếp tục hoạt động. Bộ định tuyến không tạo thêm dung lượng, triển khai mô hình hay mở rộng điểm cuối, vì vậy mọi đích đều phải đang hoạt động sẵn trong khu vực của mình.

Tín hiệu tình trạng quyết định việc chuyển đổi dự phòng

Bộ định tuyến ưu tiên các đích khỏe mạnh trong chính khu vực của nó và phân bổ đều yêu cầu giữa nhiều đích cục bộ đang khỏe mạnh. Điểm tình trạng được tính dựa trên các yêu cầu gần đây được ghi nhận tại khu vực của từng đích: lỗi máy chủ, yêu cầu bị giới hạn tốc độ và lỗi hết thời gian chờ làm giảm điểm; lỗi nền tảng làm giảm điểm nhiều nhất; còn các lỗi do yêu cầu gây ra, chẳng hạn như đầu vào không hợp lệ, thì không. Độ trễ của mô hình không được tính đến, vì vậy điểm cuối tiếp tục trả về phản hồi thành công sẽ vẫn nhận lưu lượng. SageMaker AI công bố healthy, overloaded và degraded trạng thái lên CloudWatch; các đích quá tải sẽ mất một phần lưu lượng, trong khi các đích suy giảm chỉ giữ lại một lượng lưu lượng nhỏ để bộ định tuyến có thể phát hiện khi chúng phục hồi.

AWS cho biết lưu lượng bắt đầu được chuyển hướng trong khoảng một phút khi lỗi kéo dài, hoặc muộn hơn đối với các đích có ít lưu lượng; sau khi phục hồi, lưu lượng được đưa trở lại trong vài phút. Khách hàng không thể thiết lập trọng số, thứ tự chuyển hướng dự phòng, ngưỡng hoặc thời điểm chuyển đổi dự phòng. Nếu thông tin tình trạng của các đích từ xa trở nên lỗi thời, bộ định tuyến sẽ giữ lưu lượng trong khu vực của nó.

Cơ chế thử lại bị giới hạn hơn đối với suy luận thời gian thực. Bộ định tuyến chỉ thử lại một lần trên một đích khác khi mô hình chưa chạy, bao gồm các trường hợp bị giới hạn tốc độ, gặp lỗi 503, mô hình chưa sẵn sàng, yêu cầu bị từ chối do giới hạn lưu lượng hoặc bị từ chối quyền truy cập vào đích. Bộ định tuyến không bao giờ thử lại khi xảy ra lỗi hết thời gian chờ, lỗi 500 hoặc lỗi mô hình. Các yêu cầu bất đồng bộ được gửi thử một lần đến từng đích đủ điều kiện, bắt đầu từ các đích cục bộ, cho đến khi có một đích chấp nhận.

Mỗi phản hồi thời gian thực cho biết đích phục vụ trong InvokedRoutedResourceArn và cung cấp một RoutingReason của local-preferred, capacity-available, failover hoặc only-healthy. Các chỉ số OpenTelemetry trong CloudWatch bổ sung thông tin về số yêu cầu và lỗi theo từng đích, thời lượng xử lý tại đích, độ trễ phát sinh từ bộ định tuyến và mạng xuyên khu vực, cũng như tình trạng sức khỏe. Phản hồi bất đồng bộ không nêu tên đích, dù các chỉ số CloudWatch cho biết yêu cầu đã được chuyển đến đâu.

Quyền kiểm soát dung lượng và truy cập vẫn thuộc về chủ sở hữu điểm cuối

Lưu lượng vượt mức có thể khiến điểm cuối nhận yêu cầu bị giới hạn tốc độ. Theo mặc định, điểm cuối thời gian thực chấp nhận mọi mức lưu lượng xuyên khu vực. Chủ sở hữu có thể tùy chọn đặt giới hạn bằng cách quy định tốc độ gọi tối đa trên mỗi phiên bản dựa trên kiểm thử tải, cùng tỷ lệ phần trăm tối đa dành cho các khu vực khác. Mức cho phép tương ứng với số phiên bản đang hoạt động, bao gồm cả những thay đổi do tính năng tự động mở rộng tạo ra. Trong ví dụ của AWS, với tốc độ 50 lần gọi mỗi giây trên mỗi phiên bản, giới hạn 20% và bốn phiên bản, điểm cuối cho phép 40 yêu cầu xuyên khu vực mỗi giây; con số này tăng lên 60 khi bổ sung hai phiên bản.

Chỉ các yêu cầu từ khu vực khác mới được tính vào giới hạn đó; cơ chế này không bao giờ giới hạn tốc độ các lệnh gọi từ chính khu vực của điểm cuối. Yêu cầu vượt mức bị từ chối trước khi mô hình chạy và được thử lại một lần ở nơi khác; nếu không có đích nào chấp nhận, ứng dụng sẽ nhận lỗi giới hạn tốc độ. Tất cả thành phần suy luận trên cùng một điểm cuối đều dùng chung giới hạn này.

Đối với các đích xuyên tài khoản, cả hai tài khoản đều phải cho phép yêu cầu. Chính sách điểm cuối có thể giới hạn quyền truy cập chỉ cho một bộ định tuyến được chỉ định tên, và bộ định tuyến không cấp cho bên gọi quyền truy cập vào điểm cuối mà họ không thể gọi trực tiếp.

Giới hạn triển khai và giá

Dịch vụ hiện được cung cấp rộng rãi tại hầu hết các khu vực AWS thương mại, ngoại trừ me-south-1 và me-central-1, cho cả suy luận thời gian thực lẫn bất đồng bộ. Dịch vụ không hỗ trợ truyền trực tiếp phản hồi. Yêu cầu thời gian thực có khoảng một phút để nhận phản hồi từ đích; tải trọng thời gian thực có thể lên tới 6 MB; và mỗi bộ định tuyến hỗ trợ tối đa 20 đích định tuyến, mỗi đích có tối đa 10 điểm đến.

Bản thân bộ định tuyến hoạt động theo khu vực, vì vậy AWS khuyến nghị tạo bộ định tuyến ở hai khu vực và chuyển đổi giữa chúng ở phía máy khách để tăng khả năng dự phòng cho điểm truy cập. Ranh giới lưu trú dữ liệu cũng cần được cấu hình rõ ràng, vì một yêu cầu có thể được xử lý tại khu vực của bộ định tuyến hoặc tại bất kỳ khu vực nào có đích đã đăng ký.

Không tính thêm phí định tuyến. Khách hàng trả mức phí tiêu chuẩn cho điểm cuối và thành phần suy luận của SageMaker AI, dù yêu cầu được gửi trực tiếp hay thông qua bộ định tuyến, đồng thời trả mức phí CloudWatch tiêu chuẩn cho các chỉ số và truy vấn của bộ định tuyến.

Dịch vụ mới chuyển phần kỹ thuật chuyển đổi dự phòng sang SageMaker AI, còn khách hàng vẫn phải giải quyết bài toán đánh đổi cốt lõi về kinh tế tính toán: để duy trì dịch vụ khi một Khu vực bị thiếu hụt trong thời gian ngắn, họ vẫn phải trả phí và bố trí năng lực suy luận khả dụng ở một Khu vực khác.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.