Mô hình và nền tảng AI
AWS bật tính năng giám sát mặc định cho các điểm cuối suy luận SageMaker AI

Điểm chínhCờ giám sát mặc định phát hiện độ trễ trôi dạt và GPU nhàn rỗi mà không yêu cầu người…
Xem thêm
- Cờ giám sát mặc định phát hiện độ trễ trôi dạt và GPU nhàn rỗi mà không yêu cầu người dùng đặt ngưỡng trước.
- Các phát hiện mở ra quy trình làm việc SageMaker Studio dạng tác tử để đánh giá các lựa chọn thay thế trên máy tính riêng trước khi thay đổi môi trường sản xuất.
- Việc giám sát không tốn thêm chi phí GPU và có thể bị vô hiệu hóa thông qua biến môi trường OPT_OUT_TRACKING.
Amazon Web Services (AWS) đã bật tính năng giám sát mặc định cho các điểm cuối suy luận AI tạo sinh Amazon SageMaker AI đủ điều kiện vào ngày 19 tháng 11 năm 2026, bổ sung các phát hiện của AWS Health về tình trạng độ trễ sai lệch, dung lượng GPU nhàn rỗi và các tối ưu hóa phục vụ bị bỏ lỡ.
Tính năng giám sát này không cần thiết lập trên các điểm cuối sử dụng vùng chứa phục vụ vLLM và phiên bản GPU. Tính năng này đọc độ trễ ở cấp điểm cuối, mức sử dụng GPU và cấu hình phục vụ, chứ không đọc nội dung yêu cầu hoặc phản hồi. Mục tiêu là phát hiện tình trạng sai lệch dần sau khi triển khai, khi lưu lượng, độ dài lời nhắc, phần mềm phục vụ và yêu cầu tài nguyên của mô hình thay đổi.
Thông báo này mở rộng các đề xuất tối ưu hóa suy luận AI tạo sinh mà AWS đưa ra vào ngày 22 tháng 4 năm 2026. Quy trình đó cho phép người dùng chọn chi phí, độ trễ hoặc thông lượng làm mục tiêu, so sánh tối đa ba loại phiên bản và đánh giá cấu hình trên GPU thực bằng NVIDIA AIPerf. Quy trình cũng hỗ trợ đánh giá các điểm cuối hiện đang phục vụ trong môi trường sản xuất; lớp tính năng mới bổ sung hoạt động quan sát liên tục và thông báo vào quy trình ra quyết định do người dùng khởi tạo này.
Tính năng giám sát phát hiện những gì
Các phát hiện về độ trễ sai lệch so sánh độ trễ đầu cuối trung vị (p50) và thời gian trung vị để tạo token đầu tiên với dữ liệu của chính điểm cuối trong tuần liền trước. Vì đường cơ sở dựa trên dữ liệu lịch sử nên người dùng không cần đặt trước ngưỡng. Hoạt động đánh giá tiếp theo sẽ kiểm tra các thiết lập song song hóa tensor cũng như các loại hoặc kích cỡ phiên bản thay thế.
Các phát hiện khác bao gồm GPU hoạt động thấp hơn nhiều so với công suất, tính năng giải mã suy đoán được hỗ trợ nhưng đang tắt, nhân GPU chưa được tinh chỉnh và các vùng chứa phục vụ thiếu những cải tiến hiệu năng mới hơn hoặc bản vá cho lỗ hổng nghiêm trọng và mức độ nghiêm trọng cao. Với công suất chưa được sử dụng, hoạt động đánh giá sẽ kiểm tra các loại phiên bản rẻ hơn và kích cỡ nhỏ hơn trong điều kiện lưu lượng đạt đỉnh đã quan sát. Tùy trường hợp, các bài kiểm tra cấu hình sẽ so sánh thiết lập hiện tại với cấu hình bật giải mã suy đoán, dùng nhân đã tinh chỉnh hoặc vùng chứa đã cập nhật.
Các ví dụ của AWS là minh họa theo từng bước, không phải số liệu đo lường trên toàn bộ hệ thống: một ví dụ cho thấy thời gian trung vị để tạo token đầu tiên tăng khoảng 200 mili giây so với tuần trước, trong khi ví dụ khác ghi nhận ngay cả GPU bận nhất cũng chỉ sử dụng 12% công suất trở xuống trong phần lớn thời gian của một tuần.
Từ cảnh báo Health đến hoạt động đánh giá
Các phát hiện được gửi qua AWS Health và email. Mỗi điểm cuối nhận tối đa một thông báo tại một thời điểm, bao gồm tất cả phát hiện áp dụng; AWS giới hạn số lượng thông báo mà một tài khoản nhận cùng lúc, và thông báo được xác định riêng theo Khu vực AWS của điểm cuối.
Thông báo nêu rõ điều đã được quan sát, lý do điều đó ảnh hưởng đến độ trễ, công suất hoặc chi phí, cùng với hành động được đề xuất; các con số ước tính được ghi rõ là ước tính. Đây là một quan sát, không phải kết quả đánh giá đã hoàn tất. Hành động này mở một trải nghiệm có tác tử trong SageMaker Studio, với điểm cuối và lưu lượng đã quan sát được điền sẵn.
Sau khi người dùng xác nhận, tác tử tạo một sổ tay SageMaker Python SDK có thể chỉnh sửa, sử dụng mô hình của điểm cuối và hồ sơ lưu lượng được tạo từ các chỉ số của điểm cuối. Sổ tay gắn thẻ tác vụ đề xuất bằng sự kiện AWS Health để có thể truy xuất kết quả về phát hiện tương ứng. Tác vụ so sánh cấu hình hiện tại với các phương án thay thế về thời gian phản hồi, thông lượng và chi phí trên mỗi triệu token, bằng tài nguyên điện toán riêng; môi trường sản xuất sẽ không thay đổi cho đến khi người dùng áp dụng kết quả.
AWS khuyến nghị áp dụng cấu hình đã chọn trước tiên cho một biến thể sản xuất, đồng thời duy trì cấu hình hiện tại để có thể khôi phục. Việc tạm hoãn hoặc bỏ qua một phát hiện cũng là kết quả bình thường; thông báo vẫn được lưu trong lịch sử sự kiện AWS Health.
Chi phí và tùy chọn từ chối
Hoạt động giám sát không phát sinh thêm chi phí GPU. Các bài đánh giá áp dụng mức phí tiêu chuẩn của SageMaker AI hoặc sử dụng gói đặt trước tài nguyên máy học hiện có. Để xử lý một phát hiện, cần có miền SageMaker Studio, quyền AWS Identity and Access Management để chạy tác vụ đề xuất và cập nhật điểm cuối, cùng hạn mức phiên bản đánh giá đủ dùng.
Khách hàng có thể quản lý việc gửi thông báo thông qua AWS User Notifications và tùy chọn lên lịch chạy đề xuất định kỳ, chẳng hạn như hàng tháng. Việc đặt OPT_OUT_TRACKING biến môi trường trên vùng chứa mô hình sẽ dừng thu thập các chỉ số về công cụ phục vụ, chỉ số GPU và thông tin chi tiết về cấu hình khởi động của điểm cuối đó, đồng thời ngăn gửi thông báo cho điểm cuối.
Việc hỗ trợ một phương án tối ưu hóa không đảm bảo phương án đó sẽ mang lại lợi ích. AWS cho biết kết quả giải mã suy đoán phụ thuộc vào mức độ đồng thời, độ dài lời nhắc và phản hồi, đồng thời có thể khác nhau giữa thời điểm lưu lượng cao điểm và thấp điểm. Sự khác biệt này xác định vai trò thực tế của tính năng: dữ liệu đo từ xa mặc định đưa ra cảnh báo, còn hoạt động đánh giá xác định liệu khoản tiết kiệm hoặc mức tăng tốc tiềm năng có đạt được trong điều kiện lưu lượng quan trọng hay không.












