Mô hình và nền tảng AI

SageMaker AI định tuyến yêu cầu dựa trên trạng thái bộ nhớ đệm GPU do container báo cáo

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhĐịnh tuyến nhận biết KV nâng tỷ lệ trúng bộ nhớ đệm từ 3–48% lên 80–93% bằng cách theo…
Xem thêm
  • Định tuyến nhận biết KV nâng tỷ lệ trúng bộ nhớ đệm từ 3–48% lên 80–93% bằng cách theo dõi các lần trục xuất do container báo cáo.
  • Chi phí định tuyến làm tăng thêm 14 đến 19 mili giây của CloudWatch OverheadLatency ngay cả khi độ trễ của mô hình được cải thiện.
  • Tính năng này yêu cầu ít nhất hai phiên bản hoặc bản sao thành phần suy luận để có bất kỳ hiệu ứng định tuyến nào.

Ngày 17 tháng 11 năm 2026, Amazon Web Services giới thiệu định tuyến nhận biết bộ nhớ đệm KV cho các điểm cuối thời gian thực của Amazon SageMaker AI, sử dụng trạng thái bộ nhớ đệm do container báo cáo để điều phối yêu cầu. AWS cho biết trong các thử nghiệm với prompt dài khi hệ thống chịu tải, phương pháp này giúp giảm tới 97% thời gian trung vị để tạo token đầu tiên và tăng 234% thông lượng so với định tuyến ngẫu nhiên.

Bộ nhớ đệm KV lưu các phép tính đã thực hiện cho prompt trước đó trong bộ nhớ GPU, nhờ vậy mô hình có thể tái sử dụng chúng thay vì lặp lại bước xử lý ban đầu, hay còn gọi là tiền nạp, đối với các token đầu vào trùng khớp. Vì thế, việc phân bổ bộ nhớ đệm rất quan trọng với trợ lý trò chuyện, hệ thống tạo sinh tăng cường truy xuất và các tác nhân sử dụng prompt hệ thống dài: chuyển yêu cầu sang nơi khác có thể buộc một phiên bản tính toán lại ngữ cảnh mà GPU khác đã lưu.

Định tuyến dựa trên trạng thái bộ nhớ đệm được báo cáo

Chiến lược nhận biết tiền tố hiện có của SageMaker AI suy đoán vị trí bộ nhớ đệm dựa trên tiền tố cố định của yêu cầu. Chiến lược này không phát hiện được việc các mục trong bộ nhớ đệm bị loại bỏ; hơn nữa, những lượt đầu trong một cuộc trò chuyện đang tiếp diễn có thể tạo ra giá trị băm khác nhau và được chuyển đến các phiên bản riêng biệt. Thay vào đó, định tuyến nhận biết KV sử dụng các sự kiện do container mô hình phát ra mỗi khi mục trong bộ nhớ đệm được lưu hoặc bị loại bỏ.

Dịch vụ duy trì một chỉ mục được quản lý, ánh xạ các giá trị băm một chiều đã cắt ngắn tới các phiên bản hoặc bản sao thành phần suy luận, thay vì lưu prompt, mã định danh token, tải dữ liệu yêu cầu hay tensor KV. Mỗi prompt đến được chuyển thành token rồi đối chiếu với chỉ mục đó. Điểm cuối cân nhắc mức độ khớp dài nhất có trong bộ nhớ đệm cùng với tải của từng phiên bản, đồng thời bỏ qua những ứng viên đang quá tải.

Nếu quá trình tra cứu chậm, không tìm được kết quả phù hợp hữu ích hoặc tất cả các phiên bản khớp đều bận, yêu cầu sẽ chuyển sang định tuyến theo số yêu cầu chưa hoàn tất ít nhất và vẫn được xử lý. Khi thu hẹp quy mô, các mục chỉ mục của những phiên bản bị gỡ bỏ cũng được xóa; các phiên bản mới hoặc thay thế bắt đầu với bộ nhớ đệm trống, dẫn đến nguy cơ độ trễ tạm thời khi xây dựng lại bộ nhớ đệm và khởi động lạnh.

Mức cải thiện qua kiểm thử và độ trễ do định tuyến

AWS cho biết các thử nghiệm kéo dài 30 phút chạy Llama 3.1 70B Instruct trên bảy phiên bản ml.p5.48xlarge, với 20 hoặc 100 người dùng mô phỏng, các cuộc trò chuyện nhiều lượt và phiên hỏi đáp tài liệu; prompt có độ dài lên tới khoảng 64.000 token. Tỷ lệ cache hit tăng từ 3–48% khi định tuyến ngẫu nhiên lên 80–93% khi định tuyến nhận biết KV. Kết quả phụ thuộc vào khối lượng công việc; prompt ngắn được lợi ít nhất vì có ít phép tính tiền nạp hơn để tái sử dụng.

Quá trình tra cứu để định tuyến làm phát sinh độ trễ do chuyển đổi token và xử lý chỉ mục: vài mili giây với prompt ngắn và lâu hơn với prompt dài. Các yêu cầu chỉ có văn bản thông thường chuyển các token đã tính toán cho mô hình, nhờ đó tránh phải chuyển đổi token lần thứ hai. Trong một phép so sánh riêng của AWS trên hai phiên bản Qwen3-4B-Instruct-2507, CloudWatch OverheadLatency trung bình—chỉ số đo thời gian SageMaker AI xử lý bên ngoài container mô hình—cao hơn từ 14 đến 19 mili giây khi dùng định tuyến nhận biết KV, dù độ trễ của mô hình và thời gian tạo token đầu tiên đều được cải thiện.

Yêu cầu triển khai và khả năng theo dõi

Khi ra mắt, tính năng này yêu cầu AWS vLLM Deep Learning Container dành cho SageMaker AI với vLLM 0.33.0 trở lên, hoặc bản dựng Amazon Linux server-sagemaker-cuda-v2.8.0 trở lên. Phải bật tính năng lưu bộ nhớ đệm tiền tố và các sự kiện bộ nhớ đệm KV. Khách hàng đặt SM_VLLM_KV_EVENTS_CONFIG trên mô hình và RoutingStrategy thành KV_AWARE trong biến thể production mà không cần thay đổi các lệnh gọi từ máy khách.

Tính năng này hỗ trợ các điểm cuối thời gian thực chạy trên GPU cho một mô hình đơn lẻ và cho thành phần suy luận, bao gồm cả bộ điều hợp thích ứng hạng thấp có thể thay đổi linh hoạt. Để định tuyến hoạt động, điểm cuối một mô hình cần ít nhất hai phiên bản hoặc thành phần suy luận cần hai bản sao; nếu chỉ có một đích đến, cài đặt này không ảnh hưởng đến việc định tuyến. Yêu cầu phải sử dụng tải dữ liệu Completions hoặc Chat Completions tương thích với OpenAI thông qua các API gọi được hỗ trợ, và InvokeEndpointWithBidirectionalStream không được hỗ trợ.

Khi ra mắt, định tuyến nhận biết KV không bổ sung chỉ số riêng hoặc nhật ký quyết định định tuyến cho tài khoản khách hàng; các trường hợp chuyển hướng dự phòng cũng không hiển thị trong bảng điều khiển hay chỉ số của SageMaker AI. Khách hàng có thể kiểm tra usage.prompt_tokens_details.cached_tokens sau khi bật thông tin chi tiết về token trong prompt, đồng thời theo dõi các chỉ số của container như tỷ lệ cache hit và thời gian tạo token đầu tiên thông qua tính năng quan sát chi tiết và CloudWatch.

Tính năng này hiện có tại tất cả các Khu vực AWS thương mại hỗ trợ suy luận thời gian thực của SageMaker AI với container tương thích, không tính thêm phí ngoài chi phí cho các phiên bản của điểm cuối. AWS tiếp tục mô tả định tuyến nhận biết tiền tố là lựa chọn đơn giản hơn cho prompt dùng chung ổn định, ngữ cảnh ngắn và tải vừa phải. Định tuyến nhận biết KV phù hợp với ngữ cảnh dài có thể tái sử dụng, áp lực bộ nhớ và tình trạng loại bỏ bộ nhớ đệm thường xuyên; mỗi khối lượng công việc cần cân nhắc cụ thể giữa phần công việc tiền nạp GPU được khôi phục và độ trễ định tuyến phát sinh trên mỗi yêu cầu.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.