Modele i platformy AI

SageMaker AI kieruje żądania na podstawie stanu pamięci podręcznej GPU zgłaszanego przez kontener

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyRouting uwzględniający KV podnosi współczynnik trafień pamięci podręcznej z 3–48% do…
Zobacz więcej
  • Routing uwzględniający KV podnosi współczynnik trafień pamięci podręcznej z 3–48% do 80–93% poprzez śledzenie zgłaszanych przez kontenery eksmisji.
  • Narzut routingu dodaje od 14 do 19 milisekund CloudWatch OverheadLatency, nawet gdy opóźnienie modelu się poprawia.
  • Funkcja wymaga co najmniej dwóch instancji lub kopii komponentu wnioskowania, aby mieć jakikolwiek wpływ na routing.

17 listopada 2026 r. Amazon Web Services wprowadziło kierowanie uwzględniające pamięć podręczną KV dla punktów końcowych Amazon SageMaker AI działających w czasie rzeczywistym. Żądania są kierowane na podstawie stanu pamięci podręcznej zgłaszanego przez kontener. AWS informuje, że w testach z długimi promptami przeprowadzonych przy obciążeniu mediana czasu do pierwszego tokenu była nawet o 97% niższa, a przepustowość o 234% wyższa niż przy losowym kierowaniu.

Pamięć podręczna KV przechowuje w pamięci GPU obliczenia wykonane wcześniej dla promptów, dzięki czemu model może z nich skorzystać zamiast ponownie przetwarzać pasujące tokeny wejściowe na początkowym etapie, zwanym prefill. Dlatego miejsce przechowywania danych w pamięci podręcznej ma znaczenie w przypadku asystentów konwersacyjnych, generowania wspomaganego wyszukiwaniem i agentów z długimi promptami systemowymi: skierowanie żądania do innej instancji może zmusić ją do ponownego obliczenia kontekstu, który jest już przechowywany na innym GPU.

Kierowanie na podstawie zgłaszanego stanu pamięci podręcznej

Dotychczasowa strategia SageMaker AI uwzględniająca prefiksy określa lokalizację pamięci podręcznej na podstawie stałego prefiksu żądania. Nie wykrywa usunięcia wpisów z pamięci podręcznej, a początkowe etapy rozwijającej się rozmowy mogą być haszowane w różny sposób i trafiać do oddzielnych instancji. Kierowanie uwzględniające pamięć podręczną KV wykorzystuje natomiast zdarzenia zgłaszane przez kontener modelu za każdym razem, gdy wpisy w pamięci podręcznej są zapisywane lub usuwane.

Usługa utrzymuje zarządzany indeks skróconych, jednokierunkowych skrótów przypisanych do instancji lub kopii komponentów inferencyjnych, zamiast przechowywać prompty, identyfikatory tokenów, ładunki żądań lub tensory KV. Każdy przychodzący prompt jest tokenizowany i porównywany z indeksem. Punkt końcowy ocenia najdłuższe dopasowanie do danych w pamięci podręcznej w zestawieniu z obciążeniem instancji i pomija te, które są zbyt zajęte.

Jeśli wyszukiwanie trwa zbyt długo, nie ma użytecznego dopasowania albo wszystkie pasujące instancje są zajęte, żądanie jest kierowane według najmniejszej liczby niezakończonych żądań i nadal obsługiwane. Podczas zmniejszania liczby instancji wpisy dotyczące usuwanych instancji są kasowane z indeksu. Nowe lub zastępcze instancje mają pustą pamięć podręczną, co wiąże się z koniecznością jej ponownego zapełnienia i uwzględnienia opóźnień charakterystycznych dla zimnego startu.

Korzyści wykazane w testach porównawczych i narzut związany z kierowaniem

AWS informuje, że w 30-minutowych testach model Llama 3.1 70B Instruct działał na siedmiu instancjach ml.p5.48xlarge, przy udziale 20 lub 100 symulowanych użytkowników. Testy obejmowały wieloetapowe rozmowy i sesje pytań i odpowiedzi dotyczących dokumentów, a prompty miały do około 64 000 tokenów. Współczynnik trafień w pamięci podręcznej wzrósł z 3–48% przy losowym kierowaniu do 80–93% przy kierowaniu uwzględniającym pamięć podręczną KV. Wyniki zależą od obciążenia, a korzyści były najmniejsze w przypadku krótkich promptów, ponieważ pozwalają one ponownie wykorzystać mniej obliczeń związanych z etapem prefill.

Wyszukiwanie w ramach kierowania powoduje narzut związany z tokenizacją i przetwarzaniem indeksu: kilka milisekund w przypadku krótkich promptów, a więcej przy dłuższych. W standardowych żądaniach zawierających wyłącznie tekst obliczone tokeny są przekazywane modelowi, co pozwala uniknąć ponownej tokenizacji. W osobnym porównaniu AWS obejmującym dwie instancje Qwen3-4B-Instruct-2507 średnia wartość CloudWatch OverheadLatency — mierząca czas, który SageMaker AI poświęca na operacje poza kontenerem modelu — była o 14–19 milisekund wyższa przy kierowaniu uwzględniającym pamięć podręczną KV, mimo że opóźnienie modelu i czas do pierwszego tokenu uległy poprawie.

Wymagania dotyczące wdrożenia i dostępne informacje

W chwili uruchomienia funkcja wymaga kontenera AWS vLLM Deep Learning Container dla SageMaker AI z vLLM w wersji 0.33.0 lub nowszej albo Amazon Linux server-sagemaker-cuda-v2.8.0 w wersji lub kompilacji nowszej. Należy włączyć buforowanie prefiksów i zdarzenia pamięci podręcznej KV. Klienci ustawiają SM_VLLM_KV_EVENTS_CONFIG w modelu oraz RoutingStrategy na KV_AWARE w wariancie produkcyjnym, bez wprowadzania zmian w wywołaniach klienta.

Funkcja obsługuje punkty końcowe działające w czasie rzeczywistym, oparte na GPU i obsługujące jeden model lub komponenty inferencyjne, w tym dynamiczne adaptery Low-Rank Adaptation. Kierowanie wymaga co najmniej dwóch instancji w przypadku punktu końcowego z jednym modelem albo dwóch kopii komponentu inferencyjnego; przy jednym miejscu docelowym ustawienie nie wpływa na kierowanie. Żądania muszą korzystać z ładunków Completions lub Chat Completions zgodnych z OpenAI, przesyłanych za pośrednictwem obsługiwanych interfejsów wywołań, a InvokeEndpointWithBidirectionalStream nie jest obsługiwane.

W chwili uruchomienia kierowanie uwzględniające pamięć podręczną KV nie zapewnia dedykowanych metryk ani dzienników decyzji o kierowaniu dostępnych dla konta klienta, a użycie tras awaryjnych nie jest widoczne w konsoli SageMaker AI ani w metrykach. Klienci mogą sprawdzać usage.prompt_tokens_details.cached_tokens po włączeniu szczegółowych informacji o tokenach promptu, a także monitorować metryki kontenera, takie jak współczynnik trafień w pamięci podręcznej i czas do pierwszego tokenu, korzystając ze szczegółowych narzędzi obserwowalności i CloudWatch.

Funkcja jest dostępna we wszystkich komercyjnych regionach AWS, w których obsługiwane jest wnioskowanie w czasie rzeczywistym za pomocą SageMaker AI i zgodnego kontenera, bez dodatkowych opłat poza kosztem instancji punktu końcowego. AWS nadal przedstawia kierowanie uwzględniające prefiksy jako prostsze rozwiązanie w przypadku stabilnych, współdzielonych promptów, krótkich kontekstów i umiarkowanego obciążenia. Kierowanie uwzględniające pamięć podręczną KV sprawdza się natomiast przy dłuższych kontekstach, które można ponownie wykorzystać, dużym obciążeniu pamięci i częstym usuwaniu jej wpisów. Wybór rozwiązania dla danego obciążenia oznacza więc znalezienie konkretnej równowagi między odzyskanymi obliczeniami GPU na etapie prefill a dodatkowym narzutem związanym z kierowaniem każdego żądania.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.