Modele și platforme AI
SageMaker AI direcționează solicitările folosind starea cache-ului GPU raportată de container

Puncte cheieRutarea conștientă de KV crește ratele de succes ale cache-ului de la 3–48% la 80–93%…
Vezi mai mult
- Rutarea conștientă de KV crește ratele de succes ale cache-ului de la 3–48% la 80–93% prin urmărirea evacuărilor raportate de containere.
- Supraîncărcarea de rutare adaugă 14 până la 19 milisecunde de CloudWatch OverheadLatency chiar dacă latența modelului se îmbunătățește.
- Funcția necesită cel puțin două instanțe sau copii ale componentei de inferență pentru a avea vreun efect de rutare.
Pe 17 noiembrie 2026, Amazon Web Services a introdus rutarea care ține cont de cache-ul KV pentru punctele finale în timp real Amazon SageMaker AI, folosind starea cache-ului raportată de container pentru a direcționa solicitările. AWS raportează o reducere de până la 97% a medianei timpului până la primul token și o creștere de 234% a debitului față de rutarea aleatorie, în testele cu solicitări lungi efectuate sub sarcină.
Cache-ul KV păstrează în memoria GPU calculele anterioare pentru prompturi, astfel încât modelul să le poată reutiliza în loc să repete procesarea inițială, numită preumplere, a tokenurilor de intrare care se potrivesc. De aceea, plasarea în cache contează pentru asistenții de chat, generarea augmentată prin recuperare și agenții cu prompturi de sistem lungi: dacă o solicitare este trimisă în altă parte, o instanță poate fi nevoită să recalculeze contextul pe care îl are deja o altă unitate GPU.
Rutarea pe baza stării raportate a cache-ului
Strategia existentă SageMaker AI, care ține cont de prefixe, deduce locația cache-ului pornind de la un prefix fix al solicitării. Nu poate detecta eliminările din cache, iar primele schimburi dintr-o conversație în curs de extindere pot genera valori hash diferite și pot ajunge pe instanțe separate. În schimb, rutarea care ține cont de KV folosește evenimentele raportate de containerul modelului de fiecare dată când intrările sunt stocate în cache sau eliminate.
Serviciul menține un index gestionat de valori hash trunchiate ireversibil, asociate cu instanțe sau copii ale componentelor de inferență, în loc să stocheze prompturi, ID-uri de tokenuri, încărcături utile ale solicitărilor sau tensori KV. Fiecare prompt primit este tokenizat și comparat cu indexul. Punctul final evaluează cea mai lungă potrivire din cache în raport cu încărcarea instanței și exclude candidații prea ocupați.
Dacă interogarea indexului durează prea mult, nu există nicio potrivire utilă sau toate instanțele potrivite sunt ocupate, solicitarea este direcționată în schimb către instanța cu cele mai puține solicitări în curs și este totuși procesată. Reducerea numărului de instanțe elimină din index intrările corespunzătoare instanțelor eliminate, în timp ce instanțele noi sau de înlocuire pornesc cu cache-uri goale, ceea ce implică luarea în calcul a întârzierilor temporare cauzate de reconstruirea cache-ului și de pornirea la rece.
Avantajele din benchmarkuri și costurile suplimentare ale rutării
AWS raportează că, în testele sale de 30 de minute, Llama 3.1 70B Instruct a rulat pe șapte instanțe ml.p5.48xlarge, cu 20 sau 100 de utilizatori simulați, conversații cu mai multe schimburi și sesiuni de întrebări și răspunsuri despre documente, iar prompturile au ajuns la aproximativ 64.000 de tokenuri. Rata de accesare a cache-ului a crescut de la 3–48% cu rutarea aleatorie la 80–93% cu rutarea care ține cont de KV. Rezultatele depind de volumul de lucru, iar prompturile scurte au beneficiat cel mai puțin, deoarece lasă mai puține calcule de preumplere care pot fi reutilizate.
Interogarea pentru rutare adaugă costuri suplimentare de tokenizare și procesare a indexului: câteva milisecunde pentru prompturile scurte și mai mult pentru cele lungi. Solicitările text obișnuite transmit modelului tokenurile calculate, evitând o a doua tokenizare. În comparația separată realizată de AWS pe două instanțe, cu Qwen3-4B-Instruct-2507, valoarea medie CloudWatch OverheadLatency — care măsoară timpul petrecut de SageMaker AI în afara containerului modelului — a fost cu 14–19 milisecunde mai mare în cazul rutării care ține cont de KV, deși latența modelului și timpul până la primul token s-au îmbunătățit.
Cerințe de implementare și vizibilitate
La lansare, funcția necesită AWS vLLM Deep Learning Container pentru SageMaker AI cu vLLM 0.33.0 sau o versiune ulterioară, ori varianta Amazon Linux server-sagemaker-cuda-v2.8.0 sau o versiune ulterioară. Memorarea în cache a prefixelor și evenimentele cache-ului KV trebuie activate. Clienții setează SM_VLLM_KV_EVENTS_CONFIG pentru model și RoutingStrategy la KV_AWARE în varianta de producție, fără a modifica apelurile clientului.
Funcția este compatibilă cu punctele finale în timp real susținute de GPU, pentru un singur model și pentru componente de inferență, inclusiv cu adaptoare dinamice Low-Rank Adaptation. Rutarea necesită cel puțin două instanțe pentru un punct final cu un singur model sau două copii ale unei componente de inferență; dacă există o singură destinație, setarea nu influențează rutarea. Solicitările trebuie să folosească încărcături utile Completions sau Chat Completions compatibile cu OpenAI, prin API-uri de invocare acceptate, iar InvokeEndpointWithBidirectionalStream nu este acceptat.
La lansare, rutarea care ține cont de KV nu adaugă valori de măsurare dedicate sau jurnale ale deciziilor de rutare pentru conturile clienților, iar mecanismele de rezervă nu sunt vizibile în consola SageMaker AI sau în valorile de măsurare. Clienții pot inspecta usage.prompt_tokens_details.cached_tokens după activarea detaliilor despre tokenurile promptului și pot monitoriza valorile containerului, precum rata de accesare a cache-ului și timpul până la primul token, prin funcțiile detaliate de observabilitate și CloudWatch.
Funcția este disponibilă în toate regiunile comerciale AWS care acceptă inferența în timp real SageMaker AI cu un container compatibil, fără costuri suplimentare în afara celor aferente instanțelor punctului final. AWS continuă să prezinte rutarea care ține cont de prefixe drept opțiunea mai simplă pentru prompturi partajate stabile, contexte scurte și sarcină moderată. Rutarea care ține cont de KV răspunde nevoilor asociate contextului reutilizabil mai lung, presiunii asupra memoriei și eliminărilor frecvente din cache, oferind fiecărui volum de lucru un compromis concret la nivel de infrastructură: recuperarea calculelor de preumplere GPU în schimbul costurilor suplimentare de rutare pentru fiecare solicitare.












