Modelli e piattaforme di IA

SageMaker AI instrada le richieste in base allo stato della cache GPU segnalato dal container

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveIl routing consapevole del KV aumenta i tassi di successo della cache dal 3–48%…
Vedi di più
  • Il routing consapevole del KV aumenta i tassi di successo della cache dal 3–48% all'80–93% monitorando gli sfratti segnalati dai container.
  • L'overhead di routing aggiunge da 14 a 19 millisecondi di OverheadLatency di CloudWatch anche se la latenza del modello migliora.
  • La funzionalità richiede almeno due istanze o copie del componente di inferenza per avere qualsiasi effetto sul routing.

Il 17 novembre 2026, Amazon Web Services ha introdotto l’instradamento consapevole della cache KV per gli endpoint in tempo reale di Amazon SageMaker AI, utilizzando lo stato della cache segnalato dal container per indirizzare le richieste. AWS riferisce che, nei test con prompt lunghi e sotto carico, il tempo mediano al primo token è diminuito fino al 97% e il throughput è aumentato del 234% rispetto all’instradamento casuale.

La cache KV conserva in memoria GPU i calcoli effettuati in precedenza sui prompt, consentendo al modello di riutilizzarli invece di ripetere l’elaborazione iniziale, o prefill, dei token di input corrispondenti. Per questo il posizionamento della cache è importante per gli assistenti conversazionali, la generazione aumentata dal recupero di informazioni e gli agenti con prompt di sistema lunghi: se una richiesta viene inviata altrove, un’istanza potrebbe dover ricalcolare un contesto già presente nella memoria di un’altra GPU.

Instradamento basato sullo stato della cache segnalato

La strategia esistente di SageMaker AI, basata sul prefisso, deduce la posizione della cache a partire da un prefisso fisso della richiesta. Non è in grado di rilevare le espulsioni e, in una conversazione che si allunga, i primi turni possono produrre hash diversi ed essere indirizzati a istanze separate. L’instradamento consapevole della cache KV utilizza invece gli eventi generati dal container del modello ogni volta che le voci della cache vengono salvate o espulse.

Il servizio gestisce un indice di hash troncati e unidirezionali associati alle istanze o alle copie dei componenti di inferenza, senza memorizzare prompt, ID dei token, payload delle richieste o tensori KV. Ogni prompt in entrata viene tokenizzato e confrontato con l’indice. L’endpoint valuta la corrispondenza più lunga presente nella cache rispetto al carico dell’istanza e scarta i candidati troppo occupati.

Se la ricerca è lenta, non esiste una corrispondenza utile oppure tutte le istanze corrispondenti sono occupate, la richiesta passa all’instradamento basato sul minor numero di richieste in corso e viene comunque servita. La riduzione del numero di istanze rimuove dall’indice le voci relative a quelle eliminate, mentre le istanze nuove o sostitutive partono con cache vuote: occorre quindi considerare la latenza temporanea dovuta alla ricostruzione della cache e all’avvio a freddo.

Vantaggi nei benchmark e sovraccarico dell’instradamento

AWS riferisce che i test di 30 minuti sono stati eseguiti con Llama 3.1 70B Instruct su sette istanze ml.p5.48xlarge, con 20 o 100 utenti simulati, chat con più turni e sessioni di domande e risposte sui documenti; i prompt arrivavano a circa 64.000 token. Con l’instradamento casuale, il tasso di riscontri nella cache variava dal 3% al 48%; con l’instradamento consapevole della cache KV, dall’80% al 93%. I risultati dipendono dal carico di lavoro e i prompt brevi hanno tratto il minor vantaggio, perché lasciano meno calcoli di prefill da riutilizzare.

La ricerca nell’indice aggiunge un sovraccarico dovuto alla tokenizzazione e all’elaborazione dell’indice: pochi millisecondi per i prompt brevi e più tempo per quelli lunghi. Le richieste standard di solo testo passano al modello i token già calcolati, evitando una seconda tokenizzazione. In un confronto separato di AWS con due istanze Qwen3-4B-Instruct-2507, il valore medio di CloudWatch OverheadLatency, che misura il tempo trascorso da SageMaker AI al di fuori del container del modello, è risultato superiore di 14-19 millisecondi con l’instradamento consapevole della cache KV, nonostante il miglioramento della latenza del modello e del tempo al primo token.

Requisiti di distribuzione e visibilità

Al momento del lancio, la funzionalità richiede il container AWS vLLM Deep Learning Container per SageMaker AI con vLLM 0.33.0 o versioni successive, oppure la build di Amazon Linux server-sagemaker-cuda-v2.8.0 o versioni successive. I clienti devono abilitare la memorizzazione nella cache dei prefissi e gli eventi della cache KV. Impostano SM_VLLM_KV_EVENTS_CONFIG sul modello e RoutingStrategy su KV_AWARE nella variante di produzione, senza modificare le chiamate dei client.

La funzionalità supporta gli endpoint in tempo reale basati su GPU per modelli singoli e componenti di inferenza, inclusi gli adattatori dinamici Low-Rank Adaptation. Per l’instradamento sono necessarie almeno due istanze per un endpoint con modello singolo oppure due copie del componente di inferenza; con una sola destinazione, l’impostazione non ha alcun effetto sull’instradamento. Le richieste devono utilizzare payload Completions o Chat Completions compatibili con OpenAI tramite le API di invocazione supportate; inoltre, InvokeEndpointWithBidirectionalStream non è supportato.

Al momento del lancio, l’instradamento consapevole della cache KV non aggiunge metriche dedicate né registri delle decisioni di instradamento per gli account dei clienti; inoltre, le richieste di fallback non sono visibili nella console o nelle metriche di SageMaker AI. I clienti possono consultare usage.prompt_tokens_details.cached_tokens dopo aver abilitato i dettagli dei token del prompt, e monitorare metriche del container quali il tasso di riscontri nella cache e il tempo al primo token tramite gli strumenti di osservabilità dettagliata e CloudWatch.

La funzionalità è disponibile in tutte le regioni AWS commerciali che supportano l’inferenza in tempo reale di SageMaker AI con un container compatibile, senza costi aggiuntivi oltre a quelli delle istanze dell’endpoint. AWS continua a indicare l’instradamento basato sul prefisso come l’opzione più semplice per prompt condivisi stabili, contesti brevi e carichi moderati. L’instradamento consapevole della cache KV è pensato invece per contesti riutilizzabili più lunghi, pressione sulla memoria ed espulsioni frequenti: per ogni carico di lavoro resta da trovare un equilibrio infrastrutturale concreto tra il lavoro di prefill della GPU recuperato e il sovraccarico aggiuntivo dell’instradamento per ogni richiesta.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.