Modelos e plataformas de IA

O SageMaker AI direciona solicitações com base no estado do cache da GPU informado pelo contêiner

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO roteamento com reconhecimento de KV eleva as taxas de acerto de cache de 3–48% para…
Ver mais
  • O roteamento com reconhecimento de KV eleva as taxas de acerto de cache de 3–48% para 80–93% ao rastrear as remoções reportadas pelo contêiner.
  • A sobrecarga de roteamento adiciona de 14 a 19 milissegundos de OverheadLatency do CloudWatch, mesmo enquanto a latência do modelo melhora.
  • O recurso exige pelo menos duas instâncias ou cópias de componente de inferência para ter qualquer efeito de roteamento.

A Amazon Web Services lançou o roteamento com reconhecimento do cache KV para endpoints em tempo real do Amazon SageMaker AI em 17 de novembro de 2026, usando o estado do cache informado pelo contêiner para direcionar solicitações. A AWS relata uma redução de até 97% no tempo mediano até o primeiro token e um aumento de 234% na taxa de transferência em comparação com o roteamento aleatório, em testes com prompts longos sob carga.

O cache KV mantém na memória da GPU os cálculos feitos para prompts anteriores, permitindo que o modelo os reutilize em vez de repetir o processamento inicial — ou pré-preenchimento — dos tokens de entrada correspondentes. Por isso, a localização do cache é importante para assistentes de bate-papo, geração aumentada por recuperação e agentes com prompts de sistema longos: direcionar uma solicitação para outro lugar pode obrigar uma instância a recalcular um contexto que já está armazenado em outra GPU.

Roteamento com base no estado informado do cache

A estratégia existente do SageMaker AI, que leva em conta os prefixos, infere a localização do cache a partir de um prefixo fixo da solicitação. Ela não consegue detectar remoções de entradas do cache, e os primeiros turnos de uma conversa em expansão podem gerar hashes diferentes e ser direcionados a instâncias distintas. Em vez disso, o roteamento com reconhecimento do cache KV usa eventos do contêiner do modelo sempre que entradas são armazenadas no cache ou removidas dele.

O serviço mantém um índice gerenciado de hashes truncados unidirecionais associados a instâncias ou réplicas de componentes de inferência, sem armazenar prompts, IDs de tokens, cargas úteis de solicitações ou tensores KV. Cada prompt recebido é tokenizado e comparado com esse índice. O endpoint pondera a correspondência em cache mais longa em relação à carga da instância e descarta os candidatos que estão ocupados demais.

Se a consulta demorar, não houver uma correspondência útil ou todas as instâncias correspondentes estiverem ocupadas, a solicitação usa como alternativa o roteamento para a instância com menos solicitações pendentes e ainda assim é atendida. A redução da escala remove do índice as entradas das instâncias removidas, enquanto instâncias novas ou substitutas começam com caches vazios, o que traz considerações temporárias de latência relacionadas à reconstrução do cache e à inicialização a frio.

Ganhos nos testes de desempenho e sobrecarga do roteamento

A AWS informa que seus testes de 30 minutos executaram o Llama 3.1 70B Instruct em sete instâncias ml.p5.48xlarge, com 20 ou 100 usuários simulados, conversas com vários turnos e sessões de perguntas e respostas sobre documentos, usando prompts de até cerca de 64.000 tokens. A taxa de acerto do cache aumentou de 3–48% com o roteamento aleatório para 80–93% com o roteamento com reconhecimento do cache KV. Os resultados dependem da carga de trabalho, e os prompts curtos tiveram o menor ganho, pois deixam menos cálculos de pré-preenchimento para reutilizar.

A consulta de roteamento acrescenta sobrecarga de tokenização e processamento do índice: alguns milissegundos para prompts curtos e mais para os longos. As solicitações padrão somente de texto passam os tokens calculados ao modelo, evitando uma segunda tokenização. Na comparação separada da AWS, feita com duas instâncias do Qwen3-4B-Instruct-2507, a média de CloudWatch OverheadLatency — que mede o tempo gasto pelo SageMaker AI fora do contêiner do modelo — foi de 14 a 19 milissegundos a mais com o roteamento com reconhecimento do cache KV, embora a latência do modelo e o tempo até o primeiro token tenham melhorado.

Requisitos de implantação e visibilidade

No lançamento, o recurso exige o AWS vLLM Deep Learning Container for SageMaker AI com vLLM 0.33.0 ou posterior, ou a versão do Amazon Linux server-sagemaker-cuda-v2.8.0 ou posterior. O cache de prefixos e os eventos de cache KV devem estar habilitados. Os clientes definem SM_VLLM_KV_EVENTS_CONFIG no modelo e RoutingStrategy para KV_AWARE na variante de produção, sem alterar as chamadas do cliente.

O recurso oferece suporte a endpoints em tempo real com GPU para um único modelo e a endpoints de componentes de inferência, inclusive com adaptadores dinâmicos de Low-Rank Adaptation. O roteamento exige pelo menos duas instâncias para um endpoint de modelo único ou duas réplicas de componentes de inferência; com um único destino, a configuração não tem efeito sobre o roteamento. As solicitações devem usar cargas úteis de Completions ou Chat Completions compatíveis com OpenAI por meio das APIs de invocação compatíveis, e InvokeEndpointWithBidirectionalStream não é compatível.

No lançamento, o roteamento com reconhecimento do cache KV não adiciona métricas dedicadas nem registros das decisões de roteamento nas contas dos clientes, e as alternativas de roteamento não são exibidas no console ou nas métricas do SageMaker AI. Os clientes podem inspecionar usage.prompt_tokens_details.cached_tokens depois de habilitar os detalhes dos tokens do prompt e monitorar métricas do contêiner, como a taxa de acerto do cache e o tempo até o primeiro token, por meio de observabilidade detalhada e do CloudWatch.

O recurso está disponível em todas as regiões comerciais da AWS que oferecem suporte à inferência em tempo real do SageMaker AI com um contêiner compatível, sem custo adicional além do cobrado pelas instâncias do endpoint. A AWS continua descrevendo o roteamento que leva em conta os prefixos como a opção mais simples para prompts compartilhados estáveis, contextos curtos e carga moderada. O roteamento com reconhecimento do cache KV atende a contextos reutilizáveis mais longos, pressão sobre a memória e remoções frequentes do cache, estabelecendo um equilíbrio concreto de infraestrutura para cada carga de trabalho: o trabalho de pré-preenchimento da GPU recuperado em comparação com a sobrecarga adicional de roteamento por solicitação.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.