Modelos e plataformas de IA
Valkey 9.2 chega com cache distribuído de chave-valor para inferência de IA

Pontos-chaveO cache KV distribuído permite que os motores de inferência reutilizem tensores de…
Ver mais
- O cache KV distribuído permite que os motores de inferência reutilizem tensores de prompt em vez de recalculá-los durante o prefill.
- A Multiverse Computing atendeu 50% mais solicitações nas mesmas GPUs enquanto cumpria sua meta de latência do primeiro token.
- O cache compartilhado oferece pouco benefício quando o conjunto de trabalho já cabe na memória da GPU e do host.
A Valkey lançou a versão 9.2 em 19 de novembro de 2026, acompanhada de cache distribuído de chave-valor para inferência de IA. O anúncio que acompanhou o lançamento do projeto afirma que o cache compartilhado pode reduzir em até 40% os gastos com inferência e em até 80% o tempo de espera pelo primeiro token de uma resposta, usando a infraestrutura de GPU existente.
Uma publicação técnica da Valkey, publicada em 20 de outubro de 2026, descreve um cache compartilhado que vai além da memória da GPU e do sistema host e armazena os tensores de chave-valor gerados quando um modelo processa instruções de prompt, definições de ferramentas e o histórico da conversa. Os mecanismos de inferência podem reutilizar esses tensores em contextos repetidos, em vez de recalculá-los durante o pré-preenchimento, etapa de processamento anterior à geração de novas saídas. Ao compartilhar essa camada entre servidores com GPU, qualquer nó pode carregar uma conversa que tenha sido removida da memória local.
Implantações autogerenciadas que executam modelos de pesos abertos podem conectar o cache, por meio do conector LMCache, a mecanismos como vLLM e SGLang, bastando alterar a configuração, sem modificar o código da aplicação. Path Hash, um novo tipo de dado baseado em árvore radix na versão 9.2, oferece busca exata, correspondência pelo prefixo mais longo e percurso de prefixos. A Valkey o apresenta como um índice leve para encontrar o prefixo em cache mais longo que corresponda à consulta e sua localização, enquanto os dados maiores de IA permanecem na memória da GPU ou do sistema host.
Ganhos medidos e limites das cargas de trabalho
Ennio Pastore, diretor de plataforma de IA da Multiverse Computing, afirmou que o cache distribuído de chave-valor na Valkey permitiu à empresa atender a 50% mais solicitações usando as mesmas GPUs e cumprir a meta de um segundo para a mediana do tempo até o primeiro token. A latência mediana do primeiro token caiu 23% em condições normais de tráfego e 95% nos picos. A Multiverse também contribuiu com melhorias para o conector LMCache, destinadas a tornar o cache distribuído mais resiliente.
O teste sintético descrito na publicação técnica da Valkey usou 100 conversas simultâneas, com contextos de 12.000 a 28.000 tokens, chegando a 8 solicitações por segundo em dois nós com GPU, cada um equipado com oito aceleradores H100. Os nós atenderam às solicitações usando Llama-3.1-70B por meio de vLLM e LMCache, com um cluster Valkey 9 de três fragmentos na mesma zona de disponibilidade que o cache compartilhado. O projeto mediu cerca de 25% mais solicitações e cerca de 28% mais tokens de saída, enquanto o cache acrescentou cerca de 15% à conta de GPU.
As orientações de teste e implantação da Valkey apontam limites claros: o cache compartilhado oferece pouco benefício quando o conjunto de trabalho já cabe na memória da GPU e do sistema host ou quando as solicitações não têm contextos repetidos; além disso, não pode gerar capacidade de processamento de GPU quando o pré-preenchimento de novos tokens se torna o gargalo. Recomenda-se instalar o cache na mesma zona de disponibilidade da frota de GPUs, pois ele faz parte do percurso do primeiro token, e o tráfego entre zonas pode aumentar a latência e os custos de transferência.
Menor sobrecarga de memória e rede
Além do cache para IA, a versão 9.2 busca reduzir os custos da própria infraestrutura do armazenamento de dados. Os instantâneos sem bifurcação e as sincronizações completas de réplicas, ambos opcionais, usam uma thread em segundo plano em vez de criar um processo de servidor separado, evitando a sobrecarga de memória da cópia na gravação durante operações com muitas gravações. A infraestrutura acrescenta quatro bytes por chave, e a prefer-forkless política recorre à bifurcação quando necessário.
A compactação da replicação contínua é negociada separadamente com cada réplica; assim, as réplicas mais antigas ou que não a habilitaram continuam recebendo dados em texto simples. A publicação de lançamento da Valkey informa que, em um teste com 3 milhões de chaves de cerca de 315 bytes cada, o LZ4 reduziu em 52% a largura de banda de replicação, com menos de 1% de sobrecarga no desempenho. A compactação de instantâneos do fluxo inteiro é compatível com LZ4 e Zstandard; o Zstandard requer uma opção definida durante a compilação e é voltado especialmente à replicação entre regiões, onde os custos de rede são altos em relação aos de processamento.
Conjuntos ordenados grandes agora usam uma árvore B+ em vez de uma lista de saltos. A Valkey informa que a sobrecarga de memória por membro caiu de 36% a 43% em um teste com 5 milhões de membros contendo elementos de 20 bytes. Entre outras novidades operacionais estão a detecção de chaves muito acessadas no servidor, funções de controle de acesso reutilizáveis, tratamento prioritário para sinais de vida do cluster e replicação, conexões administrativas reservadas e limitação opcional de gravações quando uma réplica fica para trás.
O registro de lançamento da versão 9.2.0 identifica esta como a primeira versão estável 9.2, e a página de download lista tags do Docker e artefatos binários específicos para cada plataforma. A Valkey descreve a versão 9.2 como uma atualização secundária sem alterações incompatíveis, mas alerta que os arquivos base de acréscimo contínuo gravados com compactação LZ4 ou Zstandard exigem uma versão compatível da Valkey caso o operador faça uma reversão para uma versão anterior.
A Valkey 9.2 conecta dois aspectos da economia da inferência: recuperar a capacidade de GPU perdida com o pré-preenchimento repetido e reduzir a sobrecarga de memória e rede da camada de dados. Para os operadores que avaliam essa nova camada, os resultados documentados vinculam seu valor à reutilização da carga de trabalho e à pressão causada pela remoção de dados do cache, além de apontar um limite explícito quando o pré-preenchimento de novos tokens já consome toda a capacidade de processamento disponível da GPU.












