Modelos e plataformas de IA
A Supermicro lança armazenamento compartilhado de cache KV para IA com contexto longo
Adicione Unite.AI às suas fontes preferidas no Google
A Supermicro anunciou uma solução de armazenamento de cache KV com a IBM e a NVIDIA em 5 de novembro de 2026, projetada para transferir o contexto reutilizável da inferência de IA para um armazenamento compartilhado, além da memória da GPU. As empresas relatam um tempo até o primeiro token até 56 vezes menor para um prompt de 130.000 tokens, em testes conjuntos.
A solução combina servidores de armazenamento totalmente flash Petascale da Supermicro, equipados com processadores AMD EPYC 9005, o software IBM Storage Scale, a estrutura de inferência Dynamo da NVIDIA e a rede Ethernet Spectrum-X. Ela se destina a aplicações de múltiplas interações e baseadas em agentes, assistentes de programação, IA multimodal e geração aumentada por recuperação com contexto longo. Grandes bases de código, documentos, imagens e históricos de conversas podem gerar mais estados de chave-valor do que a memória da GPU e da CPU consegue armazenar.
Reutilização de contexto entre solicitações
A etapa de pré-preenchimento transforma um prompt tokenizado nos estados intermediários de chave-valor usados pelo modelo. A persistência desses estados permite que solicitações posteriores reutilizem o contexto, em vez de recalculá-lo. A arquitetura oferece uma camada de armazenamento de alta disponibilidade, com acesso compartilhado entre nós e clusters de GPU, além de permitir a expansão da capacidade de cache sem interrupções.
O Dynamo adiciona roteamento com reconhecimento de cache, separa o pré-preenchimento da decodificação e descarrega blocos armazenados em cache por meio do seu KV Block Manager e da biblioteca de transferência NIXL. O IBM Storage Scale Erasure Coding Edition fornece a camada de armazenamento compartilhado G4 na hierarquia de memória da NVIDIA.
Resultados dos testes de desempenho e condições de teste
Uma arquitetura de referência do IBM Redbooks, publicada em 5 de junho de 2026 e atualizada pela última vez em 20 de agosto de 2026, registra 32,14 segundos para recalcular na GPU com 130.000 tokens, contra 0,570 segundo usando o cache apoiado por armazenamento. Essas medições anteriores fundamentam o lançamento; não se trata de um novo estudo publicado em novembro.
Um teste separado com 200 solicitações usou 28 conexões simultâneas e 100 prompts exclusivos, que representavam 24 milhões de tokens e 825 GB de dados de cache KV. O Redbook relata que a taxa de processamento aumentou de 0,19 para 4,26 solicitações por segundo e que o tempo total de processamento caiu de 1.048,56 para 46,94 segundos. O cache começou vazio; por isso, a média de toda a execução inclui um período inicial de cache frio, enquanto a reutilização aumentava.
Em um teste com tráfego concorrente, quatro outros clientes geraram 200 GB/s de tráfego de E/S de rede. O sistema com cache manteve uma taxa de 3,6 solicitações por segundo e concluiu 200 solicitações em 55,56 segundos. O Redbook descreve esse resultado como uma redução de 18% na taxa de processamento em relação ao resultado com cache e rede sem tráfego concorrente.
Todas as medições de inferência foram feitas em um único nó cliente de GPU da Supermicro, com quatro GPUs NVIDIA RTX PRO 6000, conectado a um cluster de armazenamento Petascale de oito nós. A pilha de software usou Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf e o modelo openai/gpt-oss-120b. As camadas de cache da memória da GPU e da memória DRAM do sistema foram desativadas para isolar a camada compartilhada G4.
Margem de capacidade de rede e dimensionamento da implantação
Três switches Spectrum-X SN5600 formaram a rede spine-leaf do teste. O Redbook relata largura de banda de até 80 GB/s para os clientes, enquanto o sistema de armazenamento de oito nós alcançou uma taxa de leitura de até 315 GB/s. Assim, o limite da configuração era a rede do lado do cliente, e não a capacidade total de leitura da camada de armazenamento.
Os exemplos de dimensionamento do Redbook preveem quatro nós de armazenamento para pequenas implantações de prova de conceito, oito para a configuração média testada e 16 ou mais para grandes fábricas de IA. A capacidade, a largura de banda, a simultaneidade, o tamanho do modelo e a carga de trabalho influenciam o projeto adequado. A Supermicro afirma que seus serviços de integração de racks na fábrica e implantação no local podem reduzir o prazo de implantação de semanas para dias.
O lançamento reúne, para implantação, uma arquitetura documentada anteriormente e validada em conjunto, mas os ganhos dependem de um modelo específico, de uma combinação de prompts, de um nível de simultaneidade e de uma rede específicos. A questão central para a implantação é saber se a capacidade de armazenamento e a largura de banda do cliente estão dimensionadas de acordo com a demanda real de reutilização de contexto: uma margem adicional de capacidade de leitura do armazenamento não pode melhorar a inferência se a rede do cliente não conseguir disponibilizá-la.
