Relatórios
A pontuação da economia da inferência contesta o uso da utilização da GPU como métrica de desempenho de IA

Pontos-chaveA utilização da GPU não consegue distinguir produção útil de reconstrução dispendiosa…
Ver mais
- A utilização da GPU não consegue distinguir produção útil de reconstrução dispendiosa de contexto.
- O scorecard mede a taxa de transferência útil em relação a energia, espaço em rack e custo, em vez da atividade do chip.
- O cache NVMe compartilhado reduziu a recomputação de contexto para 6,8% dos ciclos de prefill no benchmark.
Uma GPU ocupada não é necessariamente uma GPU produtiva. Esse é o argumento por trás de A pontuação da economia da inferência, uma nova pesquisa da NAND Research e da WEKA que propõe uma forma mais abrangente de avaliar a infraestrutura que executa IA em produção.
A estrutura muda o foco da atividade do chip para a produção de resultados úteis dentro de uma meta de serviço, considerando o consumo de energia elétrica, o espaço em rack e o custo. Sua relevância aumenta à medida que agentes de IA mantêm conversas longas, usam ferramentas e retomam repetidamente o contexto anterior. Um servidor de inferência pode gastar um volume considerável de recursos computacionais reconstruindo esse contexto, enquanto o painel de utilização continua indicando um bom desempenho.
Junto com o anúncio, a WEKA destaca um benchmark de oito horas realizado com a Nebius em hardware NVIDIA HGX B300 e disponibiliza rastros de carga de trabalho e ferramentas para que outros possam reproduzir a comparação. A pontuação é uma estrutura de avaliação proposta, não um padrão consolidado do setor. A WEKA, cuja tecnologia de armazenamento se beneficia dessa abordagem, patrocinou a pesquisa.
Por que a utilização da GPU pode ocultar trabalho repetido e dispendioso
Inferência é o processo de executar um modelo treinado para produzir uma resposta. Antes de gerar novos tokens, o modelo processa a entrada e o histórico da conversa em uma etapa chamada pré-preenchimento. Durante esse processo, ele cria um cache de chave-valor, ou cache KV: dados intermediários de atenção que permitem reutilizar cálculos anteriores quando a conversa continua.
O lugar mais rápido para armazenar esse cache é a memória de alta largura de banda da GPU, conhecida como HBM. Mas a HBM também precisa acomodar os pesos do modelo e outros dados de trabalho. Sessões longas e usuários simultâneos podem obrigar um servidor a remover o contexto armazenado em cache para liberar espaço.
Quando o usuário ou agente retorna, talvez seja necessário reconstruir o cache ausente processando novamente os tokens antigos. Isso não significa que o modelo tenha perdido a conversa permanentemente. Significa que a infraestrutura descartou uma representação reutilizável e precisa arcar com o custo de reconstruí-la.
Isso cria uma armadilha de medição. Reprocessar o contexto do dia anterior mantém a GPU ativa, assim como gerar uma nova resposta útil. A utilização continua sendo um indicador de diagnóstico valioso, mas, por si só, não permite ao operador saber quanto trabalho produtivo os clientes receberam.
O que a pontuação da economia da inferência mede
A pontuação exige testes contínuos com duração mínima de oito horas, tempo suficiente para revelar comportamentos que demonstrações curtas podem não detectar. As comparações devem manter constantes o modelo, a precisão, a carga de trabalho, a simultaneidade, as condições do cache, o limiar de qualidade e os objetivos de nível de serviço. O escopo da medição abrange toda a pilha de atendimento, e os custos de refrigeração e da infraestrutura da instalação devem ser informados.
Somente os resultados bem-sucedidos que atendem às metas de qualidade e serviço contam para a vazão útil. Falhas, novas tentativas, tempos limite excedidos e resultados descartados devem permanecer visíveis, em vez de desaparecerem do cálculo.
| Métrica | O que ajuda a revelar |
|---|---|
| Tokens por watt | A eficiência com que a energia é convertida em resultados úteis do modelo. |
| Tokens por rack | O volume de resultados que a implantação fornece dentro de um espaço físico. |
| Custo por inferência | O custo de atender a uma solicitação bem-sucedida em todo o sistema. |
| Vazão útil da GPU | Resultados produtivos fornecidos dentro das metas de serviço, em vez de mera atividade bruta do chip. |
| Tempo até o primeiro token e latência de ponta a ponta | Quanto tempo os usuários esperam até a resposta começar e terminar. |
| Eficiência de memória | A eficácia com que o sistema utiliza a capacidade limitada de memória. |
| Densidade operacional | Como as restrições de implantação e operação afetam a capacidade utilizável. |
| Simultaneidade de agentes | A capacidade do sistema de atender a várias cargas de trabalho de agentes ativos. |
| Retenção de contexto | A eficácia com que o contexto reutilizável das sessões é preservado à medida que as cargas de trabalho aumentam. |
A distinção entre vazão e vazão útil é especialmente importante. Um servidor que produz mais tokens, mas não cumpre o prazo de resposta de um cliente, pode ser menos útil do que um sistema que parece mais lento, mas cumpre esse prazo de forma consistente. Da mesma forma, um cache maior só é economicamente atraente se seus benefícios superarem os custos adicionais de armazenamento, rede e operação.
Como o armazenamento compartilhado amplia o cache KV
O relato técnico do benchmark da WEKA descreve o NeuralMesh com Augmented Memory Grid, que mantém dados KV reutilizáveis em armazenamento NVMe compartilhado, além da memória da própria GPU. NVMe é uma interface de alto desempenho comumente usada com unidades flash.
Nesse projeto, o cache se torna um recurso que a infraestrutura de inferência pode acessar pela rede, em vez de reconstruí-lo repetidamente em uma GPU. O RDMA, ou acesso remoto direto à memória, e o NVIDIA GPUDirect Storage ajudam a transferir dados por um caminho direto entre o armazenamento e a GPU, com menor participação da CPU.
Trata-se de escolher entre transferir dados existentes e recalculá-los. Um caminho de armazenamento suficientemente rápido pode tornar a recuperação mais barata do que reconstruir históricos longos. A vantagem depende da reutilização do cache, do tamanho do contexto, da concorrência e da velocidade de todo o caminho de dados; uma solicitação curta cujos dados de trabalho já cabem na HBM apresenta um problema diferente.
O que o benchmark de oito horas realmente constatou
O teste conjunto da Nebius e da WEKA usou um nó de inferência HGX B300 com oito GPUs, executando o DeepSeek-V4-Pro. A carga de trabalho reproduzida se baseou em mais de 5.000 registros reais de execução de agentes, manteve um conjunto de 512 sessões ativas e usou um agendador que permitia 32 solicitações simultâneas. Sessões ativas e solicitações simultâneas são medidas diferentes.
Ao longo de oito horas, a WEKA relata 3,7 vezes mais tokens de saída por GPU-hora com seu cache compartilhado do que com a inferência usando apenas HBM. Entre as solicitações concluídas com sucesso, 97% chegaram ao primeiro token em até cinco segundos, contra 44% no caso de referência. O recálculo de contextos encontrados anteriormente consumiu 60% dos ciclos de pré-preenchimento no caso de referência, ante 6,8% com o cache compartilhado.
O cache adicional usou unidades NVMe em um cluster de oito nós, embora o resultado de inferência relatado tenha vindo de um único nó com GPU. Portanto, o ganho normalizado por GPU não comprova uma redução equivalente no custo ou no consumo total de energia: esses cálculos precisam incluir os recursos de suporte.
O caso de referência também é importante. O relatório técnico afirma que, no momento dos testes, não havia uma implementação adequada de descarregamento para DRAM para esse modelo. Esses resultados comparam a configuração testada com a inferência usando apenas HBM, em vez de comprovar sua superioridade em relação a todas as outras arquiteturas de cache.
Rastros abertos tornam a comparação mais útil
O projeto kvlab de código aberto da WEKA registra e reproduz a estrutura das sessões de agentes, incluindo os intervalos de tempo e os padrões de reutilização do cache, sem distribuir o conteúdo das conversas originais nem o código-fonte. O carregador está documentado nas ferramentas AIPerf da NVIDIA, e o anúncio também identifica a integração com o benchmark AgentX da SemiAnalysis.
Preservar as pausas, o crescimento dos históricos e as atividades relacionadas dos agentes ajuda a revelar uma pressão sobre o cache que passaria despercebida em um fluxo de solicitações sintéticas sem relação entre si. Essas reproduções medem o comportamento da inferência; por si só, não demonstram se um agente concluiu corretamente uma tarefa comercial.
Para as empresas, a principal contribuição do quadro de avaliação da economia da inferência é uma definição mais clara de sucesso: respostas úteis, com a qualidade e a velocidade exigidas, dentro dos recursos disponíveis. À medida que os agentes consomem mais contexto e operam por mais tempo, manter uma GPU ocupada passa a ser apenas uma observação inicial. Do ponto de vista comercial, o que importa é o trabalho que chega ao cliente.












