Report
La scheda di valutazione dell’economia dell’inferenza mette in discussione l’utilizzo della GPU come metrica delle prestazioni dell’IA

Punti chiaveL'utilizzo della GPU non può distinguere la produzione utile dalla costosa…
Vedi di più
- L'utilizzo della GPU non può distinguere la produzione utile dalla costosa ricostruzione del contesto.
- La scorecard misura il throughput utile rispetto a potenza, spazio rack e costo anziché l'attività del chip.
- La cache NVMe condivisa ha ridotto il ricalcolo del contesto al 6,8% dei cicli di prefill nel benchmark.
Una GPU molto impegnata non è necessariamente una GPU produttiva. È questa la tesi alla base della scheda di valutazione dell’economia dell’inferenza, una nuova ricerca di NAND Research e WEKA che propone un metodo più ampio per valutare l’infrastruttura che esegue sistemi di IA in produzione.
Il framework sposta l’attenzione dall’attività del chip ai risultati utili forniti entro i limiti del servizio, misurati in rapporto al consumo di energia elettrica, allo spazio occupato nei rack e ai costi. La sua rilevanza aumenta man mano che gli agenti di IA gestiscono conversazioni lunghe, chiamano strumenti e recuperano ripetutamente il contesto precedente. Un server di inferenza può impiegare notevoli risorse di calcolo per ricostruire quel contesto, mentre il suo pannello di controllo continua a indicare un utilizzo regolare.
Insieme all’annuncio, WEKA presenta un benchmark di otto ore, condotto con Nebius su hardware NVIDIA HGX B300, e rende disponibili tracce dei carichi di lavoro e strumenti che consentono ad altri di riprodurre il confronto. La scheda di valutazione è un framework di valutazione proposto, non uno standard di settore consolidato. WEKA, la cui tecnologia di archiviazione trae vantaggio da questa impostazione, ha sponsorizzato la ricerca.
Perché l’utilizzo della GPU può nascondere costose elaborazioni ripetute
L’inferenza è il processo con cui si esegue un modello addestrato per generare una risposta. Prima di generare nuovi token, il modello elabora l’input e la cronologia della conversazione in una fase chiamata prefill. Durante questa fase crea una cache chiave-valore, o cache KV: dati intermedi dell’attenzione che gli consentono di riutilizzare i calcoli precedenti quando la conversazione prosegue.
Il posto più rapido in cui conservare questa cache è la memoria ad alta larghezza di banda della GPU, nota come HBM. Tuttavia, l’HBM deve contenere anche i pesi del modello e altri dati di lavoro. Le sessioni lunghe e la presenza di utenti concorrenti possono costringere un server a espellere il contesto memorizzato nella cache per liberare spazio.
Quando l’utente o l’agente torna, potrebbe essere necessario ricreare la cache mancante elaborando di nuovo i token precedenti. Questo non significa che il modello abbia perso definitivamente la conversazione: significa che l’infrastruttura ha eliminato una rappresentazione riutilizzabile e deve sostenere il costo di ricostruirla.
Questo crea una distorsione nelle misurazioni. Rielaborare il contesto del giorno prima mantiene attiva la GPU, proprio come generare una nuova risposta utile. L’utilizzo resta un indicatore diagnostico prezioso, ma da solo non permette a chi gestisce il sistema di capire quanto lavoro produttivo abbiano ricevuto i clienti.
Cosa misura la scheda di valutazione dell’economia dell’inferenza
La scheda prevede test continui della durata di almeno otto ore, abbastanza lunghi da far emergere comportamenti che le dimostrazioni brevi potrebbero non rilevare. Nei confronti occorre mantenere costanti il modello, la precisione, il carico di lavoro, la concorrenza, le condizioni della cache, la soglia di qualità e gli obiettivi dei livelli di servizio. Il perimetro di misurazione comprende l’intero stack di erogazione del servizio, dichiarando i consumi per il raffreddamento e gli altri costi generali della struttura.
Solo i risultati corretti che rispettano gli obiettivi di qualità e di servizio contribuiscono al throughput utile. Le richieste non riuscite, i tentativi ripetuti, i timeout e i risultati scartati devono restare visibili, anziché scomparire dal calcolo.
| Metrica | Cosa permette di capire |
|---|---|
| Token per watt | Quanto efficientemente l’energia viene convertita in risultati utili del modello. |
| Token per rack | Quanti risultati fornisce l’implementazione entro uno spazio fisico definito. |
| Costo per inferenza | Il costo di elaborazione di una richiesta completata correttamente sull’intero sistema. |
| Throughput utile della GPU | Risultati produttivi forniti entro i limiti del servizio, anziché la semplice attività del chip. |
| Tempo al primo token e latenza end-to-end | Quanto devono aspettare gli utenti perché la risposta inizi e venga completata. |
| Efficienza della memoria | Quanto efficacemente il sistema utilizza la limitata capacità di memoria disponibile. |
| Densità operativa | In che modo i vincoli di implementazione e di esercizio influiscono sulla capacità utilizzabile. |
| Concorrenza degli agenti | Quanto efficacemente il sistema supporta più carichi di lavoro di agenti attivi. |
| Conservazione del contesto | Quanto efficacemente il contesto riutilizzabile delle sessioni viene mantenuto al crescere dei carichi di lavoro. |
La distinzione tra throughput e throughput utile è particolarmente importante. Un server che genera più token ma non rispetta il termine entro cui il cliente si aspetta una risposta può essere meno utile di un sistema che sembra più lento, ma rispetta costantemente quel termine. Analogamente, una cache più grande è conveniente sul piano economico solo se i vantaggi superano i costi aggiuntivi di archiviazione, rete ed esercizio.
Come lo storage condiviso estende la cache KV
La descrizione tecnica del benchmark di WEKA illustra NeuralMesh con Augmented Memory Grid, che conserva i dati KV riutilizzabili in uno storage NVMe condiviso, oltre la memoria della GPU. NVMe è un’interfaccia ad alte prestazioni comunemente utilizzata con le unità flash.
In questa architettura, la cache diventa una risorsa che l’infrastruttura di serving può recuperare attraverso la rete, invece di ricostruirla ripetutamente su una GPU. RDMA, ovvero l’accesso diretto remoto alla memoria, e NVIDIA GPUDirect Storage consentono di trasferire i dati lungo un percorso diretto dallo storage alla GPU, riducendo l’intervento della CPU.
Si tratta di scegliere tra trasferire dati già esistenti e ricalcolarli. Un percorso di storage sufficientemente veloce può rendere il recupero meno costoso della ricostruzione di cronologie lunghe. Il vantaggio dipende dal riutilizzo della cache, dalla lunghezza del contesto, dalla concorrenza e dalla velocità dell’intero percorso dei dati; una richiesta breve i cui dati di lavoro sono già contenuti nella HBM pone un problema diverso.
Cosa ha rilevato davvero il benchmark di otto ore
Il test congiunto di Nebius e WEKA ha utilizzato un nodo di serving HGX B300 con otto GPU, su cui era in esecuzione DeepSeek-V4-Pro. Il carico di lavoro riprodotto si basava su oltre 5.000 tracce reali di agenti, manteneva un pool di 512 sessioni attive e utilizzava uno scheduler che consentiva 32 richieste simultanee. Le sessioni attive e le richieste simultanee sono misure diverse.
Nel corso di otto ore, WEKA segnala un numero di token generati per GPU-ora 3,7 volte superiore con la cache condivisa rispetto al serving basato solo su HBM. Tra le richieste completate correttamente, il 97% ha raggiunto il primo token entro cinque secondi, contro il 44% della configurazione di riferimento. Nella configurazione di riferimento, il ricalcolo di contesti già incontrati ha assorbito il 60% dei cicli di prefill, rispetto al 6,8% con la cache condivisa.
La cache aggiuntiva utilizzava unità NVMe distribuite su un cluster di otto nodi, benché il risultato di serving riportato provenisse da un solo nodo GPU. Il miglioramento normalizzato per GPU non dimostra quindi una riduzione equivalente dei costi o dei consumi energetici complessivi: per calcolarli occorre includere le risorse di supporto.
Anche la configurazione di riferimento è importante. Il documento tecnico afferma che, al momento dei test, non era disponibile un’implementazione adeguata di offload della DRAM per questo modello. Questi risultati confrontano la configurazione testata con il serving basato solo su HBM, ma non dimostrano la superiorità rispetto a tutte le altre architetture di cache.
Le tracce aperte rendono il confronto più utile
Il progetto open source kvlab di WEKA registra e riproduce la struttura delle sessioni degli agenti, compresi i tempi e gli schemi di riutilizzo della cache, senza distribuire le conversazioni originali né i contenuti del codice sorgente. Il relativo caricatore è documentato negli strumenti AIPerf di NVIDIA e l’annuncio segnala anche l’integrazione con il benchmark AgentX di SemiAnalysis.
Riprodurre le pause, l’allungarsi delle cronologie e le attività correlate degli agenti aiuta a rilevare una pressione sulla cache che una sequenza di prompt sintetici non correlati non evidenzierebbe. Queste riproduzioni misurano il comportamento del serving; da sole, non dimostrano se un agente abbia completato correttamente un’attività aziendale.
Per le imprese, il contributo centrale della scheda di valutazione dell’economia dell’inferenza è una definizione più chiara del successo: risposte utili, con la qualità e la velocità richieste, entro i limiti delle risorse disponibili. Man mano che gli agenti elaborano più contesto e operano più a lungo, mantenere occupata una GPU diventa un’osservazione iniziale. Dal punto di vista commerciale, ciò che conta è il lavoro che arriva al cliente.












