Modelli e piattaforme di IA

Valkey 9.2 introduce la cache distribuita chiave-valore per l’inferenza IA

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveLa cache KV distribuita consente ai motori di inferenza di riutilizzare i tensori dei…
Vedi di più
  • La cache KV distribuita consente ai motori di inferenza di riutilizzare i tensori dei prompt invece di ricalcolarli durante la fase di prefill.
  • Multiverse Computing ha servito il 50% in più di richieste sulle stesse GPU, rispettando al contempo il proprio obiettivo di latenza del primo token.
  • La cache condivisa offre scarsi benefici quando il working set è già contenuto nella memoria della GPU e dell'host.

Il 19 novembre 2026, Valkey ha rilasciato la versione 9.2, introducendo la cache distribuita chiave-valore per l’inferenza IA. Secondo l’annuncio che accompagna il rilascio, la cache condivisa può ridurre fino al 40% la spesa per l’inferenza e fino all’80% l’attesa per il primo token di una risposta, usando l’infrastruttura GPU esistente.

Un articolo tecnico di Valkey pubblicato il 20 ottobre 2026 descrive una cache condivisa, collocata al di là della memoria GPU e di quella host, che archivia i tensori chiave-valore generati quando un modello elabora le istruzioni del prompt, le definizioni degli strumenti e la cronologia della conversazione. I motori di inferenza possono riutilizzare quei tensori per i contesti ricorrenti, invece di ricalcolarli durante il prefill, la fase di elaborazione che precede la generazione di nuovo output. Condividere questo livello tra i server GPU consente a qualsiasi nodo di caricare una conversazione che la memoria locale ha espulso.

Le distribuzioni autogestite che eseguono modelli con pesi aperti possono collegare la cache ai motori, tra cui vLLM e SGLang, tramite il connettore LMCache, modificando la configurazione senza dover aggiornare il codice dell’applicazione. Path Hash, un nuovo tipo di dati basato su un albero radix introdotto nella versione 9.2, supporta la ricerca esatta, la corrispondenza del prefisso più lungo e l’attraversamento dei prefissi. Valkey lo propone come indice leggero per individuare il prefisso memorizzato in cache più lungo che corrisponde alla richiesta e la sua posizione, mentre i dati IA più voluminosi restano nella memoria GPU o host.

Incrementi misurati e limiti dei carichi di lavoro

Ennio Pastore, direttore della piattaforma IA di Multiverse Computing, ha dichiarato che la cache KV distribuita su Valkey ha permesso all’azienda di gestire il 50% di richieste in più con le stesse GPU, rispettando al contempo l’obiettivo di un secondo per la mediana del tempo al primo token. La latenza mediana del primo token è diminuita del 23% con il traffico normale e del 95% nei picchi; inoltre, Multiverse ha contribuito a migliorare il connettore LMCache per rendere più resiliente la cache distribuita.

Il benchmark sintetico descritto nell’articolo tecnico di Valkey ha utilizzato 100 conversazioni simultanee, con contesti da 12.000 a 28.000 token, che arrivavano al ritmo di 8 richieste al secondo su due nodi GPU, ciascuno con otto acceleratori H100. I nodi servivano Llama-3.1-70B tramite vLLM e LMCache, con un cluster Valkey 9 a tre shard nella stessa zona di disponibilità della cache condivisa. Il progetto ha misurato circa il 25% di richieste in più e circa il 28% di token di output in più, mentre la cache ha aumentato di circa il 15% la spesa per le GPU.

Le indicazioni di Valkey per i test e la distribuzione definiscono limiti precisi: la cache condivisa offre pochi vantaggi quando il set di lavoro rientra già nella memoria GPU e host oppure le richieste non riutilizzano i contesti, e non può creare capacità di calcolo GPU quando il collo di bottiglia è il prefill dei nuovi token. Si consiglia di collocarla nella stessa zona di disponibilità del parco GPU, perché la cache si trova sul percorso del primo token e il traffico tra zone può aumentare la latenza e i costi di trasferimento.

Minore consumo di memoria e rete

Oltre alla cache per l’IA, la versione 9.2 punta a ridurre i costi infrastrutturali del datastore stesso. Le istantanee senza fork e le sincronizzazioni complete delle repliche, se abilitate, utilizzano un thread in background invece di avviare un processo server separato, evitando l’overhead di memoria dovuto alla copia su scrittura nei carichi di lavoro con molte operazioni di scrittura. L’infrastruttura aggiunge quattro byte per chiave e la prefer-forkless policy ricorre al fork quando necessario.

La compressione della replica continua viene negoziata separatamente con ciascuna replica, perciò quelle meno recenti o per le quali l’opzione è stata disattivata continuano a ricevere dati in testo in chiaro. L’articolo di rilascio di Valkey riferisce che, in un benchmark con 3 milioni di chiavi di circa 315 byte ciascuna, LZ4 ha ridotto del 52% la larghezza di banda della replica, con un overhead di throughput inferiore all’1%. La compressione dell’intero flusso di snapshot supporta LZ4 e Zstandard; Zstandard richiede un’opzione in fase di compilazione ed è pensato in particolare per la replica tra regioni, dove i costi di rete sono elevati rispetto a quelli di calcolo.

I grandi insiemi ordinati ora utilizzano un albero B+ invece di una skiplist. Valkey riferisce che, in un test con 5 milioni di elementi contenenti valori da 20 byte, l’overhead di memoria per elemento è diminuito dal 36% al 43%. Altre novità operative includono il rilevamento lato server delle chiavi ad accesso frequente, ruoli di controllo degli accessi riutilizzabili, la gestione prioritaria degli heartbeat del cluster e della replica, connessioni amministrative riservate e la limitazione facoltativa delle scritture quando una replica rimane indietro.

La scheda di rilascio della versione 9.2.0 la identifica come la prima versione stabile della serie 9.2, mentre la pagina di download elenca i tag Docker e gli artefatti binari specifici per piattaforma. Valkey descrive la versione 9.2 come una release minore senza modifiche incompatibili, ma avverte che, se in seguito un operatore esegue il downgrade, i file base append-only scritti con compressione LZ4 o Zstandard richiedono una versione compatibile di Valkey.

Valkey 9.2 interviene su due aspetti dell’economia dell’inferenza: recuperare la capacità GPU persa a causa del prefill ripetuto e ridurre l’overhead di memoria e rete del livello dati. Per gli operatori che valutano questo nuovo livello, i risultati documentati legano il suo valore al riutilizzo dei carichi di lavoro e alla pressione causata dalle espulsioni dalla cache, indicando esplicitamente un limite massimo quando il prefill dei nuovi token assorbe già tutta la capacità di calcolo GPU disponibile.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.