Modèles et plateformes d’IA
Supermicro lance un stockage partagé de cache KV pour l’IA à contexte long
Ajouter Unite.AI à vos sources préférées sur Google
Le 5 novembre 2026, Supermicro a annoncé une solution de stockage du cache KV avec IBM et NVIDIA, conçue pour déplacer le contexte réutilisable de l’inférence IA vers un stockage partagé situé au-delà de la mémoire GPU. Lors de tests conjoints, les entreprises font état d’un délai avant le premier jeton jusqu’à 56 fois plus court pour une invite de 130 000 jetons.
L’offre associe les serveurs de stockage tout flash Petascale de Supermicro, équipés de processeurs AMD EPYC 9005, au logiciel IBM Storage Scale, au cadre d’inférence Dynamo de NVIDIA et à la technologie de réseau Ethernet Spectrum-X. Elle cible les applications à plusieurs tours et agentiques, les assistants de programmation, l’IA multimodale et la génération augmentée par récupération à contexte long. Les grandes bases de code, les documents, les images et l’historique des conversations peuvent générer un volume d’états clé-valeur supérieur à ce que les mémoires GPU et CPU peuvent conserver.
Réutiliser le contexte d’une requête à l’autre
Le préremplissage transforme une invite tokenisée en états intermédiaires clé-valeur utilisés par le modèle. La persistance de ces états permet aux requêtes ultérieures de réutiliser le contexte au lieu de le recalculer. L’architecture fournit un niveau de stockage hautement disponible, accessible en partage depuis différents nœuds et clusters GPU, et permet d’étendre la capacité du cache sans interruption.
Dynamo ajoute un routage tenant compte du cache, sépare le préremplissage du décodage et décharge les blocs mis en cache au moyen de son KV Block Manager et de la bibliothèque de transfert NIXL. IBM Storage Scale Erasure Coding Edition fournit le niveau de stockage partagé G4 dans la hiérarchie mémoire de NVIDIA.
Résultats des tests et conditions d’évaluation
Une architecture de référence IBM Redbooks, publiée le 5 juin 2026 et mise à jour pour la dernière fois le 20 août 2026, indique un temps de 32,14 secondes pour recalculer les données sur GPU avec 130 000 jetons, contre 0,570 seconde avec le cache adossé au stockage. Ces mesures antérieures étayent le lancement ; elles ne constituent pas une nouvelle étude publiée en novembre.
Un autre essai, portant sur 200 requêtes, a utilisé 28 connexions simultanées et s’est appuyé sur 100 invites uniques représentant 24 millions de jetons et 825 Go de données de cache KV. Le Redbook indique que le débit est passé de 0,19 à 4,26 requêtes par seconde et que le temps de traitement total a diminué, passant de 1 048,56 à 46,94 secondes. Le cache était initialement vide : la moyenne calculée sur l’ensemble de l’essai comprend donc une période de démarrage à froid, pendant laquelle la réutilisation s’est progressivement mise en place.
Lors d’un test de concurrence avec d’autres utilisateurs, quatre clients supplémentaires ont généré un trafic d’E/S réseau concurrent de 200 Go/s. Le système utilisant le cache a maintenu un débit de 3,6 requêtes par seconde et traité 200 requêtes en 55,56 secondes. Selon le Redbook, cela correspond à une baisse de débit de 18 % par rapport au résultat obtenu avec le cache sur un réseau sans trafic concurrent.
Toutes les mesures d’inférence ont été réalisées à partir d’un seul nœud client GPU Supermicro équipé de quatre GPU NVIDIA RTX PRO 6000 et connecté à un cluster de stockage Petascale à huit nœuds. La pile logicielle comprenait Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf et le modèle openai/gpt-oss-120b. Les niveaux de cache de la mémoire GPU et de la mémoire DRAM du système étaient désactivés afin d’isoler le niveau G4 partagé.
Marge réseau et dimensionnement du déploiement
Trois commutateurs Spectrum-X SN5600 formaient le réseau à architecture spine-leaf du test. Le Redbook indique une bande passante côté client pouvant atteindre 80 Go/s, tandis que le système de stockage à huit nœuds a atteint un débit de lecture allant jusqu’à 315 Go/s. La limite de la configuration résidait donc dans le réseau côté client, et non dans la capacité maximale de lecture du niveau de stockage.
Les exemples de dimensionnement du Redbook prévoient quatre nœuds de stockage pour les petits déploiements de validation de concept, huit pour la configuration intermédiaire testée et 16 ou plus pour les grandes infrastructures d’IA. La capacité, la bande passante, le nombre de connexions simultanées, la taille du modèle et la charge de travail influent tous sur le choix de la configuration. Supermicro indique que ses services d’intégration en rack en usine et de déploiement sur site peuvent réduire le délai de déploiement, qui passe ainsi de plusieurs semaines à quelques jours.
Cette annonce regroupe, en vue de son déploiement, une architecture déjà documentée et validée conjointement, mais les gains obtenus dépendent d’un modèle précis, d’un ensemble d’invites donné, d’un niveau de connexions simultanées particulier et du réseau utilisé. La question centrale pour le déploiement est de savoir si la capacité de stockage et la bande passante côté client sont adaptées aux besoins réels de réutilisation du contexte : une marge supplémentaire de débit de lecture du stockage ne peut améliorer l’inférence si le réseau client n’est pas en mesure de l’acheminer.
