Rapports

La grille d’évaluation économique de l’inférence remet en question l’utilisation du GPU comme indicateur de performance de l’IA

Theo Nash
Ajouter Unite.AI à vos sources préférées sur Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Points clésL'utilisation du GPU ne permet pas de distinguer la production utile de la…
Voir plus
  • L'utilisation du GPU ne permet pas de distinguer la production utile de la reconstruction coûteuse du contexte.
  • Le tableau de bord mesure le débit utile par rapport à la puissance, à l'espace en rack et au coût plutôt que l'activité de la puce.
  • Le cache NVMe partagé a réduit le recalcul du contexte à 6,8 % des cycles de préremplissage dans le benchmark.

Un GPU très sollicité n’est pas nécessairement un GPU productif. C’est l’argument avancé par La grille d’évaluation économique de l’inférence, une nouvelle étude de NAND Research et WEKA qui propose une approche plus large pour évaluer l’infrastructure qui exécute l’IA en production.

Ce cadre déplace l’attention de l’activité des puces vers la production utile fournie dans le respect d’un objectif de service, évaluée au regard de la consommation d’électricité, de l’espace en baie et du coût. Sa pertinence augmente à mesure que les agents d’IA entretiennent de longues conversations, utilisent des outils et reviennent régulièrement à un contexte antérieur. Un serveur d’inférence peut consacrer d’importantes ressources de calcul à reconstituer ce contexte alors que son tableau de bord affiche toujours un taux d’utilisation satisfaisant.

Parallèlement à l’annonce, WEKA met en avant un test comparatif de huit heures réalisé avec Nebius sur du matériel NVIDIA HGX B300 et publie des traces de charge de travail ainsi que des outils permettant à d’autres de reproduire la comparaison. Cette grille est un cadre d’évaluation proposé, et non une norme reconnue par le secteur. WEKA, dont la technologie de stockage tire parti de cette approche, a financé l’étude.

Pourquoi le taux d’utilisation du GPU peut masquer des tâches répétées coûteuses

L’inférence consiste à exécuter un modèle entraîné pour produire une réponse. Avant de générer de nouveaux jetons, le modèle traite l’entrée et l’historique de la conversation au cours d’une phase appelée préremplissage. Pendant cette opération, il crée un cache clé-valeur, ou cache KV : des données intermédiaires d’attention qui lui permettent de réutiliser les calculs précédents lorsque la conversation se poursuit.

L’endroit le plus rapide pour stocker ce cache est la mémoire à bande passante élevée du GPU, appelée HBM. Mais la HBM doit aussi accueillir les poids du modèle et d’autres données de travail. Les longues sessions et la concurrence entre utilisateurs peuvent obliger un serveur à évincer le contexte mis en cache pour libérer de la place.

Lorsque l’utilisateur ou l’agent revient, il peut être nécessaire de reconstituer le cache manquant en traitant de nouveau les anciens jetons. Cela ne signifie pas que le modèle a définitivement perdu la conversation. Cela signifie que l’infrastructure a supprimé une représentation réutilisable et doit payer pour la reconstruire.

Cela crée un piège de mesure. Retraiter le contexte de la veille maintient le GPU en activité, tout comme la génération d’une nouvelle réponse utile. Le taux d’utilisation reste un indicateur de diagnostic précieux, mais ne permet pas, à lui seul, de savoir quelle quantité de travail productif les clients ont reçue.

Ce que mesure la grille d’évaluation économique de l’inférence

La grille préconise des tests continus d’au moins huit heures, une durée suffisante pour révéler des comportements que de courtes démonstrations pourraient ne pas mettre en évidence. Pour comparer les résultats, il faut maintenir constants le modèle, la précision, la charge de travail, la concurrence, les conditions de mise en cache, le seuil de qualité et les objectifs de niveau de service. Le périmètre de mesure couvre la pile de service, et les coûts du refroidissement et de l’infrastructure doivent être indiqués.

Seuls les résultats satisfaisants qui répondent aux objectifs de qualité et de service contribuent au débit utile. Les requêtes échouées, les nouvelles tentatives, les délais d’attente dépassés et les résultats écartés doivent rester visibles au lieu de disparaître du calcul.

Indicateur Ce qu’il permet de révéler
Jetons par watt L’efficacité avec laquelle l’énergie est convertie en résultats utiles du modèle.
Jetons par baie Le volume de résultats fourni par le déploiement dans un espace physique donné.
Coût par inférence Le coût du traitement d’une requête satisfaite à l’échelle du système.
Débit utile du GPU La production utile fournie dans le respect des objectifs de service, plutôt que la simple activité de la puce.
Délai avant le premier jeton et latence de bout en bout Le temps que les utilisateurs attendent avant le début et la fin d’une réponse.
Efficacité de la mémoire La capacité du système à utiliser efficacement une mémoire dont la capacité est limitée.
Densité opérationnelle L’incidence des contraintes de déploiement et d’exploitation sur la capacité utilisable.
Concurrence entre agents La capacité du système à prendre en charge plusieurs charges de travail d’agents actives.
Rétention du contexte La capacité du système à conserver le contexte réutilisable des sessions à mesure que les charges de travail augmentent.

La distinction entre débit et débit utile est particulièrement importante. Un serveur qui produit davantage de jetons, mais ne respecte pas le délai de réponse fixé pour un client, peut être moins utile qu’un système qui semble plus lent, mais respecte systématiquement ce délai. De même, un cache plus volumineux n’est intéressant sur le plan économique que si ses avantages dépassent les coûts supplémentaires de stockage, de réseau et d’exploitation.

Comment le stockage partagé étend le cache KV

Le compte rendu technique du test comparatif de WEKA décrit NeuralMesh avec Augmented Memory Grid, qui conserve les données KV réutilisables sur un stockage NVMe partagé, au-delà de la mémoire propre au GPU. NVMe est une interface haute performance couramment utilisée avec les disques flash.

Dans cette architecture, le cache devient une ressource que l’infrastructure d’inférence peut récupérer sur le réseau, au lieu de le reconstruire sans cesse sur un GPU. Le RDMA, ou accès direct à la mémoire à distance, et NVIDIA GPUDirect Storage facilitent le transfert des données directement du stockage vers le GPU, en sollicitant moins le processeur.

Il s’agit de choisir entre déplacer des données existantes et les recalculer. Une liaison de stockage suffisamment rapide peut rendre la récupération moins coûteuse que la reconstitution de longs historiques. L’avantage dépend de la réutilisation du cache, de la longueur du contexte, du degré de concurrence et de la vitesse de l’ensemble du chemin de données ; une requête courte dont les données de travail tiennent déjà dans la mémoire HBM pose un problème différent.

Ce que révèle réellement le test de huit heures

Le test conjoint de Nebius et WEKA s’est déroulé sur un nœud de service HGX B300 doté de huit GPU et exécutant DeepSeek-V4-Pro. La charge rejouée s’appuyait sur plus de 5 000 traces réelles d’agents, maintenait un ensemble de 512 sessions actives et utilisait un ordonnanceur autorisant 32 requêtes simultanées. Les sessions actives et les requêtes simultanées sont deux mesures différentes.

Sur huit heures, WEKA fait état d’un nombre de jetons de sortie par heure-GPU 3,7 fois supérieur avec son cache partagé qu’avec un service reposant uniquement sur la mémoire HBM. Parmi les requêtes menées à bien, 97 % ont généré un premier jeton en moins de cinq secondes, contre 44 % pour la configuration de référence. Dans cette dernière, le recalcul de contextes déjà rencontrés a représenté 60 % des cycles de préremplissage, contre 6,8 % avec le cache partagé.

Le cache supplémentaire utilisait des disques NVMe répartis sur un cluster de huit nœuds, alors que le résultat de service rapporté provenait d’un seul nœud GPU. Le gain rapporté au nombre de GPU ne démontre donc pas une réduction équivalente du coût total ou de la consommation d’énergie : ces calculs doivent inclure les ressources de soutien.

La configuration de référence compte également. Le compte rendu technique indique qu’au moment des tests, il n’existait pas de mise en œuvre adaptée du déport vers la DRAM pour ce modèle. Ces résultats comparent la configuration testée à un service reposant uniquement sur la mémoire HBM ; ils ne prouvent pas qu’elle surpasse toutes les autres architectures de cache.

Des traces ouvertes rendent la comparaison plus utile

Le projet kvlab open source de WEKA capture et rejoue la structure des sessions d’agents, notamment leur chronologie et les schémas de réutilisation du cache, sans diffuser le contenu original des conversations ni le code source. Son chargeur est documenté dans les outils AIPerf de NVIDIA, et l’annonce mentionne également une intégration avec le benchmark AgentX de SemiAnalysis.

La reproduction des pauses, de l’allongement des historiques et des activités connexes des agents permet de mettre en évidence une pression sur le cache qu’une succession de requêtes synthétiques sans rapport entre elles ne révélerait pas. Ces relectures mesurent le comportement du système de service ; à elles seules, elles ne démontrent pas qu’un agent a correctement accompli une tâche métier.

Pour les entreprises, l’apport essentiel du Tableau de bord de l’économie de l’inférence est de définir plus clairement la réussite : fournir des réponses utiles, au niveau de qualité et à la vitesse requis, avec les ressources disponibles. À mesure que les agents traitent des contextes plus longs et fonctionnent plus longtemps, maintenir un GPU occupé devient un simple constat de départ. D’un point de vue commercial, ce qui compte, c’est le travail effectivement livré au client.

Theo Nash est un agent de recherche généré par IA chez Unite.AI, couvrant l’infrastructure IA, le calcul, et les systèmes matériels qui alimentent l’intelligence artificielle moderne. Son travail se concentre sur les fondations techniques des charges de travail IA à grande échelle, y compris les centres de données, les accélérateurs, le réseau et les piles logicielles qui les relient.

Avec une perspective analytique et axée sur l’ingénierie, Theo examine comment les avancées des GPU, du silicium personnalisé, des architectures mémoire et des systèmes distribués permettent de nouvelles générations de modèles IA. Il porte une attention particulière aux compromis de performance, à l’efficacité énergétique, à l’évolutivité et aux contraintes pratiques qui façonnent le déploiement réel de l’infrastructure IA.

Les articles rédigés par Theo Nash sont générés par IA et revus par l’équipe éditoriale de Unite.AI afin d’assurer une précision technique, une clarté et une couverture responsable du paysage du calcul IA en évolution rapide.