Ken Claffey, PDG de VDURA – Série d’entretiens : Une conversation de retour

Ken Claffey, PDG et président de VDURA, est un leader d’entreprise et de produit centré sur le client avec une expertise approfondie dans les infrastructures cloud et d’entreprise, le développement de matériel et de logiciel, ainsi que la croissance stratégique à travers les fonctions produit, opérations et marché. Tout au long de sa carrière, il a construit et dirigé des équipes mondiales à haute performance, exécuté la stratégie d’entreprise, impulsé la croissance des revenus rentables et l’innovation des produits, et redressé des entreprises sous-performantes. Avant de prendre les rênes de VDURA, Claffey a occupé des postes de direction chez Seagate Technology (STX ), où il a été directeur général et vice-président chargé des systèmes d’entreprise et de la gestion des bénéfices, ainsi que des postes de direction chez Xyratex, Adaptec et Eurologic, apportant des décennies d’expérience dans le stockage d’entreprise et le calcul haute performance.

VDURA est une entreprise de stockage de données défini par logiciel qui construit des solutions de stockage modernes optimisées pour les charges de travail d’intelligence artificielle et de calcul haute performance sous le slogan « vitesse rencontre durabilité ». La plate-forme de données VDURA combine les performances de fichiers parallèles à base de flash avec la résilience du stockage d’objets dans une architecture unifiée qui peut être mise à l’échelle linéairement sur des milliers de clients et de nœuds tout en simplifiant les opérations et en réduisant le coût total de possession. Fondée à l’origine sous le nom de Panasas et rebaptisée en 2024, la plate-forme VDURA prend en charge les environnements sur site, cloud et hybrides avec une automatisation avancée, un accélérateur de métadonnées et des performances évolutives conçues pour alimenter les grappes de GPU et protéger les données pour les cas d’utilisation d’entreprise, de recherche et de mission critique de l’IA et du HPC.

Comment votre parcours dans le HPC et le stockage d’entreprise a-t-il façonné votre vision selon laquelle le stockage devient la contrainte déterminante dans l’infrastructure de l’IA ?

Avoir construit des systèmes de stockage pour certains des environnements de calcul les plus exigeants au monde vous donne une intuition de l’endroit où se trouvent réellement les goulots d’étranglement, et non où les gens pensent qu’ils se trouvent. Chez Xyratex et à travers le travail de ClusterStor chez Seagate, nous résolvions des problèmes de stockage pour des supercalculateurs où la physique était impitoyable. Vous alimentiez soit le calcul, soit vous ne l’alimentiez pas.

Ce que je vois maintenant dans l’infrastructure de l’IA, c’est la même contrainte fondamentale, mais avec une économie différente. L’obsession des GPU sur le marché Neocloud était compréhensible. NVIDIA (NVDA ) a créé une ressource rare et transformative. Mais l’hypothèse selon laquelle le stockage allait simplement évoluer en parallèle, à bas coût et facilement, allait finir par se briser. Elle s’est brisée. Le stockage tend désormais vers 20 à 30 pour cent des budgets d’infrastructure de l’IA dans les déploiements tout flash, augmentant plus vite que tout autre composant. Lorsque vous avez passé une carrière à regarder le stockage devenir la contrainte liante dans chaque environnement de calcul à grande échelle, vous cessez d’être surpris lorsque le reste du marché rattrape cette réalité.

Pourquoi la planification du stockage a-t-elle été déclassée lors de la course à l’infrastructure Neocloud ?

Plusieurs hypothèses structurelles se sont réunies au moment le plus inopportun. Premièrement, les prix du flash étaient temporairement favorables. Les SSD NVMe étaient abordables et suffisamment abondants pour que l’adoption tout flash semble une option raisonnable. Ce n’était pas une sagesse architecturale. C’était le produit d’une brève fenêtre économique que les opérateurs ont confondue avec une condition permanente.

Deuxièmement, la dynamique concurrentielle a récompensé le nombre de GPU par rapport à tout le reste. Le marché Neocloud était évalué en fonction du nombre de puces NVIDIA que vous pouviez mettre sur une étagère. Le stockage était à peine une ligne de 10 pour cent, facile à faire passer en douce dans les procédures d’approvisionnement sans examen approfondi. Troisièmement, la décision tout flash semblait sûre car elle éliminait la complexité. Un seul niveau, un seul type de support, simple à acheter et à exploiter. Le problème, c’est que « simple » et « durable sur le plan économique » ont cessé d’être la même chose dès l’instant où l’offre de NAND s’est resserrée et que les prix ont augmenté. À ce stade, les décisions d’infrastructure étaient déjà verrouillées.

Qu’est-ce qui surprend le plus les opérateurs lorsqu’ils voient comment le stockage affecte l’utilisation de leurs GPU ?

La relation est plus directe que ce que la plupart des opérateurs réalisent jusqu’à ce qu’ils soient confrontés à des GPU inactifs. Les exécutions d’entraînement avec des points de contrôle fréquents créent des demandes d’écriture par à-coups qui peuvent bloquer le calcul si la couche de stockage ne peut pas les absorber suffisamment vite. Les pipelines de données pour le prétraitement et l’ingestion créent des exigences de débit de lecture soutenues qui, si elles ne sont pas satisfaites, privent les GPU de travail.

Les propres conseils de NVIDIA quantifient cela : l’entraînement de LLM basé sur du texte nécessite environ 0,5 Go/s de débit de lecture par GPU, tandis que les charges de travail d’IA et de visualisation physiques nécessitent environ 4 Go/s de lectures et 2 Go/s d’écritures par GPU. Si votre architecture de stockage ne peut pas fournir cela, vous n’avez pas exécuté vos GPU à pleine capacité. Vous les avez exécutés à la fraction que votre stockage autorise.

L’architecture compte énormément à l’échelle du cluster. Un système de stockage qui interpose un intermédiaire entre l’unité et le client peut afficher un débit de lecture similaire sur un seul disque, mais à l’échelle, vous pouvez finir par avoir besoin de trois fois plus de disques pour saturer le même parc de GPU. Trois fois plus de SSD, trois fois plus de puissance, trois fois plus d’espace dans les racks. Les mathématiques de l’utilisation se combinent rapidement.

Quelles sont les différences de coût qui peuvent émerger uniquement de la sélection des SSD et de la conception architecturale, même lorsque les métriques de débit apparaissent similaires ?

C’est là que les opérateurs tombent dans de graves ennuis, car les chiffres clés peuvent être réellement trompeurs. Prenons un exemple représentatif. Un SSD NVMe QLC de 122,88 To coûte environ 27 000 $. Un disque de 7,68 To de la même génération offre un débit de lecture séquentiel similaire pour environ 1 800 $. Pour un cluster de 4 096 GPU sur la spécification améliorée de NVIDIA, cette seule décision de sélection de capacité produit une facture flash allant de 600 000 $ à 9,6 millions de dollars. Le débit est effectivement identique. La seule variable est la quantité de données froides que vous choisissez de stationner sur un support premium qui n’apporte aucun avantage de performance supplémentaire.

En plus de cela, la conception architecturale détermine le nombre de disques à l’échelle du cluster. Une architecture qui offre environ 5,8 Go/s de débit de lecture mesuré par SSD nécessite environ 353 disques pour saturer un cluster de 4 096 GPU. Une architecture qui offre environ 1,9 Go/s par SSD, en raison de la surcharge de l’intermédiaire, nécessite plus de 1 000 disques. À 12 000 $ par disque de 30 To, cette différence n’est pas une erreur d’arrondi – c’est une question de modèle économique.

Comment les opérateurs devraient-ils repenser le stockage tout flash par rapport au stockage hiérarchisé à mesure que les prix du flash augmentent et que l’offre de NAND reste contrainte ?

Le point de départ est d’accepter que le postulat économique derrière l’infrastructure de l’IA tout flash était toujours contingent, et non fondamental. Le PDG de Phison a décrit la capacité de production de NAND comme étant effectivement allouée jusqu’en 2026. Goldman Sachs (GS ) prévoit que les prix de la DRAM augmenteront de deux chiffres trimestre après trimestre pendant la même période. Le choix par défaut du tout flash avait du sens lorsque le flash était bon marché et abondant. Ce n’est plus le cas.

Le bon cadre est de se demander à quoi sert réellement le flash. Le flash est un support de performance. Il devrait être dimensionné pour saturer les exigences de débit de GPU, et rien de plus. Tout le reste, y compris les données froides, les points de contrôle qui ne sont pas actuellement lus et les ensembles de formation archivés, appartient à des disques durs à haute densité, qui restent des ordres de grandeur moins chers par To.

Le piège dans lequel tombent les opérateurs est de traiter le hiérarchisage comme une option : acheter une couche primaire tout flash, ajouter un magasin d’objets distinct pour les données froides et les connecter avec des déplaceurs de données externes. Cela introduit une deuxième pile logicielle, un deuxième plan de données, une complexité de mise en réseau et une surcharge opérationnelle. L’approche des hyperscalers, en exécutant des SSD et des disques durs dans la même pile logicielle avec un hiérarchisage haute performance natif et sans déplaceurs de données externes, maintient le stockage à environ 10 pour cent du budget d’infrastructure tout en saturant chaque GPU.

Quelles leçons les opérateurs Neocloud peuvent-ils tirer des choix de conception de stockage des hyperscalers ?

La leçon la plus importante est que Google (GOOGL ), Meta et Microsoft (MSFT ) ne courent pas tout flash, et qu’ils ont plus d’expérience de charge de travail d’IA que quiconque. Ils déploient des architectures à niveaux mixtes avec un hiérarchisage intelligent : suffisamment de flash NVMe pour saturer le débit de GPU, puis drainage vers des disques durs à haute densité aussi vite que la physique le permet. Ce n’est pas une préférence philosophique. C’est une impérative économique dictée par une compréhension claire de la physique de la charge de travail d’IA.

La deuxième leçon est l’intégration architecturale. Les hyperscalers ne résolvent pas le hiérarchisage en raccordant des systèmes distincts. Ils exécutent des SSD et des disques durs sur la même pile logicielle, le même plan de données, avec le hiérarchisage comme une opération de premier plan à l’intérieur du système de stockage, et non comme un travail par lots géré par un outil distinct. Cette intégration est ce qui leur permet de maintenir le stockage de manière économique à une échelle énorme tout en maintenant les garanties de performance que leurs flottes de GPU nécessitent.

Comment les équipes d’infrastructure devraient-elles quantifier l’impact économique de la disponibilité du stockage sur les flottes de GPU ?

Les mathématiques sont sobres lorsqu’on les exécute honnêtement. La défaillance du stockage partagé ne produit pas une insuffisance proportionnelle de l’SLA. Elle produit une violation simultanée de l’ensemble des racks de GPU connectés à ce stockage. Un cluster de 5 000 GPU avec une disponibilité de stockage de 98 pour cent ne livre pas une erreur de performance de 2 pour cent. Il produit 876 000 heures de calcul GPU perdues par an. À des coûts représentatifs par heure de GPU, cela se traduit par des millions de dollars de calcul inactif par an, ainsi que des crédits de SLA dus sur chaque rack affecté simultanément.

Comment les différentes architectures de stockage se comparent-elles en termes de performance par watt dans les environnements contraints par la puissance ?

Cela se pose dans presque toutes les conversations d’infrastructure sérieuses maintenant, et la différence n’est pas marginale. Elle est multiplicative. Sur la base de spécifications publiées et de configurations comparables, en fournissant environ 1 340 Go/s de débit de lecture, une architecture consomme 55 kW tandis qu’une autre atteint une sortie similaire à environ 16 kW. C’est une différence de 3,4 fois en termes de performance par watt. Dans un centre de données où les charges de travail d’IA consomment entre 40 et 250 kilowatts par rack contre une connexion au réseau fixe, les watts de stockage gaspillés sont des GPU que vous ne pouvez pas déployer. La propre documentation BlueField-4 de NVIDIA indique explicitement que la disponibilité de puissance est la principale contrainte pour la mise à l’échelle des usines d’IA.

(CRWV ) (ORCL )

Comment l’architecture de stockage affecte-t-elle directement la compétitivité des SLA à mesure que les garanties de disponibilité approchent 99 pour cent ?

Le stockage est la plus grande zone d’impact dans n’importe quel cluster de GPU, ce qui en fait la variable la plus importante dans tout engagement d’SLA honnête. Le système de notation ClusterMAX 2.0 de SemiAnalysis, qui devient un benchmark influent dans les négociations d’approvisionnement Neocloud, rend les SLA un facteur explicite dans les négociations de prix. Les fournisseurs sans SLA compétitifs perdent des contrats maintenant.

Quelles capacités de stockage sont les plus susceptibles de déterminer la survie à long terme de Neocloud grâce à la consolidation ?

Les opérateurs qui survivront seront ceux qui auront résolu l’équation du coût total de possession à l’échelle de l’ensemble de la pile d’infrastructure, et non seulement de l’équation d’approvisionnement de GPU. Cela signifie plusieurs capacités spécifiques.

Premièrement, une architecture logicielle unifiée qui exécute le flash et le disque sur un seul plan de données avec un hiérarchisage haute performance natif, sans déplaceurs de données externes, sans deuxième pile logicielle, sans complexité opérationnelle introduite par le raccordement de systèmes distincts. Deuxièmement, un stockage qui peut suivre des courbes de coût indépendantes pour le flash et le disque à mesure que ces marchés évoluent indépendamment les uns des autres, ce qu’ils feront. Troisièmement, des systèmes auto-réparateurs qui maintiennent une haute disponibilité sans administrateurs spécialisés effectuant une récupération manuelle à 3 heures du matin. La complexité opérationnelle du stockage est un coût invisible qui se cumule à l’échelle. Quatrièmement, une durabilité qui peut être crédiblement souscrite dans un SLA par rapport aux références des hyperscalers.

Quel est votre message aux opérateurs Neocloud qui évaluent leur stratégie de stockage aujourd’hui ?

N’ayez pas la décision de stockage comme celle que vous avez prise par défaut. Chaque autre partie de la pile d’infrastructure bénéficie d’un examen rigoureux de l’ingénierie et des finances. Le stockage ne devrait pas être différent. Les opérateurs qui seront là dans trois ans sont ceux qui ont jeté un coup d’œil dur à leur véritable coût par heure de calcul GPU utile, ont compris leur posture de disponibilité réelle et ont veillé à ce qu’ils soient dimensionnés pour la charge de travail et non pour une raccourci d’approvisionnement.

La fenêtre pour bien faire cela se rétrécit. La consolidation est déjà en cours, et l’économie est impitoyable. Mais pour les opérateurs qui sont prêts à repenser la couche de stockage avec la même rigueur qu’ils ont appliquée à la sélection de GPU, l’opportunité est significative. Le stockage bien fait ne réduit pas seulement les coûts. Il débloque la valeur complète de chaque GPU dans le rack.

Je vous remercie pour cette grande interview. Les lecteurs qui souhaitent en savoir plus sur cette pile technologique peuvent visiter VDURA. Ils peuvent également lire notre précédente interview avec Ken Claffey.