WEKA lance NeuralMesh 6 et WEKApod 3 alors que l’infrastructure d’IA se déplace vers l’inférence

WEKA a introduit une refonte logicielle et matérielle coordonnée visant l’un des problèmes émergents les plus coûteux de l’industrie de l’IA : maintenir la productivité des GPU à mesure que les modèles passent de la formation à l’inférence continue et à grande échelle.

Les annonces comprennent NeuralMesh 6, une mise à jour majeure de la plate-forme de données et de mémoire de l’entreprise, aux côtés d’appareils WEKApod de troisième génération conçus pour les nuages d’IA, les développeurs de modèles, les organisations de recherche et les entreprises exploitant des infrastructures de GPU.

Ensemble, les sorties reflètent un changement plus large dans la conception de l’infrastructure d’IA, avec un stockage qui évolue d’un référentiel passif à une couche de mémoire et de livraison de données active.

Un effort unifié pour la production d’IA

Les exigences d’infrastructure de l’inférence d’IA diffèrent considérablement de celles de la formation de modèles. Les tâches de formation traitent généralement de grands ensembles de données à travers des pipelines relativement prévisibles. Les systèmes d’IA agents, de génération augmentée de récupération et de raisonnement à long contexte doivent au lieu de cela accéder à des données changeantes, maintenir le contexte à travers des interactions répétées et prendre en charge de nombreux utilisateurs simultanés sans laisser les GPU coûteux attendre des informations.

La réponse de WEKA est de traiter le stockage, l’extension de mémoire, l’accès aux fichiers, l’accès aux objets et le déplacement des données comme des parties de la même plate-forme. NeuralMesh est conçu pour fournir une fondation de données partagée pour la formation, l’inférence et le calcul haute performance dans les environnements sur site, les nuages publics et les déploiements hybrides.

La nouvelle version étend cette architecture avec une multi-locataire, un stockage d’objets natif, un cache distribué, une réduction de données automatisée, des opérations Kubernetes et une observabilité centralisée.

Plutôt que de présenter les annonces logicielles et d’appareils comme des mises à niveau non liées, l’entreprise les présente comme deux parties du même système. NeuralMesh 6 contrôle la manière dont les données sont stockées, déplacées, isolées et livrées, tandis que WEKApod 3 fournit un matériel conçu autour de ces fonctions.

NeuralMesh 6 unifie les charges de travail de fichiers et d’objets

L’une des ajouts les plus conséquents dans NeuralMesh 6 est une implémentation native S3 qui s’exécute sur un stockage NVMe. Les mêmes blocs de données sous-jacents peuvent être accessibles via des protocoles d’objets S3 et des interfaces de fichiers POSIX ou Network File System sans maintenir des copies distinctes.

Cela compte car les pipelines d’IA déplacent souvent des informations entre le stockage d’objets, les systèmes de fichiers haute performance, les environnements de formation et les grappes d’inférence. Chaque copie consomme de la capacité, introduit des retards et complique la gouvernance. Un espace de noms unifié pourrait permettre aux données créées via un protocole de devenir immédiatement disponibles via un autre.

WEKA déclare que son implémentation prend en charge entre 2 000 et 5 000 connexions S3 simultanées par nœud. Il prend également en charge S3 sur Remote Direct Memory Access, permettant aux données de se déplacer vers la mémoire GPU sans suivre le chemin conventionnel à travers de multiples couches de processeur et de système d’exploitation.

La plate-forme introduit deux niveaux de multi-locataire. Les clusters composable allouent des ressources de processeur, de mémoire et de stockage dédiées à des locataires individuels, tandis que la multi-locataire virtuelle fournit une isolation réseau, un chiffrement indépendant, une authentification distincte et des contrôles de qualité de service par locataire.

Les environnements virtuels peuvent prendre en charge plus de 1 000 locataires isolés par cluster, selon l’entreprise. Combiner les modèles physiques et virtuels pourrait permettre à un grand opérateur d’infrastructure de prendre en charge des dizaines de milliers de clients logiquement séparés sans déployer un cluster de stockage indépendant pour chacun.

Ceci est particulièrement pertinent pour les fournisseurs de services de GPU et les nuages d’IA souverains qui ont besoin d’équilibrer une utilisation élevée de l’infrastructure avec une isolation stricte des clients.

Déplacer les données vers les GPU disponibles

NeuralMesh 6 introduit également la réplication basée sur les métadonnées et le cache distant pour les charges de travail d’IA distribuées à travers les centres de données, les nuages et les régions géographiques.

La réplication traditionnelle nécessite généralement que l’ensemble du jeu de données soit copié avant que la charge de travail ne puisse commencer. NeuralMesh rend plutôt les métadonnées de destination immédiatement visibles, puis transfère les données sous-jacentes à mesure qu’elles sont demandées.

Cela pourrait permettre aux opérateurs de déplacer les tâches vers la capacité de GPU disponible sans avoir à répliquer d’abord chaque fichier associé au projet. L’approche est destinée à prendre en charge les éclatements de nuage, les infrastructures d’IA distribuées et la collaboration entre les équipes de recherche ou d’ingénierie géographiquement séparées.

Cela représente également une première étape vers un modèle de namespace global dans lequel les données peuvent être adressées de manière cohérente indépendamment de leur emplacement d’origine.

Une autre nouvelle fonctionnalité applique l’empreinte, le hachage de similarité, la déduplication et la compression de manière continue plutôt que de traiter la réduction de données comme un processus de fond facultatif.

WEKA affirme que NeuralMesh 6 peut fournir jusqu’à six fois les économies de capacité sur les données de formation d’IA avec moins de 5 % de surcharge d’écriture. Les réductions réelles dépendront du jeu de données. Les points de contrôle, les couches de conteneur, les versions de modèle et les données de formation itérative peuvent contenir des répétitions importantes, tandis que d’autres types de données peuvent se compresser moins efficacement.

L’entreprise prévoit d’analyser les données clientes représentatives avant le déploiement et d’utiliser l’estimation résultante dans le cadre de ses engagements de capacité et de performances.

Transformer le stockage en une couche de mémoire d’IA étendue

NeuralMesh intègre également WEKA’s Augmented Memory Grid, qui utilise le stockage NVMe comme une extension persistante de la mémoire GPU pour l’inférence.

Les grands modèles de langage créent un cache de clés-valeurs contenant des informations calculées à partir d’une invite ou d’une conversation. Pour les contextes longs et les flux de travail agents, ce cache peut devenir extrêmement grand. Lorsqu’il ne peut pas rester dans la mémoire GPU à haute bande passante, les systèmes peuvent devoir le supprimer, le recalculer ou le déplacer vers une infrastructure plus lente.

Augmented Memory Grid stocke ce cache dans une couche persistante à base de NVMe et utilise Remote Direct Memory Access et NVIDIA GPUDirect Storage pour le déplacer vers les GPU.

L’objectif est de préserver le contexte réutilisable tout en réduisant le calcul de préremplissage répété, l’une des étapes les plus gourmandes en ressources de l’inférence à long contexte.

WEKA rapporte que les tests sur Oracle Cloud Infrastructure à l’aide de GPU NVIDIA H100 ont produit dix fois plus de jetons par seconde, dix fois plus d’utilisateurs simultanés et sept fois plus de jetons par GPU.

Ces chiffres sont des références de performances spécifiques aux charges de travail et non des attentes de performances universelles, mais ils illustrent pourquoi la gestion persistante du cache est devenue une partie importante de la conception de l’infrastructure d’inférence.

WEKApod 3 prend le contrôle de la couche matérielle

Alors que les systèmes WEKApod précédents combinaient le logiciel WEKA avec une infrastructure prévalidée, la troisième génération se rapproche de la conception de systèmes verticalement intégrés.

WEKA a conçu le nouveau châssis de deux unités de rack, l’interconnecteur de disque, l’architecture de refroidissement, les domaines de défaillance et le système de service. Les appareils utilisent PCI Express Gen 6 en interne et la connectivité NVIDIA ConnectX pour la connexion à l’infrastructure Ethernet Spectrum-X.

La famille WEKApod se compose maintenant de trois systèmes configurables. Nitro est optimisé pour les charges de travail d’inférence et d’usine d’IA à bande passante intensive. Prime combine la cellule à trois niveaux et la cellule à quatre niveaux flash pour équilibrer les performances et la capacité. Prime Max donne la priorité à la densité de stockage maximale, avec jusqu’à 70 disques NVMe dans un châssis de deux unités de rack.

À l’échelle du rack, WEKA affirme que Prime Max peut fournir 441,5 pétaoctets de capacité brute et 1,1 exaoctet de capacité effective après la réduction de données NeuralMesh. Le système au niveau du rack est évalué à jusqu’à 10,2 téraoctets par seconde de débit et 210 millions d’opérations d’entrée/sortie par seconde.

La distinction entre capacité brute et capacité effective est importante. Le chiffre en exaoctets dépend de la réduction réalisable sur les données stockées et ne doit pas être interprété comme plus d’un exaoctet de flash physique.

Même ainsi, une densité plus élevée peut avoir des conséquences significatives dans les installations où le stockage concurrence les GPU pour l’espace de rack, le refroidissement et la capacité électrique.

Conçu pour les centres de données contraints

Les nouveaux systèmes abordent également les limites physiques qui façonnent de plus en plus les projets d’infrastructure d’IA.

Les grappes de GPU nécessitent de grandes quantités d’électricité, de refroidissement, de réseau et d’espace au sol. Les systèmes de stockage qui consomment ces ressources de manière inefficace peuvent réduire le nombre d’accélérateurs que peut prendre en charge une installation.

WEKA affirme que les nouveaux appareils offrent 267 % de densité de capacité effective et 114 % de densité de performances supérieures aux meilleures alternatives publiques disponibles dans leurs catégories respectives.

L’entreprise a également conçu les systèmes pour fonctionner à des températures ambiantes allant jusqu’à 35 degrés Celsius. La limitation de puissance contrôlée par logiciel est destinée à réduire progressivement les performances pendant les contraintes thermiques plutôt que de déclencher une extinction.

Une conception de disque sans backplane crée des domaines de défaillance plus petits, tandis que les disques de démarrage à chaud et les procédures de remplacement guidées sont destinés à réduire le temps de maintenance. Les clients peuvent configurer le type de châssis, la mémoire, la capacité de disque et le nombre de disques, avec des déploiements allant de moins d’un pétaoctet à plus de 100 pétaoctets.

Construire un écosystème autour des usines d’IA

Les annonces de partenariat accompagnatrices suggèrent que la plate-forme atteindra les clients via les intégrateurs d’infrastructure, les fournisseurs de cloud et les fournisseurs d’orchestration d’IA.

Spectro Cloud positionne NeuralMesh comme une couche de données qui peut être combinée avec PaletteAI pour déployer et exploiter des usines d’IA d’entreprise. World Wide Technology et Computacenter prévoient d’intégrer les systèmes dans des projets d’infrastructure plus larges, tandis que Glocomp a souligné la demande des clients pour de meilleures performances d’IA et des coûts d’infrastructure plus prévisibles.

Cette stratégie d’écosystème est importante car la plupart des organisations n’assemblent pas des environnements de production d’IA à partir d’un seul fournisseur.

Un déploiement typique peut inclure des GPU, un réseau, un stockage, des produits Kubernetes, des logiciels de service de modèles, une observabilité, une sécurité et des produits de gouvernance de plusieurs fournisseurs. Les configurations validées conjointement peuvent réduire le travail d’intégration, bien que les clients devront toujours tester les performances en utilisant leurs propres modèles, ensembles de données, réseaux et exigences de concurrence.

Ce que cela signifie pour l’infrastructure d’IA

L’aspect le plus important de l’annonce n’est pas un nombre de capacité ou de débit individuel. C’est la convergence croissante du stockage, du cache distribué, de la gestion de la mémoire, de la mobilité des données et de l’isolation des locataires.

À mesure que les agents d’IA conservent des historiques plus longs, accèdent à plus d’informations d’entreprise et fonctionnent de manière continue, l’infrastructure entourant les GPU déterminera de plus en plus le coût de chaque réponse utile.

L’ajout d’accélérateurs supplémentaires ne résoudra pas les goulets d’étranglement causés par le traitement répété du contexte, le déplacement lent des données, les protocoles fragmentés ou la capacité de stockage inutilisée. La prochaine phase de l’infrastructure d’IA dépendra donc autant de l’alimentation et de la gestion efficaces des GPU que de l’augmentation du calcul brut.

NeuralMesh 6 est prévu pour devenir généralement disponible au cours de la deuxième moitié de 2026, avec les clients existants éligibles à la mise à niveau via le canal logiciel standard. Les nouveaux systèmes WEKApod Nitro, Prime et Prime Max sont disponibles à la commande, avec des livraisons prévues pour commencer à l’automne 2026.