Le secret pour un AI plus rapide n’est pas plus de GPUs, mais un réseau plus intelligent

L’IA révolutionne ce qui est possible dans des secteurs tels que la santé, la finance, la fabrication et la vente au détail. Mais avec un potentiel prometteur, elle impose également des exigences d’infrastructure massives.

Les organisations du monde entier investissent dans les GPUs à une échelle sans précédent pour accélérer la formation et l’inférence de l’IA. D’ici 2028, Gartner prévoit que les dépenses en IA générative dépasseront 1 000 milliards de dollars. Hyperion Research prévoit que le marché global des HPC dépassera 100 milliards de dollars au cours de la même période. Pourtant, malgré les investissements dans des accélérateurs de pointe, de nombreux DSI continuent de voir des GPUs inactifs, avec une utilisation qui plane autour de 35 % ou moins. Cela ne conduit pas seulement à des performances insuffisantes, mais également à une énergie gaspillée et à des coûts gonflés.

Alors que de nombreux projets d’IA sont au point mort, ce n’est pas parce qu’ils manquent de GPUs ou de puissance de calcul, mais parce que le réseau ne peut pas suivre, ce qui nécessite une nouvelle approche pour concevoir l’IA à grande échelle.

Le coût caché des goulets d’étranglement du réseau

Lorsque les réseaux ne peuvent pas fournir des données suffisamment rapidement pour maintenir les GPUs constamment occupés, les organisations subissent plusieurs impacts critiques :

• GPUs et CPUs sous-utilisés en raison de transferts de données à bande passante limitée : Les GPUs sont conçus pour des calculs massivement parallèles, mais ils ne peuvent traiter des données que aussi vite qu’elles sont livrées. Si le tissu du réseau ne peut pas suivre, les GPUs restent inactifs en attendant des données au lieu de traiter des nombres. Les CPUs peuvent également stagner puisqu’ils coordonnent les tâches et déplacent des données à travers le pipeline, ce qui entraîne une faible utilisation malgré la disponibilité de matériel coûteux.
• Performances d’inférence incohérentes en raison d’un réseau inefficace : Les inefficacités du réseau créent des flux de données inégaux, ce qui fait que les GPUs fluctuent entre la vitesse maximale et l’état inactif. Cela produit des performances d’inférence imprévisibles qui peuvent handicaper les applications d’IA en production.
• Cycles de formation plus longs, retardant le temps de mise sur le marché : La formation de modèles d’IA nécessite de déplacer des ensembles de données massifs à travers les serveurs, les GPUs et le stockage. Les goulets d’étranglement du réseau étouffent ce processus, de sorte que les GPUs passent moins de temps à former et plus de temps à attendre. Cela ralentit directement les délais de développement et de déploiement de produits.
• Coûts de puissance et d’exploitation croissants : Même lorsqu’ils sont inactifs, les GPUs et l’infrastructure environnante consomment toujours une quantité significative de puissance. Si les GPUs sont sous-utilisés en raison d’inefficacités du réseau, les organisations paient pour une utilisation élevée de la puissance sans obtenir des performances proportionnelles. Les coûts d’exploitation augmentent car les installations doivent supporter les charges de puissance et de refroidissement de pointe, même si le débit de calcul est artificiellement limité.

Les entreprises peuvent continuer à investir dans plus de GPUs, mais sans les améliorations de réseau appropriées, elles ne feront que multiplier ces goulets d’étranglement et ces inefficacités.

Le réseau en tant qu’accélérateur : un changement de paradigme

La solution nécessite de repenser entièrement l’architecture du réseau. L’introduction d’un modèle qui utilise le réseau en tant qu’accélérateur renverse la pensée traditionnelle sur les performances HPC et IA pour débloquer de nouvelles capacités.

Au lieu de se concentrer principalement sur l’ajout de calcul via les GPUs et les CPUs, l’approche « réseau en tant qu’accélérateur » traite le tissu d’interconnexion comme un multiplicateur de performances. En conséquence, le réseau peut mieux supporter un calcul à haute densité et accélérer le ROI en éliminant les goulets d’étranglement, en adaptant l’échelle pour répondre aux demandes de calcul et en optimisant les investissements dans le matériel. En permettant un calcul plus important sans ralentissement, les organisations peuvent exécuter des charges de travail plus importantes dans un espace plus restreint, obtenir des résultats plus rapidement et éviter de surinvestir dans du matériel supplémentaire.

Comment fonctionne le modèle « réseau en tant qu’accélérateur »

Comment ce modèle fonctionne-t-il pour que les organisations puissent transformer leur réseau d’un simple déplaceur de données passif en un activateur actif du calcul et commencer à réaliser les avantages ? Il fournit quatre capacités clés que les réseaux traditionnels ne possèdent pas :

• Livraison garantie au niveau du matériel : Les réseaux traditionnels imposent aux CPUs et aux GPUs des tâches de suivi de paquets, de retransmission et de réorganisation, ce qui consomme des cycles de calcul qui pourraient être dédiés à la formation ou à l’inférence. Avec un tissu de réseau qui garantit la livraison au niveau du matériel, ces tâches sont déplacées loin des nœuds de calcul, ce qui se traduit par une réduction du surcharge CPU et GPU, des performances prévisibles et cohérentes et une scalabilité qui simplifie la programmation et l’orchestration du cluster.
• Routing dynamique intelligent : Le routing conventionnel repose sur des chemins fixes ou sous-optimals, qui peuvent laisser certaines parties du réseau sous-utilisées ou créer des goulets d’étranglement lorsque des volumes de données massifs s’écoulent simultanément. Le routing intelligent utilise dynamiquement tous les chemins disponibles pour optimiser le flux de trafic. Il permet un débit plus élevé avec plusieurs chemins actifs équilibrant le trafic, une latence plus faible via une sélection de chemin optimale et une résilience améliorée car le trafic du réseau se réachemine automatiquement autour des défaillances de lien ou de nœud. Cela réduit les temps d’inactivité et maintient les GPUs constamment alimentés en données.
• Reprise automatique de lien : Lorsque des paquets sont perdus ou corrompus, les réseaux standard dépendent de la couche de calcul pour détecter et renvoyer, ce qui introduit une latence significative et interrompt le flux de calcul. Un tissu avec des capacités de reprise automatique de lien intégrées gère les retransmissions à l’intérieur du réseau lui-même. Il permet une fiabilité quasi transparente car la perte de paquets devient invisible aux nœuds de calcul, tout en réduisant l’impact de la latence car les retransmissions se produisent localement au niveau du lien, et non à travers toute la pile du réseau. Il élimine également le besoin de gestion d’erreurs complexes au niveau de l’application. Les capacités de reprise automatique garantissent un calcul distribué ininterrompu et efficace, ce qui est important lorsqu’on étend à des milliers de GPUs.
• Calcul dans le réseau : Alors que les tissus de réseau traditionnels se consacrent principalement au déplacement de données, le calcul dans le réseau permet au réseau de devenir un coprocesseur en effectuant certaines opérations directement dans le tissu. NVIDIA SHARP est un exemple de premier plan – il permet des réductions sur les commutateurs de réseau eux-mêmes. Cela permet des opérations distribuées accélérées, réduit la latence car les données sont agrégées lorsqu’elles traversent le réseau et augmente l’efficacité car les nœuds de calcul sont libérés de la tâche d’agrégation, laissant plus de cycles pour la formation et la simulation.

Dans l’ensemble, ces capacités sont ce qui rend le « réseau mené par le calcul » fondamental pour mettre à l’échelle les environnements d’IA et HPC de nouvelle génération. Une approche centrée sur le réseau livre des rendements tangibles, notamment une utilisation plus élevée des GPUs qui élimine la famine de données, un temps d’obtention des résultats plus rapide qui réduit les cycles de formation et stabilise les performances d’inférence, une meilleure efficacité des ressources et un coût total de possession plus faible.

Découvrir le véritable pouvoir du réseau

L’IA à grande échelle n’est pas seulement un problème de calcul – c’est un défi d’ingénierie système, avec le réseau au centre. Traiter le réseau en tant qu’accélérateur le transforme en multiplicateur de performances pour le calcul, permettant aux centres de données HPC et IA de s’étendre en densité sans sacrifier les performances. Il livre un ROI mesurable plus rapidement en extrayant la valeur maximale de l’infrastructure existante avant d’investir dans plus de silicium.

En éliminant les goulets d’étranglement, en augmentant l’utilisation et en fournissant des performances prévisibles, un réseau plus intelligent permet à des équipes d’IA plus productives, un meilleur ROI sur l’infrastructure GPU et un temps d’obtention des résultats, d’innovation et de leadership sur le marché plus rapide. Il permet aux organisations de découvrir ce que leur réseau peut vraiment être et de exploiter le pouvoir de l’IA de nouvelles manières.