Cornelis dévoile le CN6000 : ce que le réseau 800G signifie pour l’IA et les supercalculateurs

Cornelis a présenté le CN6000, une gamme de produits réseau à 800 gigabits conçue pour réduire le temps que les accélérateurs d’IA et les supercalculateurs passent à attendre des données. Sa principale promesse est impressionnante : jusqu’à 1,6 milliard de messages par seconde avec sa SuperNIC Omni-Path. Pour comprendre ce que cela signifie, il faut toutefois distinguer trois mesures différentes des performances réseau : la bande passante, le débit de messages et la latence.

L’annonce du 12 novembre présente des cartes réseau Omni-Path et Ethernet, ainsi qu’un commutateur Omni-Path. Cornelis indique que le matériel est disponible pour évaluation et pour les premiers déploiements, et que des systèmes partenaires sont attendus au premier trimestre 2027.

L’objectif commercial est simple : les processeurs coûteux produisent davantage de travail utile lorsque le réseau suit leur cadence. Un GPU plus rapide réduit peu la durée d’une tâche distribuée si celle-ci doit attendre qu’une autre machine lui transmette un résultat.

Ce que signifient réellement 800G et 1,6 milliard de messages

Un cluster d’IA est un groupe d’ordinateurs connectés qui travaillent ensemble. Le réseau transporte aussi bien de grands blocs de données de modèles que de petits messages de coordination. Ses performances se mesurent selon plusieurs dimensions :

800G signifie 800 gigabits par seconde. En divisant par huit, on obtient un débit nominal de 100 gigaoctets par seconde, avant prise en compte de la surcharge liée aux protocoles et d’autres limites pratiques. Cette mesure décrit la capacité de transport des données, et non la vitesse à laquelle un chatbot génère des mots.

Le débit de messages mesure un autre type de goulot d’étranglement. L’envoi de nombreuses petites informations exige que la carte réseau traite de multiples opérations distinctes, même si elles n’occupent pas toute la bande passante de la liaison. Dans son document de présentation du produit Omni-Path, Cornelis indique que son débit de 1,6 milliard de messages est bidirectionnel. Il s’agit d’une capacité globale, et non de l’affirmation qu’une seule application peut effectuer autant de requêtes séquentielles chaque seconde.

La latence compte lorsque le calcul suivant doit attendre la réception d’un message. Lors d’un test interne de ping-pong avec Intel MPI et des messages de 8 octets, Cornelis a mesuré une latence de 0,95 microseconde pour le CN6000, contre 1,2 microseconde pour NVIDIA InfiniBand XDR à 800G, soit environ 21 % de moins. MPI, ou interface de passage de messages, est une méthode standard permettant aux programmes scientifiques parallèles de communiquer.

Ce test mesure un échange particulier de petits messages. Il ne démontre pas qu’un entraînement, une simulation ou un service d’inférence s’exécutera 21 % plus vite. Le résultat dépend de la fréquence des communications de l’application, de la taille de ses transferts, de la congestion et des autres composants du système.

SuperNIC, commutateurs et fabrics : explications

Une carte réseau, ou NIC, connecte un serveur au réseau. « SuperNIC » est le terme utilisé par Cornelis pour désigner ses cartes spécialisées à hautes performances. Un commutateur relie ces liaisons serveur et achemine les données entre elles. L’ensemble constitué des cartes, des commutateurs, des liaisons et des logiciels de communication est couramment appelé une architecture réseau.

Cette distinction est importante lors de l’achat d’un cluster. Installer une carte réseau performante ne met pas automatiquement à niveau tous les commutateurs, câbles ou chemins logiciels que son trafic empruntera.

Le CN6000 offre deux options d’architecture réseau. Omni-Path est l’interconnexion de Cornelis conçue spécifiquement pour le calcul parallèle. Ethernet est une technologie de réseau largement utilisée, bien connue des opérateurs de centres de données. La carte Ethernet s’adresse aux clients qui recherchent des communications à hautes performances tout en conservant une infrastructure de commutation Ethernet compatible. InfiniBand, la technologie utilisée dans la comparaison des résultats de référence, est une autre architecture réseau spécialisée pour le calcul ; ses commutateurs ne sont pas interchangeables avec ceux d’Omni-Path.

La plateforme CN6000 désigne donc une gamme de composants et d’options de déploiement, et non la garantie que n’importe quelle combinaison d’équipements réseau donnera le même résultat.

Comment RoCE transfère les données en réduisant la charge du processeur

La SuperNIC Ethernet prend en charge RoCEv2 : Remote Direct Memory Access over Converged Ethernet, version deux. Le principe sous-jacent, le RDMA, permet au matériel réseau de transférer des données entre des zones mémoire autorisées sur différentes machines, sans obliger le processeur hôte à copier chaque charge utile par le chemin réseau classique.

On peut voir cela comme l’organisation d’une livraison directe entre deux emplacements autorisés, au lieu de demander à un intermédiaire de recevoir et de recopier sans cesse le contenu. Le processeur doit toujours intervenir pour établir et gérer la communication ; l’avantage est de réduire sa participation au transfert des données lui-même.

La documentation de NVIDIA sur RoCE explique que la version 2 transporte le trafic RDMA à l’aide d’en-têtes IP et UDP, ce qui lui permet de circuler sur des réseaux IP routés. Une mise en œuvre efficace dépend toujours de la configuration du réseau et de la gestion de la congestion, et pas seulement de la présence d’un connecteur Ethernet.

La fiche produit Ethernet de Cornelis décrit le déchargement matériel, la prise en charge d’un grand nombre d’opérations simultanées et le contrôle de flux prioritaire (Priority Flow Control). Ce mécanisme de contrôle de flux peut suspendre certaines classes de trafic pour aider à éviter les pertes de paquets. L’annonce prévoit la prise en charge d’Ultra Ethernet dans le cadre d’une mise à jour logicielle ; les acheteurs doivent distinguer cette fonctionnalité prévue de l’offre initiale RoCEv2.

Pourquoi l’inférence IA doit déplacer sa mémoire de travail

L’inférence IA consiste à utiliser un modèle entraîné pour produire une réponse. Dans le cas d’un modèle de langage, elle comprend le préremplissage, qui traite l’invite, et le décodage, qui génère la réponse un jeton à la fois.

Certains systèmes de service exécutent ces étapes sur des groupes de processeurs distincts, afin que chaque groupe soit dimensionné en fonction de sa tâche. On parle alors d’inférence désagrégée. Cette séparation implique un transfert : les informations calculées lors du traitement de l’invite doivent parvenir aux processeurs qui génèrent la réponse.

Ces informations comprennent le cache clé-valeur, généralement abrégé en cache KV. Il stocke des données intermédiaires liées à l’attention afin que le modèle puisse réutiliser les calculs précédents. Il ne s’agit ni de l’ensemble des poids du modèle ni d’une simple transcription enregistrée du texte.

La documentation de NVIDIA sur Dynamo décrit la séquence : traiter l’invite, transférer son cache KV, puis générer les jetons sur le processeur de décodage. Des transferts plus rapides peuvent rendre cette séparation plus pratique. Cependant, le déplacement du cache entraîne un travail supplémentaire ; la désagrégation est donc utile lorsque les avantages liés à la planification et au matériel compensent le coût du transfert.

Maintenir le trafic en circulation lorsque les liaisons sont très sollicitées

Sur Omni-Path, le CN6000 utilise un contrôle de flux fondé sur des crédits : l’émetteur transmet en fonction de la capacité disponible du côté récepteur. Le routage adaptatif peut répartir le trafic entre les chemins disponibles, tandis que plusieurs plans réseau fournissent des chemins distincts à travers la structure réseau.

La fiche Omni-Path décrit deux voies de données indépendantes de 400G, qui fournissent ensemble une bande passante agrégée de 800G. Si un plan nécessite une intervention, l’autre peut rester disponible, mais la perte d’une partie du réseau ne permet pas de conserver sa capacité totale initiale.

La plateforme comprend également une racine de confiance matérielle, un démarrage sécurisé et une attestation de l’appareil. Ces mécanismes contribuent à garantir la fiabilité du micrologiciel et de l’identité de l’appareil. L’utilisation de signatures numériques post-quantiques concerne l’authentification et l’intégrité ; elle ne doit pas être interprétée comme une affirmation générale selon laquelle toutes les données utiles du réseau sont chiffrées.

Le déploiement ne se résume pas à la vitesse de pointe

Le CN6000 s’inscrit dans la continuité des précédents travaux de Cornelis sur les réseaux à grande échelle, notamment de la collaboration élargie avec AMD pour le calcul scientifique. Son intérêt tient à l’association d’interconnexions hautes performances avec un choix plus vaste de processeurs et d’environnements réseau.

Pour les acheteurs, la comparaison utile porte sur le temps et le coût nécessaires à l’exécution de leurs propres charges de travail. Une simulation qui échange régulièrement de petites mises à jour peut tirer parti d’une latence plus faible et d’un débit de messages plus élevé. Un service qui déplace de grands caches peut davantage privilégier le débit de transfert soutenu et la gestion de la congestion. Dans les deux cas, il faut une structure réseau adaptée, une prise en charge logicielle opérationnelle et des configurations de serveurs qualifiées.

L’annonce du CN6000 ajoute une option pour construire ces systèmes. Ses chiffres de pointe indiquent des capacités qu’il vaut la peine de tester ; le gain concret consiste à maintenir davantage de capacité de calcul en activité pendant l’exécution des applications réelles.