Cornelis presenta CN6000: cosa significa il networking a 800G per l’IA e i supercomputer

Cornelis ha presentato CN6000, una famiglia di soluzioni di rete a 800 gigabit progettata per ridurre il tempo che gli acceleratori IA e i supercomputer trascorrono in attesa dei dati. Il dato di punta è notevole: fino a 1,6 miliardi di messaggi al secondo sulla sua SuperNIC Omni-Path. Per capire cosa significhi, tuttavia, occorre distinguere tre diverse misure delle prestazioni di rete: larghezza di banda, velocità di elaborazione dei messaggi e latenza.

L’annuncio del 12 novembre presenta sia adattatori Omni-Path sia Ethernet, oltre a uno switch Omni-Path. Cornelis afferma che l’hardware è disponibile per la valutazione e per le prime installazioni, mentre i sistemi dei partner sono attesi nel primo trimestre del 2027.

L’obiettivo commerciale è semplice: i processori costosi producono più lavoro utile quando la rete riesce a tenere il passo. Una GPU più veloce serve a poco per abbreviare un’attività distribuita se resta in attesa che un’altra macchina invii un risultato.

Cosa significano davvero 800G e 1,6 miliardi di messaggi

Un cluster di IA è un gruppo di computer collegati che lavorano insieme. La rete trasporta ogni tipo di dato, dai grandi blocchi di dati dei modelli ai piccoli messaggi di coordinamento. Le prestazioni hanno diverse dimensioni:

800G significa 800 gigabit al secondo. Dividendo per otto si ottengono 100 gigabyte al secondo nominali, prima di considerare il sovraccarico dei protocolli e altri limiti pratici. Indica la capacità di trasporto dei dati, non la velocità con cui un chatbot genera parole.

La velocità di elaborazione dei messaggi misura un diverso collo di bottiglia. L’invio di molte piccole quantità di informazioni richiede che l’adattatore elabori numerose operazioni separate, anche quando non saturano la larghezza di banda del collegamento. Il documento di presentazione del prodotto Omni-Path di Cornelis indica che la velocità di 1,6 miliardi di messaggi è bidirezionale. Si tratta di una capacità aggregata, non dell’affermazione che una singola applicazione completi altrettante richieste sequenziali ogni secondo.

La latenza è importante quando il calcolo successivo deve attendere un messaggio. Nel test ping-pong interno di Cornelis, eseguito con Intel MPI e messaggi da 8 byte, la latenza riportata era di 0,95 microsecondi per CN6000, contro 1,2 microsecondi per NVIDIA InfiniBand XDR a 800G: circa il 21% in meno. MPI, acronimo di Message Passing Interface (interfaccia di passaggio dei messaggi), è un metodo standard di comunicazione per i programmi scientifici paralleli.

Il test misura uno specifico scambio di messaggi di piccole dimensioni. Non dimostra che un’esecuzione di addestramento, una simulazione o un servizio di inferenza terminerà il 21% più velocemente. Il risultato dipende dalla frequenza con cui l’applicazione comunica, dalle dimensioni dei trasferimenti, dalla congestione e dal resto del sistema.

SuperNIC, switch e infrastrutture di rete: una spiegazione

Una scheda di rete, o NIC, collega un server alla rete. «SuperNIC» è il termine commerciale usato da Cornelis per i suoi adattatori specializzati ad alte prestazioni. Uno switch collega i collegamenti dei server e inoltra i dati tra di essi. L’insieme di adattatori, switch, collegamenti e software di comunicazione è comunemente chiamato infrastruttura di rete.

Questa distinzione è importante quando si acquista un cluster. Installare un adattatore performante non aggiorna automaticamente ogni switch, cavo o percorso software che il relativo traffico dovrà attraversare.

CN6000 offre due opzioni per l’infrastruttura di rete. Omni-Path è l’interconnessione di Cornelis progettata appositamente per il calcolo parallelo. Ethernet è la diffusa tecnologia di rete di base, ben nota ai gestori dei data center. L’adattatore Ethernet si rivolge ai clienti che cercano comunicazioni ad alte prestazioni mantenendo un’infrastruttura di commutazione Ethernet compatibile. InfiniBand, la tecnologia usata nel confronto dei benchmark, è un’altra infrastruttura di rete specializzata per il calcolo; i suoi switch non sono intercambiabili con quelli Omni-Path.

La piattaforma CN6000 rappresenta quindi una famiglia di componenti e opzioni di implementazione, non una garanzia che qualsiasi combinazione di apparecchiature di rete produca lo stesso risultato.

Come RoCE trasferisce i dati riducendo il carico sul processore

La SuperNIC Ethernet implementa RoCEv2: Remote Direct Memory Access su Ethernet convergente, versione 2. Il principio alla base, RDMA, consente all’hardware di rete di trasferire dati tra aree di memoria autorizzate su macchine diverse, senza che la CPU host debba copiare ogni carico utile attraverso il normale percorso di rete.

È come organizzare una consegna diretta tra due luoghi autorizzati, invece di chiedere a un intermediario di ricevere e copiare ripetutamente il contenuto. La CPU deve comunque occuparsi di avviare e gestire la comunicazione; il vantaggio consiste nel ridurne il coinvolgimento nel trasferimento dei dati vero e proprio.

La documentazione di NVIDIA su RoCE spiega che la versione 2 trasporta il traffico RDMA usando intestazioni IP e UDP, consentendogli di attraversare reti IP instradate. Un’implementazione efficiente dipende comunque dalla configurazione della rete e dal comportamento in caso di congestione, non dalla semplice presenza di un connettore Ethernet.

La scheda prodotto Ethernet di Cornelis descrive lo scaricamento delle operazioni sull’hardware, il supporto per un gran numero di operazioni simultanee e il controllo di flusso prioritario. Questo meccanismo di controllo del flusso può sospendere classi di traffico selezionate per contribuire a evitare la perdita di pacchetti. L’annuncio prevede che il supporto per Ultra Ethernet venga introdotto tramite un aggiornamento software; gli acquirenti dovrebbero distinguere questa funzionalità pianificata dall’offerta iniziale basata su RoCEv2.

Perché l’inferenza IA deve spostare la propria memoria di lavoro

L’inferenza IA è il processo con cui si usa un modello addestrato per produrre una risposta. Per un modello linguistico, comprende la fase di elaborazione preliminare, che elabora il prompt, e la decodifica, che genera la risposta un token alla volta.

Alcuni sistemi di inferenza eseguono queste fasi su gruppi separati di processori, così da dimensionare ciascun gruppo in base al compito che deve svolgere. Questo approccio è chiamato inferenza disaggregata. La separazione comporta un passaggio di consegne: le informazioni calcolate durante la lettura del prompt devono raggiungere i processori che generano la risposta.

Queste informazioni includono la cache chiave-valore, spesso abbreviata in cache KV. Contiene dati intermedi dell’attenzione, consentendo al modello di riutilizzare il lavoro già svolto. Non corrisponde né all’insieme completo dei pesi del modello né a una semplice trascrizione testuale salvata.

La documentazione di NVIDIA su Dynamo descrive la sequenza: elaborare il prompt, trasferire la relativa cache KV e poi generare i token sul worker di decodifica. Trasferimenti più rapidi possono rendere più praticabile questa separazione. Tuttavia, spostare la cache comporta un lavoro aggiuntivo; l’inferenza disaggregata è quindi utile quando i vantaggi in termini di pianificazione e hardware superano il costo del passaggio di consegne.

Mantenere il traffico in movimento quando i collegamenti si congestionano

Su Omni-Path, CN6000 usa il controllo di flusso basato su crediti: il mittente trasmette in funzione della capacità disponibile sul lato ricevente. Il routing adattivo può distribuire il traffico sui percorsi disponibili, mentre più piani di rete offrono percorsi separati attraverso il fabric.

La scheda informativa di Omni-Path descrive due percorsi dati indipendenti da 400G che, insieme, forniscono una larghezza di banda aggregata di 800G. Se un piano necessita di manutenzione, l’altro può rimanere disponibile, anche se la perdita di una parte della rete non consente di mantenere la capacità massima originale.

La piattaforma comprende inoltre una radice di fiducia hardware, l’avvio sicuro e l’attestazione del dispositivo. Queste funzionalità aiutano a verificare l’affidabilità del firmware e dell’identità del dispositivo. L’uso di firme digitali post-quantistiche riguarda l’autenticazione e l’integrità; non va interpretato come un’affermazione generale secondo cui ogni dato trasmesso sulla rete è crittografato.

La scelta di implementazione va oltre la velocità di picco

CN6000 si inserisce nel solco del precedente lavoro di Cornelis sulle reti scale-out, che comprende la collaborazione ampliata con AMD per il calcolo scientifico. Il suo punto di forza è la combinazione di interconnessioni ad alte prestazioni con una più ampia scelta di processori e ambienti di rete.

Per gli acquirenti, il confronto utile riguarda il tempo e il costo necessari per completare i propri carichi di lavoro. Una simulazione che scambia ripetutamente piccoli aggiornamenti può trarre vantaggio da una latenza inferiore e da un numero maggiore di messaggi al secondo. Un servizio che trasferisce grandi cache può invece dare più importanza alla velocità di trasferimento sostenuta e alla congestione. Entrambi richiedono un fabric adeguato, un supporto software funzionante e configurazioni di server qualificate.

L’annuncio di CN6000 aggiunge un’altra opzione per realizzare questi sistemi. I valori di picco indicano capacità che vale la pena verificare; il vantaggio concreto consiste nel mantenere una maggiore capacità di calcolo produttiva durante l’esecuzione di applicazioni reali.