Cornelis presenterar CN6000: Vad 800G-nätverk innebär för AI och superdatorer

Cornelis har presenterat CN6000, en nätverksfamilj på 800 gigabit som är utformad för att minska den tid AI-acceleratorer och superdatorer tillbringar med att vänta på data. Det mest uppseendeväckande påståendet är att företagets Omni-Path SuperNIC klarar upp till 1,6 miljarder meddelanden per sekund. För att förstå vad det innebär måste man dock skilja mellan tre olika mått på nätverksprestanda: bandbredd, meddelandefrekvens och latens.

I tillkännagivandet den 12 november presenterades både Omni-Path- och Ethernet-adaptrar samt en Omni-Path-switch. Cornelis uppger att hårdvaran finns tillgänglig för utvärdering och tidiga driftsättningar, och att partnersystem väntas under första kvartalet 2027.

Det kommersiella målet är enkelt: dyra processorer får mer nyttigt arbete gjort när nätverket hänger med. En snabbare GPU gör föga för att korta en distribuerad arbetsuppgift om den väntar på att en annan dator ska skicka ett resultat.

Vad 800G och 1,6 miljarder meddelanden faktiskt innebär

Ett AI-kluster är en grupp sammankopplade datorer som arbetar tillsammans. Nätverket transporterar allt från stora block med modelldata till små samordningsmeddelanden. Prestandan har flera dimensioner:

800G betyder 800 gigabit per sekund. Delar man med åtta blir det nominellt 100 gigabyte per sekund, innan protokollöverhead och andra praktiska begränsningar räknas in. Måttet beskriver dataöverföringskapacitet, inte hur snabbt en chattbot genererar ord.

Meddelandefrekvens mäter en annan flaskhals. När många små informationsbitar skickas måste adaptern hantera många separata operationer, även om de inte fyller länkens bandbredd. I Cornelis produktbeskrivning för Omni-Path anges meddelandefrekvensen på 1,6 miljarder som dubbelriktad. Det är en sammanlagd kapacitet, inte ett påstående om att ett enskilt program slutför så många sekventiella förfrågningar varje sekund.

Latens spelar roll när nästa beräkning måste vänta på ett meddelande. I Cornelis interna pingpongtest med 8 byte i Intel MPI uppmättes latensen till 0,95 mikrosekunder för CN6000, jämfört med 1,2 mikrosekunder för NVIDIA InfiniBand XDR vid 800G – cirka 21 procent lägre. MPI, eller Message Passing Interface, är ett standardiserat sätt för parallella vetenskapliga program att kommunicera.

Testet mäter ett specifikt datautbyte med små meddelanden. Det visar inte att en träningskörning, simulering eller inferenstjänst blir klar 21 procent snabbare. Resultatet beror på hur ofta programmet kommunicerar, storleken på dataöverföringarna, eventuell överbelastning och resten av systemet.

SuperNIC, switchar och nätverksstrukturer förklarade

Ett nätverkskort, eller NIC, ansluter en server till nätverket. ”SuperNIC” är Cornelis produktterm för företagets specialiserade högpresterande adaptrar. En switch kopplar samman serverlänkarna och vidarebefordrar data mellan dem. Den kompletta uppsättningen av adaptrar, switchar, länkar och kommunikationsprogramvara kallas vanligtvis en nätverksstruktur.

Skillnaden är viktig när man köper ett kluster. Att installera en kapabel adapter innebär inte automatiskt att alla switchar, kablar eller programvaruvägar som trafiken passerar också uppgraderas.

CN6000 erbjuder två alternativ för nätverksstrukturen. Omni-Path är Cornelis specialbyggda sammankopplingslösning för parallell databehandling. Ethernet är den vanligt förekommande nätverksgrund som datacenteroperatörer känner till. Ethernet-adaptern riktar sig till kunder som vill ha högpresterande kommunikation och samtidigt behålla en kompatibel Ethernet-switchinfrastruktur. InfiniBand, tekniken som används i jämförelsen av riktmärken, är en annan specialiserad nätverksstruktur för databehandling; dess switchar är inte utbytbara mot Omni-Path-switchar.

CN6000-plattformen består därför av en produktfamilj med olika komponenter och driftsättningsalternativ, snarare än en garanti för att valfri kombination av nätverksutrustning ger samma resultat.

Så överför RoCE data med mindre processorbelastning

Ethernet-SuperNIC-enheten använder RoCEv2: Remote Direct Memory Access over Converged Ethernet, version två. Grundidén, RDMA, gör det möjligt för nätverkshårdvara att flytta data mellan godkända minnesområden på olika datorer utan att värddatorns CPU behöver kopiera varje datalast via den vanliga nätverksvägen.

Tänk dig att ordna en direktleverans mellan två godkända platser i stället för att be en mellanhand ta emot och kopiera innehållet om och om igen. CPU:n måste fortfarande utföra arbete för att upprätta och hantera kommunikationen; fördelen är att dess medverkan i själva dataöverföringen minskar.

NVIDIA:s dokumentation om RoCE förklarar att version två transporterar RDMA-trafik med IP- och UDP-rubriker, vilket gör att trafiken kan passera genom routade IP-nätverk. En effektiv driftsättning är fortfarande beroende av nätverkskonfigurationen och hur överbelastning hanteras, inte bara av att det finns en Ethernet-kontakt.

Cornelis produktöversikt för Ethernet beskriver hårdvaruavlastning, stöd för ett stort antal samtidiga operationer och Priority Flow Control. Den här flödeskontrollmekanismen kan pausa utvalda trafikklasser för att bidra till att undvika paketförlust. I tillkännagivandet anges att stöd för Ultra Ethernet ska komma via en programvaruuppdatering. Köpare bör skilja den planerade funktionen från det ursprungliga RoCEv2-erbjudandet.

Varför AI-inferens behöver flytta sitt arbetsminne

AI-inferens är processen där en tränad modell används för att generera ett svar. För en språkmodell omfattar den förifyllning, där prompten bearbetas, och avkodning, där svaret genereras en token i taget.

Vissa system för inferens kör stegen på separata processorgrupper, så att varje grupp kan dimensioneras för sin uppgift. Detta kallas disaggregerad inferens. Uppdelningen innebär att information som beräknas när prompten läses måste överföras till processorerna som genererar svaret.

Den informationen omfattar nyckel-värde-cachen, vanligtvis förkortad KV-cache. Den lagrar mellanliggande data från uppmärksamhetsmekanismen så att modellen kan återanvända tidigare arbete. Den är varken modellens samlade vikter eller bara en sparad texttranskription.

NVIDIA:s dokumentation om Dynamo beskriver förloppet: bearbeta prompten, överför dess KV-cache och generera sedan token på avkodningsarbetaren. Snabbare överföringar kan göra den här uppdelningen mer praktisk. Men att flytta cachen innebär också mer arbete, så disaggregering är användbar när fördelarna med schemaläggning och hårdvara uppväger kostnaden för överföringen.

Så hålls trafiken i gång när länkarna blir överbelastade

På Omni-Path använder CN6000 kreditbaserad flödeskontroll: en avsändare skickar data i en takt som motsvarar den tillgängliga kapaciteten på mottagarsidan. Adaptiv routning kan fördela trafiken över tillgängliga vägar, medan flera nätverksplan erbjuder separata vägar genom nätverksstrukturen.

I Omni-Path-produktöversikten beskrivs två oberoende dataflöden på 400G som tillsammans ger en sammanlagd bandbredd på 800G. Om en nätverksplan behöver underhåll kan den andra fortsätta vara tillgänglig, men om en del av nätverket slås ut bevaras inte hela den ursprungliga kapaciteten.

Plattformen omfattar också en hårdvarubaserad förtroenderot, säker start och enhetsattestering. Dessa funktioner bidrar till att säkerställa att den fasta programvaran och enhetens identitet är tillförlitliga. Användningen av postkvantumdigitala signaturer gäller autentisering och integritet; den ska inte tolkas som ett generellt påstående om att alla nätverkets datapaket är krypterade.

Frågan om driftsättning handlar om mer än topphastighet

CN6000 bygger vidare på Cornelis tidigare arbete med skalning ut, däribland det utökade samarbetet med AMD inom vetenskaplig databehandling. Produkten lockar genom att kombinera högeffektiva sammankopplingar med ett bredare urval av processorer och nätverksmiljöer.

För köpare är den relevanta jämförelsen den tid och kostnad som krävs för att slutföra deras egna arbetsbelastningar. En simulering som upprepade gånger utbyter små uppdateringar kan gynnas av lägre latens och högre meddelandefrekvens. En tjänst som flyttar stora cachar kan i stället prioritera jämn överföringshastighet och hantering av överbelastning. Båda kräver en lämplig nätverksstruktur, fungerande programvarustöd och kvalificerade serverkonfigurationer.

Tillkännagivandet av CN6000 ger ytterligare ett alternativ för att bygga sådana system. De angivna toppvärdena visar vilka funktioner som är värda att testa; den praktiska vinsten är att hålla en större del av beräkningskapaciteten produktiv medan verkliga program körs.