Cornelis lancerer CN6000: Hvad 800G-netværk betyder for AI og supercomputere

Cornelis har introduceret CN6000, en familie af 800-gigabit-netværksprodukter, der er udviklet til at reducere den tid, AI-acceleratorer og supercomputere bruger på at vente på data. Den mest opsigtsvækkende påstand er op til 1,6 milliarder meddelelser i sekundet på virksomhedens Omni-Path SuperNIC. For at forstå, hvad det betyder, skal man dog skelne mellem tre forskellige mål for netværksydelse: båndbredde, meddelelsesrate og latenstid.

Meddelelsen den 12. november introducerer både Omni-Path- og Ethernet-adaptere samt en Omni-Path-switch. Cornelis oplyser, at hardwaren kan fås til evaluering og tidlige implementeringer, og at partnersystemer forventes i første kvartal af 2027.

Det kommercielle mål er enkelt: Dyre processorer udfører mere nyttigt arbejde, når netværket kan følge med. En hurtigere GPU gør kun lidt for at forkorte et distribueret job, mens den venter på, at en anden maskine sender et resultat.

Hvad 800G og 1,6 milliarder meddelelser egentlig betyder

En AI-klynge er en gruppe forbundne computere, der arbejder sammen. Netværket transporterer alt fra store blokke modeldata til små koordineringsmeddelelser. Netværkets ydelse har flere dimensioner:

800G betyder 800 gigabit pr. sekund. Dividerer man med otte, får man en nominel hastighed på 100 gigabyte pr. sekund, før protokoloverhead og andre praktiske begrænsninger medregnes. Det beskriver datakapaciteten, ikke hvor hurtigt en chatbot genererer ord.

Meddelelsesraten måler en anden flaskehals. Når mange små informationsstykker sendes, skal adapteren behandle mange separate operationer, selv når de ikke udnytter forbindelsens fulde båndbredde. Cornelis angiver i sin produktbeskrivelse af Omni-Path, at meddelelsesraten på 1,6 milliarder er tovejs. Det er en samlet kapacitet, ikke en påstand om, at én applikation gennemfører så mange sekventielle anmodninger hvert sekund.

Latenstid er vigtig, når den næste beregning må vente på en meddelelse. I Cornelis’ interne Intel MPI-pingpongtest med 8 byte var den rapporterede latenstid 0,95 mikrosekunder for CN6000 mod 1,2 mikrosekunder for NVIDIA InfiniBand XDR ved 800G, hvilket er cirka 21 % lavere. MPI, eller Message Passing Interface, er en standardmetode, som parallelle videnskabelige programmer bruger til at kommunikere.

Testen måler en bestemt udveksling af små meddelelser. Den viser ikke, at en træningskørsel, simulering eller inferenstjeneste bliver færdig 21 % hurtigere. Resultatet afhænger af, hvor ofte applikationen kommunikerer, størrelsen på dens dataoverførsler, overbelastning og resten af systemet.

SuperNIC’er, switche og netværksstrukturer forklaret

Et netværkskort, eller NIC, forbinder en server med netværket. »SuperNIC« er Cornelis’ produktbetegnelse for virksomhedens specialiserede højtydende adaptere. En switch forbinder serverforbindelserne og videresender data mellem dem. Den samlede sammensætning af adaptere, switche, forbindelser og kommunikationssoftware kaldes almindeligvis en netværksstruktur.

Denne forskel er vigtig, når man køber en klynge. Installation af en avanceret adapter opgraderer ikke automatisk alle de switche, kabler eller softwareveje, som dens trafik passerer igennem.

CN6000 tilbyder to muligheder for netværksstrukturen. Omni-Path er Cornelis’ specialudviklede forbindelsesteknologi til parallel databehandling. Ethernet er det udbredte netværksgrundlag, som datacenteroperatører kender. Ethernet-adapteren er rettet mod kunder, der ønsker højtydende kommunikation og samtidig vil bevare en kompatibel Ethernet-switchinfrastruktur. InfiniBand, teknologien i benchmark-sammenligningen, er en anden specialiseret netværksstruktur til databehandling; dens switche kan ikke bruges sammen med Omni-Path-switche.

CN6000-platformen er derfor en familie af komponenter og implementeringsmuligheder, ikke en garanti for, at enhver kombination af netværksudstyr giver samme resultat.

Sådan overfører RoCE data med mindre processorbelastning

Ethernet SuperNIC’en implementerer RoCEv2: direkte fjernadgang til hukommelse over konvergeret Ethernet, version to. Grundidéen i RDMA er, at netværkshardwaren kan flytte data mellem godkendte hukommelsesområder på forskellige maskiner, uden at værts-CPU’en skal kopiere hver enkelt nyttelast gennem den konventionelle netværkssti.

Tænk på det som at arrangere en direkte levering mellem to godkendte steder i stedet for gentagne gange at bede en mellemmand modtage og kopiere indholdet. CPU’en har stadig opgaver i forbindelse med etablering og styring af kommunikationen; fordelen er, at dens rolle i selve dataflytningen reduceres.

NVIDIA’s RoCE-dokumentation forklarer, at version to transporterer RDMA-trafik ved hjælp af IP- og UDP-headere, så trafikken kan passere gennem routede IP-netværk. En effektiv implementering afhænger stadig af netværkskonfigurationen og håndteringen af overbelastning, ikke blot af, at der er et Ethernet-stik.

Cornelis’ produktbeskrivelse af Ethernet beskriver hardwareaflastning, understøttelse af et stort antal samtidige operationer og prioritetsflowkontrol. Denne flowkontrolmekanisme kan sætte udvalgte trafikklasser på pause for at hjælpe med at undgå pakketab. Meddelelsen placerer understøttelse af Ultra Ethernet på en sti med softwareopdateringer; købere bør skelne mellem denne planlagte funktion og det oprindelige RoCEv2-udbud.

Hvorfor AI-inferens kræver, at arbejdshukommelsen flyttes

AI-inferens er processen, hvor en trænet model bruges til at generere et svar. For en sprogmodel omfatter den præfyldning, hvor prompten behandles, og afkodning, hvor svaret genereres ét token ad gangen.

Nogle systemer til afvikling af modeller kører disse trin på separate grupper af processorer, så hver gruppe kan dimensioneres efter sin opgave. Det kaldes disaggregeret inferens. Opdelingen medfører en overdragelse: De oplysninger, der beregnes under læsningen af prompten, skal nå frem til de processorer, der genererer svaret.

Disse oplysninger omfatter nøgle-værdi-cachen, som ofte forkortes til KV-cache. Den gemmer mellemliggende data fra attention-mekanismen, så modellen kan genbruge tidligere arbejde. Den indeholder hverken alle modellens vægte eller blot en gemt tekstudskrift.

NVIDIA’s dokumentation til Dynamo beskriver rækkefølgen: Behandl prompten, overfør dens KV-cache, og generér derefter tokens på afkodningsarbejderen. Hurtigere overførsler kan gøre denne opdeling mere praktisk. Men flytningen af cachen kræver også ekstra arbejde, så disaggregering er nyttig, når fordelene ved planlægning og hardware opvejer omkostningerne ved overdragelsen.

Sådan holdes trafikken i gang, når forbindelserne bliver belastede

På Omni-Path anvender CN6000 kreditbaseret flowkontrol: En afsender sender data i overensstemmelse med den kapacitet, der er til rådighed på modtagersiden. Adaptiv routing kan fordele trafikken over de tilgængelige forbindelsesveje, mens flere netværksplaner giver separate veje gennem fabric-netværket.

Beskrivelsen af Omni-Path omtaler to uafhængige dataforbindelser på 400G, som tilsammen giver en samlet båndbredde på 800G. Hvis den ene netværksplan skal serviceres, kan den anden stadig være tilgængelig, men et tab af en del af netværket betyder ikke, at den oprindelige fulde kapacitet bevares.

Platformen omfatter også en hardwarebaseret tillidsrod, sikker opstart og enhedsgodkendelse. Disse funktioner hjælper med at fastslå, at firmwaren og enhedens identitet er troværdige. Brugen af postkvante-digitale signaturer vedrører godkendelse og integritet; den bør ikke opfattes som en generel påstand om, at alle netværksdata er krypteret.

Spørgsmålet om implementering handler om mere end maksimal hastighed

CN6000 bygger videre på Cornelis’ tidligere arbejde med skalering af netværk, herunder det udvidede samarbejde med AMD om videnskabelig databehandling. Produktets styrke er kombinationen af højtydende forbindelser med et bredere udvalg af processorer og netværksmiljøer.

For købere er den relevante sammenligning den tid og de omkostninger, det kræver at gennemføre deres egen arbejdsopgave. En simulering, der gentagne gange udveksler små opdateringer, kan have fordel af lavere latenstid og højere meddelelsesrater. En tjeneste, der flytter store cacher, kan lægge større vægt på vedvarende overførselshastighed og overbelastning. Begge dele kræver et passende fabric-netværk, fungerende softwareunderstøttelse og kvalificerede serverkonfigurationer.

Meddelelsen om CN6000 føjer endnu en mulighed til, når sådanne systemer skal bygges. De maksimale tal angiver egenskaber, der er værd at afprøve; den praktiske gevinst er at holde mere regnekraft produktiv, mens virkelige applikationer kører.