Cornelis avduker CN6000: Hva 800G-nettverk betyr for KI og superdatamaskiner

Cornelis har lansert CN6000, en familie av 800-gigabit-nettverksprodukter som er utviklet for å redusere tiden KI-akseleratorer og superdatamaskiner bruker på å vente på data. Den mest oppsiktsvekkende påstanden er at Omni-Path SuperNIC kan håndtere opptil 1,6 milliarder meldinger i sekundet. For å forstå hva dette betyr, må man imidlertid skille mellom tre ulike mål på nettverksytelse: båndbredde, meldingsrate og latenstid.

Kunngjøringen 12. november presenterer både Omni-Path- og Ethernet-adaptere, sammen med en Omni-Path-svitsj. Cornelis opplyser at maskinvaren er tilgjengelig for evaluering og tidlige utrullinger, og at partnersystemer ventes i første kvartal 2027.

Det kommersielle målet er enkelt: Dyre prosessorer utfører mer nyttig arbeid når nettverket holder tritt med dem. En raskere GPU bidrar lite til å forkorte en distribuert jobb hvis den må vente på at en annen maskin skal sende et resultat.

Hva 800G og 1,6 milliarder meldinger faktisk betyr

En KI-klynge er en gruppe sammenkoblede datamaskiner som samarbeider. Nettverket formidler alt fra store blokker med modelldata til små koordineringsmeldinger. Ytelsen har flere dimensjoner:

800G betyr 800 gigabit per sekund. Deler man på åtte, får man en nominell hastighet på 100 gigabyte per sekund, før protokolloverhead og andre praktiske begrensninger tas med i beregningen. Dette beskriver datakapasiteten, ikke hvor raskt en chatbot genererer ord.

Meldingsraten måler en annen flaskehals. Når mange små informasjonsbiter sendes, må adapteren behandle mange separate operasjoner, selv om de ikke fyller opp båndbredden i forbindelsen. I produktbeskrivelsen for Omni-Path oppgir Cornelis at meldingsraten på 1,6 milliarder er toveis. Dette er en samlet kapasitet, ikke en påstand om at én applikasjon fullfører så mange sekvensielle forespørsler hvert sekund.

Latenstid er viktig når den neste beregningen må vente på en melding. I Cornelis’ interne pingpongtest med Intel MPI og 8 byte var den rapporterte latenstiden 0,95 mikrosekunder for CN6000, mot 1,2 mikrosekunder for NVIDIA InfiniBand XDR ved 800G – omtrent 21 % lavere. MPI, eller meldingsformidlingsgrensesnittet, er en standard måte for parallelle vitenskapelige programmer å kommunisere på.

Denne testen måler en bestemt utveksling av små meldinger. Den viser ikke at en treningskjøring, simulering eller inferenstjeneste vil bli ferdig 21 % raskere. Resultatet avhenger av hvor ofte applikasjonen kommuniserer, størrelsen på dataoverføringene, nettverkstrafikken og resten av systemet.

SuperNIC-er, svitsjer og nettverksstrukturer forklart

Et nettverkskort, eller NIC, kobler en server til nettverket. «SuperNIC» er Cornelis’ produktbetegnelse på selskapets spesialiserte adaptere med høy ytelse. En svitsj kobler sammen serverforbindelsene og videresender data mellom dem. Den samlede løsningen med adaptere, svitsjer, forbindelser og kommunikasjonsprogramvare kalles vanligvis en nettverksstruktur.

Dette skillet er viktig når man kjøper en klynge. Installasjon av en kraftig adapter oppgraderer ikke automatisk alle svitsjene, kablene eller programvareforbindelsene som trafikken passerer gjennom.

CN6000 tilbyr to alternativer for nettverksstruktur. Omni-Path er Cornelis’ spesialutviklede sammenkoblingsløsning for parallell databehandling. Ethernet er det mye brukte nettverksgrunnlaget som datasenteroperatører kjenner godt. Ethernet-adapteren retter seg mot kunder som ønsker kommunikasjon med høy ytelse, samtidig som de beholder en kompatibel Ethernet-svitsjinfrastruktur. InfiniBand, teknologien som brukes i sammenligningen av referansetester, er en annen spesialisert nettverksstruktur for databehandling; svitsjene kan ikke brukes om hverandre med Omni-Path-svitsjer.

CN6000-plattformen består derfor av en familie komponenter og utrullingsalternativer, og er ingen garanti for at enhver kombinasjon av nettverksutstyr gir samme resultat.

Slik overfører RoCE data med mindre prosessorbelastning

Ethernet-SuperNIC-en støtter RoCEv2: Remote Direct Memory Access over Converged Ethernet, versjon to. Grunntanken, RDMA, gjør det mulig for nettverksmaskinvaren å overføre data mellom autoriserte minneområder på ulike maskiner uten at vertsprosessoren må kopiere hver nyttelast gjennom den konvensjonelle nettverksbanen.

Se for deg at man legger opp til direkte levering mellom to godkjente steder, i stedet for å be en mellomstasjon om stadig å motta og kopiere innholdet. Prosessoren har fortsatt oppgaver knyttet til å opprette og administrere kommunikasjonen; fordelen er at den i mindre grad trenger å delta i selve dataoverføringen.

NVIDIAs dokumentasjon om RoCE forklarer at versjon to overfører RDMA-trafikk ved hjelp av IP- og UDP-headere, slik at den kan gå gjennom rutede IP-nettverk. Effektiv utrulling avhenger fortsatt av nettverkskonfigurasjonen og hvordan overbelastning håndteres, ikke bare av at det finnes en Ethernet-kontakt.

Cornelis’ produktbeskrivelse for Ethernet omtaler maskinvareavlasting, støtte for et stort antall samtidige operasjoner og prioritetsbasert flytkontroll. Denne flytkontrollmekanismen kan sette utvalgte trafikkklasser på pause for å bidra til å unngå pakketap. Kunngjøringen legger opp til at støtte for Ultra Ethernet skal komme gjennom en programvareoppdatering; kjøpere bør skille denne planlagte funksjonen fra det opprinnelige RoCEv2-tilbudet.

Hvorfor KI-inferens må flytte arbeidsminnet sitt

KI-inferens er prosessen der en trent modell brukes til å lage et svar. For en språkmodell omfatter dette prefylling, som behandler ledeteksten, og dekoding, som genererer svaret ett token om gangen.

Noen systemer for modellservering kjører disse trinnene på separate prosessorgrupper, slik at hver gruppe kan dimensjoneres etter oppgaven sin. Dette kalles disaggregert inferens. Oppdelingen innebærer en overføring: Informasjon som beregnes mens ledeteksten leses, må nå fram til prosessorene som genererer svaret.

Denne informasjonen omfatter nøkkel-verdi-hurtigbufferen, vanligvis forkortet til KV-hurtigbuffer. Den lagrer mellomliggende oppmerksomhetsdata, slik at modellen kan gjenbruke tidligere arbeid. Den er verken hele modellens sett med vekter eller bare en lagret tekstutskrift.

NVIDIAs dokumentasjon for Dynamo beskriver rekkefølgen: Behandle ledeteksten, overfør KV-hurtigbufferen, og generer deretter tokener på dekodingsarbeideren. Raskere overføringer kan gjøre denne oppdelingen mer praktisk. Flytting av hurtigbufferen medfører imidlertid ekstra arbeid, så disaggregert inferens er nyttig når fordelene ved planleggingen og maskinvaren veier opp for kostnaden ved overføringen.

Slik holdes trafikken i gang når forbindelsene blir belastet

CN6000 bruker kredittbasert flytkontroll på Omni-Path: En sender overfører data i tråd med kapasiteten som er tilgjengelig på mottakersiden. Adaptiv ruting kan fordele trafikken over tilgjengelige baner, mens flere nettverksplan gir separate baner gjennom nettverksstrukturen.

Produktbeskrivelsen for Omni-Path omtaler to uavhengige dataforbindelser på 400G, som til sammen gir en samlet båndbredde på 800G. Hvis den ene nettverksplanet må vedlikeholdes, kan den andre fortsatt være tilgjengelig, men tap av en del av nettverket innebærer ikke at den opprinnelige fulle kapasiteten opprettholdes.

Plattformen omfatter også en maskinvarerot for tillit, sikker oppstart og attestering av enheten. Dette bidrar til å bekrefte at fastvaren og enhetens identitet er til å stole på. Bruken av postkvantebaserte digitale signaturer gjelder autentisering og integritet; den bør ikke tolkes som en generell påstand om at alle nettverksdata er kryptert.

Distribusjon handler om mer enn topphastighet

CN6000 bygger videre på Cornelis’ tidligere arbeid med nettverk for skalering ut, blant annet det utvidede samarbeidet med AMD om vitenskapelig databehandling. Produktet er attraktivt fordi det kombinerer høyytelsesforbindelser med et bredere utvalg av prosessorer og nettverksmiljøer.

For kjøpere er den nyttige sammenligningen hvor lang tid og hvor store kostnader som kreves for å fullføre deres egne arbeidsoppgaver. En simulering som gjentatte ganger utveksler små oppdateringer, kan dra nytte av lavere ventetid og høyere meldingsfrekvens. En tjeneste som flytter store hurtigbuffere, kan være mer opptatt av vedvarende overføringshastighet og overbelastning. Begge trenger en egnet nettverksstruktur, fungerende programvarestøtte og godkjente serverkonfigurasjoner.

Kunngjøringen av CN6000 gir enda et alternativ for å bygge slike systemer. Topptallene viser hvilke egenskaper det er verdt å teste; den praktiske gevinsten er å holde mer av datakraften produktiv mens virkelige applikasjoner kjører.