Cornelis esittelee CN6000:n: mitä 800G-verkkoyhteydet merkitsevät tekoälylle ja supertietokoneille

Cornelis on esitellyt CN6000:n, 800 gigabitin verkkotuoteperheen, jonka tarkoituksena on vähentää aikaa, jonka tekoälykiihdyttimet ja supertietokoneet joutuvat odottamaan dataa. Sen keskeinen lupaus on huomionarvoinen: Omni-Path SuperNIC pystyy käsittelemään jopa 1,6 miljardia viestiä sekunnissa. Luvun merkityksen ymmärtäminen edellyttää kuitenkin kolmen eri verkon suorituskykymittarin erottamista toisistaan: kaistanleveyden, viestinopeuden ja viiveen.

12. marraskuuta julkaistussa tiedotteessa esitellään sekä Omni-Path- että Ethernet-sovittimet ja lisäksi Omni-Path-kytkin. Corneliksen mukaan laitteistoa on saatavilla arviointiin ja ensimmäisiin käyttöönottoihin, ja kumppaneiden järjestelmien odotetaan valmistuvan vuoden 2027 ensimmäisellä neljänneksellä.

Kaupallinen tavoite on yksinkertainen: kalliit prosessorit saavat enemmän hyödyllistä työtä aikaan, kun verkko pysyy niiden tahdissa. Nopeampi grafiikkasuoritin ei juuri nopeuta hajautettua tehtävää, jos se joutuu odottamaan toisen koneen lähettämää tulosta.

Mitä 800G ja 1,6 miljardia viestiä todella tarkoittavat

Tekoälyklusteri on joukko toisiinsa liitettyjä tietokoneita, jotka työskentelevät yhdessä. Verkossa siirtyy kaikkea suurista mallidatamääristä pieniin koordinointiviesteihin. Verkon suorituskykyä voidaan mitata useilla eri tavoilla:

800G tarkoittaa 800 gigabittiä sekunnissa. Kun luku jaetaan kahdeksalla, saadaan nimelliseksi nopeudeksi 100 gigatavua sekunnissa ennen protokollien aiheuttamaa lisäkuormaa ja muita käytännön rajoituksia. Luku kuvaa datansiirtokapasiteettia, ei sitä, kuinka nopeasti keskustelubotti tuottaa sanoja.

Viestinopeus mittaa toisenlaista pullonkaulaa. Monien pienten tietomäärien lähettäminen edellyttää, että sovitin käsittelee useita erillisiä toimintoja, vaikka ne eivät täyttäisi linkin koko kaistanleveyttä. Corneliksen Omni-Path-tuotekuvauksessa 1,6 miljardin viestin sekuntinopeus määritellään kaksisuuntaiseksi. Kyse on yhteenlasketusta kapasiteetista, ei väitteestä, että yksi sovellus suorittaisi näin monta peräkkäistä pyyntöä joka sekunti.

Viiveellä on merkitystä, kun seuraavan laskutoimituksen on odotettava viestiä. Corneliksen sisäisessä 8 tavun Intel MPI -pingispong-testissä CN6000:n viiveeksi ilmoitettiin 0,95 mikrosekuntia, kun NVIDIA InfiniBand XDR:n vastaava luku oli 1,2 mikrosekuntia 800G-nopeudella. Viive oli siis noin 21 % pienempi. MPI eli Message Passing Interface on rinnakkaisten tieteellisten ohjelmien vakiintunut tiedonsiirtotapa.

Testissä mitataan tietynlaista pienten viestien vaihtoa. Se ei osoita, että koulutusajo, simulointi tai päättelypalvelu valmistuisi 21 % nopeammin. Tulokseen vaikuttavat sovelluksen viestintätiheys, siirrettävien tietomäärien koko, ruuhkat ja järjestelmän muut osat.

SuperNICit, kytkimet ja verkkorakenteet selitettyinä

Verkkokortti eli NIC yhdistää palvelimen verkkoon. ”SuperNIC” on Corneliksen käyttämä tuotenimitys sen erikoistuneille, suorituskykyisille verkkosovittimille. Kytkin yhdistää palvelimien verkkoyhteydet ja välittää dataa niiden välillä. Sovittimien, kytkimien, yhteyksien ja tiedonsiirto-ohjelmiston kokonaisuutta kutsutaan yleensä verkkorakenteeksi.

Ero on tärkeä klusteria hankittaessa. Suorituskykyisen sovittimen asentaminen ei automaattisesti päivitä kaikkia kytkimiä, kaapeleita tai ohjelmiston käyttämiä yhteysreittejä, joiden kautta sen liikenne kulkee.

CN6000 tarjoaa kaksi verkkorakennevaihtoehtoa. Omni-Path on Corneliksen rinnakkaislaskentaan suunniteltu verkkotekniikka. Ethernet on laajalti käytetty verkkotekniikka, joka on tuttu datakeskusten ylläpitäjille. Ethernet-sovitin on tarkoitettu asiakkaille, jotka haluavat suorituskykyisen tiedonsiirron ja voivat samalla hyödyntää yhteensopivaa Ethernet-kytkininfrastruktuuria. Vertailutestissä käytetty InfiniBand on toinen erikoistunut laskentaverkkotekniikka; sen kytkimet eivät ole yhteensopivia Omni-Path-kytkimien kanssa.

CN6000-alusta tarkoittaa siis komponenttien ja käyttöönottovaihtoehtojen tuoteperhettä, ei takuuta siitä, että mikä tahansa verkkolaitteiden yhdistelmä tuottaisi saman tuloksen.

Näin RoCE siirtää dataa pienemmällä prosessorikuormalla

Ethernet SuperNIC tukee RoCEv2:ta eli Remote Direct Memory Access over Converged Ethernet -tekniikan toista versiota. Sen taustalla oleva RDMA mahdollistaa sen, että verkkolaitteisto siirtää dataa eri koneissa sijaitsevien, käyttöoikeuksin suojattujen muistialueiden välillä ilman, että isäntäkeskusyksikön on kopioitava jokainen tietosisältö tavanomaisen verkkoyhteyden kautta.

Voit ajatella sitä suorana toimituksena kahden hyväksytyn kohteen välillä sen sijaan, että välikäsi vastaanottaisi ja kopioisi sisältöä toistuvasti. Keskusyksiköllä on edelleen tehtävää yhteyden muodostamisessa ja hallinnassa; hyöty syntyy siitä, että sen osallistumista itse tiedonsiirtoon voidaan vähentää.

NVIDIAn RoCE-dokumentaatiossa selitetään, että versio kaksi kuljettaa RDMA-liikennettä IP- ja UDP-otsakkeiden avulla, joten se voi kulkea reititetyissä IP-verkoissa. Tehokas käyttöönotto riippuu kuitenkin edelleen verkon määrityksistä ja ruuhkatilanteista, ei pelkästään Ethernet-liitännän olemassaolosta.

Corneliksen Ethernet-tuotekuvauksessa esitellään laitteistolle siirrettyjä toimintoja, tuki suurelle määrälle samanaikaisia toimintoja sekä prioriteettivuonohjaus. Tämä vuonohjausmekanismi voi pysäyttää valittujen liikenneluokkien liikenteen tilapäisesti ja auttaa näin välttämään pakettihävikkiä. Julkistuksen mukaan Ultra Ethernet -tuki on tarkoitus tuoda ohjelmistopäivityksenä. Ostajien kannattaa erottaa tämä suunniteltu ominaisuus alkuperäisestä RoCEv2-tarjonnasta.

Miksi tekoälyn päättely tarvitsee työmuistinsa siirtämistä

Tekoälyn päättelyllä tarkoitetaan prosessia, jossa koulutettu malli tuottaa vastauksen. Kielimallissa siihen kuuluvat esitäyttö, jossa käsitellään kehote, ja dekoodaus, jossa vastaus tuotetaan yksi token kerrallaan.

Joissakin palvelujärjestelmissä nämä vaiheet suoritetaan erillisillä prosessoriryhmillä, jolloin kunkin ryhmän koko voidaan mitoittaa sen tehtävään sopivaksi. Tätä kutsutaan hajautetuksi päättelyksi. Vaiheiden erottaminen edellyttää tiedonsiirtoa: kehotetta luettaessa lasketut tiedot on saatava vastausta tuottaville prosessoreille.

Näihin tietoihin kuuluu avain-arvovälimuisti, josta käytetään yleensä lyhennettä KV-välimuisti. Siihen tallennetaan välivaiheen huomiotietoja, jotta malli voi hyödyntää aiemmin tehtyä työtä uudelleen. Se ei sisällä mallin kaikkia painoja eikä ole vain tallennettu tekstiversio keskustelusta.

NVIDIAn Dynamo-dokumentaatiossa kuvataan tapahtumien järjestys: ensin käsitellään kehote, sitten siirretään sen KV-välimuisti ja lopuksi tuotetaan tokenit dekoodauspalvelimella. Nopeammat siirrot voivat tehdä vaiheiden erottamisesta käytännöllisempää. Välimuistin siirtäminen kuitenkin lisää omaa työmääräänsä, joten hajauttaminen on hyödyllistä silloin, kun ajoituksen ja laitteiston edut ovat siirtokustannuksia suuremmat.

Näin liikenne kulkee, vaikka yhteydet ruuhkautuvat

Omni-Pathissa CN6000 käyttää krediittipohjaista vuonohjausta: lähettäjä lähettää dataa vastaanottavan pään käytettävissä olevan kapasiteetin mukaisesti. Mukautuva reititys voi jakaa liikennettä käytettävissä oleville reiteille, ja useat verkkotasot tarjoavat erillisiä reittejä verkkokankaan läpi.

Omni-Path-tuotekuvauksessa esitellään kaksi toisistaan riippumatonta 400G:n datayhteyttä, joiden yhteenlaskettu kaistanleveys on 800G. Jos toinen taso vaatii huoltoa, toinen voi pysyä käytettävissä, mutta verkon osan menettäminen ei säilytä sen alkuperäistä täyttä kapasiteettia.

Alustaan kuuluvat myös laitteistopohjainen luottamuksen juuri, suojattu käynnistys ja laitteen aitouden todentaminen. Ne auttavat varmistamaan, että laiteohjelmistoon ja laitteen identiteettiin voi luottaa. Kvanttiturvallisten digitaalisten allekirjoitusten käyttö liittyy tunnistautumiseen ja eheyden varmistamiseen; siitä ei pidä päätellä, että kaikki verkkoliikenteen sisältö olisi salattu.

Käyttöönotossa on huomioitava muutakin kuin huippunopeus

CN6000 jatkaa Corneliksen aiempaa skaalautuvan verkkotekniikan kehitystyötä, johon kuuluu myös laajentunut yhteistyö AMD:n kanssa tieteellisen laskennan alalla. Tuotteen vetovoima perustuu tehokkaiden liitäntöjen yhdistämiseen entistä laajempaan prosessori- ja verkkoympäristöjen valikoimaan.

Ostajien kannalta hyödyllinen vertailukohta on se, kuinka paljon aikaa ja rahaa heidän oman työkuormansa suorittaminen vaatii. Simulaatio, jossa vaihdetaan toistuvasti pieniä päivityksiä, voi hyötyä pienemmästä viiveestä ja suuremmasta viestimäärästä. Suuria välimuisteja siirtävän palvelun kannalta tärkeämpiä voivat olla jatkuva siirtonopeus ja ruuhkatilanne. Molemmat tarvitsevat tarkoitukseen sopivan verkkokankaan, toimivan ohjelmistotuen ja yhteensopiviksi testatut palvelinkokoonpanot.

CN6000:n julkistus tuo järjestelmien rakentamiseen yhden vaihtoehdon lisää. Huippuarvot kertovat ominaisuuksista, jotka kannattaa testata; käytännön hyöty näkyy siinä, että suurempi osa laskentakapasiteetista pysyy tuottavassa käytössä oikeita sovelluksia suoritettaessa.