Cornelis onthult CN6000: wat 800G-netwerken betekenen voor AI en supercomputers

Cornelis heeft CN6000 geïntroduceerd, een familie netwerkproducten met een snelheid van 800 gigabit, ontworpen om de tijd te verkorten die AI-versnellers en supercomputers op gegevens moeten wachten. De opvallendste belofte: tot 1,6 miljard berichten per seconde met de Omni-Path SuperNIC. Om te begrijpen wat dat betekent, moeten we echter drie verschillende maatstaven voor netwerkprestaties uit elkaar houden: bandbreedte, berichtenfrequentie en latentie.

De aankondiging van 12 november introduceert zowel Omni-Path- als Ethernet-adapters, naast een Omni-Path-switch. Volgens Cornelis is de hardware beschikbaar voor evaluatie en vroege implementaties; systemen van partners worden in het eerste kwartaal van 2027 verwacht.

Het commerciële doel is eenvoudig: dure processors leveren meer nuttig werk wanneer het netwerk hun tempo kan bijhouden. Een snellere GPU verkort een gedistribueerde taak nauwelijks zolang die op een resultaat van een andere machine moet wachten.

Wat 800G en 1,6 miljard berichten precies betekenen

Een AI-cluster is een groep verbonden computers die samenwerken. Het netwerk vervoert alles, van grote blokken modelgegevens tot kleine coördinatieberichten. De prestaties ervan hebben meerdere dimensies:

800G staat voor 800 gigabit per seconde. Gedeeld door acht komt dat neer op een nominale 100 gigabyte per seconde, vóór aftrek van protocoloverhead en andere praktische beperkingen. Dit geeft de capaciteit voor gegevensoverdracht aan, niet hoe snel een chatbot woorden genereert.

De berichtenfrequentie meet een ander knelpunt. Het verzenden van veel kleine stukjes informatie vereist dat de adapter veel afzonderlijke bewerkingen verwerkt, zelfs wanneer die niet de volledige bandbreedte van de verbinding benutten. In de productbeschrijving van Omni-Path geeft Cornelis aan dat de snelheid van 1,6 miljard berichten bidirectioneel is. Het gaat om een gezamenlijke capaciteit, niet om de bewering dat één applicatie elke seconde evenveel opeenvolgende aanvragen afhandelt.

Latentie is van belang wanneer de volgende berekening op een bericht moet wachten. In Cornelis’ interne Intel MPI-pingpongtest met 8 bytes bedroeg de gerapporteerde latentie 0,95 microseconde voor CN6000, tegenover 1,2 microseconde voor NVIDIA InfiniBand XDR bij 800G: ongeveer 21% lager. MPI, oftewel Message Passing Interface, is een standaardmanier waarop parallelle wetenschappelijke programma’s met elkaar communiceren.

Deze test meet een specifieke uitwisseling van kleine berichten. Hij toont niet aan dat een trainingsrun, simulatie of inferentiedienst 21% sneller wordt afgerond. De uitkomst hangt af van hoe vaak de applicatie communiceert, de omvang van de gegevensoverdracht, netwerkcongestie en de rest van het systeem.

Uitleg over SuperNIC’s, switches en netwerkstructuren

Een netwerkinterfacekaart, of NIC, verbindt een server met het netwerk. ‘SuperNIC’ is Cornelis’ productterm voor zijn gespecialiseerde adapters met hoge prestaties. Een switch verbindt die serververbindingen en stuurt gegevens ertussen door. De volledige combinatie van adapters, switches, verbindingen en communicatiesoftware wordt doorgaans een netwerkstructuur genoemd.

Dit onderscheid is belangrijk bij de aanschaf van een cluster. De installatie van een krachtige adapter verbetert niet automatisch elke switch, kabel of softwareverbinding waar het verkeer gebruik van zal maken.

CN6000 biedt twee mogelijkheden voor de netwerkstructuur. Omni-Path is Cornelis’ speciaal voor parallelle berekeningen ontwikkelde interconnect. Ethernet is de veelgebruikte netwerkbasis waarmee datacentermedewerkers vertrouwd zijn. De Ethernet-adapter is bedoeld voor klanten die op zoek zijn naar communicatie met hoge prestaties en tegelijk hun compatibele Ethernet-switchinfrastructuur willen behouden. InfiniBand, de technologie in de benchmarkvergelijking, is een andere gespecialiseerde netwerkstructuur voor berekeningen; de switches ervan zijn niet uitwisselbaar met Omni-Path-switches.

Het CN6000-platform omvat daarom een familie componenten en implementatiemogelijkheden, en is geen garantie dat elke combinatie van netwerkapparatuur hetzelfde resultaat oplevert.

Hoe RoCE gegevens verplaatst met minder processorbelasting

De Ethernet SuperNIC ondersteunt RoCEv2: directe geheugentoegang op afstand via geconvergeerd Ethernet, versie twee. Het onderliggende principe, RDMA, stelt netwerkhardware in staat gegevens te verplaatsen tussen geautoriseerde geheugengebieden op verschillende machines, zonder dat de CPU van de host elke gegevenslading via het gebruikelijke netwerkpad hoeft te kopiëren.

Je kunt het vergelijken met het regelen van een rechtstreekse bezorging tussen twee goedgekeurde locaties, in plaats van een tussenpersoon telkens de inhoud te laten ontvangen en kopiëren. De CPU moet nog steeds werk verzetten om de communicatie tot stand te brengen en te beheren; het voordeel is dat zijn rol bij het verplaatsen van de gegevens zelf kleiner wordt.

In de RoCE-documentatie van NVIDIA staat dat versie twee RDMA-verkeer vervoert met IP- en UDP-headers, zodat het via gerouteerde IP-netwerken kan lopen. Een efficiënte implementatie is nog steeds afhankelijk van de netwerkconfiguratie en het gedrag bij netwerkcongestie, niet alleen van de aanwezigheid van een Ethernet-aansluiting.

In de Ethernet-productinformatie van Cornelis worden hardware-offloading, ondersteuning voor grote aantallen gelijktijdige bewerkingen en Priority Flow Control beschreven. Dit mechanisme voor verkeersregeling kan geselecteerde verkeersklassen tijdelijk stilzetten om pakketverlies te helpen voorkomen. In de aankondiging wordt Ultra Ethernet-ondersteuning in het vooruitzicht gesteld via een software-update; kopers moeten deze geplande functionaliteit onderscheiden van het aanvankelijke aanbod met RoCEv2.

Waarom AI-inferentie het werkgeheugen moet verplaatsen

AI-inferentie is het proces waarbij een getraind model wordt gebruikt om een antwoord te produceren. Bij een taalmodel bestaat dit uit de prefillfase, waarin de prompt wordt verwerkt, en de decoderingsfase, waarin het antwoord token voor token wordt gegenereerd.

Sommige systemen voor modelbediening voeren die fasen uit op afzonderlijke groepen processors, zodat elke groep op haar taak kan worden afgestemd. Dit heet gescheiden inferentie. Door die scheiding is er een overdrachtsmoment: informatie die tijdens het verwerken van de prompt is berekend, moet de processors bereiken die het antwoord genereren.

Die informatie omvat de sleutel-waardecache, meestal afgekort tot KV-cache. Daarin worden tussentijdse aandachtsgegevens opgeslagen, zodat het model eerder werk opnieuw kan gebruiken. Het is noch de volledige verzameling gewichten van het model, noch simpelweg een opgeslagen teksttranscript.

In de Dynamo-documentatie van NVIDIA wordt de volgorde beschreven: de prompt verwerken, de bijbehorende KV-cache overdragen en vervolgens tokens genereren op de decoderingsworker. Snellere overdrachten kunnen deze scheiding praktischer maken. Het verplaatsen van de cache brengt echter extra werk met zich mee; gescheiden inferentie is dus nuttig wanneer de voordelen van de planning en hardware opwegen tegen de kosten van de overdracht.

Verkeer gaande houden wanneer verbindingen drukbezet zijn

Op Omni-Path maakt de CN6000 gebruik van verkeersregeling op basis van credits: een verzender verstuurt gegevens op basis van de beschikbare capaciteit aan de ontvangende kant. Adaptieve routering kan het verkeer verdelen over beschikbare routes, terwijl meerdere netwerkvlakken afzonderlijke paden door het netwerk bieden.

In de Omni-Path-productinformatie worden twee onafhankelijke datapaden van 400G beschreven, die samen een totale bandbreedte van 800G leveren. Als onderhoud aan één netwerkvlak nodig is, kan het andere beschikbaar blijven, al blijft de oorspronkelijke volledige capaciteit niet behouden wanneer een deel van het netwerk uitvalt.

Het platform omvat ook een hardwarematige vertrouwensbasis, beveiligd opstarten en apparaatauthenticatie. Deze voorzieningen helpen vaststellen dat de firmware en de apparaatidentiteit betrouwbaar zijn. Het gebruik van postkwantumdigitale handtekeningen heeft betrekking op authenticatie en integriteit; daaruit mag niet worden afgeleid dat alle netwerkpayloads versleuteld zijn.

Bij de implementatie komt meer kijken dan pieksnelheid

De CN6000 bouwt voort op het eerdere werk van Cornelis op het gebied van schaalbare netwerkoplossingen, waaronder de uitgebreide samenwerking met AMD voor wetenschappelijke computing. De aantrekkingskracht schuilt in de combinatie van hoogwaardige interconnects met een ruimere keuze aan processors en netwerkomgevingen.

Voor kopers is het nuttig om te vergelijken hoeveel tijd en geld nodig zijn om hun eigen workloads uit te voeren. Een simulatie waarbij herhaaldelijk kleine updates worden uitgewisseld, kan baat hebben bij een lagere latentie en hogere berichtsnelheden. Een dienst die grote caches verplaatst, hecht mogelijk meer belang aan een aanhoudend hoge overdrachtssnelheid en het beheersen van netwerkcongestie. Beide hebben een geschikt netwerk, goed werkende softwareondersteuning en geschikte serverconfiguraties nodig.

De aankondiging van de CN6000 voegt een extra optie toe voor het bouwen van zulke systemen. De piekcijfers laten zien welke mogelijkheden het testen waard zijn; de praktische winst bestaat erin meer rekenkracht productief te benutten terwijl echte toepassingen draaien.