Cornelis představuje CN6000: Co znamená síťová technologie 800G pro AI a superpočítače

Cornelis představila řadu síťových produktů CN6000 s rychlostí 800 gigabitů, která má zkrátit dobu, po kterou akcelerátory AI a superpočítače čekají na data. Hlavní příslib je působivý: až 1,6 miliardy zpráv za sekundu na síťové kartě Omni-Path SuperNIC. Abychom pochopili, co to znamená, je ale potřeba rozlišovat tři různé ukazatele výkonu sítě: šířku pásma, rychlost zpracování zpráv a latenci.

Oznámení z 12. listopadu představuje adaptéry Omni-Path i Ethernet a také přepínač Omni-Path. Cornelis uvádí, že hardware je k dispozici k testování a pro první nasazení; partnerské systémy se očekávají v prvním čtvrtletí roku 2027.

Obchodní cíl je prostý: drahé procesory odvedou více užitečné práce, pokud s nimi síť dokáže držet krok. Rychlejší GPU příliš nezkrátí dobu zpracování distribuované úlohy, když musí čekat, až jiný počítač odešle výsledek.

Co skutečně znamená 800G a 1,6 miliardy zpráv

Cluster AI je skupina propojených počítačů, které spolupracují. Síť přenáší vše od velkých bloků dat modelu až po drobné zprávy potřebné ke koordinaci. Její výkon má několik rozměrů:

800G znamená 800 gigabitů za sekundu. Po vydělení osmi to odpovídá nominální rychlosti 100 gigabajtů za sekundu, ještě před započtením režie protokolů a dalších praktických omezení. Tento údaj popisuje kapacitu přenosu dat, nikoli rychlost, jakou chatbot vytváří slova.

Rychlost zpracování zpráv měří jiné úzké místo. Odesílání mnoha drobných částí informací vyžaduje, aby adaptér zpracovával mnoho samostatných operací, i když dohromady nevyužijí celou šířku pásma linky. Produktový přehled Omni-Path společnosti Cornelis uvádí rychlost 1,6 miliardy zpráv jako obousměrnou. Jde o souhrnnou kapacitu, nikoli o tvrzení, že jedna aplikace každou sekundu dokončí takový počet po sobě jdoucích požadavků.

Latence je důležitá, když výpočet dalšího kroku musí čekat na zprávu. V interním testu ping-pong s 8bajtovými zprávami v Intel MPI naměřila společnost Cornelis latenci 0,95 mikrosekundy u CN6000 oproti 1,2 mikrosekundy u NVIDIA InfiniBand XDR při rychlosti 800G, tedy přibližně o 21 % nižší. MPI neboli Message Passing Interface (rozhraní pro předávání zpráv) je standardní způsob komunikace paralelních vědeckých programů.

Tento test měří konkrétní výměnu malých zpráv. Nedokazuje, že trénování, simulace nebo inferenční služba skončí o 21 % rychleji. Výsledek závisí na tom, jak často aplikace komunikuje, jak velké jsou její přenosy, jaké je vytížení sítě a jak funguje zbytek systému.

Vysvětlení pojmů SuperNIC, přepínače a síťové struktury

Síťová karta neboli NIC připojuje server k síti. Označení „SuperNIC“ používá Cornelis pro své specializované vysokovýkonné adaptéry. Přepínač propojuje síťová připojení serverů a přeposílá mezi nimi data. Celé uspořádání adaptérů, přepínačů, linek a komunikačního softwaru se běžně označuje jako síťová struktura.

Tento rozdíl je při nákupu clusteru důležitý. Instalace výkonného adaptéru automaticky nezmodernizuje všechny přepínače, kabely ani softwarové cesty, kterými jeho provoz prochází.

CN6000 nabízí dvě možnosti síťové struktury. Omni-Path je specializované propojení společnosti Cornelis určené pro paralelní výpočty. Ethernet je široce používaný základ síťové infrastruktury, který správci datových center dobře znají. Ethernetový adaptér cílí na zákazníky, kteří hledají vysokovýkonnou komunikaci a zároveň chtějí zachovat kompatibilní ethernetovou infrastrukturu přepínačů. InfiniBand, technologie použitá v porovnávacím testu, je další specializovanou síťovou strukturou pro výpočty; její přepínače nejsou zaměnitelné s přepínači Omni-Path.

Platforma CN6000 proto představuje řadu komponent a možností nasazení, nikoli záruku, že libovolná kombinace síťových zařízení přinese stejný výsledek.

Jak RoCE přenáší data s menší zátěží procesoru

Ethernetová síťová karta SuperNIC podporuje RoCEv2: druhou verzi technologie vzdáleného přímého přístupu do paměti přes konvergovaný Ethernet. Základní princip, RDMA, umožňuje síťovému hardwaru přesouvat data mezi oprávněnými oblastmi paměti v různých počítačích, aniž by procesor hostitelského počítače musel každou datovou část kopírovat prostřednictvím běžné síťové cesty.

Představte si, že se zařídí přímé doručení mezi dvěma schválenými místy, místo aby prostředník musel obsah opakovaně přijímat a kopírovat. Procesor má stále práci s navazováním a správou komunikace; přínosem je menší zapojení procesoru do samotného přenosu dat.

Dokumentace NVIDIA k RoCE vysvětluje, že druhá verze přenáší provoz RDMA pomocí hlaviček IP a UDP, takže může procházet směrovanými sítěmi IP. Efektivní nasazení stále závisí na konfiguraci sítě a chování při zahlcení, nikoli pouze na přítomnosti ethernetového konektoru.

Produktový přehled společnosti Cornelis o Ethernetu popisuje odlehčení zátěže pomocí hardwaru, podporu velkého počtu souběžných operací a řízení toku s prioritami. Tento mechanismus řízení toku může pozastavit vybrané třídy provozu, a pomoci tak předcházet ztrátám paketů. Oznámení uvádí, že podpora Ultra Ethernetu bude dostupná prostřednictvím aktualizace softwaru; zákazníci by měli tuto plánovanou možnost odlišovat od počáteční nabídky RoCEv2.

Proč je při inferenci umělé inteligence potřeba přesouvat pracovní paměť

Inference umělé inteligence je proces, při němž se pomocí natrénovaného modelu vytváří odpověď. U jazykového modelu zahrnuje předzpracování, při kterém se zpracuje zadání, a dekódování, při kterém se odpověď generuje postupně, token po tokenu.

Některé systémy pro obsluhu požadavků provádějí tyto fáze v oddělených skupinách procesorů, aby bylo možné každou skupinu přizpůsobit jejímu úkolu. Tomu se říká disagregovaná inference. Toto rozdělení vyžaduje předání dat: informace vypočítané při zpracování zadání se musí dostat k procesorům, které generují odpověď.

Mezi tyto informace patří mezipaměť klíč-hodnota, obvykle zkracovaná jako mezipaměť KV. Uchovává průběžná data z mechanismu pozornosti, aby je model mohl znovu použít a nemusel opakovat již odvedenou práci. Neobsahuje ani všechny váhy modelu, ani pouhý přepis uloženého textu.

Dokumentace NVIDIA k systému Dynamo popisuje následující postup: zpracovat zadání, přenést jeho mezipaměť KV a poté generovat tokeny na pracovním uzlu pro dekódování. Rychlejší přenosy mohou takové rozdělení učinit praktičtějším. Přesun mezipaměti však přináší další práci, takže se disagregace vyplatí tehdy, když přínosy plánování a hardwaru převáží náklady na předávání dat.

Jak udržet provoz plynulý při vysokém vytížení spojů

Technologie CN6000 používá v síti Omni-Path řízení toku založené na kreditech: odesílatel vysílá data podle dostupné kapacity na straně příjemce. Adaptivní směrování může rozdělovat provoz mezi dostupné trasy, zatímco více síťových rovin zajišťuje oddělené cesty skrz síťovou infrastrukturu.

Přehled technologie Omni-Path popisuje dvě nezávislé datové cesty s rychlostí 400G, které dohromady poskytují souhrnnou šířku pásma 800G. Pokud jedna rovina vyžaduje údržbu, druhá může zůstat k dispozici, avšak výpadek části sítě neznamená zachování původní plné kapacity.

Platforma zahrnuje také hardwarový kořen důvěry, zabezpečené spouštění a ověřování zařízení. Tyto prvky pomáhají zajistit důvěryhodnost firmwaru a identity zařízení. Použití postkvantových digitálních podpisů se týká ověřování pravosti a integrity; nelze je chápat jako obecné tvrzení, že jsou šifrována všechna data přenášená sítí.

Při nasazení nejde jen o maximální rychlost

CN6000 navazuje na předchozí práci společnosti Cornelis v oblasti síťového škálování, včetně rozšířené spolupráce se společností AMD v oblasti vědeckých výpočtů. Přitažlivost tohoto řešení spočívá v kombinaci vysokovýkonných propojení s širším výběrem procesorů a síťových prostředí.

Pro zákazníky je užitečné porovnávat dobu a náklady potřebné ke zpracování jejich vlastních úloh. Simulace, která opakovaně vyměňuje malé aktualizace, může těžit z nižší latence a vyšší rychlosti zasílání zpráv. U služby, která přenáší rozsáhlé mezipaměti, může být důležitější udržitelná přenosová rychlost a chování při zahlcení. Obě řešení vyžadují vhodnou síťovou infrastrukturu, funkční softwarovou podporu a ověřené konfigurace serverů.

Oznámení o CN6000 přináší další možnost, jak tyto systémy budovat. Uváděné maximální hodnoty představují schopnosti, které stojí za to otestovat; skutečným přínosem je udržet větší část výpočetního výkonu produktivně využitou při běhu reálných aplikací.