Cornelis przedstawia CN6000: co oznacza sieć 800G dla sztucznej inteligencji i superkomputerów

Cornelis wprowadził CN6000 — rodzinę rozwiązań sieciowych 800 Gb/s zaprojektowanych tak, by skrócić czas, jaki akceleratory AI i superkomputery spędzają na oczekiwaniu na dane. Najbardziej uderzająca deklaracja dotyczy przepustowości do 1,6 miliarda komunikatów na sekundę w urządzeniu Omni-Path SuperNIC. Aby zrozumieć, co to oznacza, trzeba jednak rozróżnić trzy miary wydajności sieci: przepustowość, liczbę komunikatów na sekundę i opóźnienie.

Ogłoszenie z 12 listopada dotyczy zarówno kart sieciowych Omni-Path i Ethernet, jak i przełącznika Omni-Path. Cornelis informuje, że sprzęt jest już dostępny do testów i pierwszych wdrożeń, a systemy partnerów mają pojawić się w pierwszym kwartale 2027 roku.

Cel biznesowy jest prosty: kosztowne procesory wykonują więcej użytecznej pracy, gdy sieć nadąża za ich możliwościami. Szybszy układ GPU niewiele skraca czas zadania rozproszonego, jeśli musi czekać, aż inna maszyna prześle wynik.

Co naprawdę oznaczają 800G i 1,6 miliarda komunikatów

Klaster AI to grupa połączonych komputerów, które współpracują ze sobą. Sieć przesyła zarówno duże bloki danych modelu, jak i niewielkie komunikaty koordynacyjne. Jej wydajność można opisać za pomocą kilku parametrów:

800G oznacza 800 gigabitów na sekundę. Po podzieleniu tej wartości przez osiem otrzymujemy nominalnie 100 gigabajtów na sekundę, przed uwzględnieniem narzutu protokołów i innych ograniczeń w praktyce. Wartość ta opisuje zdolność przesyłania danych, a nie szybkość generowania słów przez chatbota.

Liczba komunikatów na sekundę mierzy inny rodzaj ograniczenia. Wysyłanie wielu niewielkich porcji informacji wymaga od karty sieciowej obsługi wielu oddzielnych operacji, nawet jeśli nie wykorzystują one całej przepustowości łącza. W karcie produktu Omni-Path firmy Cornelis wartość 1,6 miliarda komunikatów na sekundę określono jako dwukierunkową. Jest to łączna zdolność, a nie deklaracja, że jedna aplikacja wykonuje tyle kolejnych żądań w ciągu sekundy.

Opóźnienie ma znaczenie, gdy kolejne obliczenie musi czekać na komunikat. W wewnętrznym teście ping-pong firmy Cornelis, przeprowadzonym z użyciem Intel MPI i komunikatów o rozmiarze 8 bajtów, zmierzone opóźnienie wyniosło 0,95 mikrosekundy dla CN6000, wobec 1,2 mikrosekundy dla NVIDIA InfiniBand XDR przy 800G, czyli było niższe o około 21%. MPI, czyli Message Passing Interface (interfejs przekazywania komunikatów), to standardowy sposób komunikacji między równoległymi programami naukowymi.

Test ten mierzy konkretną wymianę niewielkich komunikatów. Nie dowodzi, że trenowanie modelu, symulacja ani usługa wnioskowania zakończą się o 21% szybciej. Wynik zależy od tego, jak często aplikacja się komunikuje, jak duże są przesyłane dane, jakie występuje przeciążenie oraz od pozostałych elementów systemu.

SuperNIC, przełączniki i struktury sieciowe — wyjaśnienie

Karta sieciowa (NIC) łączy serwer z siecią. „SuperNIC” to stosowane przez Cornelis określenie wyspecjalizowanych kart sieciowych o wysokiej wydajności. Przełącznik łączy łącza serwerów i przekazuje między nimi dane. Cały układ kart sieciowych, przełączników, łączy i oprogramowania komunikacyjnego jest powszechnie nazywany strukturą sieciową.

To rozróżnienie ma znaczenie przy zakupie klastra. Zainstalowanie wydajnej karty sieciowej nie oznacza automatycznej modernizacji wszystkich przełączników, kabli ani ścieżek programowych, z których będzie korzystać przesyłany ruch.

CN6000 oferuje dwie opcje struktury sieciowej. Omni-Path to stworzona przez Cornelis technologia połączeń przeznaczona do obliczeń równoległych. Ethernet to powszechnie stosowana podstawa sieci, dobrze znana operatorom centrów danych. Karta Ethernet jest przeznaczona dla klientów, którzy oczekują wysokiej wydajności komunikacji, a zarazem chcą zachować zgodną infrastrukturę przełączników Ethernet. InfiniBand, technologia wykorzystana w porównaniu wyników testów, to kolejna wyspecjalizowana struktura sieciowa do obliczeń; jej przełączników nie można stosować zamiennie z przełącznikami Omni-Path.

Platforma CN6000 obejmuje zatem rodzinę komponentów i opcji wdrożeniowych, a nie gwarancję, że dowolna konfiguracja sprzętu sieciowego przyniesie taki sam rezultat.

Jak RoCE przesyła dane przy mniejszym obciążeniu procesora

Karta Ethernet SuperNIC obsługuje RoCEv2: Remote Direct Memory Access over Converged Ethernet, wersję drugą. Podstawą tej technologii jest RDMA, które umożliwia sprzętowi sieciowemu przesyłanie danych między autoryzowanymi obszarami pamięci różnych maszyn bez konieczności kopiowania każdego ładunku przez procesor hosta za pośrednictwem standardowej ścieżki sieciowej.

Można to sobie wyobrazić jako zorganizowanie bezpośredniej dostawy między dwoma zatwierdzonymi miejscami, zamiast wielokrotnego proszenia pośrednika o odbiór i kopiowanie zawartości. Procesor nadal musi wykonywać zadania związane z nawiązywaniem połączenia i zarządzaniem komunikacją; korzyść polega na ograniczeniu jego udziału w samym przesyłaniu danych.

Dokumentacja NVIDIA dotycząca RoCE wyjaśnia, że wersja druga przesyła ruch RDMA z wykorzystaniem nagłówków IP i UDP, dzięki czemu może on przechodzić przez sieci IP z routingiem. Efektywne wdrożenie nadal zależy od konfiguracji sieci i sposobu zarządzania przeciążeniami, a nie tylko od obecności złącza Ethernet.

Nota produktowa firmy Cornelis dotycząca Ethernetu opisuje odciążanie sprzętowe, obsługę dużej liczby równoczesnych operacji oraz mechanizm Priority Flow Control. Mechanizm kontroli przepływu może wstrzymywać wybrane klasy ruchu, aby ograniczyć utratę pakietów. Z zapowiedzi wynika, że obsługa Ultra Ethernet ma zostać dodana w ramach aktualizacji oprogramowania; kupujący powinni odróżniać tę planowaną funkcję od początkowej oferty RoCEv2.

Dlaczego wnioskowanie AI wymaga przenoszenia pamięci roboczej

Wnioskowanie AI to proces, w którym wytrenowany model generuje odpowiedź. W przypadku modelu językowego obejmuje ono wstępne przetwarzanie, czyli analizę promptu, oraz dekodowanie, czyli generowanie odpowiedzi token po tokenie.

Niektóre systemy obsługujące wnioskowanie uruchamiają te etapy na oddzielnych grupach procesorów, dzięki czemu każdą grupę można dostosować do jej zadania. Nazywa się to rozdzielonym wnioskowaniem. Taki podział wymaga przekazania danych: informacje obliczone podczas analizy promptu muszą dotrzeć do procesorów generujących odpowiedź.

Informacje te obejmują pamięć podręczną klucz-wartość, zwykle nazywaną w skrócie pamięcią podręczną KV. Przechowuje ona pośrednie dane dotyczące mechanizmu uwagi, aby model mógł ponownie wykorzystać wcześniejsze obliczenia. Nie obejmuje wszystkich wag modelu i nie jest po prostu zapisem tekstu rozmowy.

Dokumentacja NVIDIA dotycząca Dynamo opisuje następującą kolejność: przetworzenie promptu, przesłanie jego pamięci podręcznej KV, a następnie generowanie tokenów przez procesor roboczy dekodowania. Szybsze przesyłanie danych może ułatwić praktyczne zastosowanie takiego podziału. Przenoszenie pamięci podręcznej wymaga jednak dodatkowej pracy, dlatego rozdzielone wnioskowanie jest przydatne wtedy, gdy korzyści związane z harmonogramowaniem i sprzętem przewyższają koszt przekazywania danych.

Jak utrzymać płynny ruch sieciowy przy dużym obciążeniu łączy

W Omni-Path CN6000 wykorzystuje kontrolę przepływu opartą na kredytach: nadawca przesyła dane stosownie do dostępnej przepustowości po stronie odbiorczej. Routing adaptacyjny może rozdzielać ruch między dostępne ścieżki, a wiele płaszczyzn sieciowych zapewnia oddzielne drogi przez strukturę sieci.

Nota dotycząca Omni-Path opisuje dwie niezależne ścieżki transmisji danych o przepustowości 400G każda, które łącznie zapewniają przepustowość 800G. Jeśli jedna płaszczyzna wymaga serwisowania, druga może pozostać dostępna, jednak awaria części sieci nie pozwala zachować jej pierwotnej pełnej przepustowości.

Platforma obejmuje również sprzętowy rdzeń zaufania, bezpieczne uruchamianie oraz atestację urządzeń. Funkcje te pomagają potwierdzić wiarygodność oprogramowania układowego i tożsamości urządzenia. Zastosowanie postkwantowych podpisów cyfrowych dotyczy uwierzytelniania i integralności; nie należy tego rozumieć jako ogólnego zapewnienia, że każda przesyłana przez sieć zawartość jest szyfrowana.

Wdrożenie to coś więcej niż maksymalna szybkość

CN6000 rozwija wcześniejsze prace Cornelis nad sieciami do skalowania w poziomie, w tym rozszerzoną współpracę z AMD w zakresie obliczeń naukowych. Atutem rozwiązania jest połączenie interkonektów o wysokiej wydajności z szerszym wyborem procesorów i środowisk sieciowych.

Dla kupujących miarodajnym punktem odniesienia jest czas i koszt realizacji ich własnych obciążeń. Symulacja, która wielokrotnie wymienia niewielkie aktualizacje, może skorzystać z niższych opóźnień i większej liczby komunikatów na sekundę. W przypadku usługi przesyłającej duże pamięci podręczne większe znaczenie mogą mieć stała szybkość transmisji i przeciążenia sieci. Oba typy obciążeń wymagają odpowiedniej struktury sieciowej, sprawnego wsparcia programowego i zatwierdzonych konfiguracji serwerów.

Zapowiedź CN6000 wprowadza kolejną możliwość budowy takich systemów. Podane wartości szczytowe wskazują możliwości warte przetestowania; praktyczną korzyścią jest efektywniejsze wykorzystanie większej mocy obliczeniowej podczas działania rzeczywistych aplikacji.