Cornelis представляє CN6000: що означають мережі 800G для ШІ та суперкомп’ютерів

Cornelis представила CN6000 — сімейство мережевого обладнання зі швидкістю 800 гігабітів, покликане скоротити час, який прискорювачі ШІ та суперкомп’ютери витрачають на очікування даних. Головна заявлена характеристика вражає: до 1,6 мільярда повідомлень за секунду на SuperNIC Omni-Path. Однак, щоб зрозуміти, що це означає, потрібно розрізняти три різні показники продуктивності мережі: пропускну здатність, швидкість обробки повідомлень і затримку.

У повідомленні від 12 листопада представлено адаптери Omni-Path та Ethernet, а також комутатор Omni-Path. За словами Cornelis, обладнання вже доступне для оцінювання та перших розгортань, а системи партнерів очікуються в першому кварталі 2027 року.

Комерційна мета очевидна: дорогі процесори виконують більше корисної роботи, коли мережа встигає передавати їм дані. Швидший графічний процесор мало скорочує час виконання розподіленого завдання, якщо йому доводиться чекати на результат від іншої машини.

Що насправді означають 800G і 1,6 мільярда повідомлень

Кластер ШІ — це група з’єднаних між собою комп’ютерів, які працюють разом. Мережею передаються як великі масиви даних моделі, так і невеликі повідомлення для координації роботи. Продуктивність мережі має кілька складових:

800G означає 800 гігабітів за секунду. Якщо поділити це значення на вісім, отримаємо номінальну швидкість 100 гігабайтів за секунду — до врахування накладних витрат протоколу та інших практичних обмежень. Цей показник описує пропускну здатність для передавання даних, а не швидкість, з якою чатбот генерує слова.

Швидкість обробки повідомлень характеризує інше вузьке місце. Щоб передавати багато крихітних фрагментів інформації, адаптер має обробити багато окремих операцій, навіть якщо вони не заповнюють пропускну здатність каналу. У технічному описі продукту Omni-Path Cornelis зазначає, що швидкість у 1,6 мільярда повідомлень виміряно в обох напрямках. Це сукупна характеристика, а не твердження про те, що одна програма виконує таку кількість послідовних запитів щосекунди.

Затримка має значення, коли для наступного обчислення потрібно дочекатися повідомлення. У внутрішньому тесті Cornelis із передаванням даних туди й назад за допомогою Intel MPI, де розмір повідомлення становив 8 байтів, заявлена затримка CN6000 дорівнювала 0,95 мікросекунди, тоді як у NVIDIA InfiniBand XDR зі швидкістю 800G — 1,2 мікросекунди; це приблизно на 21% менше. MPI, або інтерфейс передавання повідомлень (Message Passing Interface), — стандартний спосіб обміну даними між паралельними науковими програмами.

Цей тест вимірює затримку під час конкретного обміну невеликими повідомленнями. Він не доводить, що навчання моделі, моделювання чи сервіс інференсу завершаться на 21% швидше. Результат залежить від частоти обміну даними в програмі, розміру переданих даних, рівня перевантаження мережі та інших компонентів системи.

Що таке SuperNIC, комутатори та мережеві фабрики

Мережева карта, або NIC, з’єднує сервер із мережею. «SuperNIC» — це термін Cornelis для позначення спеціалізованих високопродуктивних адаптерів компанії. Комутатор з’єднує серверні канали зв’язку та передає між ними дані. Сукупність адаптерів, комутаторів, каналів зв’язку й програмного забезпечення для обміну даними зазвичай називають мережевою фабрикою.

Цю відмінність важливо враховувати під час придбання кластера. Встановлення потужного адаптера саме собою не модернізує кожен комутатор, кабель чи програмний шлях, яким передаватиметься його трафік.

CN6000 пропонує два варіанти мережевої фабрики. Omni-Path — спеціально розроблена Cornelis мережа для паралельних обчислень. Ethernet — широко використовувана мережева технологія, добре знайома операторам центрів обробки даних. Адаптер Ethernet призначений для клієнтів, яким потрібен високопродуктивний обмін даними зі збереженням сумісної інфраструктури комутаторів Ethernet. InfiniBand — технологія, використана для порівняння в тестах, — ще один спеціалізований тип мережевої фабрики для обчислювальних систем; її комутатори несумісні з комутаторами Omni-Path.

Таким чином, платформа CN6000 — це сімейство компонентів і варіантів розгортання, а не гарантія того, що будь-яка комбінація мережевого обладнання забезпечить однаковий результат.

Як RoCE передає дані з меншим навантаженням на процесор

У SuperNIC Ethernet реалізовано RoCEv2 — Remote Direct Memory Access over Converged Ethernet, версію другу. В основі цієї технології лежить RDMA: вона дає змогу мережевому обладнанню передавати дані між дозволеними ділянками пам’яті різних машин, не змушуючи центральний процесор хоста копіювати кожен пакет даних через звичайний мережевий стек.

Це можна уявити як організацію прямої доставки між двома дозволеними місцями, замість того щоб раз у раз просити посередника отримувати й копіювати вміст. Процесор і далі виконує певну роботу для встановлення та керування з’єднанням; перевага полягає в тому, що він менше залучений безпосередньо до передавання даних.

У документації NVIDIA щодо RoCE пояснюється, що версія 2 передає трафік RDMA за допомогою заголовків IP і UDP, завдяки чому він може проходити маршрутизованими IP-мережами. Ефективне розгортання залежить від конфігурації мережі та поведінки під час перевантажень, а не лише від наявності роз’єму Ethernet.

В описі продукту Cornelis для Ethernet йдеться про апаратне розвантаження обчислень, підтримку великої кількості одночасних операцій і керування потоком із пріоритетами. Цей механізм керування потоком може призупиняти передавання вибраних класів трафіку, щоб допомогти уникнути втрати пакетів. В анонсі підтримку Ultra Ethernet віднесено до майбутнього оновлення програмного забезпечення; покупцям варто відрізняти цю заплановану можливість від початкової пропозиції з RoCEv2.

Чому інференсу ШІ потрібно переміщувати робочу пам’ять

Інференс ШІ — це процес використання навченої моделі для створення відповіді. Для мовної моделі він охоплює попереднє заповнення, під час якого обробляється запит, і декодування, під час якого відповідь генерується токен за токеном.

У деяких системах обслуговування запитів ці етапи виконуються на окремих групах процесорів, щоб кожну групу можна було підібрати відповідно до її завдання. Це називається дезагрегованим інференсом. Такий поділ потребує передавання даних: інформація, обчислена під час читання запиту, має надійти до процесорів, які генерують відповідь.

До цієї інформації належить кеш ключів і значень, який зазвичай скорочено називають KV-кешем. У ньому зберігаються проміжні дані механізму уваги, щоб модель могла повторно використовувати попередні результати. Це не весь набір ваг моделі й не просто збережений текстовий запис.

У документації NVIDIA щодо Dynamo описано послідовність дій: обробити запит, передати його KV-кеш, а потім генерувати токени на робочому вузлі декодування. Швидше передавання даних може зробити такий поділ практичнішим. Однак переміщення кешу саме собою потребує додаткових ресурсів, тож дезагрегація доцільна, коли переваги планування та апаратного забезпечення перевищують витрати на передавання даних.

Як підтримувати рух трафіку за високого навантаження на канали

У Omni-Path використовується керування потоком на основі кредитів: відправник передає дані відповідно до доступної місткості на приймальному боці. Адаптивна маршрутизація може розподіляти трафік доступними шляхами, а кілька мережевих площин забезпечують окремі маршрути через мережеву інфраструктуру.

В описі Omni-Path йдеться про два незалежні канали передавання даних пропускною здатністю 400G кожен, які разом забезпечують сукупну пропускну здатність 800G. Якщо одна площина потребує обслуговування, інша може залишатися доступною, хоча втрата частини мережі не дає змоги зберегти початкову повну пропускну здатність.

Платформа також містить апаратний корінь довіри, безпечне завантаження та атестацію пристрою. Це допомагає підтвердити надійність мікропрограми й ідентичності пристрою. Використання постквантових цифрових підписів стосується автентифікації та цілісності; це не слід тлумачити як загальне твердження, що кожен мережевий пакет шифрується.

Питання розгортання не обмежується піковою швидкістю

CN6000 продовжує попередню роботу Cornelis над масштабуванням мереж, зокрема розширену співпрацю з AMD у сфері наукових обчислень. Привабливість рішення полягає в поєднанні високопродуктивних міжз’єднань із ширшим вибором процесорів і мережевих середовищ.

Покупцям варто порівнювати час і витрати, потрібні для виконання саме їхніх робочих навантажень. Для симуляції, під час якої постійно передаються невеликі оновлення, можуть бути важливими менша затримка й вища частота обміну повідомленнями. Сервісу, що переміщує великі кеші, може бути важливішою стабільна швидкість передавання даних і керування перевантаженнями. Обом потрібні відповідна мережева інфраструктура, належна підтримка програмного забезпечення та сумісні конфігурації серверів.

Анонс CN6000 додає ще один варіант для побудови таких систем. Пікові показники вказують на можливості, які варто перевірити; практичний результат — ефективніше використання обчислювальних ресурсів під час роботи реальних застосунків.