Cornelis представляет CN6000: что сети 800G дают ИИ и суперкомпьютерам

Cornelis представила CN6000 — линейку сетевых решений со скоростью 800 Гбит/с, призванную сократить время ожидания данных для ускорителей ИИ и суперкомпьютеров. Главный заявленный показатель впечатляет: до 1,6 млрд сообщений в секунду на SuperNIC Omni-Path. Однако, чтобы понять, что это означает, нужно различать три показателя производительности сети: пропускную способность, скорость обработки сообщений и задержку.

В объявлении от 12 ноября представлены адаптеры Omni-Path и Ethernet, а также коммутатор Omni-Path. По словам Cornelis, оборудование уже доступно для оценки и первых внедрений, а системы партнеров ожидаются в первом квартале 2027 года.

Коммерческая цель проста: дорогостоящие процессоры приносят больше пользы, когда сеть успевает за ними. Более быстрый графический процессор мало ускорит распределенную задачу, если он ждет, пока другая машина отправит результат.

Что на самом деле означают 800G и 1,6 млрд сообщений

Кластер ИИ — это группа соединенных между собой компьютеров, работающих совместно. По сети передается всё: от крупных блоков данных модели до небольших служебных сообщений для координации. У производительности сети есть несколько составляющих:

800G означает 800 Гбит/с. Если разделить это значение на восемь, получится номинальная скорость 100 гигабайт в секунду — до учета служебных данных протокола и других практических ограничений. Этот показатель описывает пропускную способность канала передачи данных, а не скорость, с которой чат-бот генерирует слова.

Скорость обработки сообщений характеризует другое узкое место. Передача множества крошечных фрагментов информации требует от адаптера обработки большого числа отдельных операций, даже если они не заполняют пропускную способность канала. В описании продукта Omni-Path Cornelis указывает скорость 1,6 млрд сообщений как двунаправленную. Это совокупная характеристика, а не утверждение, что одно приложение выполняет столько последовательных запросов каждую секунду.

Задержка имеет значение, когда для следующего вычисления нужно дождаться сообщения. Во внутреннем тесте Cornelis с обменом сообщениями размером 8 байт по Intel MPI измеренная задержка составила 0,95 микросекунды для CN6000 против 1,2 микросекунды для NVIDIA InfiniBand XDR при скорости 800G — примерно на 21% меньше. MPI, или интерфейс передачи сообщений (Message Passing Interface), — это стандартный способ обмена данными между параллельными научными программами.

Этот тест измеряет обмен сообщениями небольшого размера в конкретном сценарии. Он не доказывает, что обучение модели, симуляция или сервис инференса завершатся на 21% быстрее. Результат зависит от того, как часто приложение обменивается данными, каков размер передаваемых блоков, есть ли перегрузка сети и как устроена остальная система.

Что такое SuperNIC, коммутаторы и сетевые фабрики

Сетевая карта, или NIC, подключает сервер к сети. «SuperNIC» — используемое Cornelis название специализированных высокопроизводительных адаптеров. Коммутатор соединяет серверные каналы и пересылает данные между ними. Совокупность адаптеров, коммутаторов, каналов связи и программного обеспечения для обмена данными обычно называют сетевой фабрикой.

Это различие важно при покупке кластера. Установка производительного адаптера не означает, что автоматически обновятся все коммутаторы, кабели и программные пути, через которые будет проходить его трафик.

CN6000 предлагает два варианта сетевой фабрики. Omni-Path — специализированная разработанная Cornelis сеть для параллельных вычислений. Ethernet — широко распространенная основа сетевого взаимодействия, знакомая операторам центров обработки данных. Адаптер Ethernet предназначен для заказчиков, которым нужна высокопроизводительная связь с сохранением совместимости с существующей инфраструктурой коммутации Ethernet. InfiniBand — технология, используемая в сравнительном тесте, — еще один специализированный тип вычислительной сети; ее коммутаторы несовместимы с коммутаторами Omni-Path.

Платформа CN6000 представляет собой семейство компонентов и вариантов развертывания, а не гарантию того, что любая комбинация сетевого оборудования обеспечит одинаковый результат.

Как RoCE передает данные с меньшей нагрузкой на процессор

Ethernet-адаптер SuperNIC поддерживает RoCEv2 — Remote Direct Memory Access over Converged Ethernet, версию 2 (прямой доступ к памяти по конвергентной сети Ethernet). В основе технологии лежит RDMA: она позволяет сетевому оборудованию передавать данные между разрешенными областями памяти разных машин, не заставляя центральный процессор хоста копировать каждый блок данных через стандартный сетевой стек.

Это можно представить как прямую доставку между двумя разрешенными пунктами вместо многократной передачи содержимого посреднику, который каждый раз принимает его и копирует. Процессору по-прежнему приходится устанавливать соединение и управлять обменом данными; преимущество в том, что он меньше участвует непосредственно в их перемещении.

В документации NVIDIA по RoCE объясняется, что версия 2 передаёт трафик RDMA с использованием заголовков IP и UDP, благодаря чему он может проходить через маршрутизируемые IP-сети. Эффективное развертывание по-прежнему зависит от конфигурации сети и особенностей управления перегрузками, а не только от наличия разъёма Ethernet.

В описании Ethernet-продукта Cornelis рассказывается об аппаратной разгрузке, поддержке большого числа одновременных операций и приоритетном управлении потоком. Этот механизм управления потоком позволяет приостанавливать передачу трафика отдельных классов, чтобы снизить вероятность потери пакетов. В анонсе поддержка Ultra Ethernet отнесена к планируемому обновлению ПО; покупателям следует отличать эту запланированную возможность от первоначального предложения с RoCEv2.

Почему для вывода ИИ-модели нужно перемещать её рабочую память

Вывод ИИ-модели — это процесс, в ходе которого обученная модель формирует ответ. Для языковой модели он включает предварительную обработку, то есть обработку запроса, и декодирование, при котором ответ генерируется по одному токену за раз.

В некоторых системах обслуживания запросов эти этапы выполняются на отдельных группах процессоров, чтобы ресурсы каждой группы соответствовали её задаче. Это называется разделённым инференсом. При таком разделении требуется передавать данные: информация, вычисленная во время обработки запроса, должна поступить на процессоры, которые генерируют ответ.

К этой информации относится кэш ключей и значений, который обычно сокращённо называют KV-кэшем. В нём хранятся промежуточные данные механизма внимания, чтобы модель могла повторно использовать результаты предыдущих вычислений. Это не все веса модели и не просто сохранённая стенограмма переписки.

В документации NVIDIA по Dynamo описана последовательность действий: обработать запрос, передать его KV-кэш, а затем генерировать токены на рабочем узле декодирования. Более быстрая передача данных может сделать такое разделение более практичным. Однако перемещение кэша само по себе требует дополнительных ресурсов, поэтому разделённый инференс полезен, когда преимущества планирования и аппаратной конфигурации перевешивают затраты на передачу данных.

Как поддерживать передачу данных при высокой нагрузке на каналы связи

В Omni-Path CN6000 используется управление потоком на основе кредитов: отправитель передаёт данные с учётом доступной пропускной способности принимающей стороны. Адаптивная маршрутизация позволяет распределять трафик по доступным путям, а несколько сетевых плоскостей обеспечивают отдельные маршруты через сеть.

В описании Omni-Path указаны два независимых канала передачи данных по 400G, которые вместе обеспечивают суммарную пропускную способность 800G. Если одна плоскость требует обслуживания, другая может оставаться доступной, однако при отказе части сети её исходная пропускная способность полностью не сохраняется.

Платформа также включает аппаратный корень доверия, безопасную загрузку и аттестацию устройств. Эти механизмы помогают подтвердить надёжность прошивки и подлинность идентификатора устройства. Использование постквантовых цифровых подписей относится к аутентификации и целостности данных; это не следует понимать как общее утверждение о шифровании всех сетевых данных.

При выборе системы важно учитывать не только пиковую скорость

CN6000 продолжает более раннюю работу Cornelis над сетями для масштабирования вычислительных систем, в том числе расширение сотрудничества с AMD в области научных вычислений. Привлекательность решения заключается в сочетании высокопроизводительных межсоединений с более широким выбором процессоров и сетевых сред.

Покупателям полезно сравнивать время и затраты, необходимые для выполнения именно их задач. Моделирование, в ходе которого часто обмениваются небольшими обновлениями, может выиграть от снижения задержки и увеличения частоты обмена сообщениями. Для сервиса, передающего большие кэши, важнее может быть стабильная скорость передачи данных и управление перегрузками. В обоих случаях нужны подходящая сетевая инфраструктура, работоспособная программная поддержка и серверные конфигурации, прошедшие квалификацию.

Анонс CN6000 добавляет ещё один вариант для создания таких систем. Заявленные пиковые показатели указывают на возможности, которые стоит проверить; на практике же важно, чтобы при работе реальных приложений больше вычислительных ресурсов использовалось эффективно.