Партнёрства
SambaNova объединяет графические процессоры Intel и SN50 для вывода ИИ с воздушным охлаждением

Ключевые моментыSambaNova разделяет инференс так, что графические процессоры Intel выполняют…
Показать больше
- SambaNova разделяет инференс так, что графические процессоры Intel выполняют предзаполнение, а её RDU выполняют декодирование, ограниченное памятью.
- Стандартный Ethernet и открытое серверное программное обеспечение соединяют два пула ускорителей без проприетарных межсоединений.
- Воздушное охлаждение ориентировано на существующие центры обработки данных, где модернизация под жидкостное охлаждение нецелесообразна.
SambaNova Systems объявила 15 ноября 2026 года, что вместе с Intel продемонстрировала на SuperComputing 2026 систему вывода ИИ с воздушным охлаждением: GLM-5.3 запускалась на четырёх ускорителях Intel GPU D-Series для обработки запросов, а генерацию токенов выполняла SambaRack SN50.
Система разделяет вывод модели на предварительную обработку (prefill), которая обрабатывает входящий запрос и формирует его кеш ключей и значений (KV), и декодирование (decode), в ходе которого генерируются выходные токены. Оборудование Intel выполняет предварительную обработку, требующую интенсивных вычислений, а реконфигурируемые блоки обработки потоков данных (RDU) пятого поколения SambaNova — декодирование, ограниченное пропускной способностью памяти. SambaNova представляет записанную демонстрацию как проект системы, которую заказчики смогут развернуть в уже действующих центрах обработки данных.
Разное оборудование для каждого этапа вывода
Демонстрационная система значительно меньше эталонной конфигурации Intel. По описанию SambaNova, эталонная стойка D-Series с 80 графическими процессорами обеспечивает пиковую производительность вычислений FP4 в 208 петафлопс и оснащается памятью объёмом от 12 до 38 ТБ в зависимости от конфигурации. Эти показатели относятся к более крупному проекту системы предварительной обработки; они не являются результатами измерения производительности демонстрационной системы на SuperComputing.
В характеристиках продукта D270 Intel указана мощность графического процессора с воздушным охлаждением 350 Вт, 32 ядра Xe3P, 256 матричных движков XMX, стандартный интерфейс PCIe 5.0 и до 480 ГБ памяти LPDDR5X на карту. Стандартный форм-фактор рассчитан на использование в существующих серверах без проприетарных сетевых решений и специально разработанных систем.
Каждая SambaRack SN50 содержит 16 RDU и обычно требует для вывода модели 20 кВт. До 16 стоек могут работать как единая система, объединяя до 256 RDU и распределяя рабочую нагрузку между стойками с меньшим энергопотреблением. По словам SambaNova, в её архитектуре потоков данных операции модели последовательно выполняются на разных чипах, а не возвращают данные в память между отдельными ядрами GPU, что при генерации токенов снижает трафик памяти и накладные расходы на повторный запуск ядер.
Открытое программное обеспечение объединяет пулы оборудования
NVIDIA Dynamo располагается перед двумя пулами ускорителей и предназначена для маршрутизации каждого запроса к оборудованию, на котором уже хранится его контекст в кеше. vLLM обслуживает и путь предварительной обработки на Intel, и путь декодирования на SN50, а NIXL передаёт данные KV-кеша по UCX/RDMA через стандартную сеть Ethernet RoCEv2. Поэтому для передачи данных можно использовать распространённую сеть Ethernet, а не проприетарное соединение между типами оборудования.
SN50 сохраняет префиксы KV из предыдущих запросов в подключённой памяти DDR, а встроенные в чип SRAM и HBM используются для текущего декодирования. Когда агент возвращается к разговору или общему контексту, маршрутизация с учётом кеша может направить запрос на SN50, где хранится этот префикс, поэтому через предварительную обработку на GPU проходят только новые данные, а по сети передаётся меньше состояния KV. По словам SambaNova, попадания в кеш сокращают время до выдачи первого токена и освобождают ресурсы GPU для новых запросов. В публикации описаны эти преимущества, но не приводятся результаты измерения задержки или пропускной способности объединённой демонстрационной системы.
Масштабирование на существующих площадках с воздушным охлаждением
Такое разделение также позволяет провайдерам независимо наращивать мощности для каждого этапа. Для обработки более длинных запросов может потребоваться увеличить мощности D-Series для предварительной обработки, тогда как агентам, генерирующим более длинные ответы, могут понадобиться дополнительные мощности SN50 для декодирования; при этом нет необходимости пропорционально расширять второй пул.
Такая гибкость предназначена для операторов, чьи площадки сложно приспособить к системам с жидкостным охлаждением. По заявлению Intel, стандартный форм-фактор D270 с интерфейсом PCIe и мощностью 350 Вт при воздушном охлаждении рассчитан на установку в существующие стойки без специальной модернизации системы жидкостного охлаждения. В сочетании с энергопотреблением SN50 на уровне стойки это решение призвано увеличить мощности для вывода моделей в уже работающих средах с воздушным охлаждением.
Значимость демонстрации — в интеграции: два типа архитектур ускорителей, соединённые с помощью распространённого программного обеспечения для обслуживания моделей и стандартной сети Ethernet, можно назначать для разных этапов вывода и масштабировать с учётом рабочей нагрузки. Для провайдеров, ограниченных фиксированными возможностями электропитания и охлаждения, остаётся открытым вопрос: обеспечат ли реальные производственные нагрузки достаточно заметные преимущества от описанных методов кеширования и повышения утилизации ресурсов, чтобы оправдать эксплуатацию обоих пулов.












