Supermicro вироблятиме й продаватиме системи інференсу ШІ на базі SambaNova

SambaNova та Supermicro оголосили 3 листопада 2026 року, що Supermicro вироблятиме, продаватиме й обслуговуватиме системи інференсу ШІ, у яких роботу розподілено між графічними процесорами NVIDIA та блоками реконфігурованої обробки даних SN50 від SambaNova. Співпраця на початковому етапі передбачає використання 10 000 чипів SN50.

Ці системи увійдуть до портфеля Supermicro Data Center Building Block Solutions. Supermicro інтегруватиме, тестуватиме, постачатиме й обслуговуватиме їх, зокрема надаватиме послуги на місці, а інженери SambaNova запускатимуть моделі на SN50, налаштовуватимуть їх і допомагатимуть із розгортанням у клієнтів. Таким чином, домовленість поєднує канал виробництва серверів і надання сервісних послуг із розробкою та налаштуванням моделей, необхідними для розгортання систем із різними типами прискорювачів.

Чому інференс розподіляють між GPU та RDU

Архітектура розділяє інференс на два етапи. Під час префілу графічні процесори NVIDIA обробляють вхідний запит — це завдання, обмежене обчислювальною потужністю. RDU SN50 виконують декодування: генерують відповідь токен за токеном, і цей процес обмежений пропускною здатністю пам’яті. За словами SambaNova, призначення кожному етапу відповідного апаратного забезпечення забезпечує швидший і ефективніший інференс, ніж використання лише одного з цих типів обладнання.

У супровідному оголошенні SambaNova центральним сценарієм використання називає агентний ШІ: агенти можуть тисячі разів звертатися до великих мовних моделей, кожен такий запит може тривати кілька хвилин, а агентні робочі навантаження здебільшого припадають на етап декодування. Через це генерація токенів стає критично важливою для наступної дії агента. Тому компанії розглядають декодування як окрему інфраструктурну проблему: додаткові RDU мають прискорити формування відповідей, тоді як GPU й надалі оброблятимуть запити.

Будова SN50

SN50 — це RDU п’ятого покоління від SambaNova. У офіційній технічній документації зазначено, що чип виготовляють за 5-нанометровим техпроцесом TSMC; він має 432 МБ вбудованої SRAM і 64 ГБ пам’яті HBM2E, а DDR5 забезпечує третій рівень пам’яті. У чипі використано архітектуру реконфігурованої потокової обробки даних SambaNova. Його розроблено для етапу декодування, обмеженого пропускною здатністю пам’яті, а не для загальних завдань прискорення обчислень.

У документації продукту SambaNova зазначає, що ця конструкція забезпечує швидший інференс, вищу пропускну здатність і кращу енергоефективність. Операції об’єднуються в безперервний потік даних, що зменшує кількість повторних передавань даних між рівнями пам’яті та накладні витрати на повторний запуск завдань на кожному етапі. Рівні пам’яті також мають різні функції: SRAM зберігає часто використовувані локальні дані поруч із обчислювальними блоками, HBM2E — активні ваги моделі й актуальний KV-кеш, а DDR5 — кеші запитів, більші пули моделей і неактуальний KV-кеш.

За словами SambaNova, SN50 може масштабуватися до 256 RDU у кількох стійках і призначена для інтерактивних агентів, помічників із програмування та інших багатокрокових робочих навантажень інференсу, зокрема застосунків, що перемикаються між кількома моделями. Конструкція для кількох стійок відповідає плану співпраці на рівні стійок: Supermicro інтегруватиме RDU та GPU у системи, які перевірятиме й обслуговуватиме.

Виведення на ринок через партнерський канал та обмеження дата-центрів

Клієнти зможуть купувати RDU SN50 разом із GPU через Supermicro, використовуючи той самий канал, що й для решти своєї інфраструктури ШІ. Спочатку системи впроваджуватимуть у NeoClouds і суверенних хмарах, а згодом — на підприємствах, які використовують ШІ у власних дата-центрах. Такий поетапний підхід спершу охопить операторів хмарних сервісів, а пізніше дасть змогу впровадити ту саму комбіновану архітектуру GPU-RDU на підприємствах.

Енергоспоживання й охолодження мають ключове значення для впровадження цих систем. За словами компаній, SN50 може обслуговувати великі моделі з високою швидкістю та пропускною здатністю без надмірної щільності енергоспоживання в стійці, що спрощує розгортання систем у наявних дата-центрах. Такий профіль енергоспоживання робить співпрацю придатною для модернізації вже наявних об’єктів: RDU мають збільшити потужності в дата-центрах, якими оператори вже керують.

Компанії також зазначають, що додавання RDU для декодування може збільшити потужності інференсу, не чекаючи на нове будівництво, обмежене доступністю електроенергії та можливостями охолодження, а також подовжити строк корисного використання встановлених GPU. Отже, ця пропозиція пов’язує нарощування потужностей із наявними в операторів об’єктами та GPU.

SambaNova та Supermicro очікують, що завдяки співпраці у 2027 році вдасться забезпечити значно більші потужності високопродуктивного інференсу, ніж було б можливо за інших умов. Важливість плану полягає в поєднанні обладнання, спеціально призначеного для декодування, із каналом розгортання Supermicro. Для операторів, які стикаються з обмеженнями електропостачання та охолодження, відкрите питання полягає в тому, чи зможуть заплановані встановлення RDU збільшити доступні потужності інференсу в наявних об’єктах до масштабів, на які розраховують компанії.