Партнерства
SambaNova поєднує графічні процесори Intel із SN50 для інференції ШІ з повітряним охолодженням

Ключові моментиSambaNova розділяє інференс так, що графічні процесори Intel виконують попереднє…
Показати більше
- SambaNova розділяє інференс так, що графічні процесори Intel виконують попереднє заповнення, тоді як її RDU виконують декодування, обмежене пам'яттю.
- Стандартний Ethernet і відкрите програмне забезпечення для обслуговування з'єднують два пули прискорювачів без пропрієтарних з'єднань.
- Конструкція з повітряним охолодженням орієнтована на існуючі центри обробки даних, де модернізація під рідинне охолодження є недоцільною.
SambaNova Systems оголосила 15 листопада 2026 року, що разом з Intel продемонструвала систему інференції ШІ з повітряним охолодженням на SuperComputing 2026, запустивши GLM-5.3 на чотирьох прискорювачах Intel GPU D-Series для обробки запитів і на SambaRack SN50 для генерації токенів.
Система поділяє інференс на етап попереднього опрацювання (prefill), під час якого обробляється вхідний запит і формується кеш ключів і значень (KV), та етап декодування (decode), під час якого генеруються вихідні токени. Обладнання Intel виконує обчислювально інтенсивний етап попереднього опрацювання, тоді як SambaNova використовує свої реконфігуровані блоки потокової обробки даних (RDU) п’ятого покоління для декодування, обмеженого пропускною здатністю пам’яті. SambaNova представляє зафіксовану на відео систему як проєкт, який клієнти зможуть розгорнути в уже наявних дата-центрах.
Різне обладнання для кожного етапу інференції
Демонстраційна система значно менша за еталонну конфігурацію Intel. За описом SambaNova, еталонна стійка D-Series із 80 графічними процесорами забезпечує пікову обчислювальну продуктивність 208 петафлопс у форматі FP4 і має від 12 до 38 ТБ пам’яті залежно від конфігурації. Ці показники стосуються масштабнішої системи для префіллу; це не вимірювання продуктивності конфігурації, використаної на SuperComputing.
У технічних характеристиках D270 від Intel зазначено графічний процесор із повітряним охолодженням потужністю 350 Вт, оснащений 32 ядрами Xe3P, 256 матричними блоками XMX, стандартним інтерфейсом PCIe 5.0 і до 480 ГБ пам’яті LPDDR5X на карту. Стандартний формфактор розрахований на роботу в наявних серверах без пропрієтарних мережевих рішень чи спеціально розроблених систем.
Кожен SambaRack SN50 містить 16 блоків RDU і зазвичай споживає 20 кВт під час інференції. До 16 стійок можуть працювати як єдиний комплекс із максимум 256 блоками RDU, розподіляючи навантаження між стійками меншої потужності. За словами SambaNova, її архітектура потокової обробки даних об’єднує операції моделі між чипами, замість того щоб повертати дані в пам’ять між окремими ядрами GPU, зменшуючи трафік пам’яті та накладні витрати на повторний запуск ядер під час генерації токенів.
Відкрите програмне забезпечення об’єднує пули обладнання
NVIDIA Dynamo працює перед двома пулами прискорювачів і призначена для маршрутизації кожного запиту до обладнання, де вже зберігається його кешований контекст. vLLM обслуговує як шлях префіллу на Intel, так і шлях декодування на SN50, а NIXL передає дані KV-кешу через UCX/RDMA із використанням стандартного Ethernet RoCEv2. Завдяки цьому передавання даних може відбуватися через усталену Ethernet-мережу, а не через пропрієтарне з’єднання між різними типами обладнання.
SN50 зберігає префікси KV із попередніх запитів у під’єднаній пам’яті DDR, тоді як вбудовані SRAM і HBM забезпечують активне декодування. Коли агент повертається до розмови або спільного контексту, маршрутизація з урахуванням кешу може спрямувати запит до SN50, де зберігається цей префікс, тож через префілл на GPU проходить лише новий матеріал, а мережею передається менше даних стану KV. За словами SambaNova, такі влучання в кеш скорочують час до появи першого токена та вивільняють ресурси GPU для нових запитів. У дописі описано ці переваги, але не наведено виміряних показників затримки чи пропускної здатності для комбінованої демонстраційної системи.
Масштабування в наявних приміщеннях із повітряним охолодженням
Такий поділ також дає змогу провайдерам незалежно нарощувати потужності для кожного етапу. Для довших запитів може знадобитися більша потужність D-Series для префіллу, тоді як агенти, що генерують довші відповіді, можуть потребувати додаткових потужностей SN50 для декодування — без пропорційного розширення іншого пулу.
Ця гнучкість орієнтована на операторів, чиї об’єкти складно пристосувати до систем із рідинним охолодженням. Intel стверджує, що стандартний формфактор PCIe і профіль D270 із повітряним охолодженням потужністю 350 Вт розраховані на наявні стійки й не потребують спеціалізованого переобладнання для рідинного охолодження. У поєднанні з характеристиками енергоспоживання SN50 на рівні стійки ця конструкція має забезпечити нарощування потужностей для інференції в уже наявних середовищах із повітряним охолодженням.
Значення цієї демонстрації — в інтеграції: дві архітектури прискорювачів, з’єднані поширеним програмним забезпеченням для обслуговування моделей і стандартним Ethernet, можна призначити для різних етапів інференції та масштабувати відповідно до навантаження. Для провайдерів, обмежених доступною потужністю й можливостями охолодження, залишається питання, чи дадуть описані переваги кешування та ефективнішого використання ресурсів достатній результат на виробничих навантаженнях, щоб виправдати експлуатацію обох пулів.












