Моделі та платформи ШІ
MiTAC пропонує архітектуру ШІ-інференсу на двох серверах для SC26

Ключові моментиMiTAC розділяє prefill і decode між окремими серверами, щоб кожен етап отримував…
Показати більше
- MiTAC розділяє prefill і decode між окремими серверами, щоб кожен етап отримував ресурси відповідно до свого навантаження.
- Сервер decode має 2 ТБ пам'яті прискорювачів, щоб запускати такі моделі, як Kimi K3, локально.
- Рідинно-охолоджуваний стійок MiTAC досягає на 50% вищої щільності GPU, ніж звичайні розгортання.
У повідомленні від 17 листопада 2026 року MiTAC Computing представила разом із Skymizer на SC26 архітектуру ШІ-інференсу на двох серверах, запропонувавши 2 ТБ пам’яті прискорювачів на сервері декодування для системи, призначеної для локального запуску моделей на кшталт Kimi K3 із 2,8 трильйона параметрів.
Ця архітектура є частиною ширшого портфеля рішень, що охоплює програмну оркестрацію, рідинне охолодження систем високої щільності, сховища даних і майбутню стійку AMD. Деякі супровідні системи демонструють наживо на SC26, тоді як інші залишаються на стадії пропозицій або розробки, тож оголошення поєднує поточні демонстрації з проєктами майбутньої інфраструктури.
Окремі сервери для попереднього заповнення та декодування
Запропонована платформа для попереднього заповнення — це 8U G8825Z5 із процесорами AMD EPYC 9575F або 9755 та графічними процесорами Instinct MI350X. Вона передаватиме отриманий кеш ключів і значень на сервер декодування через високошвидкісну мережу. Для декодування запропоновано конфігурацію G4520G6 з повітряним охолодженням у корпусі 4U: вона поєднує процесори Intel Xeon 6 із вісьмома картами-прискорювачами Skymizer HTX301-4S, кожна з яких має 256 ГБ пам’яті.
Попереднє заповнення — це етап із високим навантаженням на обчислення, тоді як декодування інтенсивно використовує пам’ять. Тому їх розділення має дати змогу підприємствам виділяти ресурси для кожного етапу відповідно до його робочого навантаження. За словами MiTAC, локальна система декодування призначена для складних агентних завдань, що потребують глибокого міркування. Ця архітектура частково переносить проблему масштабування з додавання графічних процесорів на узгодження обсягу пам’яті прискорювачів із пропускною здатністю мережевого з’єднання між етапами.
Демонстрації систем охолодження та щільності даних наживо на SC26
Демонстрації MiTAC наживо показують, як задовольнити фізичні вимоги, пов’язані з цією архітектурою інференсу. Стійка з рідинним охолодженням висотою 52U об’єднує 12 серверів G4826Z5 і 96 графічних процесорів AMD Instinct MI355X. За словами компанії, така конфігурація забезпечує на 50% вищу щільність розміщення графічних процесорів, ніж традиційні системи.
У межах перевірки концепції з ZutaCore застосовується безводне двофазне пряме рідинне охолодження сервера G4826Z5: діелектрична рідина випаровується безпосередньо на мікросхемі. MiTAC повідомляє про підтримку теплової розрахункової потужності понад 4 000 Вт, щільності теплового потоку понад 250 Вт/см² і річного часткового коефіцієнта ефективності використання електроенергії 1,03. Демонстрація спрямована на подолання теплових обмежень, спричинених концентрацією потужних прискорювачів у щільно укомплектованих стійках.
У демонстрації системи зберігання даних поєднано DDN Infinia із сімома серверами зберігання GC68C-B8056 формату 1U. Рішення призначене для безперервного постачання потоків даних для ШІ без вузьких місць введення-виведення. Це дає змогу усунути інше обмеження, ніж охолодження: зменшити ризик того, що прискорювачі чекатимуть на дані замість обробки інференсу й агентних завдань.
Програмне забезпечення та майбутня стійка Helion
Canonical Ubuntu забезпечує сертифікований рівень операційної системи, Rafay додає динамічну оркестрацію GPU як послуги для розподілених робочих навантажень, а програмне забезпечення MiCoreView від MiTAC надає телеметрію на рівні подів і єдине представлення центру обробки даних. Разом з Infinia ці компоненти охоплюють операційні системи, доставлення даних, розподіл ресурсів GPU та моніторинг у межах єдиного інфраструктурного стека.
MiTAC також співпрацює з AMD над майбутньою стійкою ORv3 44OU Helion Agentic AI Rack. За словами MiTAC, вона матиме масштабованість до 32 768 ядер процесора AMD Zen 6 для середовищ гіпермасштабу та корпоративного рівня.
В документації Helion від AMD описано відкритий еталонний проєкт стійки, побудований на стандартах Open Compute Project (OCP), із конфігураціями гіпермасштабу лише з центральними процесорами та корпоративними версіями, що поєднують модулі центральних і графічних процесорів. Версія з повітряним охолодженням для інференсу підтримує до 16 графічних процесорів Instinct MI350P, а замовники можуть комбінувати типи модулів відповідно до різних агентних робочих навантажень. Корпоративна конфігурація має поєднувати виконання агентів та інференс в одній стійці, на відміну від Helios, призначеної для навчання передових моделей і масштабного інференсу з єдиним доменом масштабування GPU.
Практичний висновок полягає в тому, що для розгортання локального інференсу потрібно узгодити пам’ять сервера декодування з пропускною здатністю мережі для попереднього заповнення, швидкодією сховища, охолодженням стійки та оркестрацією. У своїй пропозиції MiTAC враховує ці взаємозв’язки під час розрахунку потужності системи нарівні із самими графічними процесорами.












