Модели и платформы ИИ

MiTAC предлагает двухсерверную архитектуру для ИИ-инференса на SC26

Theo Nash
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыMiTAC разделяет prefill и decode на отдельные серверы, чтобы каждый этап обеспечивался…
Показать больше
  • MiTAC разделяет prefill и decode на отдельные серверы, чтобы каждый этап обеспечивался ресурсами под свою рабочую нагрузку.
  • Сервер decode оснащён 2 ТБ памяти ускорителей, чтобы запускать такие модели, как Kimi K3, локально.
  • Жидкостное охлаждение стойки MiTAC обеспечивает на 50% более высокую плотность GPU, чем традиционные решения.

В объявлении от 17 ноября 2026 года MiTAC Computing представила на SC26 совместно со Skymizer двухсерверную архитектуру для ИИ-инференса, предложив систему с 2 ТБ памяти ускорителей на стороне декодирования, предназначенную для локального запуска моделей, таких как Kimi K3 с 2,8 трлн параметров.

Эта архитектура входит в более широкий портфель решений, охватывающий программную оркестрацию, высокоплотное жидкостное охлаждение, системы хранения данных и готовящуюся к выпуску стойку AMD. Одни вспомогательные системы демонстрируются на SC26 в действии, другие пока остаются на стадии проекта или разработки, поэтому анонс объединяет текущие демонстрации и будущие инфраструктурные решения.

Разделение серверов для предварительного заполнения и декодирования

Предлагаемая платформа для предварительного заполнения — 8U G8825Z5 с процессорами AMD EPYC 9575F или 9755 и графическими процессорами Instinct MI350X. Полученный кеш ключей и значений будет передаваться на сервер декодирования по высокоскоростной сети. Для декодирования предлагается конфигурация с воздушным охлаждением 4U G4520G6, объединяющая процессоры Intel Xeon 6 и восемь карт ускорителей Skymizer HTX301-4S, каждая с 256 ГБ памяти.

Предварительное заполнение требует больших вычислительных ресурсов, тогда как декодирование интенсивно использует память; разделение этих этапов призвано позволить предприятиям выделять ресурсы под каждый из них с учетом соответствующей нагрузки. По словам MiTAC, локальная система декодирования предназначена для сложных агентных задач, требующих глубоких рассуждений. Эта архитектура переносит часть задачи масштабирования с наращивания числа GPU на обеспечение баланса между памятью ускорителей и сетевым соединением между этапами.

Демонстрации охлаждения и плотности размещения данных на SC26

Живые демонстрации MiTAC показывают, как решаются практические задачи, связанные с этой архитектурой инференса. Стойка с жидкостным охлаждением высотой 52U объединяет 12 серверов G4826Z5 и 96 графических процессоров AMD Instinct MI355X. По заявлению компании, такая конфигурация обеспечивает на 50% более высокую плотность размещения GPU, чем традиционные решения.

В рамках проверки концепции совместно с ZutaCore на G4826Z5 применяется двухфазное прямое жидкостное охлаждение без использования воды: диэлектрическая жидкость испаряется непосредственно у чипа. MiTAC заявляет о поддержке тепловой мощности свыше 4 000 Вт, плотности теплового потока свыше 250 Вт/см² и годовом частичном коэффициенте эффективности использования электроэнергии 1,03. Демонстрация призвана проверить тепловые пределы, возникающие при размещении мощных ускорителей в высокоплотных стойках.

В демонстрации системы хранения DDN Infinia объединена с семью стоечными серверами хранения GC68C-B8056 формата 1U. Решение предназначено для непрерывной подачи потоков данных ИИ без узких мест ввода-вывода. Оно помогает устранить ограничение, отличное от задач охлаждения: снизить риск того, что ускорители будут ждать данные вместо обработки инференс- и агентных нагрузок.

Программное обеспечение и готовящаяся к выпуску стойка Helion

Canonical Ubuntu обеспечивает сертифицированный уровень операционной системы, Rafay добавляет динамическую оркестрацию GPU как услуги для распределенных нагрузок, а программное обеспечение MiCoreView от MiTAC предоставляет телеметрию на уровне вычислительных модулей и единое представление о центре обработки данных. Вместе с Infinia эти компоненты охватывают операционные системы, доставку данных, распределение ресурсов GPU и мониторинг в рамках одного инфраструктурного стека.

MiTAC также сотрудничает с AMD над будущей стойкой ORv3 44OU Helion Agentic AI Rack. По словам MiTAC, в ней будет до 32 768 ядер процессоров AMD Zen 6 для гипермасштабируемых и корпоративных сред.

В документации AMD по Helion описана открытая эталонная конструкция стойки, основанная на стандартах Open Compute Project (OCP), с гипермасштабируемыми конфигурациями только с CPU и корпоративными версиями, сочетающими модули CPU и GPU. В варианте с воздушным охлаждением для инференса поддерживается до 16 GPU Instinct MI350P; клиенты могут комбинировать типы модулей, подбирая конфигурацию для разных агентных нагрузок. Корпоративная конфигурация призвана объединить выполнение агентных задач и инференс в одной стойке. В отличие от нее, Helios предназначена для обучения моделей передового уровня и крупномасштабного инференса с единым доменом масштабирования GPU.

Практический вывод заключается в том, что для развертывания инференса на собственных площадках необходимо согласовать память для декодирования с сетью предварительного заполнения, пропускной способностью системы хранения, охлаждением стойки и оркестрацией. Предложение MiTAC включает эти взаимосвязи в расчет емкости наряду с самими GPU.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.