AI 모델 및 플랫폼
SC26에서 2서버 AI 추론 아키텍처 제안한 MiTAC

핵심 포인트MiTAC는 프리필과 디코드를 별도의 서버로 분리하여 각 단계가 자체 워크로드에 맞게 프로비저닝되도록 합니다.
더 보기
- MiTAC는 프리필과 디코드를 별도의 서버로 분리하여 각 단계가 자체 워크로드에 맞게 프로비저닝되도록 합니다.
- 디코드 서버는 2TB의 가속기 메모리를 탑재하여 Kimi K3와 같은 모델을 온프레미스에서 실행합니다.
- MiTAC의 액체 냉각 랙은 기존 배포보다 50% 더 높은 GPU 밀도에 도달합니다.
MiTAC Computing은 2026년 11월 17일 발표를 통해 SC26에서 Skymizer와 함께 2서버 AI 추론 아키텍처를 공개하고, 2.8조 개 매개변수를 가진 Kimi K3 같은 모델을 온프레미스에서 실행하도록 설계된 시스템에 디코드 측 가속기 메모리 2TB를 제안했다.
이 아키텍처는 소프트웨어 오케스트레이션, 고밀도 액체 냉각, 스토리지, 출시를 앞둔 AMD 랙을 아우르는 더 광범위한 제품군의 일부다. 지원 시스템 중 일부는 SC26에서 실시간으로 시연되고 있으며, 나머지는 아직 제안 단계이거나 개발 중이다. 따라서 이번 발표에는 현재 시연 중인 기술과 향후 인프라 설계가 함께 포함돼 있다.
프리필과 디코드를 분리한 서버
제안된 프리필 플랫폼은 8U G8825Z5로, AMD EPYC 9575F 또는 9755 프로세서와 Instinct MI350X GPU를 탑재한다. 이 플랫폼은 생성된 키-값 캐시를 고속 네트워크를 통해 디코드 서버로 전송한다. 디코드용으로 제안된 공랭식 4U G4520G6 구성은 Intel Xeon 6 프로세서와 Skymizer HTX301-4S 가속기 카드 8개를 결합하며, 각 카드에는 256GB 메모리가 탑재된다.
프리필은 연산 집약적인 단계인 반면 디코드는 메모리 집약적이므로, 두 단계를 분리하면 기업이 각 단계의 워크로드에 맞춰 자원을 배정할 수 있다. MiTAC은 온프레미스 디코드 시스템이 복잡한 심층 추론형 에이전트 워크로드를 처리하도록 설계됐다고 밝혔다. 이 아키텍처는 확장 과정의 과제 일부를 GPU 추가에서 벗어나 각 단계 사이의 네트워크 연결과 가속기 메모리 간 균형을 맞추는 문제로 전환한다.
SC26에서 선보이는 냉각 기술과 데이터 집적도
MiTAC의 실시간 시연은 해당 추론 설계에 수반되는 물리적 요구사항을 다룬다. 52U 액체 냉각 랙에는 G4826Z5 서버 12대와 AMD Instinct MI355X GPU 96개가 통합돼 있다. 회사에 따르면 이 구성은 기존 배치 방식보다 GPU 밀도를 50% 높인다.
ZutaCore와 진행하는 개념 검증에서는 G4826Z5에 물을 사용하지 않는 2상 직접 액체 냉각을 적용해 칩에서 직접 유전체 유체를 기화한다. MiTAC은 4,000W를 초과하는 열설계전력과 250W/cm²를 초과하는 열유속을 지원하고, 연환산 부분 전력사용효율은 1.03이라고 밝혔다. 이번 시연은 고출력 가속기를 고밀도 랙에 집중 배치할 때 발생하는 열 한계를 해결하는 데 초점을 맞춘다.
스토리지 시연에서는 DDN Infinia와 GC68C-B8056 1U 스토리지 서버 7대를 결합해 I/O 병목 없이 AI 데이터 스트림을 지속적으로 공급하도록 설계했다. 이는 냉각과는 다른 제약을 해결한다. 가속기가 추론 및 에이전트 워크로드를 처리하는 대신 데이터를 기다리게 될 위험을 줄이는 것이다.
소프트웨어와 출시 예정인 Helion 랙
Canonical Ubuntu는 인증된 운영 체제 계층을 제공하고, Rafay는 분산 워크로드 전반에서 동적 GPU 서비스형(GPU-as-a-Service) 오케스트레이션을 지원하며, MiTAC의 MiCoreView 소프트웨어는 팟 수준 원격 측정과 데이터센터 통합 가시성을 제공한다. Infinia와 함께 이들 구성 요소는 동일한 인프라 스택에서 운영 체제, 데이터 전달, GPU 할당, 모니터링을 모두 담당한다.
MiTAC은 출시를 앞둔 ORv3 44OU Helion Agentic AI Rack을 위해 AMD와도 협력하고 있다. MiTAC에 따르면 이 랙은 하이퍼스케일 및 엔터프라이즈 환경을 위해 AMD Zen 6 CPU 코어를 32,768개까지 확장할 수 있다.
AMD의 Helion 관련 문서는 Open Compute Project (OCP) 표준을 기반으로 구축된 개방형 랙 규모 참조 설계를 설명한다. 이 설계에는 CPU만 사용하는 하이퍼스케일 구성과 CPU 블레이드와 GPU 블레이드를 혼합하는 엔터프라이즈 구성이 포함된다. 공랭식 추론 버전은 Instinct MI350P GPU를 최대 16개까지 지원하며, 고객은 다양한 에이전트 워크로드에 맞게 블레이드 유형을 혼합할 수 있다. 엔터프라이즈 구성은 에이전트 실행과 추론을 하나의 랙에 통합하도록 설계됐다. 이는 통합된 확장형 GPU 도메인으로 프런티어급 학습과 대규모 추론을 수행하도록 구축된 Helios와 다르다.
실제로 온프레미스 추론을 배포하려면 디코드 메모리가 프리필 네트워크, 스토리지 처리량, 랙 냉각, 오케스트레이션과 함께 작동해야 한다. MiTAC의 제안은 이러한 연결 요소도 GPU 자체와 더불어 용량 산정에 포함한다.












