Supermicro, SambaNova 기반 AI 추론 시스템 구축·판매

SambaNova와 Supermicro는 2026년 11월 3일 발표를 통해 Supermicro가 NVIDIA GPU와 SambaNova의 SN50 재구성형 데이터플로 유닛(RDU)에 작업을 분산하는 AI 추론 시스템을 구축하고 판매 및 지원할 예정이라고 밝혔다. 양사는 초기 계획으로 SN50 칩 10,000개를 공급할 예정이다.

이 시스템은 Supermicro의 Data Center Building Block Solutions 포트폴리오에 포함된다. Supermicro는 현장 서비스를 비롯해 시스템 통합, 테스트, 배송 및 지원을 담당하고, SambaNova 엔지니어들은 SN50에서 모델을 실행하고 최적화하며 고객사의 구축을 지원한다. 따라서 이번 협력은 서버 제조·서비스 채널과 이기종 가속기 구축에 필요한 모델 엔지니어링 작업을 결합한다.

추론 작업을 GPU와 RDU로 나누는 이유

이 아키텍처는 추론을 두 단계로 나눈다. 프리필 단계에서는 연산 집약적인 작업인 입력 프롬프트 처리를 NVIDIA GPU가 담당한다. SN50 RDU는 응답을 토큰 단위로 하나씩 생성하는 메모리 집약적인 디코드 작업을 처리한다. SambaNova는 각 단계에 적합한 하드웨어를 배정하면 어느 한 종류의 하드웨어만 사용하는 것보다 추론 속도와 효율성이 높아진다고 설명한다.

SambaNova는 함께 발표한 자료에서 에이전트형 AI를 핵심 사용 사례로 제시한다. 에이전트는 대규모 언어 모델을 수천 번 호출할 수 있고, 호출 한 번에 몇 분이 걸릴 수도 있으며, 에이전트형 작업은 대부분의 시간을 디코드 단계에서 보낸다. 따라서 토큰 생성 속도가 에이전트의 다음 동작을 좌우하는 중요한 요소가 된다. 이에 두 회사는 디코드를 별도의 인프라 문제로 다루고 있으며, GPU가 프롬프트 처리를 계속 담당하는 동안 RDU를 추가해 응답 속도를 높이려 한다.

SN50 설계 살펴보기

SN50은 SambaNova의 5세대 RDU다. 공식 데이터시트에는 TSMC의 5나노미터 공정, 온칩 SRAM 432MB, HBM2E 64GB가 기재되어 있으며, DDR5가 세 번째 메모리 계층을 구성한다. 이 칩은 SambaNova의 Reconfigurable Dataflow Architecture를 사용하며, 범용 가속기 작업이 아니라 메모리 집약적인 디코드 단계에 맞춰 설계됐다.

SambaNova의 제품 설명서는 이 설계가 더 빠른 추론, 향상된 처리량 및 에너지 효율 개선을 제공한다고 설명한다. 작업을 연속적인 데이터 흐름으로 연결해 메모리 전송을 반복하는 횟수와 각 단계에서 작업을 다시 실행하는 데 드는 오버헤드를 줄인다. 메모리 계층마다 역할도 다르다. SRAM은 자주 쓰는 데이터를 연산 장치 가까이에 저장하고, HBM2E는 현재 사용 중인 모델 가중치와 자주 쓰는 KV 캐시를 보관하며, DDR5는 프롬프트 캐시와 더 큰 모델 풀, 자주 쓰이지 않는 KV 캐시를 수용한다.

SambaNova에 따르면 SN50은 여러 랙에 걸쳐 최대 256개의 RDU로 확장할 수 있으며, 대화형 에이전트, 코딩 보조 도구, 여러 모델을 오가며 사용하는 애플리케이션을 포함한 다단계 추론 작업을 위해 설계됐다. 여러 랙을 활용하는 설계는 랙 단위로 시스템을 구축하려는 이번 협력의 계획과도 부합한다. Supermicro는 RDU와 GPU를 시스템에 통합하고 이를 검증 및 지원할 예정이다.

유통 채널 확대와 데이터센터의 한계

고객은 다른 AI 인프라와 동일한 유통 채널을 통해 Supermicro에서 GPU와 함께 SN50 RDU를 구매할 수 있다. 공급은 네오클라우드와 주권 클라우드 사업자를 대상으로 시작한 뒤, 자체 데이터센터에서 AI를 운영하는 기업으로 확대된다. 이 단계적 접근 방식은 클라우드 사업자부터 시작해 이후 기업 시설에도 동일한 GPU-RDU 결합 아키텍처를 도입한다.

전력과 냉각은 이번 구축의 핵심 근거다. 양사는 SN50이 랙의 전력 밀도를 극단적으로 높이지 않고도 대규모 모델을 빠른 속도와 높은 처리량으로 서비스할 수 있어 기존 데이터센터에 시스템을 더 쉽게 도입할 수 있다고 밝혔다. 이러한 전력 특성은 기존 시설을 활용하려는 이번 협력의 취지에도 부합한다. RDU는 운영자가 이미 가동 중인 시설에 추론 용량을 추가하도록 설계됐다.

양사는 디코드 작업에 RDU를 추가하면 전력과 냉각 제약으로 신규 시설 건설이 지연되는 상황에서도 추론 용량을 늘릴 수 있고, 이미 설치된 GPU의 활용 수명도 연장할 수 있다고 밝혔다. 따라서 이 제안은 추가 용량을 운영자가 이미 보유한 시설 및 GPU와 연결한다.

SambaNova와 Supermicro는 이번 협력을 통해 그렇지 않을 경우보다 2027년에 훨씬 더 큰 규모의 고성능 추론 용량을 제공할 수 있을 것으로 기대한다. 이 계획의 핵심은 디코드 전용 하드웨어와 Supermicro의 구축 채널을 결합하는 데 있다. 전력과 냉각의 제약에 직면한 운영자에게 남은 질문은 계획된 RDU 설치가 두 회사가 전망하는 규모만큼 기존 시설에 유용한 추론 용량을 추가할 수 있느냐는 것이다.