파트너십
SambaNova, 공랭식 AI 추론을 위해 Intel GPU와 SN50 결합

핵심 포인트SambaNova는 추론을 분할하여 Intel GPU가 프리필을 처리하고 자사의 RDU가 메모리 바운드 디코드를 처리하도록 합니다.
더 보기
- SambaNova는 추론을 분할하여 Intel GPU가 프리필을 처리하고 자사의 RDU가 메모리 바운드 디코드를 처리하도록 합니다.
- 표준 이더넷과 오픈 서빙 소프트웨어가 독점 인터커넥트 없이 두 가속기 풀을 연결합니다.
- 공랭식 설계는 액체 냉각 개조가 비현실적인 기존 데이터 센터를 겨냥합니다.
SambaNova Systems는 2026년 11월 15일 발표한 바에 따르면, SuperComputing 2026에서 Intel과 함께 공랭식 AI 추론 시스템을 시연했다. 이 시스템은 프롬프트 처리에 Intel GPU D-Series 가속기 4개를, 토큰 생성에 SambaRack SN50을 사용해 GLM-5.3을 실행했다.
이 시스템은 추론을 프리필과 디코드 단계로 나눈다. 프리필은 입력 프롬프트를 처리하고 키-값(KV) 캐시를 구축하며, 디코드는 출력 토큰을 생성한다. Intel 하드웨어는 연산 집약적인 프리필을 처리하고, SambaNova의 5세대 재구성 가능 데이터플로 유닛(RDU)은 메모리 의존적인 디코드를 처리한다. SambaNova는 녹화 영상에 담긴 시스템을 고객이 기존 브라운필드 데이터센터에 구축할 수 있는 설계로 소개한다.
추론 단계마다 서로 다른 하드웨어 사용
이번 시연은 Intel의 기준 구성보다 훨씬 규모가 작다. SambaNova에 따르면 기준 구성인 D-Series 랙은 GPU 80개를 탑재하고, 구성에 따라 메모리 용량이 12TB에서 38TB이며 최대 FP4 연산 성능은 208페타플롭스다. 이 수치는 더 큰 규모의 프리필 설계를 나타내며, SuperComputing 시연 시스템의 성능 측정값은 아니다.
Intel의 D270 제품 사양에 따르면 이 공랭식 GPU는 전력 소비량이 350W이며 Xe3P 코어 32개, XMX 행렬 엔진 256개, 표준 PCIe 5.0 및 카드당 최대 480GB의 LPDDR5X 메모리를 갖췄다. 표준 폼팩터를 채택해 독점 네트워킹이나 맞춤형 시스템 없이 기존 서버에서 작동하도록 설계됐다.
SambaRack SN50 한 대에는 RDU 16개가 탑재되며, 추론 시 일반적으로 20kW의 전력이 필요하다. 최대 16개 랙이 최대 256개의 RDU를 갖춘 하나의 장치처럼 작동할 수 있어, 작업 부하를 전력 소비량이 낮은 여러 랙에 분산한다. SambaNova에 따르면 데이터플로 아키텍처는 별도의 GPU 커널 사이에서 데이터를 메모리로 되돌려 보내는 대신 칩 전반에 걸쳐 모델 연산을 연결한다. 그 결과 토큰 생성 중 메모리 트래픽과 커널 재실행 오버헤드가 줄어든다.
개방형 소프트웨어로 하드웨어 풀 연결
NVIDIA Dynamo는 두 가속기 풀 앞단에서 작동하며, 각 요청을 해당 캐시 컨텍스트를 이미 보유한 하드웨어로 라우팅하도록 설계됐다. vLLM은 Intel 프리필 경로와 SN50 디코드 경로를 모두 처리하며, NIXL은 표준 RoCEv2 이더넷을 사용해 UCX/RDMA를 통해 KV 캐시 데이터를 전송한다. 따라서 두 하드웨어 유형 간 데이터 전달에는 독점 인터커넥트가 아니라 이미 널리 구축된 이더넷 패브릭을 사용할 수 있다.
SN50은 이전 프롬프트의 KV 접두부를 연결된 DDR 메모리에 보존하고, 온칩 SRAM과 HBM은 진행 중인 디코딩을 지원한다. 에이전트가 대화나 공유 컨텍스트로 돌아오면 캐시를 고려한 라우팅을 통해 해당 접두부를 보유한 SN50으로 요청을 보낼 수 있다. 따라서 새로 추가된 내용만 GPU 프리필을 거치며, 네트워크를 오가는 KV 상태도 줄어든다. SambaNova는 이러한 캐시 적중으로 첫 토큰 생성까지 걸리는 시간이 단축되고 새 요청에 사용할 GPU 용량이 확보된다고 밝혔다. 게시물은 이러한 이점을 설명하지만, 두 시스템을 결합한 시연에서 측정한 지연 시간이나 처리량 결과는 보고하지 않는다.
기존 공랭식 시설에서 확장
이처럼 분리된 구성은 각 단계의 용량을 독립적으로 확장할 수 있게 한다. 긴 프롬프트를 처리하려면 D-Series 프리필 용량을 늘려야 할 수 있고, 더 긴 출력을 생성하는 에이전트에는 SN50 디코드 용량을 추가해야 할 수 있다. 이때 다른 쪽 풀의 용량을 비례해서 늘릴 필요는 없다.
이러한 유연성은 시설에 액체 냉각 시스템을 도입하기 어려운 운영자를 겨냥한다. Intel에 따르면 D270은 표준 PCIe 폼팩터와 350W 공랭식 전력 사양을 채택해 특수 액체 냉각 설비를 추가하지 않고도 기존 랙에서 사용할 수 있도록 설계됐다. SN50의 랙 단위 전력 사양과 결합한 이 설계는 기존 공랭식 환경에서 추론 용량을 늘리는 것을 목표로 한다.
이번 시연의 핵심은 통합에 있다. 일반적으로 사용되는 서빙 소프트웨어와 표준 이더넷으로 연결된 두 가지 가속기 아키텍처를 서로 다른 추론 단계에 배정하고 작업 부하에 맞춰 확장할 수 있다. 전력과 냉각 용량이 제한된 공급업체에 남은 질문은 실제 운영 환경의 작업 부하에서도 설명된 캐싱 및 활용률 개선 효과가 두 풀을 모두 운영할 만큼 충분히 나타나는지 여부다.












