AI 모델 및 플랫폼
Cerebras, GPU로 분리형 추론을 실제 운영 환경에 도입

핵심 포인트Cerebras는 프롬프트 처리를 AMD GPU로 전환하여 메가와트당 처리량이 5배임을 측정했습니다.
더 보기
- Cerebras는 프롬프트 처리를 AMD GPU로 전환하여 메가와트당 처리량이 5배임을 측정했습니다.
- 프리필을 디코드와 분리하면 웨이퍼 스케일 SRAM이 메모리 바운드 토큰 생성에 전념할 수 있습니다.
- 파트너는 전체 소프트웨어 스택 또는 자체 프레임워크용 디코드 전용 SDK를 채택할 수 있습니다.
Cerebras Systems는 2026년 11월 17일 발표에서, 프롬프트 처리는 AMD Instinct GPU에, 응답 생성은 CS-3 시스템에 맡기는 분리형 추론을 실제 운영 환경에 도입한 결과, 토큰 생성 속도를 낮추지 않으면서 CS-3만 사용하는 구성보다 메가와트당 처리량이 5배 높아졌다고 밝혔다.
이 결과는 Cerebras Inference Cloud에 적용된다. 측정은 2026년 11월 14일 공유 GPT-OSS-120B 엔드포인트에서 분리형 추론을 활성화하기 전후의 메가와트당 처리량을 비교하고, 통합 구성을 1× 기준으로 정규화해 이뤄졌다. 프롬프트 처리 작업을 GPU로 옮기면 CS-3 시스템의 서비스 용량을 응답 생성에 사용할 수 있어, Cerebras가 클라우드를 통해 제공할 수 있는 고속 추론 용량이 늘어난다.
이번 실제 운영 환경 공개는 Cerebras가 2026년 10월 1일 분리형 추론을 설명하며 동일한 웨이퍼 스케일 엔진 구성에서 초기 테스트 결과 5배 향상을 보고한 데 이은 것이다. 이번 발표는 실제 운영 환경에서 측정한 결과와 인프라 파트너를 위한 배포 패키지를 제공함으로써 초기 성과를 넘어선다.
Cerebras가 프리필과 디코드를 분리하는 이유
추론 요청은 크게 두 단계로 이뤄진다. 프리필은 입력 프롬프트를 처리해 중간 모델 상태를 만들고, 디코드는 그 상태를 사용해 출력 토큰을 하나씩 생성하며 새 토큰을 매번 모델에 다시 입력한다. 디코드 단계마다 메모리에서 모델 데이터를 다시 읽으므로, 메모리 대역폭은 대화형 생성 속도를 좌우하는 핵심 요소다. 반면 프리필은 프롬프트 전체를 대상으로 더 많은 연산을 병렬 수행하므로, 이러한 연산 부하에 적합한 가속기에 더 잘 맞는다.
Cerebras의 웨이퍼 스케일 시스템은 주로 오프칩 고대역폭 메모리에 의존하는 대신, 온칩 SRAM에 모델 데이터를 저장한다. Cerebras에 따르면 자사의 웨이퍼 스케일 칩에는 수십 기가바이트의 SRAM과 초당 수십 페타바이트의 메모리 대역폭이 탑재되어 있다. 이는 일반적인 GB300 GPU보다 SRAM 용량은 350배, 메모리 대역폭은 5,400배 높은 수치다. 이 용량 덕분에 더 많은 동시 요청과 모델 계층을 칩에 직접 유지해 빠르게 디코드할 수 있다.
전력 제약이 있는 데이터센터에서 같은 전력 예산으로 고객에게 제공할 수 있는 용량과 매출 잠재력을 높이는 것이 경제적 목표다. Cerebras는 빠르게 규모를 키우고 있으며 응답성이 뛰어난 상호작용을 요구하는 에이전트형 애플리케이션의 예로 Muse, Copilot, Codex를 들었다. 따라서 이러한 워크로드에 용량 증가가 실질적인 도움이 되려면 생성 속도를 유지해야 한다.
배포 아키텍처와 소프트웨어
인프라 파트너는 Cerebras가 제공하는 참조 아키텍처를 이용해 선택한 프리필 가속기와 Cerebras 시스템을 통합 네트워크에 함께 배치할 수 있다. 이후 두 가지 통합 경로 중 하나를 선택할 수 있다. 출시 기간을 단축하도록 설계된 엔드투엔드 소프트웨어 스택이나, 더 많은 제어권을 원하는 파트너를 위한 디코드 전용 SDK다.
전체 스택은 프리필 풀과 디코드 풀 사이에서 요청을 라우팅하고 복제본의 용량과 상태를 관리한다. 프리필 엔진은 vLLM이나 SGLang 같은 오픈소스 추론 엔진을 실행할 수 있으며, 디코드 엔진은 Cerebras가 제공한다. KV Portal은 RDMA를 통해 두 엔진 사이에서 중간 모델 상태를 전송하며, 여기에는 프리필 이후 요청별 맥락을 보존하는 키-값 캐시도 포함된다.
디코드 전용 옵션을 선택하면 파트너는 자체 추론 프레임워크와 프리필 엔진을 그대로 사용하면서 Cerebras의 디코드 엔진과 KV Portal을 이용할 수 있다. SDK에는 모의 디코드 복제본과 오픈소스 분리형 추론 프레임워크 및 프리필 엔진을 참조 구현으로 통합한 예제도 포함된다. 초기 액세스 파트너로는 Amazon Web Services, Fireworks AI, Gimlet Labs, General Compute가 이름을 올렸으며, Cerebras는 더 많은 파트너에게 액세스를 확대하고 있다.
용량 목표
Cerebras는 2027년 말까지 자사의 추론 클라우드와 파트너 배포 환경에서 수백 메가와트 규모로 분리형 추론을 폭넓게 도입할 계획이다. 이는 배포 목표이지, 이미 운영 중인 용량을 뜻하지 않는다.
따라서 이번 발표는 클라우드에서 측정한 구성과 외부 운영자를 위한 소프트웨어 경로를 함께 제시한다. Cerebras가 더 광범위한 배포를 추진하는 가운데, 핵심 확장 과제는 하나의 공유 엔드포인트에서 측정한 처리량 이점을 파트너가 선택한 가속기와 프레임워크, 다양한 배포 규모에서도 재현할 수 있는지 여부다.












