Modelli e piattaforme di IA
Cerebras porta in produzione l’inferenza disaggregata con le GPU

Punti chiaveCerebras ha misurato cinque volte il throughput per megawatt spostando l'elaborazione…
Vedi di più
- Cerebras ha misurato cinque volte il throughput per megawatt spostando l'elaborazione dei prompt sulle GPU AMD.
- Separare la prefill dalla decode consente alla SRAM wafer-scale di restare dedicata alla generazione di token memory-bound.
- I partner possono adottare uno stack software completo o un SDK solo decode per i propri framework.
Cerebras Systems ha riferito il 17 novembre 2026 che la sua implementazione in produzione dell’inferenza disaggregata, che affida l’elaborazione dei prompt alle GPU AMD Instinct e la generazione delle risposte ai sistemi CS-3, ha raggiunto un throughput per megawatt cinque volte superiore a quello di una configurazione basata solo su CS-3, senza ridurre la velocità di generazione dei token.
Il risultato riguarda Cerebras Inference Cloud. La misurazione è stata effettuata su un endpoint GPT-OSS-120B condiviso il 14 novembre 2026, confrontando il throughput per megawatt prima e dopo l’attivazione della disaggregazione e normalizzando la configurazione aggregata rispetto a un valore di riferimento pari a 1×. Spostare l’elaborazione dei prompt sulle GPU lascia disponibile la capacità di servizio dei sistemi CS-3 per generare risposte, ampliando la capacità di inferenza rapida che Cerebras può offrire tramite il proprio cloud.
La comunicazione sull’implementazione in produzione fa seguito alla spiegazione dell’inferenza disaggregata fornita da Cerebras il 1° ottobre 2026, che riportava un incremento di 5× nei primi test, a parità di ingombro del motore su scala di wafer. Il nuovo annuncio va oltre quel risultato iniziale, fornendo una misurazione in produzione e un pacchetto di implementazione per i partner infrastrutturali.
Perché Cerebras separa il prefill dalla decodifica
Ogni richiesta di inferenza si articola in due fasi principali. Il prefill elabora il prompt di input e crea uno stato intermedio del modello; la decodifica usa quello stato per generare i token di output uno alla volta, reinserendo nel modello ogni nuovo token. Poiché a ogni passaggio di decodifica i dati del modello vengono letti nuovamente dalla memoria, la larghezza di banda della memoria è fondamentale per la velocità di generazione interattiva. Il prefill, invece, esegue più calcoli in parallelo sul prompt, risultando quindi più adatto ad acceleratori progettati per questo carico di calcolo.
I sistemi di Cerebras su scala di wafer collocano i dati del modello nella SRAM integrata nel chip, anziché affidarsi principalmente alla memoria ad alta larghezza di banda esterna al chip. Cerebras descrive il proprio chip su scala di wafer come dotato di decine di gigabyte di SRAM e di una larghezza di banda della memoria pari a decine di petabyte al secondo: 350× la capacità della SRAM e 5.400× la larghezza di banda della memoria di una tipica GPU GB300. Questa capacità consente di mantenere direttamente sul chip più richieste simultanee e livelli del modello, accelerando la decodifica.
L’obiettivo economico è aumentare la capacità al servizio dei clienti e il potenziale di ricavi a parità di disponibilità energetica, nei data center soggetti a vincoli di potenza. Cerebras cita Muse, Copilot e Codex come esempi di applicazioni basate su agenti in rapida crescita, che richiedono risposte altamente interattive; per essere utile a questi carichi di lavoro, l’aumento di capacità deve quindi preservare la velocità di generazione.
Architettura di implementazione e software
I partner infrastrutturali possono utilizzare un’architettura di riferimento fornita da Cerebras per collocare, sulla stessa rete, gli acceleratori di prefill scelti e i sistemi Cerebras. Possono quindi scegliere tra due modalità di integrazione: uno stack software end-to-end, pensato per ridurre il time-to-market, oppure un SDK dedicato alla sola decodifica, per chi desidera un maggiore controllo.
Lo stack completo instrada le richieste tra i pool di prefill e di decodifica e gestisce la capacità e lo stato di salute delle repliche. Il suo motore di prefill può eseguire motori di inferenza open source come vLLM o SGLang, mentre Cerebras fornisce il motore di decodifica. KV Portal trasferisce tramite RDMA lo stato intermedio del modello tra i due motori, comprese le cache key-value che conservano il contesto specifico di ciascuna richiesta dopo il prefill.
Con l’opzione dedicata alla sola decodifica, i partner mantengono il proprio framework di inferenza e il proprio motore di prefill, utilizzando al contempo il motore di decodifica e KV Portal di Cerebras. L’SDK include anche una replica di decodifica simulata e un’integrazione di riferimento con un framework open source per l’inferenza disaggregata e un motore di prefill. Amazon Web Services, Fireworks AI, Gimlet Labs e General Compute sono indicati come partner con accesso anticipato; Cerebras sta inoltre estendendo l’accesso ad altri partner.
Obiettivo di capacità
Cerebras prevede di implementare ampiamente l’inferenza disaggregata, su centinaia di megawatt, nel proprio cloud di inferenza e presso i partner entro la fine del 2027. Si tratta di un obiettivo di implementazione, non di capacità già operativa.
L’annuncio combina quindi una configurazione cloud misurata con una soluzione software destinata agli operatori esterni. La questione centrale per la scalabilità è se il vantaggio in termini di throughput misurato su un singolo endpoint condiviso possa essere replicato con gli acceleratori, i framework e le dimensioni di implementazione scelti dai partner, mentre Cerebras persegue un’espansione più ampia.












