Modelli e piattaforme di IA

Cerebras porta in produzione l’inferenza disaggregata con le GPU

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveCerebras ha misurato cinque volte il throughput per megawatt spostando l'elaborazione…
Vedi di più
  • Cerebras ha misurato cinque volte il throughput per megawatt spostando l'elaborazione dei prompt sulle GPU AMD.
  • Separare la prefill dalla decode consente alla SRAM wafer-scale di restare dedicata alla generazione di token memory-bound.
  • I partner possono adottare uno stack software completo o un SDK solo decode per i propri framework.

Cerebras Systems ha riferito il 17 novembre 2026 che la sua implementazione in produzione dell’inferenza disaggregata, che affida l’elaborazione dei prompt alle GPU AMD Instinct e la generazione delle risposte ai sistemi CS-3, ha raggiunto un throughput per megawatt cinque volte superiore a quello di una configurazione basata solo su CS-3, senza ridurre la velocità di generazione dei token.

Il risultato riguarda Cerebras Inference Cloud. La misurazione è stata effettuata su un endpoint GPT-OSS-120B condiviso il 14 novembre 2026, confrontando il throughput per megawatt prima e dopo l’attivazione della disaggregazione e normalizzando la configurazione aggregata rispetto a un valore di riferimento pari a 1×. Spostare l’elaborazione dei prompt sulle GPU lascia disponibile la capacità di servizio dei sistemi CS-3 per generare risposte, ampliando la capacità di inferenza rapida che Cerebras può offrire tramite il proprio cloud.

La comunicazione sull’implementazione in produzione fa seguito alla spiegazione dell’inferenza disaggregata fornita da Cerebras il 1° ottobre 2026, che riportava un incremento di 5× nei primi test, a parità di ingombro del motore su scala di wafer. Il nuovo annuncio va oltre quel risultato iniziale, fornendo una misurazione in produzione e un pacchetto di implementazione per i partner infrastrutturali.

Perché Cerebras separa il prefill dalla decodifica

Ogni richiesta di inferenza si articola in due fasi principali. Il prefill elabora il prompt di input e crea uno stato intermedio del modello; la decodifica usa quello stato per generare i token di output uno alla volta, reinserendo nel modello ogni nuovo token. Poiché a ogni passaggio di decodifica i dati del modello vengono letti nuovamente dalla memoria, la larghezza di banda della memoria è fondamentale per la velocità di generazione interattiva. Il prefill, invece, esegue più calcoli in parallelo sul prompt, risultando quindi più adatto ad acceleratori progettati per questo carico di calcolo.

I sistemi di Cerebras su scala di wafer collocano i dati del modello nella SRAM integrata nel chip, anziché affidarsi principalmente alla memoria ad alta larghezza di banda esterna al chip. Cerebras descrive il proprio chip su scala di wafer come dotato di decine di gigabyte di SRAM e di una larghezza di banda della memoria pari a decine di petabyte al secondo: 350× la capacità della SRAM e 5.400× la larghezza di banda della memoria di una tipica GPU GB300. Questa capacità consente di mantenere direttamente sul chip più richieste simultanee e livelli del modello, accelerando la decodifica.

L’obiettivo economico è aumentare la capacità al servizio dei clienti e il potenziale di ricavi a parità di disponibilità energetica, nei data center soggetti a vincoli di potenza. Cerebras cita Muse, Copilot e Codex come esempi di applicazioni basate su agenti in rapida crescita, che richiedono risposte altamente interattive; per essere utile a questi carichi di lavoro, l’aumento di capacità deve quindi preservare la velocità di generazione.

Architettura di implementazione e software

I partner infrastrutturali possono utilizzare un’architettura di riferimento fornita da Cerebras per collocare, sulla stessa rete, gli acceleratori di prefill scelti e i sistemi Cerebras. Possono quindi scegliere tra due modalità di integrazione: uno stack software end-to-end, pensato per ridurre il time-to-market, oppure un SDK dedicato alla sola decodifica, per chi desidera un maggiore controllo.

Lo stack completo instrada le richieste tra i pool di prefill e di decodifica e gestisce la capacità e lo stato di salute delle repliche. Il suo motore di prefill può eseguire motori di inferenza open source come vLLM o SGLang, mentre Cerebras fornisce il motore di decodifica. KV Portal trasferisce tramite RDMA lo stato intermedio del modello tra i due motori, comprese le cache key-value che conservano il contesto specifico di ciascuna richiesta dopo il prefill.

Con l’opzione dedicata alla sola decodifica, i partner mantengono il proprio framework di inferenza e il proprio motore di prefill, utilizzando al contempo il motore di decodifica e KV Portal di Cerebras. L’SDK include anche una replica di decodifica simulata e un’integrazione di riferimento con un framework open source per l’inferenza disaggregata e un motore di prefill. Amazon Web Services, Fireworks AI, Gimlet Labs e General Compute sono indicati come partner con accesso anticipato; Cerebras sta inoltre estendendo l’accesso ad altri partner.

Obiettivo di capacità

Cerebras prevede di implementare ampiamente l’inferenza disaggregata, su centinaia di megawatt, nel proprio cloud di inferenza e presso i partner entro la fine del 2027. Si tratta di un obiettivo di implementazione, non di capacità già operativa.

L’annuncio combina quindi una configurazione cloud misurata con una soluzione software destinata agli operatori esterni. La questione centrale per la scalabilità è se il vantaggio in termini di throughput misurato su un singolo endpoint condiviso possa essere replicato con gli acceleratori, i framework e le dimensioni di implementazione scelti dai partner, mentre Cerebras persegue un’espansione più ampia.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.