AI-modeller og plattformer
Cerebras tar disaggregert inferens i produksjon med GPU-er

Viktige punkterCerebras målte fem ganger gjennomstrømningen per megawatt ved å flytte…
Vis mer
- Cerebras målte fem ganger gjennomstrømningen per megawatt ved å flytte ledetekstbehandling til AMD-GPU-er.
- Å skille prefill fra dekoding lar SRAM i wafer-skala forbli dedikert til minnebundet token-generering.
- Partnere kan ta i bruk en full programvarestack eller en SDK kun for dekoding til sine egne rammeverk.
Cerebras Systems meldte 17. november 2026 at selskapets produksjonsklare utrulling av disaggregert inferens, der AMD Instinct-GPU-er håndterer behandling av forespørsler og CS-3-systemer genererer svar, leverte fem ganger så høy gjennomstrømning per megawatt som en konfigurasjon med bare CS-3, uten å redusere hastigheten på generering av tokener.
Resultatet gjelder Cerebras Inference Cloud. Målingen ble gjort på et delt GPT-OSS-120B-endepunkt 14. november 2026. Den sammenlignet gjennomstrømningen per megawatt før og etter at inferensen ble disaggregert, og normaliserte den samlede konfigurasjonen til en grunnlinje på 1×. Når arbeidet med forespørslene flyttes til GPU-ene, blir kapasiteten i CS-3-systemene tilgjengelig for å generere svar. Dermed øker kapasiteten for rask inferens som Cerebras kan tilby gjennom skytjenesten sin.
Offentliggjøringen av produksjonsutrullingen følger Cerebras’ forklaring av disaggregert inferens 1. oktober 2026, der selskapet rapporterte om en forbedring på 5× i tidlige tester med samme wafer-skala-motoravtrykk. Den nye kunngjøringen går lenger enn dette tidlige resultatet ved å legge fram en måling fra produksjon og en utrullingspakke for infrastruktursamarbeidspartnere.
Derfor skiller Cerebras mellom prefill og dekoding
Hver inferensforespørsel har to hovedfaser. Prefill behandler inndataforespørselen og oppretter en mellomliggende modelltilstand. Dekoding bruker denne tilstanden til å produsere utdata-tokener ett om gangen, og sender hvert nye token tilbake til modellen. Fordi hvert dekodingstrinn leser modelldata fra minnet på nytt, er minnebåndbredden avgjørende for hastigheten på interaktiv generering. Prefill utfører i stedet flere beregninger parallelt på tvers av forespørselen, og passer derfor bedre til akseleratorer som er egnet for denne typen beregningsbelastning.
Cerebras’ systemer i wafer-skala lagrer modelldata i SRAM på brikken i stedet for hovedsakelig å være avhengige av minne med høy båndbredde utenfor brikken. Cerebras beskriver brikken i wafer-skala som utstyrt med titalls gigabyte SRAM og en minnebåndbredde på titalls petabyte per sekund – 350× SRAM-kapasiteten og 5 400× minnebåndbredden til en typisk GB300-GPU. Denne kapasiteten gjør det mulig å holde flere samtidige forespørsler og modellag direkte på brikken for rask dekoding.
Det økonomiske målet er å øke kapasiteten til å betjene kunder og inntektspotensialet innenfor det samme strømforbruket i datasentre med begrenset strømtilgang. Cerebras viser til Muse, Copilot og Codex som eksempler på raskt voksende agentbaserte applikasjoner som krever svært interaktive svar. Kapasitetsøkningen må derfor opprettholde genereringshastigheten for å være nyttig for disse arbeidslastene.
Utrullingsarkitektur og programvare
Infrastruktursamarbeidspartnere kan bruke en referansearkitektur fra Cerebras til å plassere de valgte prefill-akseleratorene og Cerebras-systemene sammen på et felles nettverk. Deretter kan de velge mellom to integrasjonsløsninger: en komplett programvarestakk som skal forkorte tiden fram til markedslansering, eller et SDK som bare dekker dekoding, for samarbeidspartnere som ønsker større kontroll.
Den komplette programvarestakken ruter forespørsler mellom prefill- og dekodingsressurser og administrerer kapasiteten og tilstanden til replikaene. Prefill-motoren kan kjøre inferensmotorer med åpen kildekode, som vLLM eller SGLang, mens Cerebras leverer dekodingsmotoren. KV Portal overfører den mellomliggende modelltilstanden mellom de to motorene via RDMA, inkludert nøkkel-verdi-hurtigbufferne som bevarer konteksten for den enkelte forespørsel etter prefill.
Med løsningen som bare dekker dekoding, beholder samarbeidspartnerne sitt eget inferensrammeverk og sin egen prefill-motor, samtidig som de bruker Cerebras’ dekodingsmotor og KV Portal. SDK-et omfatter også en simulert dekodingsreplika og en referanseintegrasjon med et rammeverk for disaggregert inferens med åpen kildekode og en prefill-motor. Amazon Web Services, Fireworks AI, Gimlet Labs og General Compute er oppført som samarbeidspartnere med tidlig tilgang, og Cerebras utvider tilgangen til flere samarbeidspartnere.
Kapasitetsmål
Cerebras planlegger å rulle ut disaggregert inferens i stor skala på tvers av hundrevis av megawatt i sin egen inferenssky og hos samarbeidspartnerne innen utgangen av 2027. Dette er et mål for utrullingen, ikke kapasitet som allerede er i drift.
Kunngjøringen kombinerer dermed en målt skykonfigurasjon med en programvareløsning for eksterne operatører. Det sentrale spørsmålet ved oppskalering er om fordelen i gjennomstrømning som ble målt på ett delt endepunkt, kan gjenskapes på tvers av samarbeidspartnernes valgte akseleratorer, rammeverk og utrullingsstørrelser etter hvert som Cerebras arbeider mot en bredere utrulling.












