AI-modeller og platforme
Cerebras sætter opdelt inferens i produktion med GPU’er

NøglepunkterCerebras målte fem gange gennemstrømningen per megawatt ved at flytte promptbehandling…
Vis mere
- Cerebras målte fem gange gennemstrømningen per megawatt ved at flytte promptbehandling til AMD GPU'er.
- Ved at adskille prefill fra decode kan wafer-skala SRAM forblive dedikeret til hukommelsesbundet token-generering.
- Partnere kan adoptere en fuld softwarestack eller et decode-only SDK til deres egne frameworks.
Cerebras Systems oplyste den 17. november 2026, at virksomhedens produktionsløsning til opdelt inferens, hvor promptbehandlingen varetages af AMD Instinct-GPU’er og genereringen af svar af CS-3-systemer, leverede fem gange så høj gennemstrømning pr. megawatt som en konfiguration udelukkende med CS-3 – uden at sænke hastigheden for generering af tokens.
Resultatet gælder Cerebras Inference Cloud. Målingen blev foretaget på et delt GPT-OSS-120B-slutpunkt den 14. november 2026 og sammenlignede gennemstrømningen pr. megawatt før og efter aktiveringen af opdelingen. Den samlede konfiguration blev normaliseret til et udgangspunkt på 1×. Når promptbehandlingen flyttes til GPU’erne, frigøres CS-3-systemernes kapacitet til at generere svar, hvilket øger den kapacitet til hurtig inferens, som Cerebras kan tilbyde via sin cloudtjeneste.
Oplysningen om produktionsløsningen følger efter Cerebras’ forklaring af opdelt inferens den 1. oktober 2026, hvor virksomheden rapporterede om en gevinst på 5× i de tidlige test med samme areal til wafer-scale-engine-systemerne. Den nye annoncering går videre end dette tidlige resultat ved at fremlægge en produktionsmåling og en implementeringspakke til infrastrukturpartnere.
Derfor adskiller Cerebras præfyldning og dekodning
Hver inferensforespørgsel består af to hovedfaser. Præfyldning behandler prompten og opretter en mellemliggende modeltilstand; dekodning bruger denne tilstand til at producere outputtokens én ad gangen, hvor hver ny token føres tilbage ind i modellen. Da hvert dekodningstrin igen læser modeldata fra hukommelsen, er hukommelsesbåndbredden afgørende for hastigheden på interaktiv generering. Præfyldning udfører derimod flere beregninger parallelt på tværs af prompten og passer derfor bedre til acceleratorer, der er velegnede til denne beregningsbelastning.
Cerebras’ systemer i wafer-skala placerer modeldata i SRAM på chippen i stedet for primært at være afhængige af ekstern hukommelse med høj båndbredde. Cerebras beskriver sin chip i wafer-skala som udstyret med snesevis af gigabyte SRAM og en hukommelsesbåndbredde på snesevis af petabyte pr. sekund – 350× SRAM-kapaciteten og 5.400× hukommelsesbåndbredden i en typisk GB300-GPU. Denne kapacitet gør det muligt at have flere samtidige forespørgsler og modellag direkte på chippen, så dekodningen kan foregå hurtigt.
Det økonomiske mål er at øge kapaciteten til at betjene kunder og omsætningspotentialet inden for det samme effektbudget i datacentre med begrænset strømkapacitet. Cerebras nævner Muse, Copilot og Codex som eksempler på hurtigt voksende agentbaserede applikationer, der kræver meget interaktive svar. Derfor skal kapacitetsforøgelsen bevare genereringshastigheden for at være nyttig til disse arbejdsbelastninger.
Implementeringsarkitektur og software
Infrastrukturpartnere kan bruge en referencearkitektur fra Cerebras til at placere deres valgte præfyldningsacceleratorer og Cerebras-systemer sammen på et fælles netværk. Derefter kan de vælge mellem to integrationsmuligheder: en komplet softwarestak, der skal forkorte tiden til markedet, eller et SDK, der kun omfatter dekodning, til partnere, som ønsker mere kontrol.
Den komplette stak fordeler forespørgsler mellem puljer til præfyldning og dekodning og styrer replikaernes kapacitet og tilstand. Præfyldningsmotoren kan køre open source-inferensmotorer som vLLM eller SGLang, mens Cerebras leverer dekodningsmotoren. KV Portal overfører den mellemliggende modeltilstand mellem de to motorer via RDMA, herunder nøgle-værdi-cacherne, der bevarer den forespørgselsspecifikke kontekst efter præfyldningen.
Med muligheden for kun dekodning beholder partnerne deres eget inferensframework og deres egen præfyldningsmotor, mens de bruger Cerebras’ dekodningsmotor og KV Portal. SDK’et omfatter også en simuleret dekodningsreplika og en referenceintegration med et open source-framework til opdelt inferens og en præfyldningsmotor. Amazon Web Services, Fireworks AI, Gimlet Labs og General Compute er nævnt som partnere med tidlig adgang, og Cerebras udvider adgangen til flere partnere.
Kapacitetsmål
Cerebras planlægger at udrulle opdelt inferens i stor skala på tværs af hundredvis af megawatt i sin egen inferenscloud og hos partnerne inden udgangen af 2027. Det er et mål for den kommende udrulning, ikke kapacitet, der allerede er i drift.
Annonceringen kombinerer således en målt cloudkonfiguration med en softwareløsning til eksterne operatører. Det centrale spørgsmål ved opskaleringen er, om den gennemstrømningsfordel, der blev målt på ét delt slutpunkt, kan genskabes på tværs af partnernes valgte acceleratorer, frameworks og implementeringsstørrelser, efterhånden som Cerebras arbejder hen imod en bredere udrulning.












