AI-modellen en platforms
Cerebras brengt ontkoppelde inferentie met GPU’s in productie

Belangrijkste puntenCerebras mat vijf keer de doorvoer per megawatt door promptverwerking naar AMD GPU's te…
Meer weergeven
- Cerebras mat vijf keer de doorvoer per megawatt door promptverwerking naar AMD GPU's te verplaatsen.
- Het scheiden van prefill van decode laat wafer-scale SRAM toegewijd blijven aan geheugenbegrensde tokengeneratie.
- Partners kunnen een volledige softwarestack of een decode-only SDK voor hun eigen frameworks gebruiken.
Cerebras Systems meldde op 17 november 2026 dat de productie-implementatie van ontkoppelde inferentie, waarbij AMD Instinct GPU’s de promptverwerking voor hun rekening nemen en CS-3-systemen de antwoorden genereren, vijf keer zoveel doorvoer per megawatt leverde als een configuratie met alleen CS-3-systemen, zonder dat de snelheid van tokengeneratie afnam.
Het resultaat geldt voor Cerebras Inference Cloud. De meting werd op 14 november 2026 uitgevoerd op een gedeeld GPT-OSS-120B-eindpunt. Daarbij werd de doorvoer per megawatt vergeleken voordat en nadat ontkoppeling was ingeschakeld, en werd de geaggregeerde configuratie genormaliseerd naar een basiswaarde van 1×. Doordat het promptwerk naar de GPU’s wordt verplaatst, blijft de rekencapaciteit van de CS-3-systemen beschikbaar voor het genereren van antwoorden. Zo kan Cerebras via zijn cloud meer capaciteit voor snelle inferentie aanbieden.
De bekendmaking van de productie-implementatie volgt op Cerebras’ toelichting op ontkoppelde inferentie van 1 oktober 2026, waarin een verbetering van 5× werd gemeld bij vroege tests met dezelfde footprint van wafer-scale-engines. Met de nieuwe aankondiging gaat Cerebras verder dan dat vroege resultaat: het bedrijf maakt nu een meting in productie en een implementatiepakket voor infrastructuurpartners bekend.
Waarom Cerebras prefill en decode van elkaar scheidt
Elke inferentieaanvraag bestaat uit twee hoofdfasen. Tijdens prefill wordt de invoerprompt verwerkt en de tussenliggende modelstatus aangemaakt; tijdens decode wordt die status gebruikt om uitvoertokens één voor één te produceren, waarbij elk nieuw token opnieuw aan het model wordt gevoerd. Omdat bij elke stap van het decodeproces modelgegevens opnieuw uit het geheugen worden gelezen, is geheugenbandbreedte bepalend voor de snelheid van interactieve tekstgeneratie. Prefill voert juist meer berekeningen parallel over de prompt uit en past daardoor beter bij accelerators die geschikt zijn voor die rekenbelasting.
De wafer-scale-systemen van Cerebras plaatsen modelgegevens in SRAM op de chip, in plaats van voornamelijk te vertrouwen op extern geheugen met hoge bandbreedte. Cerebras beschrijft zijn wafer-scale-chip als voorzien van tientallen gigabytes SRAM en tientallen petabytes per seconde aan geheugenbandbreedte: 350× de SRAM-capaciteit en 5.400× de geheugenbandbreedte van een doorsnee GB300-GPU. Dankzij die capaciteit kunnen meer gelijktijdige aanvragen en modellagen rechtstreeks op de chip blijven voor snelle decode.
Het economische doel is om met hetzelfde vermogensbudget meer capaciteit te creëren om klanten te bedienen en meer omzetpotentieel te bieden in datacenters waar de beschikbare stroom beperkt is. Cerebras noemt Muse, Copilot en Codex als voorbeelden van snel opschalende agentische toepassingen die zeer interactieve antwoorden vereisen. De capaciteitsvergroting moet daarom de generatiesnelheid op peil houden om voor deze workloads nuttig te zijn.
Implementatiearchitectuur en software
Infrastructuurpartners kunnen een door Cerebras geleverde referentiearchitectuur gebruiken om de door hen gekozen prefill-accelerators en Cerebras-systemen op één gezamenlijk netwerk onder te brengen. Ze kunnen vervolgens kiezen uit twee integratieroutes: een volledige softwarestack die de time-to-market moet verkorten, of een SDK die alleen decode omvat en partners meer controle biedt.
De volledige stack stuurt aanvragen tussen prefill- en decodepools en beheert de capaciteit en status van replica’s. De prefill-engine kan open-source-inferentie-engines zoals vLLM of SGLang uitvoeren, terwijl Cerebras de decode-engine levert. KV Portal draagt de tussenliggende modelstatus via RDMA over tussen de twee engines, waaronder de sleutel-waardecaches die na prefill de context van afzonderlijke aanvragen bewaren.
Met de optie die alleen decode omvat, behouden partners hun eigen inferentieraamwerk en prefill-engine, terwijl ze de decode-engine en KV Portal van Cerebras gebruiken. De SDK bevat ook een nagebootste decodereplica en een referentie-integratie met een open-source-raamwerk voor ontkoppelde inferentie en een prefill-engine. Amazon Web Services, Fireworks AI, Gimlet Labs en General Compute worden genoemd als partners met vroege toegang. Cerebras breidt de toegang uit naar meer partners.
Capaciteitsdoel
Cerebras is van plan om tegen eind 2027 ontkoppelde inferentie op grote schaal in te zetten, verspreid over honderden megawatts in zijn eigen inferentiecloud en bij implementaties van partners. Dit is een implementatiedoel, geen capaciteit die nu al operationeel is.
De aankondiging combineert dus een configuratie in de cloud waarvan de prestaties zijn gemeten met een softwarematige route voor externe beheerders. De centrale vraag rond opschaling is of het doorvoervoordeel dat op één gedeeld eindpunt is gemeten, ook kan worden gerealiseerd met de door partners gekozen accelerators en raamwerken en bij verschillende implementatiegroottes, terwijl Cerebras deze bredere uitrol nastreeft.












