AI-modellen en platforms

Cerebras brengt ontkoppelde inferentie met GPU’s in productie

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenCerebras mat vijf keer de doorvoer per megawatt door promptverwerking naar AMD GPU's te…
Meer weergeven
  • Cerebras mat vijf keer de doorvoer per megawatt door promptverwerking naar AMD GPU's te verplaatsen.
  • Het scheiden van prefill van decode laat wafer-scale SRAM toegewijd blijven aan geheugenbegrensde tokengeneratie.
  • Partners kunnen een volledige softwarestack of een decode-only SDK voor hun eigen frameworks gebruiken.

Cerebras Systems meldde op 17 november 2026 dat de productie-implementatie van ontkoppelde inferentie, waarbij AMD Instinct GPU’s de promptverwerking voor hun rekening nemen en CS-3-systemen de antwoorden genereren, vijf keer zoveel doorvoer per megawatt leverde als een configuratie met alleen CS-3-systemen, zonder dat de snelheid van tokengeneratie afnam.

Het resultaat geldt voor Cerebras Inference Cloud. De meting werd op 14 november 2026 uitgevoerd op een gedeeld GPT-OSS-120B-eindpunt. Daarbij werd de doorvoer per megawatt vergeleken voordat en nadat ontkoppeling was ingeschakeld, en werd de geaggregeerde configuratie genormaliseerd naar een basiswaarde van 1×. Doordat het promptwerk naar de GPU’s wordt verplaatst, blijft de rekencapaciteit van de CS-3-systemen beschikbaar voor het genereren van antwoorden. Zo kan Cerebras via zijn cloud meer capaciteit voor snelle inferentie aanbieden.

De bekendmaking van de productie-implementatie volgt op Cerebras’ toelichting op ontkoppelde inferentie van 1 oktober 2026, waarin een verbetering van 5× werd gemeld bij vroege tests met dezelfde footprint van wafer-scale-engines. Met de nieuwe aankondiging gaat Cerebras verder dan dat vroege resultaat: het bedrijf maakt nu een meting in productie en een implementatiepakket voor infrastructuurpartners bekend.

Waarom Cerebras prefill en decode van elkaar scheidt

Elke inferentieaanvraag bestaat uit twee hoofdfasen. Tijdens prefill wordt de invoerprompt verwerkt en de tussenliggende modelstatus aangemaakt; tijdens decode wordt die status gebruikt om uitvoertokens één voor één te produceren, waarbij elk nieuw token opnieuw aan het model wordt gevoerd. Omdat bij elke stap van het decodeproces modelgegevens opnieuw uit het geheugen worden gelezen, is geheugenbandbreedte bepalend voor de snelheid van interactieve tekstgeneratie. Prefill voert juist meer berekeningen parallel over de prompt uit en past daardoor beter bij accelerators die geschikt zijn voor die rekenbelasting.

De wafer-scale-systemen van Cerebras plaatsen modelgegevens in SRAM op de chip, in plaats van voornamelijk te vertrouwen op extern geheugen met hoge bandbreedte. Cerebras beschrijft zijn wafer-scale-chip als voorzien van tientallen gigabytes SRAM en tientallen petabytes per seconde aan geheugenbandbreedte: 350× de SRAM-capaciteit en 5.400× de geheugenbandbreedte van een doorsnee GB300-GPU. Dankzij die capaciteit kunnen meer gelijktijdige aanvragen en modellagen rechtstreeks op de chip blijven voor snelle decode.

Het economische doel is om met hetzelfde vermogensbudget meer capaciteit te creëren om klanten te bedienen en meer omzetpotentieel te bieden in datacenters waar de beschikbare stroom beperkt is. Cerebras noemt Muse, Copilot en Codex als voorbeelden van snel opschalende agentische toepassingen die zeer interactieve antwoorden vereisen. De capaciteitsvergroting moet daarom de generatiesnelheid op peil houden om voor deze workloads nuttig te zijn.

Implementatiearchitectuur en software

Infrastructuurpartners kunnen een door Cerebras geleverde referentiearchitectuur gebruiken om de door hen gekozen prefill-accelerators en Cerebras-systemen op één gezamenlijk netwerk onder te brengen. Ze kunnen vervolgens kiezen uit twee integratieroutes: een volledige softwarestack die de time-to-market moet verkorten, of een SDK die alleen decode omvat en partners meer controle biedt.

De volledige stack stuurt aanvragen tussen prefill- en decodepools en beheert de capaciteit en status van replica’s. De prefill-engine kan open-source-inferentie-engines zoals vLLM of SGLang uitvoeren, terwijl Cerebras de decode-engine levert. KV Portal draagt de tussenliggende modelstatus via RDMA over tussen de twee engines, waaronder de sleutel-waardecaches die na prefill de context van afzonderlijke aanvragen bewaren.

Met de optie die alleen decode omvat, behouden partners hun eigen inferentieraamwerk en prefill-engine, terwijl ze de decode-engine en KV Portal van Cerebras gebruiken. De SDK bevat ook een nagebootste decodereplica en een referentie-integratie met een open-source-raamwerk voor ontkoppelde inferentie en een prefill-engine. Amazon Web Services, Fireworks AI, Gimlet Labs en General Compute worden genoemd als partners met vroege toegang. Cerebras breidt de toegang uit naar meer partners.

Capaciteitsdoel

Cerebras is van plan om tegen eind 2027 ontkoppelde inferentie op grote schaal in te zetten, verspreid over honderden megawatts in zijn eigen inferentiecloud en bij implementaties van partners. Dit is een implementatiedoel, geen capaciteit die nu al operationeel is.

De aankondiging combineert dus een configuratie in de cloud waarvan de prestaties zijn gemeten met een softwarematige route voor externe beheerders. De centrale vraag rond opschaling is of het doorvoervoordeel dat op één gedeeld eindpunt is gemeten, ook kan worden gerealiseerd met de door partners gekozen accelerators en raamwerken en bij verschillende implementatiegroottes, terwijl Cerebras deze bredere uitrol nastreeft.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.