AI-modeller och plattformar
Cerebras tar inferens med separerad förbehandling och avkodning i produktion med GPU:er

Viktiga punkterCerebras uppmätte fem gånger så hög genomströmning per megawatt genom att flytta…
Visa mer
- Cerebras uppmätte fem gånger så hög genomströmning per megawatt genom att flytta promptbearbetningen till AMD-grafikprocessorer.
- Genom att separera prefill från decode kan wafer-scale SRAM förbli dedikerat till minnesbundna token-generering.
- Partner kan antingen använda en komplett mjukvarustack eller ett decode-only SDK för sina egna ramverk.
Cerebras Systems rapporterade den 17 november 2026 att företagets produktionssatta lösning för separerad inferens, där promptbearbetning utförs av AMD Instinct-GPU:er och svarsgenerering av CS-3-system, levererade fem gånger högre genomströmning per megawatt än en konfiguration med enbart CS-3, utan att sänka hastigheten för token-generering.
Resultatet gäller Cerebras Inference Cloud. Mätningen gjordes på en delad GPT-OSS-120B-slutpunkt den 14 november 2026. Genomströmningen per megawatt jämfördes före och efter att separeringen aktiverats, och den aggregerade konfigurationen normaliserades till en baslinje på 1×. När promptbearbetningen flyttas till GPU:erna frigörs CS-3-systemens serveringskapacitet för att generera svar, vilket ökar den kapacitet för snabb inferens som Cerebras kan erbjuda via sin molntjänst.
Produktionsbeskedet följer på Cerebras förklaring av separerad inferens den 1 oktober 2026, där företaget rapporterade en förbättring på 5× i tidiga tester med samma yta av wafer-scale-processorer. Det nya tillkännagivandet går längre än det tidiga resultatet genom att presentera en produktionsmätning och ett driftsättningspaket för infrastrukturpartner.
Därför separerar Cerebras förbehandling och avkodning
Varje inferensbegäran består av två huvudsteg. Förbehandlingen bearbetar prompten och skapar ett mellanliggande modelltillstånd. Avkodningen använder det tillståndet för att skapa utdatatoken en i taget och skickar varje ny token tillbaka in i modellen. Eftersom varje avkodningssteg läser modelldata från minnet på nytt är minnesbandbredden avgörande för hastigheten vid interaktiv generering. Förbehandlingen utför i stället mer beräkning parallellt över prompten, vilket gör den bättre lämpad för acceleratorer som är anpassade till den typen av beräkningsbelastning.
Cerebras wafer-scale-system lagrar modelldata i SRAM på chipet i stället för att huvudsakligen förlita sig på minne med hög bandbredd utanför chipet. Cerebras uppger att deras wafer-scale-chip har tiotals gigabyte SRAM och en minnesbandbredd på tiotals petabyte per sekund – 350× SRAM-kapaciteten och 5 400× minnesbandbredden hos en typisk GB300-GPU. Den kapaciteten gör att fler samtidiga begäranden och modellager kan stanna direkt på chipet för snabb avkodning.
Det ekonomiska målet är att öka kapaciteten att betjäna kunder och intäktspotentialen med samma effektbudget i datacenter där tillgången på effekt är begränsad. Cerebras nämner Muse, Copilot och Codex som exempel på snabbt växande agentbaserade applikationer som kräver mycket interaktiva svar. Därför måste kapacitetsökningen bevara genereringshastigheten för att vara användbar för dessa arbetsbelastningar.
Driftsättningsarkitektur och programvara
Infrastrukturpartner kan använda en referensarkitektur från Cerebras för att samlokalisera sina valda acceleratorer för förbehandling och Cerebras-system i ett gemensamt nätverk. Därefter kan de välja mellan två integrationsvägar: en programvarustack från början till slut, avsedd att korta tiden till marknaden, eller ett SDK med enbart avkodning för partner som vill ha större kontroll.
Den fullständiga programvarustacken dirigerar begäranden mellan poolerna för förbehandling och avkodning och hanterar replikornas kapacitet och hälsostatus. Förbehandlingsmotorn kan köra inferensmotorer med öppen källkod, till exempel vLLM eller SGLang, medan Cerebras tillhandahåller avkodningsmotorn. KV Portal överför mellanliggande modelltillstånd mellan de två motorerna via RDMA, inklusive nyckel-värdecacherna som bevarar den begärandespecifika kontexten efter förbehandlingen.
Med alternativet för enbart avkodning behåller partnerna sitt eget inferensramverk och sin förbehandlingsmotor, samtidigt som de använder Cerebras avkodningsmotor och KV Portal. SDK:t innehåller också en simulerad avkodningsreplik och en referensintegration med ett inferensramverk för separerad inferens och en förbehandlingsmotor med öppen källkod. Amazon Web Services, Fireworks AI, Gimlet Labs och General Compute anges som partner med tidig åtkomst, och Cerebras utökar åtkomsten till fler partner.
Kapacitetsmål
Cerebras planerar att driftsätta separerad inferens i stor skala, över hundratals megawatt, i sin egen inferensmolntjänst och i partnerlösningar före utgången av 2027. Det är ett driftsättningsmål, inte kapacitet som redan är i drift.
Tillkännagivandet förenar alltså en uppmätt molnkonfiguration med en programvarulösning för externa operatörer. Den centrala frågan när det gäller skalning är om den genomströmningsfördel som uppmättes på en enda delad slutpunkt kan återskapas med partnernas val av acceleratorer, ramverk och driftsättningsstorlekar, samtidigt som Cerebras arbetar mot en bredare utrullning.












