Modely a platformy AI

Cerebras uvádí disaggregovanou inferenci do produkčního provozu s GPU

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyCerebras naměřil pětinásobnou propustnost na megawatt díky přesunu zpracování promptu…
Zobrazit více
  • Cerebras naměřil pětinásobnou propustnost na megawatt díky přesunu zpracování promptu na GPU AMD.
  • Oddělení prefill od decode umožňuje, aby wafer-scale SRAM zůstala vyhrazena pro generování tokenů vázané na paměť.
  • Partneři mohou přijmout plný softwarový stack nebo SDK pouze pro decode pro své vlastní frameworky.

Společnost Cerebras Systems uvedla 17. listopadu 2026, že její produkční nasazení disaggregované inference, při němž zpracování promptů zajišťují GPU AMD Instinct a generování odpovědí systémy CS-3, dosáhlo pětinásobné propustnosti na megawatt oproti konfiguraci využívající pouze CS-3, aniž by se snížila rychlost generování tokenů.

Výsledek se týká služby Cerebras Inference Cloud. Měření vycházelo ze sdíleného koncového bodu GPT-OSS-120B ze dne 14. listopadu 2026 a porovnávalo propustnost na megawatt před zapnutím disaggregace a po něm; souhrnná konfigurace byla přepočtena na výchozí hodnotu 1×. Přesunutím zpracování promptů na GPU zůstává obslužná kapacita systémů CS-3 k dispozici pro generování odpovědí, čímž se rozšiřuje kapacita rychlé inference, kterou může Cerebras nabízet prostřednictvím svého cloudu.

Zveřejnění informací o produkčním nasazení navazuje na vysvětlení disaggregované inference, které Cerebras publikovala 1. října 2026 a v němž informovala o pětinásobném zlepšení při raných testech se stejnou sestavou wafer-scale enginů. Nové oznámení posouvá výsledky nad rámec této rané fáze: přináší měření z produkčního provozu a balíček pro nasazení určený infrastrukturním partnerům.

Proč Cerebras odděluje předvyplňování a dekódování

Každý požadavek na inferenci má dvě hlavní fáze. Předvyplňování zpracuje vstupní prompt a vytvoří mezistav modelu; dekódování tento stav využívá k postupnému generování výstupních tokenů, přičemž každý nově vytvořený token se znovu předává modelu. Protože každý krok dekódování znovu načítá data modelu z paměti, je šířka pásma paměti zásadní pro rychlost interaktivního generování. Předvyplňování naproti tomu provádí více výpočtů nad promptem paralelně, a proto se lépe hodí pro akcelerátory uzpůsobené tomuto výpočetnímu zatížení.

Systémy Cerebras s wafer-scale architekturou ukládají data modelu do SRAM přímo na čipu, místo aby se primárně spoléhaly na vysokorychlostní paměť mimo čip. Cerebras uvádí, že jeho wafer-scale čip obsahuje desítky gigabajtů SRAM a nabízí propustnost paměti v řádu desítek petabajtů za sekundu — tedy 350× větší kapacitu SRAM a 5 400× vyšší propustnost paměti než typický GPU GB300. Díky této kapacitě může na čipu přímo zůstat více souběžných požadavků i vrstev modelu, což umožňuje rychlé dekódování.

Cílem z ekonomického hlediska je zvýšit kapacitu pro obsluhu zákazníků a potenciál výnosů při stejném rozpočtu energie v datových centrech s omezenou dostupností energie. Cerebras uvádí Muse, Copilot a Codex jako příklady rychle se rozvíjejících agentních aplikací, které vyžadují vysoce interaktivní odpovědi; zvýšení kapacity proto musí zachovat rychlost generování, aby bylo pro tato pracovní zatížení užitečné.

Architektura nasazení a software

Infrastrukturní partneři mohou využít referenční architekturu poskytnutou společností Cerebras a umístit své vybrané akcelerátory pro předvyplňování společně se systémy Cerebras do jednotné sítě. Poté si mohou vybrat jednu ze dvou možností integrace: kompletní softwarový stack, jehož cílem je zkrátit dobu uvedení na trh, nebo SDK pouze pro dekódování určenou partnerům, kteří chtějí mít větší kontrolu.

Kompletní stack směruje požadavky mezi skupinami pro předvyplňování a dekódování a spravuje kapacitu i stav replik. Jeho nástroj pro předvyplňování může spouštět open-source inferenční enginy, například vLLM nebo SGLang, zatímco Cerebras dodává engine pro dekódování. KV Portal přenáší mezistav modelu mezi oběma enginy přes RDMA, včetně keš klíčů a hodnot, které po předvyplnění uchovávají kontext konkrétního požadavku.

Při použití varianty pouze pro dekódování si partneři ponechají vlastní inferenční framework i engine pro předvyplňování a zároveň využívají engine Cerebras pro dekódování a KV Portal. SDK obsahuje také maketu repliky pro dekódování a referenční integraci s open-source frameworkem pro disaggregovanou inferenci a enginem pro předvyplňování. Mezi jmenované partnery s předběžným přístupem patří Amazon Web Services, Fireworks AI, Gimlet Labs a General Compute; Cerebras rozšiřuje přístup i na další partnery.

Cíl v oblasti kapacity

Cerebras plánuje do konce roku 2027 široce nasadit disaggregovanou inferenci ve stovkách megawattů, a to ve vlastním inferenčním cloudu i v nasazeních u partnerů. Jde o cíl nasazení, nikoli o kapacitu, která je již v provozu.

Oznámení tak spojuje konfiguraci v cloudu ověřenou měřením se softwarovou cestou pro externí provozovatele. Hlavní otázkou při škálování je, zda lze výhodu v propustnosti naměřenou na jednom sdíleném koncovém bodu zopakovat napříč akcelerátory, frameworky a velikostmi nasazení, které si zvolí partneři, zatímco Cerebras usiluje o širší rozšíření této technologie.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.