Modele i platformy AI
Cerebras wprowadza do produkcji rozdzielone wnioskowanie z wykorzystaniem GPU

Kluczowe punktyCerebras zmierzył pięciokrotnie większą przepustowość na megawat, przenosząc…
Zobacz więcej
- Cerebras zmierzył pięciokrotnie większą przepustowość na megawat, przenosząc przetwarzanie podpowiedzi do procesorów graficznych AMD.
- Oddzielenie prefill od dekodowania pozwala pamięci SRAM w skali wafla pozostać dedykowanej generowaniu tokenów ograniczonemu przez pamięć.
- Partnerzy mogą przyjąć pełny stos oprogramowania lub zestaw SDK tylko do dekodowania dla własnych frameworków.
Cerebras Systems poinformowała 17 listopada 2026 r., że wdrożone w środowisku produkcyjnym rozdzielone wnioskowanie, w którym przetwarzanie promptów powierzono układom AMD Instinct GPU, a generowanie odpowiedzi — systemom CS-3, zapewniło pięciokrotnie większą przepustowość na megawat niż konfiguracja wykorzystująca wyłącznie CS-3, nie obniżając przy tym szybkości generowania tokenów.
Wynik dotyczy Cerebras Inference Cloud. Pomiar przeprowadzono 14 listopada 2026 r. na współdzielonym punkcie końcowym GPT-OSS-120B, porównując przepustowość na megawat przed włączeniem rozdzielenia i po nim oraz przyjmując dla zagregowanej konfiguracji poziom bazowy 1×. Przeniesienie przetwarzania promptów na GPU pozostawia dostępną moc obliczeniową systemów CS-3 na potrzeby generowania odpowiedzi, zwiększając możliwości Cerebras w zakresie szybkiego wnioskowania oferowanego w chmurze.
Informacja o wdrożeniu produkcyjnym jest następstwem omówienia przez Cerebras 1 października 2026 r. rozdzielonego wnioskowania, w którym firma poinformowała o pięciokrotnym wzroście w początkowych testach przy wykorzystaniu takiej samej konfiguracji układów w skali całego wafla. Nowe ogłoszenie wykracza poza tamten wstępny wynik, przedstawiając pomiar z wdrożenia produkcyjnego oraz pakiet wdrożeniowy dla partnerów infrastrukturalnych.
Dlaczego Cerebras rozdziela etapy przetwarzania wstępnego i dekodowania
Każde żądanie wnioskowania obejmuje dwa główne etapy. Przetwarzanie wstępne analizuje prompt wejściowy i tworzy pośredni stan modelu; dekodowanie wykorzystuje ten stan do generowania tokenów wyjściowych pojedynczo, za każdym razem przekazując nowy token z powrotem do modelu. Ponieważ na każdym etapie dekodowania dane modelu są ponownie odczytywane z pamięci, przepustowość pamięci ma kluczowe znaczenie dla szybkości generowania interaktywnego. Przetwarzanie wstępne wymaga natomiast wykonywania większej liczby obliczeń równolegle na całym prompcie, dlatego lepiej nadaje się do akceleratorów przystosowanych do takiego obciążenia obliczeniowego.
Systemy Cerebras o architekturze wafer-scale przechowują dane modelu w pamięci SRAM na chipie, zamiast w głównej mierze polegać na zewnętrznej pamięci o wysokiej przepustowości. Cerebras podaje, że jej chip w skali całego wafla ma dziesiątki gigabajtów pamięci SRAM i przepustowość pamięci rzędu dziesiątek petabajtów na sekundę — odpowiednio 350× większą pojemność SRAM i 5 400× większą przepustowość pamięci niż typowy procesor graficzny GB300. Taka pojemność pozwala przechowywać bezpośrednio na chipie więcej równoległych żądań i warstw modelu, co przyspiesza dekodowanie.
Celem ekonomicznym jest zwiększenie możliwości obsługi klientów i potencjału przychodowego przy tym samym limicie mocy w centrach danych, w których dostęp do energii jest ograniczony. Jako przykłady szybko rozwijających się aplikacji opartych na agentach, które wymagają wysoce interaktywnych odpowiedzi, Cerebras wymienia Muse, Copilot i Codex. Aby wzrost możliwości był użyteczny w przypadku takich obciążeń, musi więc iść w parze z utrzymaniem szybkości generowania.
Architektura wdrożenia i oprogramowanie
Partnerzy infrastrukturalni mogą skorzystać z architektury referencyjnej udostępnionej przez Cerebras, aby umieścić wybrane akceleratory do przetwarzania wstępnego i systemy Cerebras we wspólnej sieci. Następnie mogą wybrać jedną z dwóch ścieżek integracji: kompleksowy stos oprogramowania, który ma skrócić czas wdrożenia na rynek, albo pakiet SDK ograniczony do dekodowania, przeznaczony dla partnerów, którzy chcą zachować większą kontrolę.
Pełny stos oprogramowania kieruje żądania między pulami przetwarzania wstępnego i dekodowania oraz zarządza dostępną mocą i stanem replik. Jego silnik przetwarzania wstępnego może obsługiwać otwartoźródłowe silniki wnioskowania, takie jak vLLM lub SGLang, natomiast Cerebras udostępnia silnik dekodowania. KV Portal przesyła pośredni stan modelu między tymi dwoma silnikami za pośrednictwem RDMA, w tym pamięci podręczne klucz-wartość, które po przetwarzaniu wstępnym zachowują kontekst właściwy dla danego żądania.
W przypadku opcji ograniczonej do dekodowania partnerzy zachowują własny framework wnioskowania i silnik przetwarzania wstępnego, korzystając jednocześnie z silnika dekodowania Cerebras i KV Portal. Pakiet SDK obejmuje również imitację repliki dekodującej oraz integrację referencyjną z otwartoźródłowym frameworkiem rozdzielonego wnioskowania i silnikiem przetwarzania wstępnego. Wśród partnerów z wczesnym dostępem wymieniono Amazon Web Services, Fireworks AI, Gimlet Labs i General Compute, a Cerebras rozszerza dostęp na kolejnych partnerów.
Cel w zakresie mocy obliczeniowej
Cerebras planuje do końca 2027 r. wdrożyć rozdzielone wnioskowanie na szeroką skalę — obejmującą setki megawatów — we własnej chmurze wnioskowania oraz u partnerów. Jest to cel wdrożeniowy, a nie moc już działających instalacji.
Ogłoszenie łączy zatem pomiar przeprowadzony w konkretnej konfiguracji chmurowej ze ścieżką wdrożenia oprogramowania dla zewnętrznych operatorów. Kluczowe pytanie dotyczące skalowania brzmi, czy przewagę przepustowości zmierzoną na jednym współdzielonym punkcie końcowym można odtworzyć przy użyciu akceleratorów, frameworków i skali wdrożeń wybranych przez partnerów, w miarę jak Cerebras będzie realizować szerszy plan wdrożenia.












