Моделі та платформи ШІ
Cerebras запускає дезагрегований інференс на GPU у промислову експлуатацію

Ключові моментиCerebras виміряла в п'ять разів більшу пропускну здатність на мегават, перемістивши…
Показати більше
- Cerebras виміряла в п'ять разів більшу пропускну здатність на мегават, перемістивши обробку запитів на графічні процесори AMD.
- Відокремлення попереднього заповнення від декодування дозволяє SRAM пластинчастого масштабу залишатися призначеною для генерації токенів, обмеженої пам'яттю.
- Партнери можуть впровадити повний програмний стек або SDK лише для декодування у власних фреймворках.
Cerebras Systems повідомила 17 листопада 2026 року, що її промислове розгортання дезагрегованого інференсу, у якому обробку промптів виконують графічні процесори AMD Instinct, а генерування відповідей — системи CS-3, забезпечило вп’ятеро більшу пропускну здатність на мегават, ніж конфігурація лише з CS-3, не знизивши швидкості генерування токенів.
Цей результат стосується Cerebras Inference Cloud. Вимірювання проводили на спільній кінцевій точці GPT-OSS-120B 14 листопада 2026 року: порівнювали пропускну здатність на мегават до й після ввімкнення дезагрегації та нормалізували сукупну конфігурацію до базового рівня 1×. Перенесення обробки промптів на GPU дає змогу використовувати обчислювальні ресурси систем CS-3 для генерування відповідей, збільшуючи доступні в хмарі Cerebras потужності для швидкого інференсу.
Оголошенню про промислове розгортання передувало пояснення Cerebras від 1 жовтня 2026 року щодо дезагрегованого інференсу, у якому повідомлялося про приріст у 5× за результатами перших випробувань на системах із такою самою площею чипів ваферного масштабу. Нове оголошення розвиває цей попередній результат: у ньому наведено вимірювання в промислових умовах і пакет для розгортання, призначений партнерам з інфраструктури.
Чому Cerebras розділяє префілл і декодування
Кожен запит на інференс має два основні етапи. На етапі префіллу обробляється вхідний промпт і створюється проміжний стан моделі; під час декодування цей стан використовується для послідовного генерування вихідних токенів — по одному за раз, причому кожен новий токен знову подається на вхід моделі. Оскільки на кожному кроці декодування дані моделі знову зчитуються з пам’яті, пропускна здатність пам’яті має вирішальне значення для швидкості генерування відповідей у інтерактивному режимі. Натомість префілл передбачає більше паралельних обчислень над промптом, тому цей етап краще підходить для прискорювачів, оптимізованих для такого обчислювального навантаження.
У системах Cerebras ваферного масштабу дані моделі зберігаються у вбудованій SRAM, а не переважно в зовнішній пам’яті з високою пропускною здатністю. За описом Cerebras, її чип ваферного масштабу має десятки гігабайтів SRAM і пропускну здатність пам’яті в десятки петабайтів за секунду — відповідно, у 350× більшу ємність SRAM і в 5 400× більшу пропускну здатність пам’яті, ніж типова GPU GB300. Завдяки такій ємності більше одночасних запитів і шарів моделі можуть залишатися безпосередньо на чипі, що забезпечує швидке декодування.
Економічна мета — збільшити обсяг обчислювальних ресурсів для обслуговування клієнтів і потенціал доходу за того самого енергетичного бюджету в центрах обробки даних, обмежених доступною потужністю. Як приклади агентних застосунків, що швидко масштабуються й потребують відповідей із високою інтерактивністю, Cerebras наводить Muse, Copilot і Codex. Тому збільшення обчислювальних ресурсів має зберігати швидкість генерування, щоб бути корисним для таких робочих навантажень.
Архітектура розгортання та програмне забезпечення
Партнери з інфраструктури можуть скористатися еталонною архітектурою від Cerebras, щоб розмістити вибрані ними прискорювачі для префіллу та системи Cerebras в єдиній мережі. Далі вони можуть обрати один із двох способів інтеграції: наскрізний програмний стек, покликаний скоротити час виходу на ринок, або SDK лише для декодування — для партнерів, яким потрібен більший контроль.
Повний програмний стек спрямовує запити між пулами префіллу й декодування та керує місткістю й справністю реплік. Його рушій префіллу може працювати з такими рушіями інференсу з відкритим кодом, як vLLM або SGLang, а Cerebras надає рушій декодування. KV Portal передає проміжний стан моделі між двома рушіями через RDMA, зокрема кеші ключів-значень, у яких після префіллу зберігається контекст, специфічний для кожного запиту.
У режимі лише декодування партнери зберігають власні фреймворк інференсу та рушій префіллу, використовуючи водночас рушій декодування Cerebras і KV Portal. До SDK також входять імітаційна репліка декодування та еталонна інтеграція з фреймворком дезагрегованого інференсу з відкритим кодом і рушієм префіллу. Серед партнерів, яким надано ранній доступ, названо Amazon Web Services, Fireworks AI, Gimlet Labs і General Compute; Cerebras розширює доступ для інших партнерів.
Цільові обчислювальні потужності
До кінця 2027 року Cerebras планує широко розгорнути дезагрегований інференс у масштабах сотень мегават у власній хмарі інференсу та в інфраструктурі партнерів. Це цільове розгортання, а не потужності, які вже введено в експлуатацію.
Отже, в оголошенні поєднано конфігурацію хмарної системи, ефективність якої виміряно, із програмним рішенням для зовнішніх операторів. Головне питання масштабування полягає в тому, чи вдасться відтворити перевагу в пропускній здатності, виміряну на одній спільній кінцевій точці, з вибраними партнерами прискорювачами, фреймворками та масштабами розгортання, поки Cerebras працює над ширшим впровадженням.












