Моделі та платформи ШІ

Cerebras запускає дезагрегований інференс на GPU у промислову експлуатацію

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиCerebras виміряла в п'ять разів більшу пропускну здатність на мегават, перемістивши…
Показати більше
  • Cerebras виміряла в п'ять разів більшу пропускну здатність на мегават, перемістивши обробку запитів на графічні процесори AMD.
  • Відокремлення попереднього заповнення від декодування дозволяє SRAM пластинчастого масштабу залишатися призначеною для генерації токенів, обмеженої пам'яттю.
  • Партнери можуть впровадити повний програмний стек або SDK лише для декодування у власних фреймворках.

Cerebras Systems повідомила 17 листопада 2026 року, що її промислове розгортання дезагрегованого інференсу, у якому обробку промптів виконують графічні процесори AMD Instinct, а генерування відповідей — системи CS-3, забезпечило вп’ятеро більшу пропускну здатність на мегават, ніж конфігурація лише з CS-3, не знизивши швидкості генерування токенів.

Цей результат стосується Cerebras Inference Cloud. Вимірювання проводили на спільній кінцевій точці GPT-OSS-120B 14 листопада 2026 року: порівнювали пропускну здатність на мегават до й після ввімкнення дезагрегації та нормалізували сукупну конфігурацію до базового рівня 1×. Перенесення обробки промптів на GPU дає змогу використовувати обчислювальні ресурси систем CS-3 для генерування відповідей, збільшуючи доступні в хмарі Cerebras потужності для швидкого інференсу.

Оголошенню про промислове розгортання передувало пояснення Cerebras від 1 жовтня 2026 року щодо дезагрегованого інференсу, у якому повідомлялося про приріст у 5× за результатами перших випробувань на системах із такою самою площею чипів ваферного масштабу. Нове оголошення розвиває цей попередній результат: у ньому наведено вимірювання в промислових умовах і пакет для розгортання, призначений партнерам з інфраструктури.

Чому Cerebras розділяє префілл і декодування

Кожен запит на інференс має два основні етапи. На етапі префіллу обробляється вхідний промпт і створюється проміжний стан моделі; під час декодування цей стан використовується для послідовного генерування вихідних токенів — по одному за раз, причому кожен новий токен знову подається на вхід моделі. Оскільки на кожному кроці декодування дані моделі знову зчитуються з пам’яті, пропускна здатність пам’яті має вирішальне значення для швидкості генерування відповідей у інтерактивному режимі. Натомість префілл передбачає більше паралельних обчислень над промптом, тому цей етап краще підходить для прискорювачів, оптимізованих для такого обчислювального навантаження.

У системах Cerebras ваферного масштабу дані моделі зберігаються у вбудованій SRAM, а не переважно в зовнішній пам’яті з високою пропускною здатністю. За описом Cerebras, її чип ваферного масштабу має десятки гігабайтів SRAM і пропускну здатність пам’яті в десятки петабайтів за секунду — відповідно, у 350× більшу ємність SRAM і в 5 400× більшу пропускну здатність пам’яті, ніж типова GPU GB300. Завдяки такій ємності більше одночасних запитів і шарів моделі можуть залишатися безпосередньо на чипі, що забезпечує швидке декодування.

Економічна мета — збільшити обсяг обчислювальних ресурсів для обслуговування клієнтів і потенціал доходу за того самого енергетичного бюджету в центрах обробки даних, обмежених доступною потужністю. Як приклади агентних застосунків, що швидко масштабуються й потребують відповідей із високою інтерактивністю, Cerebras наводить Muse, Copilot і Codex. Тому збільшення обчислювальних ресурсів має зберігати швидкість генерування, щоб бути корисним для таких робочих навантажень.

Архітектура розгортання та програмне забезпечення

Партнери з інфраструктури можуть скористатися еталонною архітектурою від Cerebras, щоб розмістити вибрані ними прискорювачі для префіллу та системи Cerebras в єдиній мережі. Далі вони можуть обрати один із двох способів інтеграції: наскрізний програмний стек, покликаний скоротити час виходу на ринок, або SDK лише для декодування — для партнерів, яким потрібен більший контроль.

Повний програмний стек спрямовує запити між пулами префіллу й декодування та керує місткістю й справністю реплік. Його рушій префіллу може працювати з такими рушіями інференсу з відкритим кодом, як vLLM або SGLang, а Cerebras надає рушій декодування. KV Portal передає проміжний стан моделі між двома рушіями через RDMA, зокрема кеші ключів-значень, у яких після префіллу зберігається контекст, специфічний для кожного запиту.

У режимі лише декодування партнери зберігають власні фреймворк інференсу та рушій префіллу, використовуючи водночас рушій декодування Cerebras і KV Portal. До SDK також входять імітаційна репліка декодування та еталонна інтеграція з фреймворком дезагрегованого інференсу з відкритим кодом і рушієм префіллу. Серед партнерів, яким надано ранній доступ, названо Amazon Web Services, Fireworks AI, Gimlet Labs і General Compute; Cerebras розширює доступ для інших партнерів.

Цільові обчислювальні потужності

До кінця 2027 року Cerebras планує широко розгорнути дезагрегований інференс у масштабах сотень мегават у власній хмарі інференсу та в інфраструктурі партнерів. Це цільове розгортання, а не потужності, які вже введено в експлуатацію.

Отже, в оголошенні поєднано конфігурацію хмарної системи, ефективність якої виміряно, із програмним рішенням для зовнішніх операторів. Головне питання масштабування полягає в тому, чи вдасться відтворити перевагу в пропускній здатності, виміряну на одній спільній кінцевій точці, з вибраними партнерами прискорювачами, фреймворками та масштабами розгортання, поки Cerebras працює над ширшим впровадженням.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.