Модели и платформы ИИ

Cerebras переводит дезагрегированный инференс в промышленную эксплуатацию с помощью GPU

Theo Nash
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыCerebras зафиксировала пятикратную пропускную способность на мегаватт, перенеся…
Показать больше
  • Cerebras зафиксировала пятикратную пропускную способность на мегаватт, перенеся обработку промптов на GPU AMD.
  • Разделение prefill и decode позволяет SRAM на пластине оставаться выделенной для генерации токенов, ограниченной памятью.
  • Партнёры могут внедрить полный программный стек или SDK только для decode для своих собственных фреймворков.

Cerebras Systems сообщила 17 ноября 2026 года, что ее внедрение дезагрегированного инференса в промышленную эксплуатацию, при котором обработка промптов выполняется на GPU AMD Instinct, а генерация ответов — на системах CS-3, обеспечило пропускную способность на мегаватт в пять раз выше, чем конфигурация только с CS-3, без снижения скорости генерации токенов.

Этот результат относится к облачной платформе Cerebras Inference Cloud. Измерение проводилось на общей конечной точке GPT-OSS-120B 14 ноября 2026 года: сравнивалась пропускная способность на мегаватт до и после включения дезагрегации, а для агрегированной конфигурации в качестве базового значения принималось 1×. Перенос обработки промптов на GPU оставляет доступные вычислительные мощности систем CS-3 для генерации ответов, увеличивая возможности быстрого инференса, которые Cerebras может предложить через свою облачную платформу.

Раскрытие информации о промышленном внедрении последовало за объяснением Cerebras от 1 октября 2026 года принципа дезагрегированного инференса, в котором сообщалось о приросте в 5× в ходе первых испытаний при использовании того же пространства, занимаемого системой пластинного масштаба. Новое объявление развивает этот предварительный результат: в нем приводятся измерения в условиях промышленной эксплуатации и описан пакет для развертывания, предназначенный для инфраструктурных партнеров.

Зачем Cerebras разделяет этапы предварительной обработки и декодирования

Каждый запрос на инференс включает два основных этапа. На этапе предварительной обработки обрабатывается входной промпт и создается промежуточное состояние модели; на этапе декодирования это состояние используется для последовательной генерации выходных токенов, причем каждый новый токен снова подается на вход модели. Поскольку на каждом шаге декодирования данные модели повторно считываются из памяти, пропускная способность памяти играет ключевую роль в скорости интерактивной генерации. Предварительная обработка, напротив, позволяет параллельно выполнять больше вычислений для всего промпта, поэтому она лучше подходит для ускорителей, рассчитанных на такую вычислительную нагрузку.

В системах Cerebras пластинного масштаба данные модели размещаются во встроенной SRAM, а не преимущественно во внешней памяти с высокой пропускной способностью. По описанию Cerebras, ее чип пластинного масштаба оснащен десятками гигабайт SRAM и обеспечивает пропускную способность памяти в десятки петабайт в секунду — в 350 раз большую емкость SRAM и в 5 400 раз большую пропускную способность памяти, чем типичный графический процессор GB300. Благодаря такой емкости на самом чипе можно разместить больше параллельно обрабатываемых запросов и слоев модели, что ускоряет декодирование.

Экономическая цель — увеличить возможности обслуживания клиентов и потенциал получения выручки при том же лимите энергопотребления в дата-центрах, ограниченных доступной мощностью. В качестве примеров быстро масштабируемых агентных приложений, которым нужны высокоинтерактивные ответы, Cerebras приводит Muse, Copilot и Codex. Поэтому для эффективной работы таких приложений увеличение вычислительных возможностей не должно приводить к снижению скорости генерации.

Архитектура развертывания и программное обеспечение

Инфраструктурные партнеры могут использовать предоставляемую Cerebras эталонную архитектуру, чтобы разместить выбранные ими ускорители для предварительной обработки и системы Cerebras в единой сети. Для интеграции доступны два варианта: программный стек полного цикла, призванный сократить срок выхода на рынок, или SDK только для декодирования — для партнеров, которым нужен больший контроль.

Полный программный стек направляет запросы между пулами предварительной обработки и декодирования, а также управляет емкостью и состоянием реплик. В его механизме предварительной обработки могут работать такие движки инференса с открытым исходным кодом, как vLLM или SGLang, а движок декодирования предоставляет Cerebras. KV Portal передает промежуточное состояние модели между двумя движками по протоколу RDMA, включая кэши ключей и значений, в которых после предварительной обработки сохраняется контекст конкретного запроса.

При использовании варианта только для декодирования партнеры сохраняют собственную платформу инференса и механизм предварительной обработки, используя при этом механизм декодирования Cerebras и KV Portal. SDK также включает имитационную реплику декодирования и эталонную интеграцию с платформой дезагрегированного инференса и механизмом предварительной обработки с открытым исходным кодом. В числе партнеров, получивших ранний доступ, названы Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute; Cerebras расширяет доступ и для других партнеров.

Целевой показатель вычислительных мощностей

Cerebras планирует к концу 2027 года широко развернуть дезагрегированный инференс, охватив сотни мегаватт в собственной облачной платформе инференса и в инфраструктуре партнеров. Это целевой показатель развертывания, а не уже работающая мощность.

Таким образом, в объявлении сочетаются конфигурация облачной платформы, эффективность которой подтверждена измерениями, и программное решение для внешних операторов. Главный вопрос масштабирования — удастся ли воспроизвести преимущество в пропускной способности, измеренное на одной общей конечной точке, при использовании выбранных партнерами ускорителей и программных платформ, а также при разных масштабах развертывания, пока Cerebras готовится к более широкому внедрению.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.