Meta рассказала о масштабировании суперкомпьютерного кластера Prometheus до 1 миллиона графических процессоров

19 октября 2026 года инженерная команда Meta опубликовала подробный технический отчет о Prometheus — суперкомпьютерном кластере компании для ИИ мощностью в гигаватты, расположенном в Нью-Олбани, штат Огайо. В отчете подтверждается, что на завершенном первом этапе обучили базовые модели Muse, а также сообщается о планах Meta увеличить кластер примерно до 1 миллиона графических процессоров.

В публикации в инженерном блоге Meta Кевин Ли, Яшар Баяни, Ахмед Шариф и Йи Джун Сон написали, что на первом этапе обучили семейство моделей Muse, включая передовые модели Muse Wonder, которые, по словам Meta, демонстрируют передовые в отрасли результаты в решении агентных задач в личной и профессиональной сферах. За два года до публикации этих сведений площадка в Нью-Олбани была обычным дата-центром, обслуживавшим веб-трафик; Meta переоборудовала ее для обучения передовых моделей и строит суперкомпьютерный кластер поэтапно. Сейчас Prometheus объединяет сотни тысяч графических процессоров, размещенных в традиционных и оптимизированных для ИИ зданиях дата-центров, а также в быстро возводимых сооружениях, и все они работают как единая система.

По данным Meta, при предварительном обучении Muse Wonder полезная загрузка превышала 85%, а при обучении с подкреплением — 90%; среднее реальное время между прерываниями в ходе обучения составляло около 47 тыс. часов работы графических процессоров. Впоследствии изменения, внесенные во всем парке оборудования, в том числе исправления прошивки, увеличили этот показатель до более чем 54 тыс. часов работы графических процессоров.

Две платформы NVIDIA уже работают в производственной среде

В Prometheus развернуты две платформы на графических процессорах NVIDIA, и, по словам Meta, вскоре появится третья — на базе Vera Rubin NVL72 от NVIDIA. В каждой используется стоечная архитектура NVL72, в которой 72 графических процессора работают как единый ускоритель в рамках одной сетевой инфраструктуры.

Первая платформа, Catalina, использует NVIDIA GB200 NVL72 в варианте Ariel с двумя стойками: по 36 графических процессоров в стойке объединены через NVLink в единый домен из 72 графических процессоров. Каждый графический процессор Blackwell работает в паре с процессором Grace и двумя сетевыми адаптерами ConnectX-7 400G; соотношение процессоров к графическим процессорам составляет 1:1, а пропускная способность ввода-вывода — 800G на графический процессор. По словам Meta, компания выбрала Ariel, поскольку GB200 NVL72 превосходил H100 по производительности в FLOPS, пропускной способности HBM и пропускной способности и размеру домена при масштабировании внутри системы. При этом пропускная способность на графический процессор при межузловом масштабировании осталась бы на уровне 400G, что, как ожидала Meta, привело бы к потере производительности. Catalina работает на разработанной Meta мощной стоечной платформе Open Rack V3, которую компания внесла в Open Compute Project.

По данным Meta, в Catalina установлены 72 графических процессора Blackwell с 13,4 ТБ памяти HBM3e (по 192 ГБ на графический процессор), пиковая вычислительная производительность при обучении в формате FP8 составляет 720 PFLOPS (1 440 PFLOPS в формате FP4), пиковая пропускная способность NVLink — 130 ТБ/с, совокупная пиковая пропускная способность памяти — 576 ТБ/с, а общая мощность системы в паре стоек составляет около 120 кВт.

Во второй платформе, Clemente, используется NVIDIA GB300 NVL72. По данным Meta, GB300 увеличивает объем HBM на графический процессор в 1,5 раза — со 192 до 288 ГБ, а производительность при плотных вычислениях FP4 — примерно в той же пропорции; ускорение вычислений механизма внимания (softmax) при этом возрастает примерно вдвое. Сетевые адаптеры ConnectX-8 SuperNIC обеспечивают пропускную способность 800G на графический процессор напрямую, а соотношение графических процессоров к центральным процессорам 2:1 позволяет разместить весь домен из 72 графических процессоров Clemente в одной стойке.

По данным Meta, в Clemente установлены 72 графических процессора Blackwell Ultra с 20,7 ТБ памяти HBM3e; пиковая вычислительная производительность в формате FP4 превышает 1 экзафлопс, пиковая пропускная способность NVLink составляет 130 ТБ/с (1,8 ТБ/с в двунаправленном режиме на графический процессор), а мощность стойки — около 135 кВт. Заявленное повышение производительности относительно GB200 NVL72 составляет 5–10%. Clemente можно развернуть с модульной системой жидкостного охлаждения с воздушной поддержкой либо с системой жидкостного охлаждения здания — в новых дата-центрах Meta, спроектированных специально для этой цели.

Сетевая инфраструктура зданий и региональная агрегация

Помимо стандартной сети дата-центра Meta использует выделенную внутреннюю сеть Ethernet для прямой связи между графическими процессорами внутри зданий и между ними. Она спроектирована с учетом иерархии параллельной обработки данных в крупных задачах предварительного обучения. Сетевая инфраструктура Ethernet на уровне каждого здания объединяет до 20 736 графических процессоров. В первоначальной архитектуре использовалась фабрика с раздельным планированием передачи данных (Disaggregated Scheduled Fabric), многопутевой маршрутизацией на уровне частей пакета и сквозным управлением потоком на основе кредитов. Позднее Meta перешла на фабрику без планирования передачи данных (Non-Scheduled Fabric) с коммутаторами 51.2T с небольшими буферами. В их число входят Minipack3 с динамической балансировкой нагрузки и Minipack3N на базе Spectrum-4 с адаптивной маршрутизацией NVIDIA на сетевых адаптерах ConnectX; обе модели работают под управлением сетевого стека FBOSS от Meta.

Сеть агрегации Backend Aggregation, построенная по многоуровневой схеме «центр — периферия» и связывающая сетевые инфраструктуры зданий на расстоянии от 2 до более чем 100 км, создана на базе шасси серии Arista 7800 с кремниевыми компонентами Broadcom Jericho3 и буферами большого объема. Она обеспечивает пропускную способность в несколько петабит в секунду для каждой пары регионов. По словам Meta, для выполнения предварительного обучения на таких расстояниях потребовалась отдельная работа по оптимизации совместно с Meta Superintelligence Labs из-за ограничений, связанных со скоростью света. Компания описывает инфраструктуру, включающую миллионы миль оптоволокна, десятки тысяч коммутаторов и миллионы оптических модулей — от подключаемых модулей малого радиуса действия 2x400G FR4 LITE внутри зданий до когерентных оптических модулей 800G-ZR для соединений на расстоянии более примерно 10 км.

Инженерные решения для сокращения числа прерываний

Переход от архитектуры NVL8 поколения H100 к NVL72 расширил домен масштабирования — группу графических процессоров, тесно связанных через NVLink для тензорного параллелизма, — с восьми до 72 GPU, увеличив зону возможного отказа в 9 раз, говорится в публикации. Поскольку при обучении параллелизм наиболее эффективно распределяется между группами размером, равным степени двойки, в каждом домене NVL72 используется сегмент из 64 GPU, а восемь GPU оставляются в стойке в качестве резервных; дополнительно в резерве находится примерно 2% стоек. Для обучения с 32 768 активными GPU требуется 523 стойки NVL72, то есть 37 656 GPU, — примерно на 13% больше, чем необходимо для активной нагрузки. По словам Meta, большая часть этого запаса (11%) обусловлена геометрией сегмента 64 из 72 GPU, а не прямыми затратами на обеспечение надежности. Каждый домен включает 5 184 настроенные линии передачи сигналов по дифференциальным парам со скоростью 200 Гбит/с, проходящие через SerDes графических процессоров, печатные платы вычислительных модулей, кабельные кассеты и интерфейсы коммутаторных модулей.

Для восстановления после отказов используются два механизма: отказоустойчивость с учетом параллелизма выводит из работы неисправную реплику с параллелизмом по данным, пока остальные реплики кластера повторяют шаг и продолжают обучение; распределенное асинхронное создание контрольных точек с сохранением изменений и промежуточным хранением в памяти восстанавливает задачу из последнего сохраненного состояния, если область отказа затрагивает больше одной реплики.

На начальном этапе работы Prometheus в середине 2025 года число перебоев достигало почти 1 000 событий в сутки на каждые 8 000 GPU. Meta сообщает, что после года межфункциональной инженерной работы их количество сократилось на 99%, и указывает целевой показатель надежности — два перебоя в сутки на каждые 8 000 GPU, или около 100 тыс. GPU-часов MTBI.

Целевые меры устранили проблемы целостности сигналов NVLink более чем на 600 000 соединений, повысили надежность памяти HBM и LPDDR за счет усовершенствованных настроек прошивки и прогнозируемого вывода из эксплуатации устройств с ухудшающимися характеристиками, обеспечили мониторинг состояния коммутаторов NVLink с точностью до миллисекунды и прозрачную маршрутизацию событий, связанных со сбоями каналов передачи данных. Meta также создала систему автоматизации развертывания пакетов прошивок, которая устанавливает исправления более чем на 100 тыс. GPU в течение нескольких часов, и сократила время обновления одного пода на уровне P90 с более чем семи часов до двух. Кроме того, компания описывает модель совместной инженерной работы, при которой команды NVIDIA находятся в ее центрах обработки данных, имеют общий доступ к телеметрии и вместе проводят сортировку инцидентов.

Планы по энергоснабжению, охлаждению и расширению

Синхронизированное обучение вызывает колебания энергопотребления в пределах кластера на 30–40%, а запуск или приостановка крупной задачи может за считаные секунды привести к изменению нагрузки более чем на десятки мегаватт. Платформа Dynamo Dimmer от Meta постепенно корректирует ограничения мощности GPU по мере приближения кластера к пределу электроснабжения, вместо того чтобы принудительно останавливать рабочие нагрузки. Ее работу поддерживают резервные аккумуляторные модули на уровне стоек, лотки с конденсаторами, системы накопления энергии на аккумуляторных батареях объекта и координация с поставщиками электроэнергии.

В зданиях с естественным охлаждением воздуха и быстро возводимых сооружениях применяется модульное жидкостное охлаждение с воздушной поддержкой, а в специально построенном здании, оптимизированном для ИИ, — система жидкостного охлаждения объекта. Meta также использует арендованные мощности стратегических партнеров. Компания заявляет, что полностью оплачивает энергозатраты объекта в Нью-Олбани и компенсирует потребление энергии за счет новых источников чистой и возобновляемой энергии; в новейших центрах обработки данных, оптимизированных для ИИ, используется замкнутая система жидкостного охлаждения с подачей жидкости непосредственно к чипам. Кроме того, Meta делится разработками, например жидкостно-охлаждаемой сетевой стойкой IcePack, через Open Compute Project.

Meta планирует расширить Prometheus, добавив системы GB300 NVL72 и Vera Rubin NVL72. В характеристиках будущей платформы San Miguel указаны 72 GPU Vera Rubin с 288 ГБ памяти HBM4 и пиковой пропускной способностью 19,2 ТБ/с на каждый GPU; пиковая вычислительная производительность при обучении FP4 составляет 2,52 EFLOPS (1,26 EFLOPS FP8) на стойку; пиковая пропускная способность NVLink — 216 ТБ/с (3 ТБ/с в двунаправленном режиме на каждый GPU); пиковая совокупная пропускная способность памяти — около 1 500 ТБ/с. Вычислительные модули оснащены полностью жидкостным охлаждением, а мощность на стойку превышает 170 кВт. По оценке Meta, производительность на ватт будет на 10–20% выше, чем у GB300 NVL72.

Hyperion, следующий суперкомпьютерный кластер Meta в округе Ричленд, штат Луизиана, проектируется с нуля с учетом опыта, полученного при создании Prometheus. В нем предусмотрены замкнутая система жидкостного охлаждения, полное подключение к электросети при участии энергетического партнера Entergy, расходы на которые, по словам Meta, компания полностью оплачивает, а также сети нового поколения.