Meta розповідає про суперкомплекс Prometheus, який масштабують до 1 мільйона графічних процесорів

19 жовтня 2026 року інженерна команда Meta опублікувала докладний технічний опис Prometheus — суперкомплексу штучного інтелекту гігаватного масштабу в Нью-Олбані, штат Огайо. Команда підтвердила, що на завершеному першому етапі навчали базові моделі Muse, а також повідомила про плани Meta масштабувати систему приблизно до 1 мільйона графічних процесорів.

У дописі в інженерному блозі Meta Кевін Лі, Яшар Баяні, Ахмед Шаріф і Ї Джюнь Сон написали, що на першому етапі навчали сімейство моделей Muse, зокрема передові моделі Muse Wonder, які, за словами Meta, забезпечують найкращі у своєму класі результати у виконанні агентних завдань для особистого та професійного використання. За два роки до цього повідомлення майданчик у Нью-Олбані був звичайним центром обробки даних, який обслуговував вебтрафік; Meta переобладнала його для навчання передових моделей і будує суперкомплекс поетапно. Нині Prometheus охоплює сотні тисяч графічних процесорів, розміщених у традиційних та оптимізованих для ШІ будівлях центрів обробки даних, а також у спорудах, які можна швидко розгорнути. Усі вони працюють як єдина машина.

За даними Meta, під час попереднього навчання Muse Wonder частка корисної роботи перевищувала 85%, а під час навчання з підкріпленням — 90%. Середній час між перериваннями за реальним часом під час навчання становив близько 47 тис. GPU-годин; подальші зміни в усьому парку обладнання, зокрема виправлення мікропрограм, збільшили цей показник до понад 54 тис. GPU-годин.

Дві платформи NVIDIA у виробничій експлуатації

У Prometheus розгорнуто дві платформи на графічних процесорах NVIDIA, а третя, побудована на базі NVIDIA Vera Rubin NVL72, за словами Meta, незабаром надійде. У кожній використовується стійкова архітектура NVL72, у якій 72 графічні процесори в межах однієї мережевої інфраструктури працюють як єдиний прискорювач.

Перша платформа, Catalina, використовує NVIDIA GB200 NVL72 у двостійковому варіанті Ariel: по 36 графічних процесорів у кожній стійці об’єднані через NVLink в єдиний домен із 72 графічних процесорів. Кожен графічний процесор Blackwell працює в парі з центральним процесором Grace і двома мережевими адаптерами ConnectX-7 на 400G за співвідношення центральних процесорів до графічних 1:1, забезпечуючи 800G вводу-виводу на графічний процесор. Meta пояснює, що обрала Ariel, оскільки NVIDIA GB200 NVL72 забезпечувала кращі показники FLOPS, пропускну здатність HBM, пропускну здатність масштабування вгору та розмір домену масштабування вгору порівняно з H100. Водночас пропускна здатність масштабування назовні на графічний процесор залишилася б на рівні 400G, і Meta очікувала, що цей дисбаланс знизить продуктивність. Catalina працює на стійковій конструкції Meta Open Rack V3 підвищеної потужності, яку компанія передала до проєкту Open Compute.

За даними Meta, Catalina має 72 графічні процесори Blackwell із 13,4 ТБ пам’яті HBM3e (192 ГБ на графічний процесор), пікову обчислювальну продуктивність 720 PFLOPS для навчання у форматі FP8 (1 440 PFLOPS у форматі FP4), пікову пропускну здатність NVLink 130 ТБ/с, сукупну пікову пропускну здатність пам’яті 576 ТБ/с і загальне енергоспоживання системи близько 120 кВт у парі з двох стійок.

Друга платформа, Clemente, переходить на NVIDIA GB300 NVL72. За даними Meta, GB300 збільшує ємність HBM на графічний процесор у 1,5 раза — зі 192 до 288 ГБ, а продуктивність щільних обчислень FP4 зростає приблизно в такій самій пропорції. Водночас прискорення обчислення механізму уваги (softmax) зростає приблизно вдвічі. Мережеві адаптери ConnectX-8 SuperNIC забезпечують 800G на графічний процесор безпосередньо, а співвідношення графічних процесорів до центральних 2:1 дає змогу розмістити весь домен із 72 графічних процесорів Clemente в одній стійці.

За даними Meta, Clemente має 72 графічні процесори Blackwell Ultra з 20,7 ТБ пам’яті HBM3e, пікову обчислювальну продуктивність FP4 понад 1 ексафлопс, пікову пропускну здатність NVLink 130 ТБ/с (1,8 ТБ/с у двосторонньому режимі на графічний процесор) і споживає близько 135 кВт на стійку. Заявлене підвищення продуктивності порівняно з GB200 NVL72 становить 5–10%. Clemente можна розгортати з модульною системою рідинного охолодження за допомогою повітря або з системою рідинного охолодження будівлі в нових центрах обробки даних Meta, спроєктованих спеціально для цього.

Побудова мережевих структур і регіональна агрегація

Поряд зі стандартною мережею центру обробки даних Meta використовує окрему Ethernet-мережу внутрішнього рівня для прямого обміну даними між графічними процесорами в межах будівель і між ними. Її спроєктовано з урахуванням ієрархії паралельної обробки даних, характерної для масштабних завдань попереднього навчання. Мережна структура Ethernet на рівні однієї будівлі з’єднує до 20 736 графічних процесорів. У початковій конструкції використовувалася дезагрегована мережна структура з плануванням передавання, багатошляховою маршрутизацією на рівні менше за пакет і наскрізним керуванням потоком на основі кредитів. Пізніше Meta перейшла на мережну структуру без планування передавання з комутаторами 51.2T із буферами малої глибини. До її складу входять Minipack3 із балансуванням динамічного навантаження та Minipack3N на базі Spectrum-4 з адаптивною маршрутизацією NVIDIA на мережевих адаптерах ConnectX; обидва працюють на мережевому програмному стеку FBOSS від Meta.

Мережа агрегації бекенду — багаторівнева структура типу «центр — вузли», що з’єднує мережні структури будівель на відстанях від 2 км до понад 100 км. Її побудовано на шасі серії Arista 7800 із мікросхемами Broadcom Jericho3 з буферами великої глибини; пропускна здатність між кожною парою регіонів становить кілька петабітів за секунду. За словами Meta, для попереднього навчання на таких відстанях знадобилися спеціальні оптимізаційні роботи спільно з Meta Superintelligence Labs через обмеження, зумовлені швидкістю світла. Компанія описує фізичну інфраструктуру, що охоплює волоконно-оптичні лінії загальною довжиною в мільйони миль, десятки тисяч комутаторів і мільйони оптичних модулів — від короткодистанційних знімних модулів 2x400G FR4 LITE усередині будівель до когерентної оптики 800G-ZR для ліній завдовжки понад приблизно 10 км.

Інженерні рішення для зменшення кількості переривань

Перехід від архітектури NVL8 покоління H100 до NVL72 збільшив домен відмов масштабованого сегмента (сукупність GPU, тісно з’єднаних через NVLink для тензорного паралелізму) з восьми до 72 GPU, тобто зона потенційного впливу відмови стала у 9 разів більшою, йдеться в дописі. Оскільки паралелізм навчання найефективніше працює з групами розміром, що дорівнює степеню двійки, у кожному домені NVL72 задіяно сегмент із 64 GPU, а вісім GPU залишаються резервними в стійці; крім того, приблизно 2% додаткових стійок тримають у резерві. Для навчального запуску з 32 768 активними GPU це означає, що потрібно задіяти 523 стійки NVL72, тобто 37 656 GPU — приблизно на 13% більше, ніж становить активний парк. Meta зазначає, що більша частина цього запасу (11%) зумовлена конфігурацією сегмента на 64 із 72 GPU, а не обов’язковим збільшенням резерву надійності. Кожен домен містить 5 184 налаштовані лінії передавання сигналу диференціальними парами зі швидкістю 200 Гбіт/с, що проходять через послідовнісні приймачі-передавачі GPU (SerDes), друковані плати обчислювальних лотків, касети з кабелями та інтерфейси комутаційних лотків.

Для відновлення після відмов використовують два механізми. Fault Tolerance з урахуванням паралелізму виводить з ладу несправну репліку паралельного опрацювання даних, тоді як решта кластера повторює крок і продовжує навчання. Розподілене асинхронне контрольне збереження зі збереженням дельт і проміжним зберіганням у пам’яті відновлює завдання з останнього збереженого стану, якщо зона впливу відмови охоплює більше ніж одну репліку.

На початковому етапі роботи Prometheus у середині 2025 року кількість переривань сягала майже 1 000 випадків на кожні 8 тис. GPU за добу. Meta повідомляє, що після року міжфункціональної інженерної роботи цей показник знизився на 99%, і зазначає, що її головний орієнтир щодо надійності — два переривання на кожні 8 тис. GPU за добу, або приблизно 100 тис. GPU-годин між перериваннями (MTBI).

Цільові вдосконалення підвищили цілісність сигналу NVLink у понад 600 000 з’єднань, надійність пам’яті HBM і LPDDR завдяки уточненим параметрам прошивки та прогнозованому виведенню з експлуатації пристроїв, що деградують, а також справність комутаторів NVLink, яку відстежують із мілісекундною точністю; крім того, вони забезпечили прозоре перенаправлення подій на каналах передавання даних. Meta також створила систему автоматизації розгортання пакетів прошивок, яка дає змогу встановлювати виправлення на понад 100 тис. GPU за кілька годин, і скоротила час оновлення одного пода на рівні P90 із понад семи годин до двох. Компанія описує модель спільної інженерної роботи, у межах якої команди NVIDIA працюють у її центрах обробки даних, мають доступ до спільної телеметрії та спільно визначають пріоритети реагування.

Енергопостачання, охолодження та плани розширення

Синхронізоване навчання спричиняє коливання споживаної потужності на 30–40% у межах кластера, а запуск або призупинення великого завдання може за лічені секунди змінити навантаження на десятки мегаватів і більше. Замість різко зупиняти робочі навантаження, Meta використовує платформу Dynamo Dimmer, яка поступово коригує ліміти потужності GPU, коли кластер наближається до межі електропостачання. Її роботу підтримують резервні акумуляторні модулі на рівні стійок, лотки з конденсаторами, системи накопичення енергії на акумуляторах у комплексі та координація з постачальниками електроенергії.

Для охолодження поєднують модульне рідинне охолодження з допоміжним повітряним у будівлях із вільним повітряним охолодженням і швидкомонтованих спорудах із рідинним охолодженням у спеціально зведеній будівлі, оптимізованій для ШІ. Meta також залучає орендовані потужності стратегічних партнерів. Компанія зазначає, що повністю оплачує енергопостачання об’єкта в Нью-Олбані та компенсує споживання енергії новою чистою та відновлюваною енергією, застосовує пряме замкнене рідинне охолодження мікросхем у своїх найновіших центрах обробки даних, оптимізованих для ШІ, а також поширює проєктні рішення, зокрема стійку мережевого обладнання з рідинним охолодженням IcePack, через Open Compute Project.

Meta планує розширити Prometheus, поєднавши системи GB300 NVL72 і Vera Rubin NVL72. У характеристиках майбутньої платформи San Miguel зазначено 72 GPU Vera Rubin із пам’яттю HBM4 обсягом 288 ГБ і піковою пропускною здатністю 19,2 ТБ/с на GPU; пікову обчислювальну продуктивність для навчання у форматі FP4 на рівні 2,52 EFLOPS (1,26 EFLOPS FP8) на стійку; пікову пропускну здатність NVLink 216 ТБ/с (3 ТБ/с у двонапрямному режимі на GPU); приблизно 1 500 ТБ/с сукупної пікової пропускної здатності пам’яті; а також повністю охолоджувані рідиною обчислювальні лотки з потужністю понад 170 кВт на стійку. За заявою Meta, продуктивність на ват буде на 10–20% вищою, ніж у GB300 NVL72.

Hyperion, наступний суперкомп’ютерний кластер Meta в окрузі Ричленд, штат Луїзіана, проєктують із нуля з урахуванням досвіду, здобутого під час створення Prometheus. Він матиме замкнене рідинне охолодження, повне підключення до електромережі за участю енергетичного партнера Entergy, послуги якого, за словами Meta, компанія оплачує повністю, а також мережеві рішення нового покоління.