Meta erläutert den Ausbau des Prometheus-Superclusters auf 1 Million GPUs

Das Engineering-Team von Meta veröffentlichte am 19. Oktober 2026 einen ausführlichen technischen Bericht über Prometheus, den KI-Supercluster des Unternehmens im Gigawattmaßstab in New Albany, Ohio. Darin bestätigte es, dass in der abgeschlossenen ersten Phase die Muse-Grundlagenmodelle trainiert wurden, und erklärte, Meta plane, das System auf etwa 1 Million GPUs auszubauen.

In einem Beitrag im Engineering-Blog von Meta schrieben Kevin Lee, Yashar Bayani, Ahmed Sharif und Yee Jiun Song, dass in der ersten Phase die Muse-Modellfamilie trainiert wurde, darunter die Frontier-Modelle Muse Wonder, die Meta zufolge bei agentischen Aufgaben im privaten und beruflichen Bereich Leistungen auf dem neuesten Stand der Technik erbringen. Zwei Jahre vor dieser Bekanntgabe war der Standort in New Albany ein herkömmliches Rechenzentrum, über das Web-Traffic abgewickelt wurde. Meta richtete ihn für das Training von Frontier-Modellen neu aus und baut den Supercluster schrittweise aus. Prometheus umfasst inzwischen Hunderttausende GPUs, die auf herkömmliche und KI-optimierte Rechenzentrumsgebäude sowie schnell einsatzbereite Gebäude verteilt sind und alle als eine einzige Maschine arbeiten.

Meta zufolge erreichte das Unternehmen bei Vortrainingsläufen mit Muse Wonder einen Goodput von mehr als 85 Prozent und bei Läufen zum bestärkenden Lernen von mehr als 90 Prozent. Die mittlere Echtzeitdauer zwischen Unterbrechungen während des Trainings lag bei etwa 47.000 GPU-Stunden. Spätere Änderungen im gesamten GPU-Bestand, darunter Firmware-Korrekturen, erhöhten diesen Wert auf mehr als 54.000 GPU-Stunden.

Zwei NVIDIA-Plattformen im Produktiveinsatz

Prometheus setzt zwei NVIDIA-GPU-Plattformen ein. Eine dritte auf Basis der NVIDIA Vera Rubin NVL72-Plattform soll laut Meta in Kürze folgen. Alle verwenden eine NVL72-Rackarchitektur, bei der 72 GPUs innerhalb eines Netzwerkverbunds als ein einziger Beschleuniger fungieren.

Die erste Plattform, Catalina, verwendet die NVIDIA GB200 NVL72 in der Ariel-Zwei-Rack-Variante: Je Rack sind 36 GPUs über NVLink zu einer einheitlichen Domäne mit 72 GPUs verbunden. Jede Blackwell-GPU ist mit einer Grace-CPU und zwei ConnectX-7-400G-Netzwerkkarten gekoppelt; das Verhältnis von CPUs zu GPUs beträgt 1:1. So werden pro GPU 800G Ein-/Ausgabebandbreite erreicht. Meta zufolge fiel die Wahl auf Ariel, weil die GB200 NVL72 im Vergleich zur H100 mehr FLOPS, HBM-Bandbreite, Scale-up-Bandbreite und eine größere Scale-up-Domäne bot. Die Scale-out-Bandbreite pro GPU wäre hingegen bei 400G geblieben – ein Ungleichgewicht, von dem Meta Leistungseinbußen erwartete. Catalina läuft auf Metas Hochleistungs-Rackdesign Open Rack V3, das zum Open Compute Project beigesteuert wurde.

Meta gibt für Catalina 72 Blackwell-GPUs mit 13,4 TB HBM3e (192 GB pro GPU), eine FP8-Trainingsleistung von bis zu 720 PFLOPS (1.440 PFLOPS bei FP4), eine maximale NVLink-Bandbreite von 130 TB/s, eine maximale aggregierte Speicherbandbreite von 576 TB/s und eine Gesamtleistung des Systems von etwa 120 kW für das Rackpaar an.

Die zweite Plattform, Clemente, setzt auf die NVIDIA GB300 NVL72. Laut Meta erhöht die GB300 die HBM-Kapazität pro GPU um den Faktor 1,5 – von 192 GB auf 288 GB – und steigert den Durchsatz bei dichtem FP4 in ähnlichem Maß. Zugleich wird die Beschleunigung der Attention-Berechnung (Softmax) etwa verdoppelt. ConnectX-8-SuperNICs liefern nativ 800G pro GPU. Dank eines GPU-zu-CPU-Verhältnisses von 2:1 kann Clemente die gesamte Domäne mit 72 GPUs in einem einzigen Rack unterbringen.

Meta gibt für Clemente 72 Blackwell-Ultra-GPUs mit 20,7 TB HBM3e, eine maximale FP4-Rechenleistung von mehr als 1 ExaFLOP, eine maximale NVLink-Bandbreite von 130 TB/s (1,8 TB/s bidirektional pro GPU) und eine Rack-Leistungsaufnahme von etwa 135 kW an. Gegenüber der GB200 NVL72 soll die Leistung um 5–10 Prozent höher liegen. Clemente lässt sich mit modularer luftunterstützter Flüssigkeitskühlung oder mit Gebäudeflüssigkeitskühlung in Metas neu konzipierten Rechenzentren einsetzen.

Gebäudevernetzung und regionale Aggregation

Neben dem herkömmlichen Rechenzentrumsnetzwerk betreibt Meta ein dediziertes Ethernet-Back-End-Netzwerk für die direkte GPU-zu-GPU-Kommunikation innerhalb von Gebäuden und zwischen ihnen. Es ist auf die Hierarchie datenparalleler Abläufe bei umfangreichen Vortrainingsjobs ausgelegt. Jede Ethernet-Fabric auf Gebäudeebene verbindet bis zu 20.736 GPUs. Das ursprüngliche Design nutzte eine disaggregierte, zeitplangesteuerte Fabric mit Multipfad-Routing auf Subpaketebene und durch Credits gesteuerter Ende-zu-Ende-Flusskontrolle. Später wechselte Meta zu einer nicht zeitplangesteuerten Fabric mit Switches mit kleinen Puffern und einer Kapazität von 51,2T. Dazu gehören Minipack3 mit dynamischem Lastausgleich sowie Minipack3N auf Basis von Spectrum-4 mit adaptivem Routing von NVIDIA auf ConnectX-Netzwerkkarten. Beide nutzen Metas Netzwerk-Stack FBOSS.

Das Back-End-Aggregationsnetzwerk ist als mehrschichtige Hub-and-Spoke-Architektur ausgelegt und verbindet Fabric-Netzwerke in Gebäuden über Entfernungen von 2 km bis zu mehr als 100 km. Es basiert auf Chassis der Arista-7800-Serie mit Broadcom-Jericho3-Silizium und großen Pufferspeichern und stellt pro Regionspaar eine Bandbreite von mehreren Pbps bereit. Meta zufolge erforderte das Vortraining über solche Entfernungen aufgrund der Lichtgeschwindigkeit eine gezielte Optimierung durch Meta Superintelligence Labs. Das Unternehmen beschreibt eine physische Infrastruktur mit Glasfasersträngen von insgesamt Millionen Meilen Länge, Zehntausenden von Switches und Millionen optischer Komponenten – von steckbaren 2x400G-FR4-LITE-Modulen für kurze Verbindungen innerhalb von Gebäuden bis zu kohärenter 800G-ZR-Optik für Verbindungen über etwa 10 km.

Entwicklung für weniger Unterbrechungen

Der Wechsel von der NVL8-Architektur der H100-Generation zu NVL72 vergrößerte die Fehlerdomäne für die Skalierung (die Gruppe von GPUs, die für die Tensorparallelisierung eng über NVLink gekoppelt sind) laut dem Beitrag von acht auf 72 GPUs – ein neunmal größerer Auswirkungsbereich. Da sich die Parallelisierung beim Training am effizientesten auf Gruppengrößen abbilden lässt, die Zweierpotenzen entsprechen, nutzt jede NVL72-Domäne einen Abschnitt mit 64 GPUs und hält acht GPUs als Ersatzgeräte im Rack vor; zusätzlich werden etwa 2 % der Racks als Reserve zurückgehalten. Für einen Trainingslauf mit 32.768 aktiven GPUs bedeutet das, 523 NVL72-Racks beziehungsweise 37.656 GPUs bereitzustellen – etwa 13 % mehr als für den aktiven Betrieb nötig. Meta zufolge ergeben sich die meisten dieser Reserven (11 %) aus der Geometrie der 64-von-72-GPU-Aufteilung und nicht aus einem pauschalen Aufschlag für Zuverlässigkeit. Jede Domäne umfasst 5.184 abgestimmte Differenzialpaar-Signalverbindungen mit 200 Gbit/s, die GPU-SerDes, Leiterplatten der Compute-Trays, Kabelmodule und Schnittstellen der Switch-Trays durchqueren.

Zur Fehlerbehebung kommen zwei Mechanismen zum Einsatz: Die parallelismusbewusste Fehlertoleranz nimmt ein fehlerhaftes datenparallelisiertes Replikat außer Betrieb, während der Rest des Clusters den Schritt wiederholt und das Training fortsetzt. Verteiltes asynchrones Checkpointing mit Delta-Checkpoints und Zwischenspeicherung im Arbeitsspeicher stellt den Auftrag ausgehend von seinem letzten gespeicherten Zustand wieder her, wenn sich der Auswirkungsbereich eines Fehlers auf mehr als ein Replikat erstreckt.

In der Anfangsphase von Prometheus Mitte 2025 erreichten die Unterbrechungen mit fast 1.000 Ereignissen täglich je 8.000 GPUs ihren Höchststand. Meta gibt an, dass sie nach einem Jahr funktionsübergreifender Entwicklungsarbeit um 99 % zurückgegangen sind, und nennt als oberstes Zuverlässigkeitsziel zwei Unterbrechungen täglich je 8.000 GPUs beziehungsweise eine MTBI von etwa 100.000 GPU-Stunden.

Gezielte Korrekturen verbesserten die Signalintegrität von NVLink bei mehr als 600.000 Verbindungen, die Zuverlässigkeit von HBM- und LPDDR-Speicher durch verfeinerte Firmware-Einstellungen sowie die vorausschauende Ausmusterung nachlassender Geräte, die Überwachung des Zustands der NVLink-Switches mit Millisekundenauflösung und die nahtlose Umleitung bei Ereignissen auf Backend-Verbindungen. Meta entwickelte außerdem eine Automatisierung für Firmware-Pakete, die Korrekturen innerhalb weniger Stunden auf mehr als 100.000 GPUs ausspielt, und verkürzte die P90-Aktualisierungszeit eines einzelnen Pods von mehr als sieben auf zwei Stunden. Zudem beschreibt das Unternehmen ein Modell gemeinsamer Entwicklung, bei dem NVIDIA-Teams in seinen Rechenzentren vor Ort sind und Telemetriedaten sowie die gemeinsame Fehleranalyse nutzen.

Stromversorgung, Kühlung und Ausbaupläne

Synchronisiertes Training verursacht innerhalb des Clusters Stromlastspitzen von 30–40 %, und der Start oder die Unterbrechung eines großen Auftrags kann die Last innerhalb von Sekunden um mehr als mehrere zehn Megawatt verändern. Metas Framework Dynamo Dimmer passt die Leistungsgrenzen der GPUs schrittweise an, wenn sich der Cluster seiner elektrischen Kapazitätsgrenze nähert, statt Workloads abrupt zu stoppen. Unterstützt wird es durch Batterie-Backup-Module auf Rack-Ebene, Kondensator-Trays, Batteriespeicher in den Anlagen und die Abstimmung mit Energieversorgern.

Die Kühlung kombiniert modulare, luftunterstützte Flüssigkeitskühlung in Gebäuden mit freier Luftkühlung und schnell errichtbaren Strukturen mit der Anlagen-Flüssigkeitskühlung im eigens errichteten, für KI optimierten Gebäude. Meta bindet außerdem angemietete Kapazitäten strategischer Partner ein. Das Unternehmen erklärt, dass es die gesamten Energiekosten für den Standort New Albany trägt und seinen Energieverbrauch durch neu erschlossene saubere und erneuerbare Energie ausgleicht. In seinen neuesten, für KI optimierten Rechenzentren setzt es auf geschlossene Flüssigkeitskühlung direkt am Chip und veröffentlicht Entwürfe wie sein flüssigkeitsgekühltes Netzwerkrack IcePack über das Open Compute Project.

Meta plant, Prometheus mit einer Kombination aus GB300-NVL72- und Vera-Rubin-NVL72-Systemen auszubauen. Für die kommende San-Miguel-Plattform sind 72 Vera-Rubin-GPUs mit je 288 GB HBM4 und einer Spitzenbandbreite von 19,2 TB/s pro GPU vorgesehen, eine Spitzenleistung für FP4-Training von 2,52 EFLOPS pro Rack (1,26 EFLOPS bei FP8), eine NVLink-Spitzenbandbreite von 216 TB/s (3 TB/s bidirektional pro GPU), eine aggregierte Speicherbandbreite von etwa 1.500 TB/s sowie vollständig flüssigkeitsgekühlte Compute-Trays mit mehr als 170 kW pro Rack. Meta zufolge soll die Leistung pro Watt gegenüber GB300 NVL72 um 10–20 % steigen.

Hyperion, Metas nächster Supercluster in Richland Parish, Louisiana, wird von Grund auf unter Einbeziehung der Erkenntnisse aus Prometheus konzipiert. Geplant sind eine geschlossene Flüssigkeitskühlung, eine vollständige Anbindung ans Stromnetz mit dem Energieversorger Entergy, dessen Kosten Meta nach eigenen Angaben vollständig trägt, sowie Netzwerkkonzepte der nächsten Generation.