Η Meta αποκαλύπτει ότι το υπερσύμπλεγμα Prometheus κλιμακώνεται προς το 1 εκατομμύριο GPU

Στις 19 Οκτωβρίου 2026, η ομάδα μηχανικών της Meta δημοσίευσε μια λεπτομερή τεχνική παρουσίαση του Prometheus, του υπερσυμπλέγματος τεχνητής νοημοσύνης ισχύος gigawatt της εταιρείας στο New Albany του Οχάιο. Επιβεβαίωσε ότι η ολοκληρωμένη πρώτη φάση του εκπαίδευσε τα θεμελιώδη μοντέλα Muse και ότι η Meta σχεδιάζει να επεκτείνει το σύστημα σε περίπου 1 εκατομμύριο GPU.

Σε ανάρτηση στο ιστολόγιο μηχανικής της Meta, οι Kevin Lee, Yashar Bayani, Ahmed Sharif και Yee Jiun Song έγραψαν ότι στην πρώτη φάση εκπαιδεύτηκε η οικογένεια Muse, συμπεριλαμβανομένων των μοντέλων αιχμής Muse Wonder, τα οποία, σύμφωνα με τη Meta, προσφέρουν κορυφαίες επιδόσεις σε εργασίες με προσωπικούς και επαγγελματικούς πράκτορες τεχνητής νοημοσύνης. Δύο χρόνια πριν από τη δημοσιοποίηση, η εγκατάσταση στο New Albany ήταν ένα συμβατικό κέντρο δεδομένων που διαχειριζόταν διαδικτυακή κίνηση· η Meta το αναδιαμόρφωσε για την εκπαίδευση μοντέλων αιχμής και κατασκευάζει το υπερσύμπλεγμα σε φάσεις. Το Prometheus περιλαμβάνει πλέον εκατοντάδες χιλιάδες GPU, κατανεμημένες σε παραδοσιακά κτίρια κέντρων δεδομένων, κτίρια βελτιστοποιημένα για τεχνητή νοημοσύνη και κατασκευές ταχείας ανάπτυξης, τα οποία λειτουργούν όλα ως ενιαίο μηχάνημα.

Η Meta αναφέρει ότι διατήρησε ωφέλιμη απόδοση άνω του 85% στις εκτελέσεις προεκπαίδευσης του Muse Wonder και άνω του 90% στις εκτελέσεις ενισχυτικής μάθησης, με μέσο χρόνο μεταξύ διακοπών περίπου 47 χιλιάδες ώρες GPU κατά την εκπαίδευση, σε πραγματικό χρόνο. Μεταγενέστερες αλλαγές σε όλο τον στόλο, μεταξύ των οποίων διορθώσεις υλικολογισμικού, αύξησαν τον χρόνο αυτό σε πάνω από 54 χιλιάδες ώρες GPU.

Δύο πλατφόρμες NVIDIA σε παραγωγική λειτουργία

Το Prometheus χρησιμοποιεί δύο πλατφόρμες GPU της NVIDIA, ενώ, σύμφωνα με τη Meta, σύντομα θα προστεθεί και τρίτη, βασισμένη στην Vera Rubin NVL72 της NVIDIA. Και οι δύο χρησιμοποιούν αρχιτεκτονική NVL72, όπου 72 GPU λειτουργούν ως ένας ενιαίος επιταχυντής μέσα σε ένα ενιαίο δικτυακό πλέγμα.

Η πρώτη πλατφόρμα, η Catalina, χρησιμοποιεί την NVIDIA GB200 NVL72 στην παραλλαγή Ariel με δύο ικριώματα: 36 GPU ανά ικρίωμα συνδέονται μέσω NVLink σε έναν ενιαίο τομέα 72 GPU. Κάθε GPU Blackwell συνδυάζεται με έναν επεξεργαστή Grace και δύο κάρτες δικτύου ConnectX-7 400G, με αναλογία CPU προς GPU 1:1, παρέχοντας 800G εισόδου/εξόδου ανά GPU. Η Meta αναφέρει ότι επέλεξε την Ariel επειδή η GB200 NVL72 προσέφερε υψηλότερη υπολογιστική ισχύ FLOPS, μεγαλύτερο εύρος ζώνης HBM, μεγαλύτερο εύρος ζώνης διασύνδεσης εντός του συστήματος και μεγαλύτερο μέγεθος τομέα κλιμάκωσης από την H100, ενώ το εύρος ζώνης διασύνδεσης εκτός του συστήματος ανά GPU θα παρέμενε στα 400G — μια ανισορροπία που, όπως εκτιμούσε, θα είχε κόστος σε επιδόσεις. Η Catalina λειτουργεί με τον σχεδιασμό ικριώματος υψηλής ισχύος Open Rack V3 της Meta, τον οποίο η εταιρεία συνεισέφερε στο Open Compute Project.

Η Meta αναφέρει για την Catalina 72 GPU Blackwell με 13,4 TB μνήμης HBM3e (192 GB ανά GPU), υπολογιστική ισχύ εκπαίδευσης FP8 αιχμής 720 PFLOPS (1.440 PFLOPS σε FP4), μέγιστο εύρος ζώνης NVLink 130 TB/s, μέγιστο συνολικό εύρος ζώνης μνήμης 576 TB/s και συνολική ισχύ συστήματος περίπου 120 kW για το ζεύγος των δύο ικριωμάτων.

Η δεύτερη πλατφόρμα, η Clemente, μεταβαίνει στην NVIDIA GB300 NVL72. Σύμφωνα με τη Meta, η GB300 αυξάνει τη χωρητικότητα HBM ανά GPU κατά 1,5 φορές, από 192 GB σε 288 GB, και την απόδοση FP4 σε πυκνή διάταξη κατά παρόμοιο συντελεστή, ενώ περίπου διπλασιάζει την επιτάχυνση των υπολογισμών προσοχής (softmax). Οι κάρτες δικτύου ConnectX-8 SuperNIC παρέχουν εγγενώς 800G ανά GPU, ενώ η αναλογία GPU προς CPU 2:1 επιτρέπει στην Clemente να ενσωματώνει ολόκληρο τον τομέα των 72 GPU σε ένα μόνο ικρίωμα.

Η Meta αναφέρει για την Clemente 72 GPU Blackwell Ultra με 20,7 TB μνήμης HBM3e, μέγιστη υπολογιστική ισχύ FP4 άνω του 1 exaFLOP, μέγιστο εύρος ζώνης NVLink 130 TB/s (1,8 TB/s αμφίδρομα ανά GPU) και ισχύ ικριώματος περίπου 135 kW, καθώς και βελτίωση επιδόσεων 5–10% σε σύγκριση με την GB200 NVL72. Η Clemente μπορεί να αναπτυχθεί με αρθρωτή υγρή ψύξη με υποβοήθηση αέρα ή με υγρή ψύξη εγκατάστασης στα νέα κέντρα δεδομένων που σχεδίασε η Meta.

Δικτυακά πλέγματα κτιρίων και περιφερειακή συνάθροιση

Παράλληλα με το τυπικό δίκτυο του κέντρου δεδομένων, η Meta λειτουργεί ένα αποκλειστικό δίκτυο Ethernet Back-End για άμεση επικοινωνία μεταξύ GPU, εντός και μεταξύ κτιρίων, σχεδιασμένο με βάση την ιεραρχία παραλληλισμού δεδομένων των μεγάλων εργασιών προεκπαίδευσης. Κάθε δικτυακό πλέγμα σε επίπεδο κτιρίου διασυνδέει έως και 20.736 GPU. Ο αρχικός σχεδιασμός χρησιμοποιούσε ένα Disaggregated Scheduled Fabric, με δρομολόγηση πολλαπλών διαδρομών σε επίπεδο υποπακέτου και έλεγχο ροής από άκρο σε άκρο βάσει πιστώσεων. Αργότερα, η Meta το αντικατέστησε με ένα Non-Scheduled Fabric, βασισμένο σε διακόπτες 51.2T με μικρές προσωρινές μνήμες, μεταξύ των οποίων το Minipack3 με Dynamic Load Balancing και το Minipack3N, που βασίζεται στο Spectrum-4 και διαθέτει Adaptive Routing της NVIDIA στις κάρτες δικτύου ConnectX. Και τα δύο λειτουργούν με τη στοίβα δικτύωσης FBOSS της Meta.

Το δίκτυο Backend Aggregation, μια πολυεπίπεδη αρχιτεκτονική τύπου κεντρικού κόμβου και ακτίνων που συνδέει τα δικτυακά πλέγματα των κτιρίων σε αποστάσεις από 2 km έως πάνω από 100 km, κατασκευάζεται με πλαίσια της σειράς Arista 7800 που χρησιμοποιούν πυρίτιο Broadcom Jericho3 με μεγάλες προσωρινές μνήμες και παρέχει εύρος ζώνης πολλών Pbps ανά ζεύγος περιφερειών. Η Meta αναφέρει ότι η εκτέλεση εργασιών προεκπαίδευσης σε αυτές τις αποστάσεις απαιτούσε ειδική προσπάθεια βελτιστοποίησης από τη Meta Superintelligence Labs, λόγω των περιορισμών της ταχύτητας του φωτός. Η εταιρεία περιγράφει μια φυσική υποδομή που περιλαμβάνει εκατομμύρια μίλια οπτικών ινών, δεκάδες χιλιάδες διακόπτες και εκατομμύρια οπτικά στοιχεία, από αφαιρούμενους πομποδέκτες μικρής εμβέλειας 2x400G FR4 LITE εντός των κτιρίων έως συνεκτικά οπτικά συστήματα 800G-ZR για συνδέσεις άνω των περίπου 10 km.

Μηχανική για λιγότερες διακοπές

Η μετάβαση από την αρχιτεκτονική NVL8 της γενιάς H100 στην NVL72 διεύρυνε, σύμφωνα με την ανάρτηση, τον τομέα σφαλμάτων κατά την κλιμάκωση (το σύνολο των GPU που είναι στενά συνδεδεμένες μέσω NVLink για παραλληλισμό τενσόρων) από 8 σε 72 GPU, αυξάνοντας κατά 9 φορές την ακτίνα επιπτώσεων μιας αστοχίας. Επειδή ο παραλληλισμός της εκπαίδευσης αποδίδει καλύτερα με ομάδες μεγέθους ίσου με δύναμη του δύο, κάθε τομέας NVL72 εκτελεί ένα τμήμα 64 GPU και διατηρεί 8 GPU ως εφεδρείες εντός του rack, ενώ περίπου 2% επιπλέον racks παραμένουν σε εφεδρεία. Για μια εκτέλεση εκπαίδευσης με 32.768 ενεργές GPU, αυτό σημαίνει ότι απαιτούνται 523 racks NVL72, δηλαδή 37.656 GPU, περίπου 13% περισσότερες από τις ενεργές. Η Meta αναφέρει ότι το μεγαλύτερο μέρος αυτού του περιθωρίου (11%) οφείλεται στη διάταξη τμήματος 64 από τις 72 GPU και όχι σε κάποια απόλυτη επιβάρυνση λόγω απαιτήσεων αξιοπιστίας. Κάθε τομέας περιλαμβάνει 5.184 ρυθμισμένες ζεύξεις διαφορικής σηματοδότησης στα 200 Gbps, οι οποίες διατρέχουν τους πομποδέκτες SerDes των GPU, τις πλακέτες τυπωμένου κυκλώματος (PCB) των υποδοχών υπολογισμού, τις κασέτες καλωδίων και τις διεπαφές των υποδοχών μεταγωγέων.

Η ανάκαμψη από αστοχίες βασίζεται σε δύο μηχανισμούς: το Parallelism-Aware Fault Tolerance θέτει εκτός λειτουργίας ένα ελαττωματικό αντίγραφο παράλληλης επεξεργασίας δεδομένων, ενώ το υπόλοιπο σύμπλεγμα επαναλαμβάνει το βήμα και συνεχίζει την εκπαίδευση· η κατανεμημένη ασύγχρονη δημιουργία σημείων ελέγχου, με τη δημιουργία διαφορών στα σημεία ελέγχου και την προσωρινή αποθήκευση στη μνήμη, επαναφέρει την εργασία από την τελευταία αποθηκευμένη κατάστασή της όταν η έκταση μιας αστοχίας υπερβαίνει ένα αντίγραφο.

Κατά την αρχική φάση του Prometheus, στα μέσα του 2025, οι διακοπές έφτασαν στο αποκορύφωμά τους, σχεδόν τις 1.000 ανά ημέρα για κάθε 8K GPU. Η Meta αναφέρει μείωση κατά 99% έπειτα από έναν χρόνο διεπιστημονικής μηχανικής συνεργασίας και δηλώνει ότι ο βασικός στόχος της για την αξιοπιστία είναι δύο διακοπές ανά ημέρα για κάθε 8K GPU, ή περίπου 100k ώρες GPU μεταξύ διακοπών (MTBI).

Οι στοχευμένες διορθώσεις αντιμετώπισαν την ακεραιότητα σήματος του NVLink σε περισσότερες από 600.000 συνδέσεις, την αξιοπιστία της μνήμης HBM και LPDDR μέσω βελτιωμένων ρυθμίσεων υλικολογισμικού και της προληπτικής απόσυρσης συσκευών που παρουσιάζουν υποβάθμιση, την κατάσταση των μεταγωγέων NVLink, η οποία παρακολουθείται με ανάλυση χιλιοστού του δευτερολέπτου, καθώς και τη διαφανή αναδρομολόγηση συμβάντων στις ζεύξεις υποδομής. Η Meta ανέπτυξε επίσης αυτοματοποίηση για τα πακέτα υλικολογισμικού, η οποία εγκαθιστά διορθώσεις σε περισσότερες από 100k GPU μέσα σε λίγες ώρες, και μείωσε τον χρόνο αναβάθμισης ενός μεμονωμένου pod P90 από περισσότερες από επτά ώρες σε δύο ώρες. Παράλληλα, περιγράφει ένα μοντέλο κοινής μηχανικής συνεργασίας, στο πλαίσιο του οποίου ομάδες της NVIDIA εργάζονται στα κέντρα δεδομένων της, με κοινά τηλεμετρικά δεδομένα και από κοινού διαλογή συμβάντων.

Σχέδια για την ενέργεια, την ψύξη και την επέκταση

Η συγχρονισμένη εκπαίδευση προκαλεί μεταβολές ισχύος της τάξης του 30–40% εντός του συμπλέγματος, ενώ η έναρξη ή η παύση μιας μεγάλης εργασίας μπορεί να μεταβάλει φορτία άνω των δεκάδων μεγαβάτ μέσα σε λίγα δευτερόλεπτα. Το πλαίσιο Dynamo Dimmer της Meta προσαρμόζει σταδιακά τα όρια ισχύος των GPU καθώς το σύμπλεγμα πλησιάζει το ηλεκτρικό όριο, αντί να διακόπτει απότομα τις εργασίες. Η προσέγγιση αυτή υποστηρίζεται από μονάδες εφεδρικής τροφοδοσίας μπαταρίας σε επίπεδο rack, συστοιχίες πυκνωτών, συστήματα αποθήκευσης ενέργειας με μπαταρίες στις εγκαταστάσεις και συντονισμό με τους παρόχους ηλεκτρικής ενέργειας.

Η ψύξη συνδυάζει αρθρωτά συστήματα υγρής ψύξης με υποβοήθηση αέρα σε κτίρια ανοιχτής ροής αέρα και κατασκευές ταχείας ανάπτυξης, με υγρή ψύξη των εγκαταστάσεων στο ειδικά κατασκευασμένο, βελτιστοποιημένο για τεχνητή νοημοσύνη κτίριο. Η Meta ενσωματώνει επίσης μισθωμένη δυναμικότητα από στρατηγικούς συνεργάτες. Η εταιρεία δηλώνει ότι καλύπτει το πλήρες ενεργειακό κόστος για την εγκατάσταση στο New Albany και αντιστοιχίζει την ενεργειακή της κατανάλωση με νέα καθαρή και ανανεώσιμη ενέργεια. Χρησιμοποιεί υγρή ψύξη κλειστού κυκλώματος απευθείας στο τσιπ στα νεότερα κέντρα δεδομένων της, τα οποία είναι βελτιστοποιημένα για τεχνητή νοημοσύνη, και κοινοποιεί σχέδια όπως το υγρόψυκτο rack δικτύου IcePack μέσω του Open Compute Project.

Η Meta σχεδιάζει να επεκτείνει το Prometheus με συνδυασμό συστημάτων GB300 NVL72 και Vera Rubin NVL72. Η επερχόμενη πλατφόρμα San Miguel αναφέρεται ότι διαθέτει 72 GPU Vera Rubin με 288 GB HBM4 και μέγιστο εύρος ζώνης 19,2 TB/s ανά GPU, μέγιστη υπολογιστική ισχύ εκπαίδευσης 2,52 EFLOPS FP4 (1,26 EFLOPS FP8) ανά rack, μέγιστο εύρος ζώνης NVLink 216 TB/s (3 TB/s αμφίδρομα ανά GPU), συνολικό μέγιστο εύρος ζώνης μνήμης περίπου 1.500 TB/s και υποδοχές υπολογισμού με πλήρη υγρόψυξη, με ισχύ άνω των 170 kW ανά rack. Σύμφωνα με τη Meta, προσφέρει βελτίωση 10–20% στην απόδοση ανά watt σε σύγκριση με το GB300 NVL72.

Το Hyperion, το επόμενο υπερσύμπλεγμα της Meta στην ενορία Richland της Λουιζιάνα, σχεδιάζεται από την αρχή με βάση τα συμπεράσματα από το Prometheus. Θα διαθέτει υγρή ψύξη κλειστού κυκλώματος, πλήρη σύνδεση με το ηλεκτρικό δίκτυο σε συνεργασία με τον πάροχο ενέργειας Entergy, για την οποία η Meta δηλώνει ότι καταβάλλει το πλήρες κόστος, καθώς και σχέδια δικτύου επόμενης γενιάς.