Meta, NVIDIA Συνεργάζονται για την Ανάπτυξη Υπερυπολογιστή ΕΕ

Η Meta και η NVIDIA έχουν ανακοινώσει ότι εργάζονται στην ανάπτυξη ενός τεράστιου υπερυπολογιστή ΕΕ. Ο AI Research SuperCluster (RSC) βρίσκεται目前 στην εκπαίδευση νέων μοντέλων για την προώθηση της ΕΕ.

Ο RSC αναμένεται να είναι η μεγαλύτερη εγκατάσταση συστημάτων NVIDIA DGX A100 όταν θα είναι πλήρως αναπτυγμένος. Αναμένεται να ολοκληρωθεί μέχρι το τέλος του έτους και θα χρησιμοποιηθεί για την εκπαίδευση μοντέλων ΕΕ με πάνω από ένα τρισεκατομμύριο παραμέτρους. Ο υπερυπολογιστής θα είναι χρήσιμος για πολλά διαφορετικά πεδία όπως η επεξεργασία φυσικής γλώσσας (NLP).

Σύμφωνα με τη Meta, η εταιρεία επικεντρώνεται στην ενεργοποίηση της απόδοσης σε κλίμακα και την ακραία αξιοπιστία, ασφάλεια, ιδιωτικότητα και την ευελιξία για την αντιμετώπιση διαφόρων μοντέλων ΕΕ.

Λεπτομέρειες του RSC

Ο RSC χρησιμοποιεί 760 συστήματα NVIDIA DGX A100 ως κόμβους υπολογισμού και έχουν 6.080 NVIDIA A100 GPUs συνδεδεμένα σε ένα δίκτυο NVIDIA Quantum 200Gb/s InfiniBand. Όλα αυτά επιτρέπουν να παρασχεθεί απόδοση 1.895 petaflops TF32.

Ο RSC χρειάστηκε μόνο 18 μήνες για να φθάσει σε一个 λειτουργικό υπερυπολογιστή ΕΕ, το οποίο είναι εντυπωσιακό δεδομένης της επίδρασης της πανδημίας COVID-19 στην ανάπτυξη.

Πρώιμα τεστ στον RSC, σε σύγκριση με την κληρονομική παραγωγή και υποδομή έρευνας της Meta, έχουν δείξει ότι μπορεί να εκτελέσει εργοflows όρασης υπολογιστή μέχρι 20 φορές πιο γρήγορα. Μπορεί επίσης να εκτελέσει τη βιβλιοθήκη NVIDIA Collective Communication Library (NCCL) πάνω από εννέα φορές πιο γρήγορα και να εκπαιδεύσει μεγάλα μοντέλα NLP τρεις φορές πιο γρήγορα. Με άλλα λόγια, ένα μοντέλο με δεκάδες δισεκατομμύρια παραμέτρους θα μπορούσε να ολοκληρώσει την εκπαίδευση σε τρεις εβδομάδες, σε σύγκριση με το προηγούμενο χρονοδιάγραμμα εννέα εβδομάδων.

Τι θα Ενεργοποιήσει ο RSC

Ο RSC θα ενεργοποιήσει τους ερευνητές της Meta να δημιουργήσουν νέα μοντέλα ΕΕ που μπορούν να μάθουν από τρισεκατομμύρια παραδείγματα. Οι ερευνητές θα μπορέσουν επίσης να εργαστούν σε εκατοντάδες διαφορετικές γλώσσες, να αναλύσουν κείμενο, εικόνες και βίντεο μαζί, να αναπτύξουν νέα εργαλεία εικονικής πραγματικότητας και άλλα.

Η Meta ελπίζει ότι ο RSC θα της επιτρέψει να παρέχει μεταφράσεις φωνής σε πραγματικό χρόνο σε μεγάλες ομάδες ανθρώπων, ακόμη και αν ο καθένας μιλάει μια διαφορετική γλώσσα. Αυτό θα επιτρέψει σε εξαιρετικά διαφορετικές ομάδες να συνεργαστούν σε ερευνητικά προγράμματα.

«Ελπίζουμε ότι ο RSC θα μας βοηθήσει να κατασκευάσουμε εντελώς νέα συστήματα ΕΕ που μπορούν, για παράδειγμα, να παρέχουν μεταφράσεις φωνής σε πραγματικό χρόνο σε μεγάλες ομάδες ανθρώπων, καθένας από τους οποίους μιλάει μια διαφορετική γλώσσα, ώστε να μπορέσουν να συνεργαστούν ομαλά σε ένα ερευνητικό πρόγραμμα ή να παίξουν ένα παιχνίδι εικονικής πραγματικότητας μαζί», ανέφερε η Meta.

Αυτή η νέα συνεργασία θα πάνε μακρύ δρόμο στην ανάπτυξη ενός από τα επόμενα state-of-the-art υπερυπολογιστές ΕΕ που μπορούν να χρησιμοποιηθούν σε eine ευρεία γκάμα βιομηχανιών.