Σύστημα Cerebras CS-1 Ενοποιημένο στο Υπερυπολογιστή Lassen

Μια νέα μελέτη περίπτωσης που διεξήχθη από την Cerebras (CBRS ) σε συνεργασία με το Εργαστήριο Εθνικής Ασφάλειας Lawrence Livermore (LLNL) περιγράφει πώς το σύστημα Cerebras CS-1 ενσωματώθηκε στο υπερυπολογιστή Lassen του LLNL για να επιτρέψει προόδους στις προσομοιώσεις πυρηνικής σύντηξης.

Το LLNL είναι một ομοσπονδιακό ερευνητικό κέντρο στο Λίβερμορ, Καλιφόρνια, και χρηματοδοτείται κυρίως από την Εθνική Υπηρεσία Πυρηνικής Ασφάλειας του Υπουργείου Ενέργειας των ΗΠΑ. Σύμφωνα με το LLNL, η αποστολή του είναι να ενισχύσει την ασφάλεια των ΗΠΑ αναπτύσσοντας και εφαρμόζοντας παγκόσμιας κλάσης επιστήμη, τεχνολογία και μηχανική.

Το εργαστήριο περιλαμβάνει το Εθνικό Κέντρο Ιγνώσης (NIF), το οποίο διεξάγει έρευνα πυρηνικής σύντηξης με το πιο ισχυρό λέιζερ στον κόσμο. Με αυτόν τον τρόπο, κάποια από τα κύρια εμπόδια περιλαμβάνουν ακριβές και χρονοβόρες πειράματα σύγκρουσης, οπότε το εργαστήριο εκτελεί προσομοιωμένα πειράματα με ένα πακέτο λογισμικού πολλαπλών φυσικών με το όνομα HYDRA στον υπερυπολογιστή Lassen. Τα μοντέλα HYDRA επικυρώνονται μέσω πραγματικών δεδομένων από το NIF, γεγονός που επιτρέπει στα μοντέλα να είναι πιο ακριβή στην πρόβλεψη του αποτελέσματος των πραγματικών πειραμάτων.

Ένα μέρος των μοντέλων HYDRA μοντελοποιεί την ατομική κινητική και την ακτινοβολία, και αυτό το μέρος ονομάζεται CRETIN. Προβλέπει πώς θα συμπεριφερθεί ένα άτομο υπό bestimmμένες συνθήκες, και το CRETIN μπορεί να αντιπροσωπεύει έως και το 10% του συνολικού φορτίου υπολογισμού για το HYDRA.

Αντικαθιστώντας το CRETIN με ένα μοντέλο neuronικών δικτύων (DNN), ή το CRETIN-αντικαταστάτη, οι ερευνητές του LLNL μπορούν να μειώσουν την υπολογιστική ένταση.

Σύστημα Cerebras CS-1

Το σύστημα Cerebras CS-1 επιλέχθηκε από το LLNL για την εκτέλεση της αντικατάστασης CRETIN. Το σύστημα ενσωματώθηκε με τον υπερυπολογιστή Lassen, και η εγκατάσταση διήρκεσε λιγότερο από 20 ώρες. Οι τεχνικοί της Cerebras εγκατέστησαν επίσης ένα “δερματικό κάλυμμα” και τους μηχανικούς σιδηροδρόμων και το υλικό.

Οι μηχανικοί λογισμικού μηχανικής μάθησης συνεργάστηκαν με τους συναδέλφους του LLNL για να γράψουν μια API C ++ που επιτρέπει στον κώδικα HYDRA να καλεί το μοντέλο αντικατάστασης CRETIN. Το μοντέλο βασίζεται σε ένα autoencoder για να συμπιέσει τα δεδομένα εισόδου σε χαμηλότερες διαστάσεις, και αυτά επεξεργάζονται από ένα προβλεπτικό μοντέλο που κατασκευάζεται με το DJINN, το οποίο είναι ένας καινοτόμος αλγόριθμος neuronικών δικτύων. Αυτός ο αλγόριθμος επιλέγει αυτόματα μια κατάλληλη αρχιτεκτονική neuronικών δικτύων για τα δεδομένα, και δεν απαιτεί από τον χρήστη να ρυθμίσει τις ρυθμίσεις χειροκίνητα.

Αποτελέσματα της Μελέτης Περίπτωσης

Τα πρώιμα αποτελέσματα έδειξαν ότι η συνδυασμένη χρήση του συστήματος Lassen με το επιταχυντή Cerebras είναι εξαιρετικά αποτελεσματική. Με την εύκολη σύνδεση του συστήματος CS-1 στο δίκτυο InfiniBand του Lassen, επιτεύχθηκε εύρος ζώνης 1,2 terabit ανά δευτερόλεπτο στο σύστημα CS-1.

Λόγω των 19 GB μνήμης SRAM που συνδέονται με 400.000 πυρήνες υπολογισμού AI, το σύστημα CS-1 ήταν σε θέση να εκτελέσει πολλά αντίγραφα του σχετικά συμπαγούς μοντέλου DNN παράλληλα. Μέσω της συνδυασμένης ζώνης και της ιπποδύναμης, το HYDRA ήταν σε θέση να εκτελέσει inference σε 18 εκατομμύρια δείγματα κάθε δευτερόλεπτο.

Όλα αυτά σημαίνουν ότι το LLNL μπορεί τώρα να εκτελέσει πειράματα που προηγουμένως ήταν υπολογιστικά ακατόρθωτα με το σύστημα Cerebras, και απαιτεί μόνο μια απλή ενοποίηση και ένα κλάσμα του κόστους.

Η έρευνα θα επικεντρωθεί τώρα στην καθοδήγηση της προσομοίωσης και την παροχή εποπτείας στην προσομοίωση ενώ εκτελείται, γεγονός που επιτρέπει στους ερευνητές να παρακολουθούν και να σταματούν την εκτέλεση εάν η προσομοίωση δεν λειτουργεί καλά. Τα αποτελέσματα κάθε εκτέλεσης γίνονται τότε μέρος του συνόλου εκπαίδευσης του μοντέλου, οπότε μπορεί να εκπαιδευτεί συνεχώς. Ένα μοντέλο “ενεργού μάθησης” μπορεί να δημιουργηθεί, και θα μπορούσε να βελτιώσει τις μελλοντικές εκτελέσεις επιλέγοντας τις παραμέτρους και την αρχική συνθήκη ορίου για το επόμενο πείραμα.