Andrew Feldman, Συνιδρυτής & Διευθύνων Σύμβουλος της Cerebras Systems – Σειρά Συνεντεύξεων

Ο Andrew είναι συνιδρυτής και Διευθύνων Σύμβουλος της Cerebras Systems (CBRS ). Είναι επιχειρηματίας αφοσιωμένος στο να推 đẩy τα όρια στον χώρο του υπολογισμού. Πριν από την Cerebras, συνίδρυσε και ήταν Διευθύνων Σύμβουλος της SeaMicro, μια πρωτοπόρου εταιρείας ενεργειακά αποδοτικών, υψηλής ταχύτητας μικρουπολογιστών. Η SeaMicro αγοράστηκε από την AMD το 2012 για $357M. Πριν από την SeaMicro, ο Andrew ήταν ο Αντιπρόεδρος Διαχείρισης Προϊόντων, Μάρκετινγκ και Ανάπτυξης στη Force10 Networks, η οποία αργότερα πωλήθηκε στη Dell Computing για $800M. Πριν από τη Force10 Networks, ο Andrew ήταν ο Αντιπρόεδρος Μάρκετινγκ και Εταιρικής Ανάπτυξης στη RiverStone Networks από την ίδρυση της εταιρείας μέχρι το IPO το 2001. Ο Andrew κατέχει πτυχίο και MBA από το Πανεπιστήμιο του Στάνφορντ.

Η Cerebras Systems κατασκευάζει ένα νέο τύπο υπολογιστικού συστήματος, σχεδιασμένο από τις αρχές για τον μοναδικό στόχο της επιτάχυνσης του AI και της αλλαγής του μέλλοντος της εργασίας του AI.

Μπορείτε να μοιραστείτε την ιστορία της γέννησης της Cerebras Systems;

Οι συνιδρυτές μου και εγώ δούλεψαμε όλοι μαζί σε μια προηγούμενη εταιρεία που ξεκίνησε ο CTO μου Gary και εγώ το 2007, η SeaMicro (η οποία πωλήθηκε στην AMD το 2012 για $334 εκατομμύρια). Οι συνιδρυτές μου είναι κάποιοι από τους κορυφαίους αρχιτέκτονες υπολογιστών και μηχανικούς στη βιομηχανία – Gary Lauterbach, Sean Lie, JP Fricker και Michael James. Όταν ξανασμίξαμε το 2015, γράψαμε δύο πράγματα σε ένα πίνακα – ότι θέλαμε να δουλέψουμε μαζί και ότι θέλαμε να κατασκευάσουμε κάτι που θα μετέβαλε την βιομηχανία και θα ήταν στο Μουσείο Ιστορίας Υπολογιστών, το οποίο είναι το ισοδύναμο του Hall of Fame των υπολογιστών. Τιμωρήθηκαμε όταν το Μουσείο Ιστορίας Υπολογιστών αναγνώρισε τις επιτεύξεις μας και πρόσθεσε τον επεξεργαστή WSE-2 στη συλλογή του το προηγούμενο έτος, αναφέροντας πώς έχει μεταμορφώσει το τοπίο της τεχνητής νοημοσύνης.

Η Cerebras Systems είναι μια ομάδα πρωτοπόρων αρχιτεκτόνων υπολογιστών, επιστημόνων υπολογιστών, ερευνητών βαθιάς μάθησης και μηχανικών όλων των τύπων που αγαπούν το άφοβο μηχανικό σχέδιο. Η αποστολή μας όταν συναθροισθήκαμε ήταν να κατασκευάσουμε einen νέο τύπο υπολογιστή για την επιτάχυνση της βαθιάς μάθησης, η οποία έχει αναρριχηθεί ως μια από τις πιο σημαντικές εργασίες της εποχής μας.

Καταλάβαμε ότι η βαθιά μάθηση έχει μοναδικές, τεράστιες και αυξανόμενες υπολογιστικές απαιτήσεις. Και δεν είναι καλά συμφωνημένες με τις κληρονομικές μηχανές όπως οι μονάδες επεξεργασίας γραφικών (GPUs), οι οποίες σχεδιάστηκαν ουσιαστικά για άλλη δουλειά. Ως αποτέλεσμα, το AI σήμερα είναι περιορισμένο όχι από εφαρμογές ή ιδέες, αλλά από τη διαθεσιμότητα του υπολογισμού. Η δοκιμή μιας νέας υπόθεσης – η εκπαίδευση ενός νέου μοντέλου – μπορεί να πάρει ημέρες, εβδομάδες ή ακόμη και μήνες και να κοστίζει εκατοντάδες χιλιάδες δολάρια σε χρόνο υπολογισμού. Αυτό είναι ένα σημαντικό εμπόδιο στην καινοτομία.

Έτσι, η γέννηση της Cerebras ήταν να κατασκευάσουμε einen νέο τύπο υπολογιστή που να είναι βελτιστοποιημένος αποκλειστικά για τη βαθιά μάθηση, ξεκινώντας από ένα καθαρό φύλλο χαρτιού. Για να ικανοποιήσουμε τις τεράστιες υπολογιστικές απαιτήσεις της βαθιάς μάθησης, σχεδιάσαμε και κατασκευάσαμε τον μεγαλύτερο επεξεργαστή που έχει κατασκευαστεί ποτέ – τον Wafer-Scale Engine (WSE). Κατασκευάζοντας τον πρώτο επεξεργαστή σε κλίμακα οπής, ξεπέρασε τις προκλήσεις σχεδιασμού, κατασκευής και συσκευασίας – όλες οι οποίες θεωρούνταν αδύνατες για όλη τη 70χρονη ιστορία των υπολογιστών. Κάθε στοιχείο του WSE σχεδιάστηκε για να επιτρέπει την έρευνα βαθιάς μάθησης σε ασυνήθιστες ταχύτητες και κλίμακα, τροφοδοτώντας τον ταχύτερο υπερυπολογιστή AI της βιομηχανίας, τον Cerebras CS-2.

Με κάθε συνιστώσα βελτιστοποιημένη για εργασία AI, ο CS-2 παρέχει περισσότερη υπολογιστική απόδοση σε λιγότερο χώρο και λιγότερη ενέργεια από οποιοδήποτε άλλο σύστημα. Κάνει αυτό ενώ μειώνει δραματικά την πολυπλοκότητα προγραμματισμού, τον χρόνο υπολογισμού και τον χρόνο λύσης. Ανεξάρτητα από το φόρτο εργασίας, από το AI στο HPC, ο CS-2 παρέχει εκατοντάδες ή χιλιάδες φορές περισσότερη απόδοση από τις κληρονομικές εναλλακτικές λύσεις. Ο CS-2 παρέχει τους πόρους υπολογισμού βαθιάς μάθησης που είναι ισοδύναμοι με εκατοντάδες GPUs, ενώ παρέχει την ευκολία προγραμματισμού, διαχείρισης και ανάπτυξης ενός seul συσκευής.

Τι μπορείτε να μας πείτε για τον νέο υπερυπολογιστή AI Andromeda;

Ανακοινώσαμε τον Andromeda τον Νοέμβριο του προηγούμενου έτους και είναι ένας από τους μεγαλύτερους και πιο ισχυρούς υπερυπολογιστές AI που έχουν κατασκευαστεί ποτέ. Παρέχει περισσότερο από 1 Exaflop υπολογισμού AI και 120 Petaflops πυκνού υπολογισμού, ο Andromeda έχει 13,5 εκατομμύρια πυρήνες σε 16 συστήματα CS-2 και είναι ο μόνος υπερυπολογιστής AI που έχει δείξει σχεδόν τέλεια γραμμική κλιμάκωση σε φόρτους εργασίας μεγάλων γλωσσικών μοντέλων. Είναι επίσης πολύ εύκολο στη χρήση.

Ως υπενθύμιση, ο μεγαλύτερος υπερυπολογιστής στη Γη – ο Frontier – έχει 8,7 εκατομμύρια πυρήνες. Σε сыρκή πυρήνων, ο Andromeda είναι περισσότερο από μία και μισή φορά μεγαλύτερος. Κάνει διαφορετική δουλειά φυσικά, αλλά αυτό δίνει μια ιδέα του εύρους: σχεδόν 100 terabits εσωτερικής εύρους ζώνης, σχεδόν 20.000 πυρήνες AMD Epyc τροφοδοτούν τον και – σε αντίθεση με τους γιγαντιαίους υπερυπολογιστές που χρειάζονται χρόνια για να αναπτυχθούν – ο Andromeda αναπτύχθηκε σε τρεις ημέρες και αμέσως μετά, παρέχοντας σχεδόν τέλεια γραμμική κλιμάκωση του AI.

Το Εργαστήριο Εθνικής Ενέργειας Argonne ήταν ο πρώτος πελάτης μας που χρησιμοποίησε τον Andromeda και το εφαρμόσε σε ένα πρόβλημα που έσπαγε τον cluster των 2.000 GPU που ονομάζεται Polaris. Το πρόβλημα ήταν η εκτέλεση πολύ μεγάλων, γενετικών μοντέλων GPT-3XL, ενώ τοποθετούσε ολόκληρο το γονίδιο Covid στη σειρά παραθύρου, ώστε να μπορείτε να αναλύσετε κάθε γονίδιο στο контексті του ολόκληρου γονιδιώματος του Covid. Ο Andromeda εκτέλεσε ένα μοναδικό γενετικό φόρτο εργασίας με μακρές ακολουθίες (MSL των 10K) σε 1, 2, 4, 8 και 16 κόμβους, με σχεδόν τέλεια γραμμική κλιμάκωση. Η γραμμική κλιμάκωση είναι μεταξύ των πιο αναζητούμενων χαρακτηριστικών ενός μεγάλου cluster. Ο Andromeda παρέχισε 15,87X απόδοση σε 16 συστήματα CS-2, σε σύγκριση με ένα seul σύστημα CS-2, και μια μείωση του χρόνου εκπαίδευσης για να ταιριάζει.

Μπορείτε να μας πείτε για τη συνεργασία με την Jasper που ανακοινώθηκε στα τέλη Νοεμβρίου και τι σημαίνει για τις δύο εταιρείες;

Η Jasper είναι μια πολύ ενδιαφέρουσα εταιρεία. Είναι ηγέτης σε γενετική AI περιεχόμενο για μάρκετινγκ και τα προϊόντα της χρησιμοποιούνται από περισσότερους από 100.000 πελάτες σε όλο τον κόσμο για να γράψουν αντίγραφα για μάρκετινγκ, διαφημίσεις, βιβλία και άλλα. Είναι φυσικά ένα πολύ ενδιαφέρον και ταχέως αναπτυσσόμενο χώρο αυτή τη στιγμή. Το προηγούμενο έτος, ανακοινώσαμε μια συνεργασία μαζί τους για να επιταχύνουμε την υιοθέτηση και να βελτιώσουμε την ακρίβεια της γενετικής AI σε επιχειρηματικές και καταναλωτικές εφαρμογές. Η Jasper χρησιμοποιεί τον υπερυπολογιστή Andromeda για να εκπαιδεύσει τα μοντέλα της που είναι εξαιρετικά υπολογιστικά εντατικά σε μια κλάσμα του χρόνου. Αυτό θα επεκτείνει την εμβέλεια των μοντέλων γενετικής AI στα μαζικά.

Με τη δύναμη του υπερυπολογιστή Andromeda της Cerebras, η Jasper μπορεί να προωθήσει δραματικά την εργασία AI, συμπεριλαμβανομένης της εκπαίδευσης δικτύων GPT για να ταιριάζουν τα αποτελέσματα AI σε όλα τα επίπεδα της πολυπλοκότητας και της λεπτομέρειας του τελικού χρήστη. Αυτό βελτιώνει την контекουαλική ακρίβεια των γενετικών μοντέλων και θα επιτρέψει στην Jasper να προσωποποιήσει το περιεχόμενο σε πολλές κατηγορίες πελατών γρήγορα και εύκολα.

Η συνεργασία μας επιτρέπει στην Jasper να εφευρεί το μέλλον της γενετικής AI, κάνοντας πράγματα που είναι ακατόρθωτα ή απλά αδύνατα με την παραδοσιακή υποδομή, και να επιταχύνει το δυναμικό της γενετικής AI, φέρνοντας τα οφέλη της σε όλο και περισσότερους πελάτες μας σε όλο τον κόσμο.

Σε μια πρόσφατη ανακοίνωση τύπου, το Εθνικό Εργαστήριο Τεχνολογίας Ενέργειας και το Κέντρο Υπερυπολογισμού Πίτσμπουργκ ανακοίνωσαν την πρώτη ποτέ υπολογιστική ροή υγρών模擬 σε επεξεργαστή Wafer-Scale της Cerebras. Μπορείτε να περιγράψετε τι είναι συγκεκριμένα ο επεξεργαστής Wafer-Scale και πώς λειτουργεί;

Ο επεξεργαστής μας Wafer-Scale Engine (WSE) είναι ο επαναστατικός επεξεργαστής AI για το σύστημα υπολογιστή βαθιάς μάθησης, τον CS-2. Σε αντίθεση με τις κληρονομικές, γενικού σκοπού επεξεργαστές, ο WSE κατασκευάστηκε από την αρχή για να επιταχύνει τη βαθιά μάθηση: έχει 850.000 πυρήνες που είναι βελτιστοποιημένοι για τις απορροφούμενες τετραγωνικές операции, τεράστιες υψηλής ταχύτητας μνήμες επεξεργαστή και διασυνδέσεις που είναι πολλές τάξεις μεγαλύτερες από ό,τι θα μπορούσε να επιτύχει ένα παραδοσιακό cluster. Όλα αυτά δίνουν τη δυνατότητα να έχεις τους πόρους υπολογισμού βαθιάς μάθησης που είναι ισοδύναμοι με ένα cluster κληρονομικών μηχανών σε μια seule συσκευή, εύκολη να προγραμματιστεί ως ένα seul κόμβος – μειώνοντας δραματικά την πολυπλοκότητα προγραμματισμού, τον χρόνο υπολογισμού και τον χρόνο λύσης.

Ο δεύτερος γενιάς WSE-2, ο οποίος τροφοδοτεί το σύστημα CS-2, μπορεί να λύσει προβλήματα εξαιρετικά γρήγορα. Γρήγορα αρκετά για να επιτρέψει πραγματικό χρόνο, υψηλής πιστότητας μοντέλα συστημάτων που ενδιαφέρουν. Είναι ένα σπάνιο παράδειγμα επιτυχημένης “ισχυρής κλιμάκωσης”, η οποία είναι η χρήση της παραλληλίας για να μειώσει τον χρόνο λύσης με ένα σταθερό μέγεθος προβλήματος.

Και αυτό είναι που χρησιμοποιούν το Εθνικό Εργαστήριο Τεχνολογίας Ενέργειας και το Κέντρο Υπερυπολογισμού Πίτσμπουργκ. Μόλις ανακοινώσαμε κάποια πολύ ενδιαφέροντα αποτελέσματα μιας υπολογιστικής ροής υγρών模擬, αποτελούμενη από περίπου 200 εκατομμύρια κύτταρα, σε σχεδόν πραγματικό χρόνο. Αυτό το βίντεο δείχνει την υψηλής ανάλυσης模擬 της Rayleigh-Bénard convection, η οποία συμβαίνει όταν ένα στρώμα υγρού θερμαίνεται από κάτω και ψύχεται από πάνω. Αυτές οι θερμικά οδηγούμενες ροές υγρών συμβαίνουν φυσικά γύρω μας — από ανεμώδεις ημέρες, σε χιονοπτώσεις λίμνης, σε κινήσεις τεκτονικών πλάκων. Αυτή η模擬, αποτελούμενη από περίπου 200 εκατομμύρια κύτταρα, εστιάζει σε ένα φαινόμενο γνωστό ως “Rayleigh-Bénard” convection, το οποίο συμβαίνει όταν ένα υγρό θερμαίνεται από κάτω και ψύχεται από πάνω. Στη φύση, αυτό το φαινόμενο μπορεί να οδηγήσει σε σοβαρά καιρικά φαινόμενα όπως downbursts, microbursts και derechos. Είναι επίσης υπεύθυνο για την κίνηση μάγματος στο πυρήνα της Γης και την κίνηση πλάσματος στον Ήλιο.

Τι είδους δεδομένα προσομοιούνται;

Ο φόρτος εργασίας που δοκιμάστηκε ήταν θερμικά οδηγούμενες ροές υγρών, επίσης γνωστές ως φυσικές convection, οι οποίες είναι μια εφαρμογή της υπολογιστικής ροής υγρών (CFD). Οι ροές υγρών συμβαίνουν φυσικά γύρω μας — από ανεμώδεις ημέρες, σε χιονοπτώσεις λίμνης, σε κινήσεις τεκτονικών πλάκων. Αυτή η模擬, αποτελούμενη από περίπου 200 εκατομμύρια κύτταρα, εστιάζει σε ένα φαινόμενο γνωστό ως “Rayleigh-Bénard” convection, το οποίο συμβαίνει όταν ένα υγρό θερμαίνεται από κάτω και ψύχεται από πάνω. Στη φύση, αυτό το φαινόμενο μπορεί να οδηγήσει σε σοβαρά καιρικά φαινόμενα όπως downbursts, microbursts και derechos. Είναι επίσης υπεύθυνο για την κίνηση μάγματος στο πυρήνα της Γης και την κίνηση πλάσματος στον Ήλιο.

Πίσω στο Νοέμβριο του 2022, το NETL εισήγαγε μια νέα API μοντέλου πεδίου, που τροφοδοτείται από το σύστημα CS-2, η οποία ήταν τόσο γρήγορη όσο το 470 φορές περισσότερο από ό,τι ήταν δυνατό στο Joule Supercomputer του NETL. Αυτό σημαίνει ότι θα μπορούσε να παρέχει ταχύτητες πέρα από ό,τι θα μπορούσε να επιτύχει οποιοδήποτε cluster από CPUs ή GPUs. Χρησιμοποιώντας μια απλή API Python που επιτρέπει την επεξεργασία σε κλίμακα οπής για μεγάλο μέρος της υπολογιστικής επιστήμης, το WFA παρέχει κέρδη στην απόδοση και τη χρηστικότητα που δεν θα μπορούσαν να επιτευχθούν σε συμβατικούς υπολογιστές και υπερυπολογιστές — στην πραγματικότητα, ξεπέρασε το OpenFOAM στο Joule 2.0 του NETL περισσότερο από δύο τάξεις μεγαλύτερο σε χρόνο λύσης.

Λόγω της απλότητας της API WFA, τα αποτελέσματα επιτεύχθηκαν σε λίγες εβδομάδες και συνεχίζουν τη στενή συνεργασία μεταξύ του NETL, του PSC και της Cerebras Systems.

Με τη μεταμόρφωση της ταχύτητας της CFD (η οποία ήταν πάντα μια αργή, εκτός σύνδεσης εργασία) στον WSE μας, μπορούμε να ανοίξουμε ένα σύνολο νέων, πραγματικού χρόνου εφαρμογών για αυτό και πολλές άλλες βασικές εφαρμογές HPC. Ο στόχος μας είναι ότι, επιτρέποντας περισσότερη υπολογιστική δύναμη, οι πελάτες μας μπορούν να εκτελέσουν περισσότερες πειραματικές δοκιμές και να εφευρέσουν καλύτερη επιστήμη. Ο διευθυντής του εργαστηρίου NETL, Brian Anderson, μας είπε ότι αυτό θα επιταχύνει δραματικά και θα βελτιώσει τη διαδικασία σχεδιασμού για κάποια πολύ μεγάλα προγράμματα που το NETL εργάζεται γύρω από τη μείωση της κλιματικής αλλαγής και την ενεργειακή ασφάλεια — προγράμματα όπως η αποθήκευση άνθρακα και η παραγωγή υδρογόνου.

Η Cerebras Systems είναι συνεχώς καλύτερη από τον ανταγωνισμό όταν πρόκειται για την κυκλοφορία υπερυπολογιστών, ποια είναι κάποια από τις προκλήσεις πίσω από την κατασκευή υπερυπολογιστών της τελευταίας τεχνολογίας;

Παραδόξως, μια από τις πιο δύσκολες προκλήσεις του μεγάλου AI δεν είναι το AI. Είναι ο κατανομή υπολογισμού.

Για να εκπαιδεύσετε τα σημερινά state-of-the-art νευρωνικά δίκτυα, οι ερευνητές συχνά χρησιμοποιούν εκατοντάδες έως χιλιάδες μονάδες επεξεργασίας γραφικών (GPUs). Και δεν είναι εύκολο. Η κλιμάκωση της εκπαίδευσης μεγάλων γλωσσικών μοντέλων σε ένα cluster GPUs απαιτεί την κατανομή ενός φόρτου εργασίας σε πολλά μικρά συσκευές, την αντιμετώπιση των περιορισμών μεγέθους μνήμης και εύρους ζώνης, και την προσεκτική διαχείριση της επικοινωνίας και της συγχρονισμού.

Έχουμε λάβει μια完全 διαφορετική προσέγγιση στο σχεδιασμό των υπερυπολογιστών μας μέσω της ανάπτυξης του Cerebras Wafer-Scale Cluster, και του Cerebras Weight Streaming κατάσταση εκτέλεσης. Με αυτές τις τεχνολογίες, η Cerebras αντιμετωπίζει einen νέο τρόπο κλιμάκωσης με βάση τρεις βασικούς σημεία:

Η αντικατάσταση της επεξεργασίας CPU και GPU από επεξεργαστές σε κλίμακα οπής όπως το σύστημα Cerebras CS-2. Αυτή η αλλαγή μειώνει τον αριθμό των μονάδων υπολογισμού που απαιτούνται για να επιτευχθεί μια αποδεκτή ταχύτητα υπολογισμού.

Για να αντιμετωπίσουμε την πρόκληση του μεγέθους του μοντέλου, χρησιμοποιούμε μια αρχιτεκτονική συστήματος που αποσπά την υπολογιστική από την αποθήκευση του μοντέλου. Một υπηρεσία υπολογισμού που βασίζεται σε ένα cluster συστημάτων CS-2 (που παρέχει επαρκή εύρος ζώνης υπολογισμού) είναι στενά συνδεδεμένη με μια υπηρεσία μνήμης (με μεγάλη χωρητικότητα μνήμης) που παρέχει υποσύνολα του μοντέλου στο cluster υπολογισμού κατόπιν ζήτησης. Όπως συνήθως, μια υπηρεσία δεδομένων παρέχει δείγματα δεδομένων εκπαίδευσης στην υπηρεσία υπολογισμού κατόπιν ζήτησης.

Ένα καινοτόμο μοντέλο για τη χρονοδιαγραμματική και συντονισμό της εκπαίδευσης εργασίας σε όλο το cluster CS-2 που χρησιμοποιεί παράλληλη επεξεργασία δεδομένων, εκπαίδευση στρώσης προς στρώση με σπάνιες βαρύτητες που ρέουν κατόπιν ζήτησης, και διατήρηση των ενεργειών στην υπηρεσία υπολογισμού.

Υπάρχει φόβος για το τέλος του νόμου του Moore για σχεδόν μια δεκαετία, πόσα χρόνια ακόμη μπορεί η βιομηχανία να πιέσει και ποια είδη καινοτομιών χρειάζονται για αυτό;

Νομίζω ότι η ερώτηση με την οποία όλες οι εταιρείες παλέψτε είναι αν ο νόμος του Moore – όπως τον έγραψε ο Moore – είναι νεκρός. Δεν παίρνει δύο χρόνια για να πάρει περισσότερους τρανζίστορ. Τώρα παίρνει τέσσερα ή πέντε χρόνια. Και αυτοί οι τρανζίστορ δεν έρχονται στην ίδια τιμή – έρχονται σε πολύ υψηλότερες τιμές. Έτσι, η ερώτηση γίνεται, αν ακόμη παίρνουμε τα ίδια οφέλη από την κίνηση από τα 7 να 5 να 3 νανομέτρα. Τα οφέλη είναι μικρότερα και κοστίζουν περισσότερο, και έτσι οι λύσεις γίνονται πιο σύνθετες από το να είναι απλά ο επεξεργαστής.

Ο Jack Dongarra, ένας ηγέτης αρχιτέκτονας υπολογιστών, έδωσε μια ομιλία πρόσφατα και είπε, “Έχουμε γίνει πολύ καλύτεροι στην κατασκευή FLOPs και στην κατασκευή I/O.” Αυτό είναι πραγματικά αλήθεια. Η ικανότητά μας να μεταφέρουμε δεδομένα εκτός chip πίσω από την ικανότητά μας να αυξάνουμε την απόδοση σε chip από rất. Στο Cerebras, ήμασταν ευτυχείς όταν το είπε, γιατί επικυρώνει την απόφασή μας να κατασκευάσουμε einen μεγαλύτερο επεξεργαστή και να μεταφέρουμε λιγότερα πράγματα εκτός chip. Επίσης, παρέχει κάποια οδηγία για μελλοντικές τρόπους να κάνουμε συστήματα με chips να εκτελούν καλύτερα. Υπάρχει δουλειά να γίνει, όχι μόνο στο να κάνουμε περισσότερους FLOPs αλλά και σε τεχνικές να τους μεταφέρουμε και να μεταφέρουμε τα δεδομένα από chip σε chip — ακόμη και από πολύ μεγάλο chip σε πολύ μεγάλο chip.

Υπάρχει κάτι άλλο που θα ήθελε να μοιραστεί για την Cerebras Systems;

Για καλύτερο ή για χειρότερο, οι άνθρωποι συχνά τοποθετούν την Cerebras σε αυτήν την κατηγορία “των πραγματικά μεγάλων chip εταιρειών”. Έχουμε能够 να παρέχουμε πειστικές λύσεις για πολύ μεγάλες νευρωνικές δικτύες, εξαλείφοντας την ανάγκη για đauκόπιες κατανομές υπολογισμού. Νομίζω ότι αυτό είναι εξαιρετικά ενδιαφέρον και στο κέντρο του γιατί οι πελάτες μας μας αγαπούν. Το ενδιαφέρον τομέας για το 2023 θα είναι πώς να κάνουμε μεγάλο υπολογισμό σε υψηλότερο επίπεδο ακρίβειας, χρησιμοποιώντας λιγότερους FLOPs.

Η δουλειά μας στη σπαρότητα παρέχει μια εξαιρετικά ενδιαφέρουσα προσέγγιση. Δεν κάνουμε δουλειά που δεν μας μεταφέρει προς τη γραμμή τερματισμού. Η πολλαπλασιασμός με το μηδέν είναι μια κακή ιδέα. Θα κυκλοφορήσουμε ένα πραγματικά ενδιαφέρον έγγραφο για τη σπαρότητα σύντομα, και νομίζω ότι θα υπάρξει περισσότερη προσπάθεια να δούμε πώς να φτάσουμε σε αυτά τα αποτελεσματικά σημεία, και πώς να τα κάνουμε με λιγότερη ενέργεια. Και όχι μόνο για λιγότερη ενέργεια και εκπαίδευση, αλλά και πώς να ελαττώσουμε το κόστος και την ενέργεια που χρησιμοποιείται στην εύρεση; Νομίζω ότι η σπαρότητα βοηθά και στις δύο πλευρές.

Ευχαριστούμε για αυτές τις σε βάθος απαντήσεις, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν την Cerebras Systems.