Andrew Feldman, Συνιδρυτής & CEO της Cerebras Systems – Σειρά Συνεντεύξεων

Ο Andrew είναι συνιδρυτής και CEO της Cerebras Systems. Είναι ένας επιχειρηματίας αφιερωμένος στο να推 đẩy τα όρια στο χώρο του υπολογισμού. Πριν από την Cerebras, συνίδρυσε και ήταν CEO της SeaMicro, một πρωτοπόρου στην ενεργειακά αποδοτική, υψηλής ταχύτητας μικρουπολογιστές. Η SeaMicro αποκτήθηκε από την AMD το 2012 για $357M. Πριν από τη SeaMicro, ο Andrew ήταν ο Αντιπρόεδρος της Διαχείρισης Προϊόντων, Marketing και BD στην Force10 Networks, η οποία αργότερα πωλήθηκε στη Dell Computing για $800M. Πριν από τη Force10 Networks, ο Andrew ήταν ο Αντιπρόεδρος της Marketing και Εταιρικής Ανάπτυξης στην RiverStone Networks από την ίδρυση της εταιρείας μέχρι το IPO το 2001. Ο Andrew κατέχει einen BA και einen MBA από το Πανεπιστήμιο του Stanford.

Η Cerebras Systems κατασκευάζει một νέο τύπο υπολογιστικού συστήματος, σχεδιασμένο από τις αρχές για τον μοναδικό σκοπό της επιτάχυνσης του AI και της αλλαγής του μέλλοντος της εργασίας του AI.

Μπορείτε να μοιραστείτε την ιστορία της γέννησης της Cerebras Systems;

Οι συνιδρυτές μου και εγώ εργαζόμαστε όλοι μαζί σε μια προηγούμενη εταιρεία που ο CTO μου Gary και εγώ ξεκινήσαμε πίσω στο 2007, ονομάζεται SeaMicro (η οποία πωλήθηκε στην AMD το 2012 για $334 εκατομμύρια). Οι συνιδρυτές μου είναι κάποιοι από τους κορυφαίους αρχιτέκτονες υπολογιστών και μηχανικούς στη βιομηχανία – Gary Lauterbach, Sean Lie, JP Fricker και Michael James. Όταν ξανασυναντηθήκαμε το 2015, γράψαμε δύο πράγματα σε ένα白板 – ότι θέλαμε να εργαστούμε μαζί, και ότι θέλαμε να κατασκευάσουμε κάτι που θα μετέβαλε την βιομηχανία και θα ήταν στο Μουσείο Υπολογιστών, το οποίο είναι το ισοδύναμο του Hall of Fame του Υπολογιστή. Τιμωρήθηκαμε όταν το Μουσείο Υπολογιστών αναγνώρισε τις επιτεύξεις μας και πρόσθεσε τον επεξεργαστή WSE-2 στη συλλογή του το προηγούμενο έτος, αναφέροντας πώς έχει μετατρέψει το τοπίο του τεχνητού νοήματος.

Η Cerebras Systems είναι μια ομάδα πρωτοπόρων αρχιτεκτόνων υπολογιστών, επιστημόνων υπολογιστών, ερευνητών βαθιάς μάθησης και μηχανικών όλων των τύπων που αγαπούν να κάνουν ατρόμητη μηχανική. Η αποστολή μας όταν συναντηθήκαμε ήταν να κατασκευάσουμε ένα νέο τύπο υπολογιστή για την επιτάχυνση της βαθιάς μάθησης, η οποία έχει αναρριχηθεί ως μια από τις πιο σημαντικές εργασίες της εποχής μας.

Καταλάβαμε ότι η βαθιά μάθηση έχει μοναδικές, τεράστιες και αυξανόμενες υπολογιστικές απαιτήσεις. Και δεν είναι καλά αντιστοιχισμένες από κληρονομικές μηχανές όπως οι μονάδες επεξεργασίας γραφικών (GPUs), οι οποίες σχεδιάστηκαν ουσιαστικά για άλλη δουλειά. Ως αποτέλεσμα, το AI σήμερα είναι περιορισμένο όχι από εφαρμογές ή ιδέες, αλλά από τη διαθεσιμότητα του υπολογισμού. Η δοκιμή μιας単ικής νέας υπόθεσης – η εκπαίδευση ενός νέου μοντέλου – μπορεί να πάρει ημέρες, εβδομάδες ή ακόμη και μήνες και να κοστίσει εκατοντάδες χιλιάδες δολάρια σε χρόνο υπολογισμού. Αυτό είναι ένα σημαντικό εμπόδιο στην καινοτομία.

Έτσι, η γέννηση της Cerebras ήταν να κατασκευάσουμε ένα νέο τύπο υπολογιστή που να είναι βελτιστοποιημένος αποκλειστικά για τη βαθιά μάθηση, ξεκινώντας από ένα καθαρό φύλλο χαρτί. Για να ικανοποιήσουμε τις τεράστιες υπολογιστικές απαιτήσεις της βαθιάς μάθησης, σχεδιάσαμε και κατασκευάσαμε τον μεγαλύτερο επεξεργαστή που έχει κατασκευαστεί ποτέ – τον Wafer-Scale Engine (WSE). Στο να δημιουργήσουμε τον πρώτο επεξεργαστή σε κλίμακα ολόκληρου του wafer, ξεπεράσαμε προκλήσεις σε σχεδιασμό, κατασκευή και συσκευασία – όλες οι οποίες θεωρούνταν αδύνατες για όλη την 70χρονη ιστορία των υπολογιστών. Κάθε στοιχείο του WSE είναι σχεδιασμένο να ενεργοποιήσει την έρευνα βαθιάς μάθησης σε απρόσμενες ταχύτητες και κλίμακα, ενεργοποιώντας τον ταχύτερο υπερυπολογιστή AI της βιομηχανίας, τον Cerebras CS-2.

Με κάθε συνιστώσα που είναι βελτιστοποιημένη για δουλειά AI, ο CS-2 παρέχει περισσότερη απόδοση υπολογισμού σε λιγότερο χώρο και λιγότερη ενέργεια από οποιοδήποτε άλλο σύστημα. Κάνει αυτό ενώ μειώνει δραματικά την πολυπλοκότητα προγραμματισμού, τον χρόνο υπολογισμού και τον χρόνο λύσης. Ανавис από το φόρτο εργασίας, από το AI στο HPC, ο CS-2 παρέχει εκατοντάδες ή χιλιάδες φορές περισσότερη απόδοση από τις κληρονομικές εναλλακτικές. Ο CS-2 παρέχει τους πόρους υπολογισμού βαθιάς μάθησης που είναι ισοδύναμοι με εκατοντάδες GPUs, ενώ παρέχει την ευκολία προγραμματισμού, διαχείρισης και ανάπτυξης ενός đơnικού συσκευής.

Τον τελευταίο καιρό η Cerebras φαίνεται να είναι παντού στις ειδήσεις, τι μπορείτε να μας πείτε για τον νέο υπερυπολογιστή AI Andromeda;

Ανακοινώσαμε τον Andromeda τον Νοέμβριο του περασμένου έτους, και είναι ένας από τους μεγαλύτερους και πιο ισχυρούς υπερυπολογιστές AI που έχουν κατασκευαστεί ποτέ. Παρέχοντας περισσότερο από 1 Exaflop υπολογισμού AI και 120 Petaflops πυκνού υπολογισμού, ο Andromeda έχει 13,5 εκατομμύρια πυρήνες σε 16 συστήματα CS-2, και είναι ο μοναδικός υπερυπολογιστής AI που έχει δείξει σχεδόν τέλεια γραμμική κλιμάκωση σε μεγάλες εργασίες μοντέλων γλώσσας. Είναι επίσης πολύ εύκολο να το χρησιμοποιήσετε.

Με τρόπο υπενθύμισης, ο μεγαλύτερος υπερυπολογιστής στη Γη – Frontier – έχει 8,7 εκατομμύρια πυρήνες. Σε сыρές πυρήνες, ο Andromeda είναι μεγαλύτερος από ότι ο Frontier. Κάνει διαφορετική δουλειά, αλλά αυτό δίνει μια ιδέα του εύρους: σχεδόν 100 τεράμπιτ εσωτερικής ταχύτητας, σχεδόν 20.000 πυρήνες AMD Epyc που τον τροφοδοτούν, και – σε αντίθεση με τους γίγαντες υπερυπολογιστές που χρειάζονται χρόνια για να στηθούν – στήσαμε τον Andromeda σε τρεις ημέρες και αμέσως μετά, παρέχοντας σχεδόν τέλεια γραμμική κλιμάκωση του AI.

Το Εργαστήριο Εθνικής Ενέργειας Argonne ήταν ο πρώτος πελάτης μας που χρησιμοποίησε τον Andromeda, και το applied σε ένα πρόβλημα που έσπαγε τον cluster των 2.000 GPU που ονομάζεται Polaris. Το πρόβλημα ήταν η εκτέλεση πολύ μεγάλων, γενετικών μοντέλων GPT-3XL, ενώ τοποθετούσε το ganze γονιδιώμα του Covid στη σειρά, ώστε να μπορούσε να αναλύσει κάθε γονίδιο στο контек του ολόκληρου γονιδιώματος του Covid. Ο Andromeda έτρεξε μια μοναδική γενετική εργασία με μεγάλους μήκους ακολουθιών (MSL of 10K) σε 1, 2, 4, 8 και 16 κόμβους, με σχεδόν τέλεια γραμμική κλιμάκωση. Η γραμμική κλιμάκωση είναι μεταξύ των πιο αναζητούμενων χαρακτηριστικών ενός μεγάλου cluster. Ο Andromeda παρέχισε 15,87X throughput σε 16 συστήματα CS-2, σε σύγκριση με ένα đơnικό σύστημα CS-2, και μια μείωση του χρόνου εκπαίδευσης για να ταιριάξει.

Μπορείτε να μας πείτε για τη συνεργασία με την Jasper που ανακοινώθηκε στα τέλη Νοεμβρίου και τι σημαίνει για τις δύο εταιρείες;

Η Jasper είναι μια πολύ ενδιαφέρουσα εταιρεία. Είναι ένας ηγέτης στην γενετική AI περιεχομένου για marketing, και τα προϊόντα της χρησιμοποιούνται από περισσότερους από 100.000 πελάτες σε όλο τον κόσμο για να γράψουν κείμενο για marketing, διαφημίσεις, βιβλία και άλλα. Είναι φυσικά ένα πολύ ενδιαφέρων και γρήγορα αναπτυσσόμενο χώρο αυτή τη στιγμή. Το προηγούμενο έτος, ανακοινώσαμε μια συνεργασία μαζί τους για να επιταχύνουμε την υιοθέτηση και να βελτιώσουμε την ακρίβεια της γενετικής AI σε επιχειρηματικές και καταναλωτικές εφαρμογές. Η Jasper χρησιμοποιεί τον υπερυπολογιστή Andromeda μας για να εκπαιδεύσει τα μοντέλα της που είναι εξαιρετικά υπολογιστικά εντατικά σε μια κλάσμα του χρόνου. Αυτό θα επεκτείνει την εμβέλεια των μοντέλων γενετικής AI στα μάζες.

Με τη δύναμη του υπερυπολογιστή Andromeda της Cerebras, η Jasper μπορεί να προωθήσει δραματικά την εργασία AI, συμπεριλαμβανομένης της εκπαίδευσης δικτύων GPT για να ταιριάξει τις εξόδους AI σε όλα τα επίπεδα πολυπλοκότητας και λεπτομέρειας του τελικού χρήστη. Αυτό βελτιώνει την περιεκτική ακρίβεια των γενετικών μοντέλων και θα επιτρέψει στην Jasper να προσωποποιήσει περιεχόμενο σε πολλές κατηγορίες πελατών γρήγορα και εύκολα.

Η συνεργασία μας επιτρέπει στην Jasper να εφευρεί το μέλλον της γενετικής AI, κάνοντας πράγματα που είναι ακατόρθωτα ή απλώς αδύνατα με την παραδοσιακή υποδομή, και να επιταχύνει το δυναμικό της γενετικής AI, φέρνοντας τα οφέλη της σε μια γρήγορα αναπτυσσόμενη βάση πελατών σε όλο τον κόσμο.

Σε một πρόσφατο δελτίο τύπου, το Εθνικό Εργαστήριο Ενέργειας και το Κέντρο Υπερυπολογισμού της Πίτσμπουργκ ανακοίνωσαν την πρώτη ποτέ προσομοίωση Υδροδυναμικής σε κλίμακα wafer της Cerebras. Μπορείτε να περιγράψετε τι είναι συγκεκριμένα ένας επεξεργαστής σε κλίμακα wafer και πώς λειτουργεί;

Ο επεξεργαστής Wafer-Scale Engine (WSE) μας είναι ο επαναστατικός επεξεργαστής AI για το σύστημα υπολογιστή βαθιάς μάθησης, το CS-2. Σε αντίθεση με τις κληρονομικές, γενικής χρήσης επεξεργαστές, ο WSE κατασκευάστηκε από την αρχή για να επιταχύνει τη βαθιά μάθηση: έχει 850.000 πυρήνες AI-βελτιστοποιημένους για σπάνιες tensor εργασίες, τεράστια υψηλή ταχύτητα μνήμης στο chip, και διασυνδέσεις τάξης μεγέθους ταχύτερες από ότι ένα παραδοσιακό cluster θα μπορούσε να επιτύχει. Όλα αυτά μαζί, σας δίνουν τους πόρους υπολογισμού βαθιάς μάθησης που είναι ισοδύναμοι με ένα cluster κληρονομικών μηχανών σε μια đơnική συσκευή, εύκολη να προγραμματιστεί ως μια đơnική κόμβος – μειώνοντας δραματικά την πολυπλοκότητα προγραμματισμού, τον χρόνο υπολογισμού και τον χρόνο λύσης.

Ο δεύτερος γενιάς WSE-2, ο οποίος τροφοδοτεί το σύστημα CS-2 μας, μπορεί να λύσει προβλήματα εξαιρετικά γρήγορα. Γρήγορα αρκετά για να επιτρέψει πραγματικό χρόνο, υψηλής πιστότητας μοντέλα συστημάτων μηχανικής. Είναι ένα σπάνιο παράδειγμα επιτυχημένης “ισχυρής κλιμάκωσης”, η οποία είναι η χρήση της παραλληλίας για να μειώσει τον χρόνο λύσης με ένα σταθερό μέγεθος προβλήματος.

Και αυτό είναι αυτό που το Εθνικό Εργαστήριο Ενέργειας και το Κέντρο Υπερυπολογισμού της Πίτσμπουργκ χρησιμοποιούν. Ανακοινώσαμε κάποια πολύ ενδιαφέροντα αποτελέσματα μιας προσομοίωσης υδροδυναμικής (CFD), αποτελούμενη από περίπου 200 εκατομμύρια κύτταρα, σε σχεδόν πραγματικό χρόνο. Αυτό το βίντεο δείχνει την υψηλής ανάλυσης προσομοίωση της Rayleigh-Bénard convection, η οποία συμβαίνει όταν ένα ρευστό στρώμα θερμαίνεται από το κάτω και ψύχεται από το πάνω. Αυτές οι θερμικά οδηγούμενες ροές ρευστών είναι γύρω μας – από ανεμώδεις ημέρες, σε χιονοπτώσεις λίμνης, σε ροές μάγματος στο πυρήνα της Γης και κινήσεις πλάσματος στον ήλιο. Όπως ο αφηγητής λέει, δεν είναι μόνο η οπτική ομορφιά της προσομοίωσης που είναι σημαντική: είναι η ταχύτητα με την οποία μπορούμε να την υπολογίσουμε. Για πρώτη φορά, χρησιμοποιώντας τον επεξεργαστή Wafer-Scale μας, το NETL είναι σε θέση να χειρίζεται ένα πλέγμα σχεδόν 200 εκατομμυρίων κυττάρων σε σχεδόν πραγματικό χρόνο.

Τι τύπο δεδομένων προσομοιώνεται;

Η εργασία που δοκιμάστηκε ήταν θερμικά οδηγούμενες ροές ρευστών, επίσης γνωστές ως φυσική σύγκλιση, η οποία είναι μια εφαρμογή της υδροδυναμικής (CFD). Οι ροές ρευστών συμβαίνουν φυσικά γύρω μας — από ανεμώδεις ημέρες, σε χιονοπτώσεις λίμνης, σε κινήσεις πλάκας. Αυτή η προσομοίωση, αποτελούμενη από περίπου 200 εκατομμύρια κύτταρα, εστιάζει σε ένα φαινόμενο γνωστό ως “Rayleigh-Bénard” σύγκλιση, η οποία συμβαίνει όταν ένα ρευστό θερμαίνεται από το κάτω και ψύχεται από το πάνω. στη φύση, αυτό το φαινόμενο μπορεί να οδηγήσει σε σοβαρά καιρικά γεγονότα όπως downbursts, microbursts και derechos. Είναι επίσης υπεύθυνο για κινήσεις μάγματος στο πυρήνα της Γης και κινήσεις πλάσματος στον ήλιο.

Πίσω στο Νοέμβριο του 2022, το NETL εισήγαγε μια νέα API μοντέλου ισοζυγίου που τροφοδοτείται από το σύστημα CS-2, η οποία ήταν τόσο γρήγορη όσο το 470 φορές πιο γρήγορη από ότι ήταν δυνατό στο υπερυπολογιστή Joule του NETL. Αυτό σημαίνει ότι μπορούσε να παρέχει ταχύτητες πέρα από ότι ήταν δυνατό σε clusters οποιασδήποτε αριθμού CPUs ή GPUs. Χρησιμοποιώντας μια απλή API Python που επιτρέπει την επεξεργασία σε κλίμακα wafer για μεγάλο μέρος της επιστημονικής υπολογιστικής, η WFA παρέχει κέρδη απόδοσης και χρηστικότητας που δεν θα μπορούσαν να επιτευχθούν σε συμβατικούς υπολογιστές και υπερυπολογιστές – στην πραγματικότητα, ξεπέρασε το OpenFOAM στο υπερυπολογιστή Joule 2.0 του NETL με περισσότερες από δύο τάξεις μεγέθους σε χρόνο λύσης.

Λόγω της απλότητας της API WFA, τα αποτελέσματα επιτεύχθηκαν σε λίγες εβδομάδες και συνεχίζουν τη στενή συνεργασία μεταξύ του NETL, του PSC και της Cerebras Systems.

Με τη μετατροπή της ταχύτητας της CFD (η οποία ήταν πάντα μια αργή, εκτός σειράς εργασία) στον επεξεργαστή WSE μας, μπορούμε να ανοίξουμε ένα σύνολο νέων, πραγματικού χρόνου χρήσεων για αυτό, και πολλές άλλες βασικές εφαρμογές HPC. Ο στόχος μας είναι ότι, επιτρέποντας περισσότερη δύναμη υπολογισμού, οι πελάτες μας μπορούν να thực hiện περισσότερες πειραματικές και να εφευρέσουν καλύτερη επιστήμη. Ο διευθυντής του εργαστηρίου NETL, Brian Anderson, μας έχει πει ότι αυτό θα επιταχύνει δραματικά και θα βελτιώσει τη διαδικασία σχεδιασμού για κάποια πολύ μεγάλα έργα που το NETL εργάζεται γύρω από την μείωση της κλιματικής αλλαγής και την ενεργοποίηση ενός ασφαλούς ενεργειακού μέλλοντος — έργα όπως η αποθήκευση άνθρακα και η παραγωγή μπλε υδρογόνου.

Η Cerebras είναι συνεχώς καλύτερη από τον ανταγωνισμό όταν πρόκειται για την κυκλοφορία υπερυπολογιστών, ποια είναι κάποια από τα προκλήματα πίσω από την κατασκευή υπερυπολογιστών κλάσης;

Ιронικά, ένα από τα πιο δύσκολα προβλήματα του μεγάλου AI δεν είναι το AI. Είναι ο κατανεμημένος υπολογισμός.

Για να εκπαιδεύσετε τα σημερινά state-of-the-art νευρωνικά δίκτυα, οι ερευνητές συχνά χρησιμοποιούν εκατοντάδες έως χιλιάδες μονάδες επεξεργασίας γραφικών (GPUs). Και δεν είναι εύκολο. Η κλιμάκωση της εκπαίδευσης μεγάλων μοντέλων γλώσσας σε ένα cluster GPUs απαιτεί την κατανομή μιας εργασίας σε πολλά μικρά συσκευές, την αντιμετώπιση των περιορισμών μεγέθους μνήμης και μνήμης, και την προσεκτική διαχείριση της επικοινωνίας και της συγχρονισμού.

Έχουμε πάρει μια完全 διαφορετική προσέγγιση στο σχεδιασμό των υπερυπολογιστών μας μέσω της ανάπτυξης του Cerebras Wafer-Scale Cluster, και του Cerebras Weight Streaming execution mode. Με αυτές τις τεχνολογίες, η Cerebras αντιμετωπίζει einen νέο τρόπο κλιμάκωσης με βάση τρεις βασικούς πόντους:

Η αντικατάσταση της επεξεργασίας CPU και GPU από επεξεργαστές σε κλίμακα wafer όπως ο επεξεργαστής Cerebras CS-2. Αυτή η αλλαγή μειώνει τον αριθμό των μονάδων υπολογισμού που απαιτούνται για να επιτευχθεί μια αποδεκτή ταχύτητα υπολογισμού.

Για να αντιμετωπίσουμε την πρόκληση του μεγέθους του μοντέλου, χρησιμοποιούμε μια αρχιτεκτονική συστήματος που αποσπά την επεξεργασία από την αποθήκευση του μοντέλου. Một υπηρεσία υπολογισμού που βασίζεται σε ένα cluster συστημάτων CS-2 (παρέχοντας επαρκή εύρος υπολογισμού) είναι στενά συνδεδεμένη με μια υπηρεσία μνήμης (με μεγάλη χωρητικότητα μνήμης) που παρέχει υποσύνολα του μοντέλου στο cluster υπολογισμού κατά demande. Όπως συνήθως, μια υπηρεσία δεδομένων παρέχει δόσεις δεδομένων εκπαίδευσης στην υπηρεσία υπολογισμού όπως χρειάζεται.

Ένα καινοτόμο μοντέλο για τη προγραμματισμένη και συντονισμένη εκπαίδευση εργασιών σε όλο το cluster CS-2 που χρησιμοποιεί παράλληλη επεξεργασία δεδομένων, εκπαίδευση στρώματος προς στρώμα με σπάνιες βαρύτητες που ρέουν κατά demande, και διατήρηση ενεργειών στην υπηρεσία υπολογισμού.

Υπάρχουν φόβοι για το τέλος του νόμου του Moore για σχεδόν μια δεκαετία, πόσα ακόμη χρόνια μπορεί η βιομηχανία να πιέσει και ποια είδη καινοτομιών χρειάζονται για αυτό;

Νομίζω ότι η ερώτηση με την οποία όλοι αγωνιζόμαστε είναι αν ο νόμος του Moore – όπως γράφτηκε από τον Moore – είναι νεκρός. Δεν παίρνει δύο χρόνια για να πάρει περισσότερους τρανζίστορες. Παίρνει τώρα τέσσερις ή πέντε χρόνια. Και αυτοί οι τρανζίστορες δεν έρχονται στην ίδια τιμή – έρχονται σε πολύ υψηλότερες τιμές. Έτσι, η ερώτηση γίνεται, είμαστε ακόμη παίρνοντας τα ίδια οφέλη από την κίνηση από επτά σε πέντε σε τρία νανομετρα; Τα οφέλη είναι μικρότερα και κοστίζουν περισσότερο, και έτσι οι λύσεις γίνονται πιο περίπλοκες από το να είναι απλώς ο επεξεργαστής.

Ο Jack Dongarra, ένας ηγέτης αρχιτέκτονας υπολογιστών, έδωσε μια ομιλία πρόσφατα και είπε, “Έχουμε γίνει πολύ καλύτεροι στο να κάνουμε FLOPs και στο να κάνουμε I/O.” Αυτό είναι πραγματικά αλήθεια. Η ικανότητά μας να μεταφέρουμε δεδομένα εκτός chip πίσω από την ικανότητά μας να αυξήσουμε την απόδοση σε ένα chip με πολύ μεγάλη διαφορά. Στη Cerebras, ήμασταν χαρούμενοι όταν το είπε, γιατί επικυρώνει την απόφασή μας να κατασκευάσουμε einen μεγαλύτερο επεξεργαστή και να μεταφέρουμε λιγότερα πράγματα εκτός chip. Επίσης, παρέχει κάποια οδηγία για μελλοντικές τρόπους να κάνουμε συστήματα με chips να εκτελούν καλύτερα. Υπάρχει δουλειά να γίνει, όχι μόνο στο να πιέζουμε περισσότερους FLOPs, αλλά και σε τεχνικές να τους μεταφέρουμε και να μεταφέρουμε τα δεδομένα από chip σε chip — ακόμη και από πολύ μεγάλο chip σε πολύ μεγάλο chip.

Υπάρχει κάτι άλλο που θα ήθελε να μοιραστείτε σχετικά με την Cerebras Systems;

Για καλύτερο ή για χειρότερο, οι άνθρωποι συχνά τοποθετούν την Cerebras σε αυτήν την κατηγορία “των πραγματικά μεγάλων chip guys.” Έχουμε能够 να παρέχουμε πειστικές λύσεις για πολύ, πολύ μεγάλες νευρωνικές δικτυώσεις, εξαλείφοντας την ανάγκη για đauώδη κατανεμημένο υπολογισμό. Πιστεύω ότι αυτό είναι εξαιρετικά ενδιαφέρον και στο κέντρο του γιατί οι πελάτες μας μας αγαπούν. Το ενδιαφέρον τομέας για το 2023 θα είναι πώς να κάνουμε μεγάλο υπολογισμό σε ένα υψηλότερο επίπεδο ακρίβειας, χρησιμοποιώντας λιγότερους FLOPs.

Η δουλειά μας στη σπαρότητα παρέχει μια εξαιρετικά ενδιαφέροντα προσέγγιση. Δεν κάνουμε δουλειά που δεν μας κινεί προς τη γραμμή του τέρματος. Η πολλαπλασιασμός με το μηδέν είναι μια κακή ιδέα. Θα κυκλοφορήσουμε ένα πραγματικά ενδιαφέρον έγγραφο για τη σπαρότητα σύντομα, και νομίζω ότι θα υπάρξει περισσότερη προσπάθεια να δούμε πώς φτάνουμε σε αυτά τα αποτελεσματικά σημεία, και πώς τα κάνουμε για λιγότερη δύναμη. Και όχι μόνο για λιγότερη δύναμη και εκπαίδευση, αλλά και για να μειώσουμε το κόστος και τη δύναμη που χρησιμοποιείται στην εύρεση. Νομίζω ότι η σπαρότητα βοηθά και στα δύο μέτωπα.

Ευχαριστώ για αυτές τις σε βάθος απαντήσεις, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Cerebras Systems.