Συνεντεύξεις

Andrew Feldman, Συνιδρυτής & Διευθύνων Σύμβουλος της Cerebras Systems – Σειρά Συνεντεύξεων

Antoine Tardif
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ Cerebras κατασκεύασε μια μηχανή κλίμακας πλακιδίου για να αποφύγει τον πόνο της…
Δείτε περισσότερα
  • Η Cerebras κατασκεύασε μια μηχανή κλίμακας πλακιδίου για να αποφύγει τον πόνο της κατανεμημένης υπολογιστικής των συστάδων GPU.
  • Η Andromeda επέδειξε σχεδόν τέλεια γραμμική κλιμάκωση που οι παλαιότεροι υπερυπολογιστές δυσκολεύονται να επιτύχουν.
  • Η έρευνα για την αραιότητα στοχεύει στον αποδοτικό υπολογισμό αποφεύγοντας τη σπατάλη εργασίας σε μηδενικές τιμές.

Ο Andrew είναι συνιδρυτής και Διευθύνων Σύμβουλος της Cerebras Systems (CBRS ). Είναι επιχειρηματίας αφοσιωμένος στο να διευρύνει τα όρια στον χώρο του υπολογισμού. Πριν από την Cerebras, συνίδρυσε και ήταν Διευθύνων Σύμβουλος της SeaMicro, μιας πρωτοπόρου εταιρείας ενεργειακά αποδοτικών, μικροδιακομιστών υψηλού εύρους ζώνης. Η SeaMicro αγοράστηκε από την AMD το 2012 για $357M. Πριν από την SeaMicro, ο Andrew ήταν ο Αντιπρόεδρος Διαχείρισης Προϊόντων, Μάρκετινγκ και Ανάπτυξης στη Force10 Networks, η οποία αργότερα πωλήθηκε στη Dell Computing για $800M. Πριν από τη Force10 Networks, ο Andrew ήταν ο Αντιπρόεδρος Μάρκετινγκ και Εταιρικής Ανάπτυξης στη RiverStone Networks από την ίδρυση της εταιρείας μέχρι το IPO το 2001. Ο Andrew κατέχει πτυχίο και MBA από το Πανεπιστήμιο του Στάνφορντ.

Η Cerebras Systems κατασκευάζει ένα νέο τύπο υπολογιστικού συστήματος, σχεδιασμένο από τις θεμελιώδεις αρχές για τον μοναδικό στόχο της επιτάχυνσης του AI και της αλλαγής του μέλλοντος της εργασίας του AI.

Μπορείτε να μοιραστείτε την ιστορία της γέννησης της Cerebras Systems;

Οι συνιδρυτές μου και εγώ δουλέψαμε όλοι μαζί σε μια προηγούμενη εταιρεία που ξεκίνησε ο CTO μου Gary και εγώ το 2007, η SeaMicro (η οποία πωλήθηκε στην AMD το 2012 για $334 εκατομμύρια). Οι συνιδρυτές μου είναι κάποιοι από τους κορυφαίους αρχιτέκτονες υπολογιστών και μηχανικούς στη βιομηχανία – Gary Lauterbach, Sean Lie, JP Fricker και Michael James. Όταν ξανασμίξαμε το 2015, γράψαμε δύο πράγματα σε ένα πίνακα – ότι θέλαμε να δουλέψουμε μαζί και ότι θέλαμε να κατασκευάσουμε κάτι που θα μετέβαλε την βιομηχανία και θα ήταν στο Μουσείο Ιστορίας Υπολογιστών, το οποίο είναι το ισοδύναμο του Hall of Fame των υπολογιστών. Τιμηθήκαμε όταν το Μουσείο Ιστορίας Υπολογιστών αναγνώρισε τα επιτεύγματά μας και πρόσθεσε τον επεξεργαστή WSE-2 στη συλλογή του το προηγούμενο έτος, αναφέροντας πώς έχει μεταμορφώσει το τοπίο της τεχνητής νοημοσύνης.

Η Cerebras Systems είναι μια ομάδα πρωτοπόρων αρχιτεκτόνων υπολογιστών, επιστημόνων υπολογιστών, ερευνητών βαθιάς μάθησης και μηχανικών όλων των τύπων που αγαπούν το άφοβο μηχανικό σχέδιο. Η αποστολή μας όταν συναθροισθήκαμε ήταν να κατασκευάσουμε έναν νέο τύπο υπολογιστή για την επιτάχυνση της βαθιάς μάθησης, η οποία έχει αναρριχηθεί ως μια από τις πιο σημαντικές εργασίες της εποχής μας.

Καταλάβαμε ότι η βαθιά μάθηση έχει μοναδικές, τεράστιες και αυξανόμενες υπολογιστικές απαιτήσεις. Και δεν ταιριάζουν καλά με παλαιότερα συστήματα όπως οι μονάδες επεξεργασίας γραφικών (GPUs), οι οποίες σχεδιάστηκαν ουσιαστικά για άλλη δουλειά. Ως αποτέλεσμα, το AI σήμερα είναι περιορισμένο όχι από εφαρμογές ή ιδέες, αλλά από τη διαθεσιμότητα του υπολογισμού. Η δοκιμή μιας νέας υπόθεσης – η εκπαίδευση ενός νέου μοντέλου – μπορεί να πάρει ημέρες, εβδομάδες ή ακόμη και μήνες και να κοστίζει εκατοντάδες χιλιάδες δολάρια σε χρόνο υπολογισμού. Αυτό είναι ένα σημαντικό εμπόδιο στην καινοτομία.

Έτσι, η γέννηση της Cerebras ήταν να κατασκευάσουμε έναν νέο τύπο υπολογιστή που να είναι βελτιστοποιημένος αποκλειστικά για τη βαθιά μάθηση, ξεκινώντας από ένα καθαρό φύλλο χαρτιού. Για να ικανοποιήσουμε τις τεράστιες υπολογιστικές απαιτήσεις της βαθιάς μάθησης, σχεδιάσαμε και κατασκευάσαμε τον μεγαλύτερο επεξεργαστή που έχει κατασκευαστεί ποτέ – τον Wafer-Scale Engine (WSE). Κατασκευάζοντας τον πρώτο επεξεργαστή σε κλίμακα ολόκληρου δισκίου πυριτίου, ξεπεράσαμε τις προκλήσεις σχεδιασμού, κατασκευής και συσκευασίας – όλες οι οποίες θεωρούνταν αδύνατες για όλη τη 70χρονη ιστορία των υπολογιστών. Κάθε στοιχείο του WSE σχεδιάστηκε για να επιτρέπει την έρευνα βαθιάς μάθησης σε ασυνήθιστες ταχύτητες και κλίμακα, τροφοδοτώντας τον ταχύτερο υπερυπολογιστή AI της βιομηχανίας, τον Cerebras CS-2.

Με κάθε συνιστώσα βελτιστοποιημένη για εργασία AI, ο CS-2 παρέχει περισσότερη υπολογιστική απόδοση σε λιγότερο χώρο και λιγότερη ενέργεια από οποιοδήποτε άλλο σύστημα. Κάνει αυτό ενώ μειώνει δραματικά την πολυπλοκότητα προγραμματισμού, τον χρόνο υπολογισμού και τον χρόνο λύσης. Ανάλογα με τον φόρτο εργασίας, από το AI στο HPC, ο CS-2 παρέχει εκατοντάδες ή χιλιάδες φορές περισσότερη απόδοση από τις παλαιότερες εναλλακτικές λύσεις. Ο CS-2 παρέχει τους πόρους υπολογισμού βαθιάς μάθησης που είναι ισοδύναμοι με εκατοντάδες GPUs, ενώ παρέχει την ευκολία προγραμματισμού, διαχείρισης και ανάπτυξης μίας μόνο συσκευής.

Τους τελευταίους μήνες η Cerebras εμφανίζεται συχνά στις ειδήσεις. Τι μπορείτε να μας πείτε για τον νέο υπερυπολογιστή AI Andromeda;

Ανακοινώσαμε τον Andromeda τον Νοέμβριο του προηγούμενου έτους και είναι ένας από τους μεγαλύτερους και πιο ισχυρούς υπερυπολογιστές AI που έχουν κατασκευαστεί ποτέ. Παρέχει περισσότερο από 1 Exaflop υπολογισμού AI και 120 Petaflops πυκνού υπολογισμού, ο Andromeda έχει 13,5 εκατομμύρια πυρήνες σε 16 συστήματα CS-2 και είναι ο μόνος υπερυπολογιστής AI που έχει δείξει σχεδόν τέλεια γραμμική κλιμάκωση σε φόρτους εργασίας μεγάλων γλωσσικών μοντέλων. Είναι επίσης πολύ εύκολο στη χρήση.

Ως υπενθύμιση, ο μεγαλύτερος υπερυπολογιστής στη Γη – ο Frontier – έχει 8,7 εκατομμύρια πυρήνες. Σε απόλυτο αριθμό πυρήνων, ο Andromeda είναι περισσότερο από μία και μισή φορά μεγαλύτερος. Κάνει διαφορετική δουλειά φυσικά, αλλά αυτό δίνει μια ιδέα του εύρους: σχεδόν 100 terabits εσωτερικού εύρους ζώνης, σχεδόν 20.000 πυρήνες AMD Epyc τον τροφοδοτούν και – σε αντίθεση με τους γιγαντιαίους υπερυπολογιστές που χρειάζονται χρόνια για να αναπτυχθούν – ο Andromeda αναπτύχθηκε σε τρεις ημέρες και αμέσως μετά παρείχε σχεδόν τέλεια γραμμική κλιμάκωση του AI.

Το Εθνικό Εργαστήριο Argonne ήταν ο πρώτος πελάτης μας που χρησιμοποίησε τον Andromeda και τον εφάρμοσε σε ένα πρόβλημα που έσπαγε τον cluster των 2.000 GPU που ονομάζεται Polaris. Το πρόβλημα ήταν η εκτέλεση πολύ μεγάλων παραγωγικών μοντέλων GPT-3XL, ενώ τοποθετούσε ολόκληρο το γονιδίωμα του Covid στο παράθυρο ακολουθίας, ώστε να μπορείτε να αναλύσετε κάθε γονίδιο στο πλαίσιο ολόκληρου του γονιδιώματος του Covid. Ο Andromeda εκτέλεσε ένα μοναδικό γενετικό φόρτο εργασίας με μακρές ακολουθίες (MSL των 10K) σε 1, 2, 4, 8 και 16 κόμβους, με σχεδόν τέλεια γραμμική κλιμάκωση. Η γραμμική κλιμάκωση είναι μεταξύ των πιο αναζητούμενων χαρακτηριστικών ενός μεγάλου cluster. Ο Andromeda παρείχε 15,87X απόδοση σε 16 συστήματα CS-2, σε σύγκριση με ένα μόνο σύστημα CS-2, και μια μείωση του χρόνου εκπαίδευσης για να ταιριάζει.

Μπορείτε να μας πείτε για τη συνεργασία με την Jasper που ανακοινώθηκε στα τέλη Νοεμβρίου και τι σημαίνει για τις δύο εταιρείες;

Η Jasper είναι μια πολύ ενδιαφέρουσα εταιρεία. Είναι ηγέτης σε παραγωγική AI περιεχόμενο για μάρκετινγκ και τα προϊόντα της χρησιμοποιούνται από περισσότερους από 100.000 πελάτες σε όλο τον κόσμο για να γράψουν κείμενα για μάρκετινγκ, διαφημίσεις, βιβλία και άλλα. Είναι φυσικά ένας πολύ ενδιαφέρων και ταχέως αναπτυσσόμενος χώρος αυτή τη στιγμή. Το προηγούμενο έτος, ανακοινώσαμε μια συνεργασία μαζί τους για να επιταχύνουμε την υιοθέτηση και να βελτιώσουμε την ακρίβεια της παραγωγικής AI σε επιχειρηματικές και καταναλωτικές εφαρμογές. Η Jasper χρησιμοποιεί τον υπερυπολογιστή Andromeda για να εκπαιδεύσει τα μοντέλα της που είναι εξαιρετικά υπολογιστικά εντατικά σε ένα κλάσμα του χρόνου. Αυτό θα επεκτείνει την εμβέλεια των μοντέλων παραγωγικής AI στο ευρύ κοινό.

Με τη δύναμη του υπερυπολογιστή Andromeda της Cerebras, η Jasper μπορεί να προωθήσει δραματικά την εργασία AI, συμπεριλαμβανομένης της εκπαίδευσης δικτύων GPT για να ταιριάζουν τα αποτελέσματα AI σε όλα τα επίπεδα της πολυπλοκότητας και της λεπτομέρειας του τελικού χρήστη. Αυτό βελτιώνει την ακρίβεια ως προς τα συμφραζόμενα των παραγωγικών μοντέλων και θα επιτρέψει στην Jasper να προσωποποιήσει το περιεχόμενο σε πολλές κατηγορίες πελατών γρήγορα και εύκολα.

Η συνεργασία μας επιτρέπει στην Jasper να εφευρεί το μέλλον της παραγωγικής AI, κάνοντας πράγματα που είναι ακατόρθωτα ή απλά αδύνατα με την παραδοσιακή υποδομή, και να επιταχύνει το δυναμικό της παραγωγικής AI, φέρνοντας τα οφέλη της σε όλο και περισσότερους πελάτες μας σε όλο τον κόσμο.

Σε μια πρόσφατη ανακοίνωση τύπου, το Εθνικό Εργαστήριο Τεχνολογίας Ενέργειας και το Κέντρο Υπερυπολογισμού Πίτσμπουργκ ανακοίνωσαν την πρώτη ποτέ προσομοίωση υπολογιστικής ρευστοδυναμικής σε επεξεργαστή Wafer-Scale της Cerebras. Μπορείτε να περιγράψετε τι είναι συγκεκριμένα ο επεξεργαστής Wafer-Scale και πώς λειτουργεί;

Ο επεξεργαστής μας Wafer-Scale Engine (WSE) είναι ο επαναστατικός επεξεργαστής AI για το σύστημα υπολογιστή βαθιάς μάθησης, τον CS-2. Σε αντίθεση με τις παλαιότερους επεξεργαστές γενικού σκοπού, ο WSE κατασκευάστηκε από την αρχή για να επιταχύνει τη βαθιά μάθηση: έχει 850.000 πυρήνες που είναι βελτιστοποιημένοι για πράξεις με αραιούς τανυστές, τεράστιες υψηλής ταχύτητας μνήμες επεξεργαστή και διασυνδέσεις που είναι πολλές τάξεις μεγαλύτερες από ό,τι θα μπορούσε να επιτύχει ένα παραδοσιακό cluster. Όλα αυτά δίνουν τη δυνατότητα να έχεις τους πόρους υπολογισμού βαθιάς μάθησης που είναι ισοδύναμοι με ένα cluster παλαιότερων συστημάτων σε μία μόνο συσκευή, εύκολη να προγραμματιστεί ως ένας μόνο κόμβος – μειώνοντας δραματικά την πολυπλοκότητα προγραμματισμού, τον χρόνο υπολογισμού και τον χρόνο λύσης.

Ο WSE-2 δεύτερης γενιάς, ο οποίος τροφοδοτεί το σύστημα CS-2, μπορεί να λύσει προβλήματα εξαιρετικά γρήγορα. Αρκετά γρήγορα ώστε να επιτρέπει μοντέλα υψηλής πιστότητας, σε πραγματικό χρόνο, για τα υπό μελέτη τεχνικά συστήματα. Είναι ένα σπάνιο παράδειγμα επιτυχημένης “ισχυρής κλιμάκωσης”, η οποία είναι η χρήση της παραλληλίας για να μειώσει τον χρόνο λύσης με ένα σταθερό μέγεθος προβλήματος.

Αυτό αξιοποιούν το Εθνικό Εργαστήριο Τεχνολογίας Ενέργειας και το Κέντρο Υπερυπολογισμού Πίτσμπουργκ. Μόλις ανακοινώσαμε εντυπωσιακά αποτελέσματα προσομοίωσης υπολογιστικής ρευστοδυναμικής (CFD), με περίπου 200 εκατομμύρια κελιά, σε σχεδόν πραγματικό χρόνο. Αυτό το βίντεο δείχνει μια προσομοίωση υψηλής ανάλυσης της συναγωγής Rayleigh-Bénard, η οποία εμφανίζεται όταν ένα στρώμα ρευστού θερμαίνεται από κάτω και ψύχεται από πάνω. Τέτοιες θερμικά προκαλούμενες ροές βρίσκονται γύρω μας: από ημέρες με ισχυρούς ανέμους και χιονοθύελλες λόγω του φαινομένου επίδρασης λίμνης έως ρεύματα μάγματος και την κίνηση του πλάσματος στον Ήλιο. Όπως επισημαίνει ο αφηγητής, σημασία δεν έχει μόνο η οπτική ομορφιά της προσομοίωσης, αλλά και η ταχύτητα υπολογισμού της. Για πρώτη φορά, χάρη στον Wafer-Scale Engine, το NETL μπορεί να χειρίζεται ένα πλέγμα σχεδόν 200 εκατομμυρίων κελιών σε σχεδόν πραγματικό χρόνο.

Τι είδους δεδομένα προσομοιούνται;

Ο φόρτος εργασίας που δοκιμάστηκε ήταν θερμικά οδηγούμενες ροές υγρών, επίσης γνωστές ως φυσική συναγωγή, οι οποίες είναι μια εφαρμογή της υπολογιστικής ρευστοδυναμικής (CFD). Οι ροές υγρών συμβαίνουν φυσικά γύρω μας — από ημέρες με ισχυρούς ανέμους, σε χιονοθύελλες λόγω του φαινομένου επίδρασης λίμνης, σε κινήσεις τεκτονικών πλάκων. Αυτή η προσομοίωση, αποτελούμενη από περίπου 200 εκατομμύρια κελιά, εστιάζει σε ένα φαινόμενο γνωστό ως συναγωγή Rayleigh-Bénard, το οποίο συμβαίνει όταν ένα υγρό θερμαίνεται από κάτω και ψύχεται από πάνω. Στη φύση, αυτό το φαινόμενο μπορεί να οδηγήσει σε σοβαρά καιρικά φαινόμενα όπως downbursts, microbursts και derechos. Είναι επίσης υπεύθυνο για την κίνηση μάγματος στο πυρήνα της Γης και την κίνηση πλάσματος στον Ήλιο.

Πίσω στο Νοέμβριο του 2022, το NETL εισήγαγε μια νέα διεπαφή API για τη μοντελοποίηση εξισώσεων πεδίου, που τροφοδοτείται από το σύστημα CS-2, η οποία ήταν έως και 470 φορές ταχύτερη από ό,τι ήταν δυνατό στο Joule Supercomputer του NETL. Αυτό σημαίνει ότι θα μπορούσε να παρέχει ταχύτητες πέρα από ό,τι θα μπορούσε να επιτύχει οποιοδήποτε cluster από CPUs ή GPUs. Χρησιμοποιώντας μια απλή διεπαφή API σε Python που επιτρέπει την επεξεργασία σε κλίμακα ολόκληρου δισκίου πυριτίου για μεγάλο μέρος της υπολογιστικής επιστήμης, το WFA παρέχει κέρδη στην απόδοση και τη χρηστικότητα που δεν θα μπορούσαν να επιτευχθούν σε συμβατικούς υπολογιστές και υπερυπολογιστές — στην πραγματικότητα, ξεπέρασε το OpenFOAM στο Joule 2.0 του NETL κατά περισσότερες από δύο τάξεις μεγέθους ως προς τον χρόνο επίλυσης.

Λόγω της απλότητας της διεπαφής WFA API, τα αποτελέσματα επιτεύχθηκαν σε λίγες εβδομάδες και συνεχίζουν τη στενή συνεργασία μεταξύ του NETL, του PSC και της Cerebras Systems.

Με τη μεταμόρφωση της ταχύτητας της CFD (η οποία ήταν πάντα μια αργή, εκτός σύνδεσης εργασία) στον WSE μας, μπορούμε να ανοίξουμε ένα σύνολο νέων, πραγματικού χρόνου εφαρμογών για αυτό και πολλές άλλες βασικές εφαρμογές HPC. Ο στόχος μας είναι ότι, επιτρέποντας περισσότερη υπολογιστική δύναμη, οι πελάτες μας μπορούν να εκτελέσουν περισσότερες πειραματικές δοκιμές και να εφευρέσουν καλύτερη επιστήμη. Ο διευθυντής του εργαστηρίου NETL, Brian Anderson, μας είπε ότι αυτό θα επιταχύνει δραματικά και θα βελτιώσει τη διαδικασία σχεδιασμού για κάποια πολύ μεγάλα προγράμματα που το NETL εργάζεται γύρω από τη μείωση της κλιματικής αλλαγής και την ενεργειακή ασφάλεια — προγράμματα όπως η αποθήκευση άνθρακα και η παραγωγή μπλε υδρογόνου.

Η Cerebras Systems είναι συνεχώς καλύτερη από τον ανταγωνισμό όταν πρόκειται για την κυκλοφορία υπερυπολογιστών, ποια είναι κάποια από τις προκλήσεις πίσω από την κατασκευή υπερυπολογιστών της τελευταίας τεχνολογίας;

Παραδόξως, μια από τις πιο δύσκολες προκλήσεις του μεγάλου AI δεν είναι το AI. Είναι η κατανεμημένη υπολογιστική.

Για να εκπαιδεύσετε τα σημερινά state-of-the-art νευρωνικά δίκτυα, οι ερευνητές συχνά χρησιμοποιούν εκατοντάδες έως χιλιάδες μονάδες επεξεργασίας γραφικών (GPUs). Και δεν είναι εύκολο. Η κλιμάκωση της εκπαίδευσης μεγάλων γλωσσικών μοντέλων σε ένα cluster GPUs απαιτεί την κατανομή ενός φόρτου εργασίας σε πολλές μικρές συσκευές, την αντιμετώπιση των περιορισμών μεγέθους μνήμης και εύρους ζώνης, και την προσεκτική διαχείριση του κόστους επικοινωνίας και συγχρονισμού.

Έχουμε λάβει μια εντελώς διαφορετική προσέγγιση στο σχεδιασμό των υπερυπολογιστών μας μέσω της ανάπτυξης του Cerebras Wafer-Scale Cluster, και του τρόπου εκτέλεσης Cerebras Weight Streaming. Με αυτές τις τεχνολογίες, η Cerebras προσφέρει έναν νέο τρόπο κλιμάκωσης με βάση τρία βασικά σημεία:

Η αντικατάσταση της επεξεργασίας CPU και GPU από επιταχυντές σε κλίμακα ολόκληρου δισκίου πυριτίου όπως το σύστημα Cerebras CS-2. Αυτή η αλλαγή μειώνει τον αριθμό των μονάδων υπολογισμού που απαιτούνται για να επιτευχθεί μια αποδεκτή ταχύτητα υπολογισμού.

Για να αντιμετωπίσουμε την πρόκληση του μεγέθους του μοντέλου, χρησιμοποιούμε μια αρχιτεκτονική συστήματος που αποσπά την υπολογιστική από την αποθήκευση του μοντέλου. Μια υπηρεσία υπολογισμού που βασίζεται σε ένα cluster συστημάτων CS-2 (που παρέχει επαρκές εύρος ζώνης υπολογισμού) είναι στενά συνδεδεμένη με μια υπηρεσία μνήμης (με μεγάλη χωρητικότητα μνήμης) που παρέχει υποσύνολα του μοντέλου στο cluster υπολογισμού κατόπιν ζήτησης. Όπως συνήθως, μια υπηρεσία δεδομένων παρέχει παρτίδες δεδομένων εκπαίδευσης στην υπηρεσία υπολογισμού κατόπιν ζήτησης.

Ένα καινοτόμο μοντέλο για τον χρονοπρογραμματισμό και τον συντονισμό των εργασιών εκπαίδευσης σε όλο το cluster CS-2 που χρησιμοποιεί παράλληλη επεξεργασία δεδομένων, εκπαίδευση στρώσης προς στρώση με αραιά βάρη που μεταφέρονται κατόπιν ζήτησης, και διατήρηση των ενεργοποιήσεων στην υπηρεσία υπολογισμού.

Υπάρχει φόβος για το τέλος του νόμου του Moore για σχεδόν μια δεκαετία, πόσα χρόνια ακόμη μπορεί η βιομηχανία να πιέσει και ποια είδη καινοτομιών χρειάζονται για αυτό;

Νομίζω ότι η ερώτηση με την οποία παλεύουμε όλοι είναι αν ο νόμος του Moore – όπως τον έγραψε ο Moore – είναι νεκρός. Δεν παίρνει δύο χρόνια για να πάρει περισσότερα τρανζίστορ. Τώρα παίρνει τέσσερα ή πέντε χρόνια. Και αυτά τα τρανζίστορ δεν έρχονται στην ίδια τιμή – έρχονται σε πολύ υψηλότερες τιμές. Έτσι, η ερώτηση γίνεται, αν ακόμη παίρνουμε τα ίδια οφέλη από την κίνηση από τα επτά στα πέντε και στα τρία νανόμετρα. Τα οφέλη είναι μικρότερα και κοστίζουν περισσότερο, και έτσι οι λύσεις γίνονται πιο σύνθετες από το να είναι απλά ο επεξεργαστής.

Ο Jack Dongarra, ένας κορυφαίος αρχιτέκτονας υπολογιστών, έδωσε μια ομιλία πρόσφατα και είπε, “Έχουμε γίνει πολύ καλύτεροι στην κατασκευή FLOPs και στην κατασκευή I/O.” Αυτό είναι πραγματικά αλήθεια. Η ικανότητά μας να μεταφέρουμε δεδομένα εκτός του ολοκληρωμένου κυκλώματος υστερεί σημαντικά σε σχέση με την ικανότητά μας να αυξάνουμε την απόδοση μέσα σε αυτό. Στο Cerebras, ήμασταν ευτυχείς όταν το είπε, γιατί επικυρώνει την απόφασή μας να κατασκευάσουμε έναν μεγαλύτερο επεξεργαστή και να μεταφέρουμε λιγότερα πράγματα εκτός chip. Επίσης, παρέχει κάποια οδηγία για μελλοντικούς τρόπους να κάνουμε συστήματα με chips να εκτελούν καλύτερα. Υπάρχει δουλειά να γίνει, όχι μόνο στο να κάνουμε περισσότερους FLOPs αλλά και σε τεχνικές να τους μεταφέρουμε και να μεταφέρουμε τα δεδομένα από chip σε chip — ακόμη και από πολύ μεγάλο chip σε πολύ μεγάλο chip.

Υπάρχει κάτι άλλο που θα θέλατε να μοιραστείτε για την Cerebras Systems;

Για καλύτερο ή για χειρότερο, οι άνθρωποι συχνά τοποθετούν την Cerebras σε αυτήν την κατηγορία “των πραγματικά μεγάλων chip εταιρειών”. Είμαστε σε θέση να παρέχουμε πειστικές λύσεις για πολύ μεγάλα νευρωνικά δίκτυα, εξαλείφοντας την ανάγκη για επίπονη κατανεμημένη υπολογιστική. Νομίζω ότι αυτό είναι εξαιρετικά ενδιαφέρον και στο κέντρο του γιατί οι πελάτες μας μας αγαπούν. Ο ενδιαφέρων τομέας για το 2023 θα είναι πώς να κάνουμε μεγάλο υπολογισμό σε υψηλότερο επίπεδο ακρίβειας, χρησιμοποιώντας λιγότερους FLOPs.

Η δουλειά μας στην αραιότητα παρέχει μια εξαιρετικά ενδιαφέρουσα προσέγγιση. Δεν κάνουμε δουλειά που δεν μας μεταφέρει προς τη γραμμή τερματισμού. Ο πολλαπλασιασμός με το μηδέν είναι μια κακή ιδέα. Θα κυκλοφορήσουμε ένα πραγματικά ενδιαφέρον έγγραφο για την αραιότητα σύντομα, και νομίζω ότι θα υπάρξει περισσότερη προσπάθεια να δούμε πώς να φτάσουμε σε αυτά τα αποτελεσματικά σημεία, και πώς να τα κάνουμε με λιγότερη ενέργεια. Και όχι μόνο για λιγότερη ενέργεια και εκπαίδευση, αλλά και πώς να ελαττώσουμε το κόστος και την ενέργεια που χρησιμοποιείται κατά την εξαγωγή συμπερασμάτων; Νομίζω ότι η αραιότητα βοηθά και στις δύο πλευρές.

Ευχαριστούμε για αυτές τις σε βάθος απαντήσεις, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν την Cerebras Systems.

Σημείωση για την πηγή: το αγγλικό πρωτότυπο αναφέρει δύο διαφορετικά ποσά για την εξαγορά της SeaMicro, 357 και 334 εκατομμύρια δολάρια· τα ποσά διατηρούνται όπως αποδίδονται στη συνέντευξη. Η αναφορά του πρωτοτύπου σε μάγμα στον πυρήνα της Γης είναι γεωλογικά ανακριβής: το μάγμα συνδέεται με τον μανδύα και τον φλοιό, ενώ ο εξωτερικός πυρήνας αποτελείται κυρίως από υγρά μέταλλα.

Ο Antoine είναι ένας οραματιστής ηγέτης και ιδρυτικός εταίρος της Unite.AI, με αμείωτο πάθος για τη διαμόρφωση και την προώθηση του μέλλοντος της τεχνητής νοημοσύνης και της ρομποτικής. Έχοντας ιδρύσει πολλές επιχειρήσεις, πιστεύει ότι η τεχνητή νοημοσύνη θα μεταμορφώσει την κοινωνία όσο και ο ηλεκτρισμός και συχνά μιλά με ενθουσιασμό για τις δυνατότητες των ανατρεπτικών τεχνολογιών και της τεχνητής γενικής νοημοσύνης (AGI).

Ως μελλοντολόγος, είναι αφοσιωμένος στη διερεύνηση του τρόπου με τον οποίο αυτές οι καινοτομίες θα διαμορφώσουν τον κόσμο μας. Επιπλέον, είναι ιδρυτής του Securities.io, μιας πλατφόρμας που εστιάζει στις επενδύσεις σε τεχνολογίες αιχμής οι οποίες επαναπροσδιορίζουν το μέλλον και μεταμορφώνουν ολόκληρους κλάδους.