Ο Jay Dawani είναι συνιδρυτής και CEO της Lemurian Labs – Σειρά Συνεντεύξεων

Ο Jay Dawani είναι συνιδρυτής και CEO της Lemurian Labs. Lemurian Labs είναι μια εταιρεία με αποστολή να προσφέρει προσιτές, προσιτές και αποτελεσματικές υπολογιστές AI, με την πεποίθηση ότι η τεχνητή νοημοσύνη δεν πρέπει να είναι ένα πολυτελές αλλά ένα εργαλείο που πρέπει να είναι προσιτό σε όλους. Η ιδρυτική ομάδα της Lemurian Labs συνδυάζει εμπειρογνωσία σε AI, μεταγλωττιστές, αριθμητικές αλγορίθμους και αρχιτεκτονική υπολογιστών, ενωμένη από ένα seul σκοπό: να ξαναφανταστεί την επιταχυνόμενη υπολογιστική.

Μπορείτε να μας οδηγήσετε στο ιστορικό σας και τι σας οδήγησε στην τεχνητή νοημοσύνη από την αρχή;

Απλά. Είχα αρχίσει να προγραμματίζω από την ηλικία των 12 και να δημιουργώ τα δικά μου παιχνίδια και τέτοια, αλλά στην πραγματικότητα μπήκα στην τεχνητή νοημοσύνη όταν ήμουν 15 χρονών λόγω ενός φίλου του πατέρα μου που ήταν σε υπολογιστές. Αυτός θρέψε την περιέργειά μου και μου έδωσε βιβλία να διαβάσω όπως το “Το υπολογιστικό σύστημα και ο εγκέφαλος” του Von Neumann, “Περσεπτρόν” του Minsky, “Τεχνητή Νοημοσύνη: Một σύγχρονη προσέγγιση” του Russel και Norvig. Αυτά τα βιβλία επηρέασαν πολύ το σκέψιμό μου και μου φάνηκε σχεδόν προφανές τότε ότι η τεχνητή νοημοσύνη θα ήταν μετασχηματιστική και ότι έπρεπε να είμαι μέρος αυτού του τομέα.

Όταν ήρθε η ώρα για το πανεπιστήμιο, ήθελα πραγματικά να σπουδάσω τεχνητή νοημοσύνη, αλλά δεν βρήκα πανεπιστήμια που να προσφέρουν αυτό, οπότε αποφάσισα να σπουδάσω εφαρμοσμένη μαθηματική αντί για αυτό και λίγο μετά που πήγα στο πανεπιστήμιο, άκουσα για τα αποτελέσματα του AlexNet στο ImageNet, τα οποία ήταν πραγματικά ενθουσιαστικά. Σε εκείνη την εποχή είχα ένα τώρα ή ποτέ στιγμή στο μυαλό μου και πήγα πλήρως στο να διαβάσω κάθε έγγραφο και βιβλίο που μπορούσα να βρω σχετικά με τα νευρωνικά δίκτυα και αναζήτησα όλους τους ηγέτες του τομέα για να μάθω από αυτούς, γιατί πόσο συχνά μπορείτε να βρεθείτε εκεί στην γέννηση ενός νέου βιομηχανικού κλάδου και να μάθετε από τους πρωτοπόρους του;

Πολύ γρήγορα συνειδητοποίησα ότι δεν μου αρέσει η έρευνα, αλλά μου αρέσει να λύνω προβλήματα και να κατασκευάζω προϊόντα που ενεργοποιούνται από την τεχνητή νοημοσύνη. Αυτό με οδήγησε να δουλεύω σε αυτονομούς οχήματα και ρομπότ, τεχνητή νοημοσύνη για την ανακάλυψη υλικών, γενετικά μοντέλα για πολλαπλά φυσικά simulations, τεχνητή νοημοσύνη-βασισμένα προσομοιωτές για την εκπαίδευση επαγγελματιών οδηγών και για τη βοήθεια με τις ρυθμίσεις των αυτοκινήτων, ρομπότ διαστήματος, αλγοριθμικό εμπόριο και πολλά άλλα.

Τώρα, έχοντας κάνει όλα αυτά, προσπαθώ να ελέγξω το κόστος της εκπαίδευσης και της ανάπτυξης της τεχνητής νοημοσύνης, γιατί αυτό θα είναι το μεγαλύτερο εμπόδιο που θα αντιμετωπίσουμε στον δρόμο μας για να ενεργοποιήσουμε έναν κόσμο όπου κάθε άτομο και εταιρεία μπορεί να έχει πρόσβαση και να επωφεληθεί από την τεχνητή νοημοσύνη με τον πιο οικονομικό τρόπο δυνατό.

Πολυάριθμες εταιρείες που εργάζονται στην επιταχυνόμενη υπολογιστική έχουν ιδρυτές που έχουν χτίσει καριέρες στους ημιαγωγούς και την υποδομή. Πώς νομίζετε ότι η προηγούμενη εμπειρία σας στην τεχνητή νοημοσύνη και τα μαθηματικά επηρεάζει την ικανότητά σας να κατανοήσετε την αγορά και να ανταγωνιστείτε αποτελεσματικά;

Στην πραγματικότητα, νομίζω ότι το γεγονός ότι δεν προέρχομαι από την βιομηχανία μου δίνει το πλεονέκτημα του εξωτερικού. Έχω βρει ότι είναι συχνά το caso ότι η έλλειψη γνώσης της βιομηχανικής συνήθειας ή της συμβατικής σοφίας μου δίνει την ελευθερία να εξερευνήσω πιο ελεύθερα και να πηγαίνω πιο sâu από ότι θα κάνατε οι περισσότεροι άλλοι, γιατί δεν είμαι εγκλωβισμένος από προκαταλήψεις.

Έχω την ελευθερία να κάνω “ηλιθιά” ερωτήσεις και να δοκιμάσω υποθέσεις με έναν τρόπο που οι περισσότεροι άλλοι δεν θα κάνανε, γιατί πολλά πράγματα είναι αποδεκτά ως αλήθειες. Τα τελευταία δύο χρόνια, είχα πολλές συνομιλίες με ανθρώπους μέσα στην βιομηχανία, όπου ήταν πολύ δόγματα για κάτι, αλλά δεν μπορούσαν να μου πουν την προέλευση της ιδέας, το οποίο μου φάνηκε πολύ περίεργο. Μου αρέσει να κατανοώ γιατί κάποιες επιλογές έγιναν και ποιες υποθέσεις ή συνθήκες υπήρχαν εκείνη την εποχή και αν εξακολουθούν να ισχύουν.

Ερχόμενος από ένα υπόβαθρο τεχνητής νοημοσύνης, tend να λάβω μια προοπτική λογισμικού, κοιτάζοντας πού είναι τα φορτία σήμερα και εδώ είναι όλα τα πιθανά τρόπα με τους οποίους μπορεί να αλλάξουν με τον καιρό, και μοντελοποιώντας ολόκληρη τη διαδικασία ML για την εκπαίδευση και την εύρεση για να κατανοήσω τα σημεία όπου υπάρχουν ευκαιρίες να προσφέρω αξία. Και επειδή έρχομαι από ένα μαθηματικό υπόβαθρο, μου αρέσει να μοντελοποιώ πράγματα για να φτάσω όσο το δυνατόν πιο κοντά στην αλήθεια και να让我 οδηγήσει. Για παράδειγμα, έχουμε κατασκευάσει μοντέλα για τον υπολογισμό της απόδοσης του συστήματος για το συνολικό κόστος ιδιοκτησίας και μπορούμε να μετρήσουμε το όφελος που μπορούμε να προσφέρουμε στους πελάτες με λογισμικό και/ή υλικό και να κατανοήσουμε καλύτερα τις περιορισμούς μας και τους διαθέσιμους πόρους, και δεκάδες άλλα μοντέλα για διάφορες άλλες cosas. Είμαστε πολύ δεδομένα-κεντρικοί και χρησιμοποιούμε τις ενημερώσεις από αυτά τα μοντέλα για να οδηγήσουμε τις προσπάθειές μας και τις συμβιβαστικές λύσεις.

Φαίνεται ότι η πρόοδος στην τεχνητή νοημοσύνη έχει προέλθει κυρίως από την κλιμάκωση, η οποία απαιτεί εκпонεντιακά περισσότερη υπολογιστική ισχύ και ενέργεια. Φαίνεται ότι είμαστε σε einen αγώνα με κάθε εταιρεία που προσπαθεί να κατασκευάσει το μεγαλύτερο μοντέλο, και δεν υπάρχει τέλος σε θέα. Νομίζετε ότι υπάρχει ένας τρόπος να βγούμε από αυτήν την κατάσταση;

Υπάρχουν πάντα τρόποι. Η κλιμάκωση έχει αποδειχθεί εξαιρετικά χρήσιμη, και δεν νομίζω ότι έχουμε δει το τέλος ακόμη. Θα δούμε σύντομα μοντέλα που εκπαιδεύονται με κόστος τουλάχιστον ενός δισεκατομμυρίου δολαρίων. Αν θέλετε να være ηγέτης στην γενετική τεχνητή νοημοσύνη και να δημιουργήσετε μοντέλα θεμελιώδους τεχνητής νοημοσύνης, θα πρέπει να δαπανήσετε τουλάχιστον quelques δισεκατομμύρια δολάρια το χρόνο σε υπολογιστική ισχύ.

Η συνεχής κλιμάκωση του μεγέθους του μοντέλου είναι αναπόφευκτη, αλλά δεν μπορούμε να μετατρέψουμε ολόκληρη την επιφάνεια της γης σε einen πλανητικό υπερυπολογιστή για την εκπαίδευση και την εξυπηρέτηση των LLM για φανερά λόγους. Για να το φέρουμε υπό έλεγχο, έχουμε कई ρυθμιστές που μπορούμε να παίξουμε: καλύτερα σύνολα δεδομένων, νέες αρχιτεκτονικές μοντέλων, νέες μεθόδους εκπαίδευσης, καλύτεροι μεταγλωττιστές, αλγοριθμικές βελτιώσεις και εκμεταλλεύσεις, καλύτερες αρχιτεκτονικές υπολογιστών, και così weiter. Αν κάνουμε όλα αυτά, υπάρχει περίπου τρεις τάξεις μεγέθους βελτίωσης που μπορούν να βρεθούν. Αυτός είναι ο καλύτερος τρόπος να βγούμε από αυτήν την κατάσταση.

Είστε πιστός στην σκέψη των πρώτων αρχών, πώς αυτό διαμορφώνει το μυαλό σας για τον τρόπο με τον οποίο διευθύνετε την Lemurian Labs;

Βεβαίως, χρησιμοποιούμε πολλή σκέψη των πρώτων αρχών στη Lemurian. Έχω πάντα βρει ότι η συμβατική σοφία είναι παραπλανητική, γιατί αυτή η γνώση σχηματίστηκε σε κάποιο σημείο του χρόνου, όταν συγκεκριμένες υποθέσεις ίσχυαν, αλλά τα πράγματα αλλάζουν πάντα και πρέπει να επαναεξετάζουμε τις υποθέσεις συχνά, ιδιαίτερα όταν ζούμε σε έναν τόσο ταχύτατο κόσμο.

Συχνά βρίσκω τον εαυτό μου να κάνει ερωτήσεις όπως “αυτό φαίνεται σαν μια πολύ καλή ιδέα, αλλά γιατί μπορεί να μην δουλέψει”, ή “τι πρέπει να είναι αλήθεια για να δουλέψει αυτό”, ή “τι γνωρίζουμε ότι είναι απόλυτες αλήθειες και τι είναι οι υποθέσεις που κάνουμε και γιατί;”, ή “γιατί πιστεύουμε ότι αυτή η συγκεκριμένη προσέγγιση είναι ο καλύτερος τρόπος για να λύσουμε αυτό το πρόβλημα”. Ο στόχος είναι να ακυρώσει και να σκοτώσει ιδέες όσο το δυνατόν πιο γρήγορα και φθηνά. Θέλουμε να προσπαθήσουμε να μεγιστοποιήσουμε τον αριθμό των πραγμάτων που προσπαθούμε σε οποιοδήποτε δεδομένο σημείο του χρόνου. Είναι για να είμαστε εμμονικοί με το πρόβλημα που πρέπει να λυθεί και όχι να είμαστε υπερβολικά γνώμονες για ποια τεχνολογία είναι η καλύτερη.

Αλλά η σκέψη των πρώτων αρχών δεν είναι τόσο χρήσιμη από μόνη της. Τείνουμε να την ζευγαρώνουμε με backcasting, το οποίο ουσιαστικά σημαίνει να φανταζόμαστε ένα ιδανικό ή επιθυμητό αποτέλεσμα στο μέλλον και να εργαζόμαστε προς τα πίσω για να αναγνωρίσουμε τα διαφορετικά βήματα ή ενέργειες που χρειάζονται για να πραγματοποιήσουμε αυτό. Αυτό διασφαλίζει ότι συγκλίνουμε σε μια σημαντική λύση που δεν είναι μόνο καινοτόμος αλλά και εδραιωμένη στην πραγματικότητα.

Κάθε τόσο βρίσκω τον εαυτό μου σε μια κατάσταση όπου πρέπει να λάβω μια απόφαση αλλά δεν έχω δεδομένα, και σε αυτήν την περίπτωση χρησιμοποιούμε ελάχιστες δοκιμαζόμενες υποθέσεις που μας δίνουν ένα σήμα για να δούμε αν κάτι έχει νόημα να το ακολουθήσουμε με την ελάχιστη δυνατή ενέργεια.

Όλα αυτά μαζί είναι για να μας δώσουν ευελιξία, γρήγορους κύκλους επανάληψης για να απορρίψουμε τα στοιχεία γρήγορα, και μας έχει βοηθήσει να προσαρμοστούμε τις στρατηγικές μας με υψηλή εμπιστοσύνη και να κάνουμε πολλή πρόοδο σε πολύ δύσκολα προβλήματα σε πολύ σύντομο χρόνο.

Στην αρχή, ήσασταν επικεντρωμένοι στην περιφερειακή τεχνητή νοημοσύνη, τι σας οδήγησε να επικεντρωθείτε και να αλλάξετε στην υπολογιστική στο cloud;

Ξεκινήσαμε με την περιφερειακή τεχνητή νοημοσύνη, γιατί εκείνη την εποχή ήμουν πολύ επικεντρωμένος στο να λύσω ένα πολύ συγκεκριμένο πρόβλημα που είχα αντιμετωπίσει στην προσπάθεια να φέρω έναν κόσμο γενικής προθέσεων αυτονομίας ρομποτικής. Η αυτονομία ρομποτικής έχει την υπόσχεση να είναι η μεγαλύτερη πλατφόρμα αλλαγής στην ιστορία μας, και μου φάνηκε ότι είχαμε όλα τα απαραίτητα για να χτίσουμε ένα θεμελιώδες μοντέλο για ρομποτική, αλλά μας έλειπε ο ιδανικός inference chip με τη σωστή ισορροπία απόδοσης, καθυστέρησης, ενεργειακής απόδοσης και προγραμματισμού για να τρέξει το αντίστοιχο θεμελιώδες μοντέλο.

Δεν σκεφτόμουν το datacenter εκείνη την εποχή, γιατί υπήρχαν αρκετές εταιρείες που επικεντρώνονταν εκεί και περίμενα ότι θα το λύσουν. Σχεδιάσαμε μια πολύ ισχυρή αρχιτεκτονική για αυτόν τον χώρο εφαρμογών και ήμασταν έτοιμοι να την κατασκευάσουμε, και τότε έγινε αφάνταστα σαφές ότι ο κόσμος είχε αλλάξει και το πρόβλημα ήταν στην πραγματικότητα στο datacenter. Ο ρυθμός με τον οποίο τα LLMs κλιμακώνονταν και κατανάλωναν υπολογιστική ισχύ ξεπερνούσε τον ρυθμό της πρόοδου στην υπολογιστική, και όταν συνυπολογίζατε την υιοθέτηση, άρχισε να ζωγραφίζει ένα ανησυχητικό σκηνικό.

Μου φάνηκε ότι αυτό είναι όπου πρέπει να επικεντρωθούμε τις προσπάθειές μας, για να μειώσουμε το ενεργειακό κόστος της τεχνητής νοημοσύνης στα datacenter όσο το δυνατόν περισσότερο, χωρίς να επιβάλλουμε περιορισμούς σε哪里 και πώς η τεχνητή νοημοσύνη πρέπει να εξελιχθεί. Και così, αρχίσαμε να εργαζόμαστε για την επίλυση αυτού του προβλήματος.

Μπορείτε να μοιραστείτε την ιστορία της ιδρύσεως της Lemurian Labs;

Η ιστορία αρχίζει στο αρχές του 2018. Ήμουν να εργαζόμουν στην εκπαίδευση ενός θεμελιώδους μοντέλου για γενική προθέσεων αυτονομία, μαζί με ένα μοντέλο για γενετική πολλαπλή φυσική προσομοίωση για να εκπαιδεύσω τον πράκτορα και να το βελτιώσω για διαφορετικές εφαρμογές, και κάποια άλλα πράγματα για να βοηθήσω στην κλιμάκωση σε περιβάλλοντα πολλαπλών πρακτόρων. Αλλά πολύ γρήγορα εξάντλησα την ποσότητα της υπολογιστικής ισχύος που είχα, και εκτίμησα ότι χρειαζόμουν περισσότερα από 20.000 V100 GPUs. Προσπάθησα να ανεβάσω αρκετά για να αποκτήσω πρόσβαση στην υπολογιστική ισχύ, αλλά η αγορά δεν ήταν έτοιμη για αυτό το είδος κλίμακας ακόμη. Αυτό με οδήγησε να σκεφτώ για την πλευρά της ανάπτυξης και κάθισα να υπολογίσω πόση απόδοση θα χρειαζόμουν για να εξυπηρετήσω αυτό το μοντέλο στο στόχο περιβάλλον και συνειδητοποίησα ότι δεν υπήρχε chip που θα μπορούσε να με φέρει εκεί.

Λίγα χρόνια αργότερα, το 2020, συνάντησα τον Vassil – τον μελλοντικό συνιδρυτή μου – για να πιούμε καφέ και μοιράστηκα τις προκλήσεις που είχα αντιμετωπίσει στην κατασκευή ενός θεμελιώδους μοντέλου για αυτονομία, και αυτός πρότεινε να κατασκευάσουμε έναν inference chip που θα μπορούσε να τρέξει το θεμελιώδες μοντέλο, και μοιράστηκε ότι είχε σκεφτεί πολύ για τους αριθμητικούς τύπους και ότι καλύτερες αναπαραστάσεις θα βοηθούσαν όχι μόνο στην κράτηση της ακρίβειας των νευρωνικών δικτύων σε χαμηλότερες bit-πλάτη, αλλά και στην δημιουργία πιο ισχυρών αρχιτεκτονικών.

Ήταν μια ενδιαφέρουσα ιδέα, αλλά ήταν πολύ έξω από το πεδίο μου. Αλλά δεν με άφησε, οπότε πέρασα μήνες και μήνες να μάθω τις λεπτομέρειες της αρχιτεκτονικής υπολογιστών, των συνόλων εντολών, των runtime, των μεταγλωττιστών και των προγραμματιστικών μοντέλων. Τελικά, η κατασκευή μιας εταιρείας ημιαγωγών άρχισε να έχει νόημα και είχα σχηματίσει μια θέση γύρω από το τι ήταν το πρόβλημα και πώς να το αντιμετωπίσω. Και τότε, προς το τέλος του χρόνου, ξεκινήσαμε την Lemurian.

Έχετε μιλήσει προηγουμένως για την ανάγκη να αντιμετωπίσουμε πρώτα το λογισμικό όταν κατασκευάζουμε υλικό, μπορείτε να επεκτείνετε τις απόψεις σας για το γιατί το πρόβλημα του υλικού είναι πρώτα και κύρια ένα πρόβλημα λογισμικού;

Τι πολλά άνθρωποι δεν καταλαβαίνουν είναι ότι η πλευρά του λογισμικού των ημιαγωγών είναι πολύ πιο δύσκολη από το ίδιο το υλικό. Η κατασκευή ενός χρήσιμου υπολογιστικού συστήματος για τους πελάτες να το χρησιμοποιήσουν και να επωφεληθούν από αυτό είναι ένα πλήρες πρόβλημα, και αν δεν έχετε αυτήν την κατανόηση και προετοιμασία, θα έχετε ένα όμορφο αρχιτεκτονικό σχέδιο που είναι πολύ γρήγορο και αποτελεσματικό, αλλά τελείως αχρησιμοποίητο από τους développers, το οποίο είναι το πραγματικά σημαντικό.

Υπάρχουν επίσης άλλα πλεονεκτήματα στο να ακολουθήσουμε μια προοπτική λογισμικού, όπως η ταχύτερη ώρα στην αγορά. Αυτό είναι κρίσιμο στον ταχύτατο κόσμο μας, όπου το να είσαι πολύ βέβαιος για μια αρχιτεκτονική ή μια λειτουργία μπορεί να σημαίνει ότι θα χάσεις την αγορά εντελώς.

Η μη λήψη μιας προοπτικής λογισμικού γενικά οδηγεί στο να μην έχεις απορρίψει τα σημαντικά πράγματα που απαιτούνται για την υιοθέτηση του προϊόντος στην αγορά, στο να μην μπορείς να ανταποκριθείς στις αλλαγές της αγοράς, για παράδειγμα όταν τα φορτία εξελίσσονται με έναν απρόβλεπτο τρόπο, και στο να έχεις υποαπασχολημένο υλικό. Όλα αυτά δεν είναι καλά πράγματα. Αυτός είναι ένας büyük λόγος για τον οποίο μας αρέσει να είμαστε λογισμικό-κεντρικοί και γιατί η άποψή μας είναι ότι δεν μπορείτε να είσαστε μια εταιρεία ημιαγωγών χωρίς να είσαστε πραγματικά μια εταιρεία λογισμικού.

Μπορείτε να συζητήσετε τους άμεσους στόχους σας για το στάκο λογισμικού;

Όταν σχεδιάζαμε την αρχιτεκτονική μας και σκεφτόμασταν για το μελλοντικό δρόμο και πού ήταν οι ευκαιρίες να φέρουμε περισσότερη απόδοση και ενεργειακή απόδοση, άρχισε να γίνεται σαφές ότι θα δούμε πολλή ετερογένεια, η οποία θα δημιουργούσε πολλά προβλήματα στο λογισμικό. Και δεν χρειαζόμαστε μόνο να μπορούμε να προγραμματίσουμε αποτελεσματικά ετερογενείς αρχιτεκτονικές, αλλά και να τις αντιμετωπίσουμε σε κλίμακα datacenter, το οποίο είναι μια πρόκληση που δεν την έχουμε συναντήσει πριν.

Αυτό μας ανησύχησε, γιατί την τελευταία φορά που είχαμε να κάνουμε μια τέτοια μεγάλη μετάβαση ήταν όταν η βιομηχανία πέρασε από τις αρχιτεκτονικές single-core σε multi-core, και εκείνη την εποχή πήρε 10 χρόνια για να κάνουμε το λογισμικό να δουλεύει και τους ανθρώπους να το χρησιμοποιούν. Δεν μπορούμε να περιμένουμε 10 χρόνια για να λύσουμε το πρόβλημα του λογισμικού για την ετερογένεια σε κλίμακα, πρέπει να το λύσουμε τώρα. Και così, αρχίσαμε να κατανοούμε το πρόβλημα και τι πρέπει να υπάρχει για να υπάρχει αυτό το στάκο λογισμικού.

Συμμετέχουμε τώρα με πολλές από τις ηγετικές εταιρείες ημιαγωγών και hyperscalers/υπηρεσιών cloud και θα κυκλοφορήσουμε το στάκο λογισμικού μας μέσα στα επόμενα 12 μήνες. Είναι ένα ενοποιημένο μοντέλο προγραμματισμού με έναν μεταγλωττιστή και runtime που μπορεί να στοχεύσει οποιοδήποτε είδος αρχιτεκτονικής, και να διοργανώσει εργασία σε cluster που αποτελούνται από διαφορετικά είδη υλικού, και είναι ικανό να κλιμακωθεί από ένα seul κόμβο σε ένα cluster των χιλιάδων κόμβων για την υψηλότερη δυνατή απόδοση.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν την Lemurian Labs.