Ben Koska, Ιδρυτής και Διευθύνων Σύμβουλος της SF Tensor – Σειρά Συνεντεύξεων

Ben Koska, Ιδρυτής και Διευθύνων Σύμβουλος της SF Tensor, είναι ερευνητής τεχνητής νοημοσύνης και μηχανικός συστημάτων γνωστός για το έργο του στις υψηλές επιδόσεις υπολογισμού, την βελτιστοποίηση πυρήνα και την αποτελεσματική εκπαίδευση μοντέλων. Το υπόβαθρό του καλύπτει την ανάπτυξη υποδομής τεχνητής νοημοσύνης χαμηλού επιπέδου, τη βελτίωση της απόδοσης εκπαίδευσης και τον σχεδιασμό εργαλείων που καθιστούν την προηγμένη ανάπτυξη μοντέλων προσβάσιμη χωρίς υπερβολική μηχανική επιβάρυνση. Εστιάζει στην κατασκευή συστημάτων που推ουν τα όρια της ταχύτητας, της μεταφερσιμότητας και της αξιοπιστίας σε ετερογενή υλικό.

SF Tensor είναι η εταιρεία που ηγείται για να μετατρέψει αυτή τη φιλοσοφία σε một πρακτικό πλαίσιο. Παρουσιάζει ένα ενοποιημένο μοντέλο προγραμματισμού, einen βελτιστοποιητή πυρήνα και ένα επίπεδο ορχήστρασης δια-σύννεφου που σχεδιάζεται για να αφαιρέσει την πολυπλοκότητα των κατανεμημένων εργασιών τεχνητής νοημοσύνης. Το πλαίσιο στοχεύει να δώσει στους μηχανικούς ένα καθαρό, υλικο-αγνό περιβάλλον όπου μπορούν να γράψουν μία φορά, να αναπτύξουν παντού και να επιτύχουν αυτόματα υψηλές επιδόσεις. Η αποστολή της SF Tensor είναι να κάνει την υπολογιστική τεχνητή νοημοσύνη δραματικά ταχύτερη, ευκολότερη να διαχειριστεί και ελεύθερη από κλείδωμα προμηθευτή.

Ιδρύσατε την SF Tensor σε ηλικία 19 ετών, αφού ήδη ηγείστε την μηχανική σε πολλές startups. Τι σας ενέπνευσε να αναλάβετε την πρόκληση της ανασχεδιασμού της υποδομής τεχνητής νοημοσύνης τόσο νωρίς στην καριέρα σας;

Το πρόβλημα που λύνουμε είναι ένα που με ενδιαφέρει sâuоко, επειδή είναι ένα που συναντήθηκα ο ίδιος. Όταν αναπτύξαμε το πυρήνα της SF Tensor, δεν δούλευα σε ένα εμπορικό έργο, ήταν στην πραγματικότητα ένα ακαδημαϊκό εγχείρημα. Έχαμε μια επιχορήγηση για να διεξαγάγουμε κάποια πολύ ενδιαφέροντα ερευνητικά έργα, αλλά ξοδεύσαμε το μεγαλύτερο μέρος του χρόνου μας με τη διαχείριση της υποδομής και των βελτιστοποιήσεων, αντί να κάνουμε έρευνα. Βρήκαμε ότι οι άνθρωποι ήταν καθολικά πιο ενδιαφερόμενοι για την τεχνολογία υποδομής μας, όχι για το ερευνητικό μας έργο.

Η SF Tensor αντιμετωπίζει ένα από τα πιο δύσκολα προβλήματα της τεχνητής νοημοσύνης — το να απομακρύνει την κυριαρχία του NVIDIA’s CUDA. Πώς προσεγγίσατε τον σχεδιασμό ενός συστήματος που θα μπορούσε να επιτύχει την αληθινή μεταφερσιμότητα υλικού χωρίς να συμβιβαστεί η απόδοση;

Στο τέλος της ημέρας, όλη η τεχνητή νοημοσύνη καταλήγει σε απλή μαθηματική. Κάθε μοντέλο είναι ουσιαστικά ένα σύνολο μαθηματικών λειτουργιών που πρέπει να υπολογίσουμε τα αποτελέσματα. Αντιμετωπίζοντας το ως ένα μαθηματικό πρόβλημα και όχι ως ένα πρόβλημα επιστήμης υπολογιστών, μπορούμε να αναγνωρίσουμε το μικρότερο σύνολο περιορισμών στις υπολογίσεις και στη συνέχεια να δημιουργήσουμε εκατομμύρια έως δισεκατομμύρια διαφορετικούς τρόπους για να μετατρέψουμε αυτές τις υπολογίσεις σε κώδικα μηχανής, βρίσκοντας τον ταχύτερο. Αυτό είναι πιο εύκολο να πει παρά να κάνει, επειδή δεν μπορούμε στην πραγματικότητα να τρέξουμε δισεκατομμύρια διαφορετικά προγράμματα για να βρούμε τον ταχύτερο, οπότε για να περιορίσουμε τον χώρο αναζήτησής μας, έπρεπε να δημιουργήσουμε ένα ακριβές μαθηματικό μοντέλο για να εκτιμήσουμε την ταχύτητα ενός δεδομένου προγράμματος για ένα δεδομένο υλικό, το οποίο είναι μια από τις βασικές καινοτομίες που κάνουν το τι κάνουμε δυνατό σήμερα.

Το blog της εταιρείας σας υπογραμμίζει καινοτομίες γύρω από την βελτιστοποίηση του μεταγλωττιστή και την ορχήστραση δια-σύννεφου. Μπορείτε να εξηγήσετε πώς η προσέγγιση της SF Tensor διαφέρει από υπάρχοντα πλαίσια όπως PyTorch ή JAX;

Δεν έχουμε γράψει ακόμη ένα τεχνικό blog γι’ αυτό, αλλά στην πραγματικότητα υποστηρίζουμε πλαίσια όπως PyTorch και JAX, επιτρέποντας στον κώδικα που γράφεται σε αυτά να βελτιστοποιηθεί από το στοίβασμά μας. Υπάρχουν beberapa αρχιτεκτονικές αποφάσεις που οι JAX και PyTorch έκαναν που τις διακρίνουν από το στοίβασμά μας, αλλά η πιο σημαντική είναι ότι θεωρούμε ολόκληρο το μοντέλο ως μια seule υπολογισμό που πρέπει να λυθεί, αντί για ατομικά μέρη που πρέπει να βελτιστοποιηθούν ξεχωριστά και στη συνέχεια ομαδικά. Σε αυτό το μέτρο, αντί να εφαρμόσουμε παραδοσιακές τεχνικές βελτιστοποίησης του μεταγλωττιστή και να εφαρμόσουμε κάθε μεμονωμένη βελτιστοποίηση, δημιουργούμε έναν χώρο αναζήτησης εκατομμυρίων έως δισεκατομμυρίων πιθανών πυρήνων και κάνουμε την αξίωση ότι κανένας άνθρωπος δεν μπορεί να σκεφτεί ένα σύνολο κανόνων για να μετατρέψει οποιοδήποτε κώδικα στο ταχύτερο, οπότε πρέπει να δημιουργήσουμε απλώς κάθε συνδυασμό και στη συνέχεια να αναγνωρίσουμε τον ταχύτερο.

Πολυάριθμες startups εστιάζουν στην αποτελεσματικότητα της εκπαίδευσης, αλλά εσείς έχουν τονίσει τον «φόρο υποδομής» — τον χρόνο που χάνουν οι ερευνητές διαχειριζόμενοι υπολογιστές αντί να καινοτομούν. Πώς αντιμετωπίζει η SF Tensor αυτή την ανισορροπία;

Πιστεύουμε ότι και τα δύο προβλήματα πρέπει να αντιμετωπιστούν, και πολλή από την δουλειά μας πηγαίνει στην αντιμετώπιση της αποτελεσματικότητας της εκπαίδευσης, αλλά το πιο οξύ πρόβλημα που μπορούμε να λύσουμε ngay τώρα χωρίς να βασίζεται σε μελλοντικές καινοτομίες είναι ο φόρος υποδομής, καθώς είναι ένα πρόβλημα που ήδη το λύσαμε για τον εαυτό μας.

Έχετε αναφέρει την επίτευξη μέχρι και 80% μειώσεις στο κόστος εκπαίδευσης. Ποίες συγκεκριμένες βελτιστοποιήσεις ή αρχιτεκτονικές καινοτομίες κάνουν αυτό δυνατό;

Ολόκληρο το λογισμικό στοίβασμά μας είναι χτισμένο στην ιδέα ότι ένας μεταγλωττιστής με βάση την αναζήτηση θα νικήσει πάντα τους κανόνες που έχουν δημιουργηθεί από τον άνθρωπο. Μέχρι τώρα, ο μεγαλύτερος περιορισμός σε αυτούς τους μεταγλωττιστές ήταν το γεγονός ότι δεν είναι δυνατό να δοκιμαστεί και να καταταχθεί ένας μεταγλωττιστής εκατομμυρίων ή ακόμη και δισεκατομμυρίων πυρήνων. Ήταν επομένως απαραίτητο για μας να δημιουργήσουμε ένα μαθηματικό μοντέλο υπολογισμού που μπορεί να εκτιμήσει ακριβώς τον χρόνο που θα πάρει μια δεδομένη υπολογισμό ή σύνολο υπολογισμών σε ένα δεδομένο υλικό. Κάνωντας αυτό, μπορούμε να επεκτείνουμε τον χώρο αναζήτησής μας και στη συνέχεια να τον περικόψουμε, το οποίο είναι μια αναγκαιότητα αν θέλετε να βρείτε τους ταχύτερους πυρήνες συνεχώς.

Πώς επηρεάζει το υπόβαθρό σας στην κατασκευή της γλώσσας προγραμματισμού Emma την αρχιτεκτονική και τη φιλοσοφία της SF Tensor προς την απόδοση και την αφαίρεση;

Μην πείτε στους επενδυτές μου, αλλά στην καρδιά μου, είμαι ακόμη ένας μηχανικός μεταγλωττιστή. Έχω πάντα ενδιαφερθεί για το να βρω διαφορετικούς τρόπους για να κάνω τα πράγματα ακόμη και ελαφρώς ταχύτερα. Κατά την ανάπτυξη της Emma, ρίξαμε όλο το μεταγλωττιστή 4 ή 5 φορές· ξεκινήσαμε από την αρχή, κάθε φορά επειδή συναντήσαμε μια βελτιστοποίηση που δεν μπορούσαμε να εφαρμόσουμε με τις τρέχουσες περιορισμούς, μας ανάγκασε να ξανασχεδιάσουμε το σύστημα για να είναι ακόμη πιο γενικό, ενώ ακόμη επιτρέποντας μας να πέσουμε στο χαμηλότερο επίπεδο βελτιστοποίησης όταν ήταν απαραίτητο, συχνά πηγαίνοντας ενάντια σε κοινές αρχές σχεδιασμού μεταγλωττιστή και γλώσσας. Αυτές οι γνώσεις και η αντίστοιχη αρχιτεκτονική συνδυάστηκαν σχεδόν δύο χρόνια από ό,τι φαινόταν σε πολλούς σαν ελαφριά βελτιστοποιήσεις και λάθος στοιχήματα, έχει συντελέσει σε ένα σύστημα που μας επιτρέπει τώρα να.iterate ταχύτερα και να βελτιστοποιήσουμε καλύτερα από οποιοδήποτε από τα συστήματα που ακολούθησαν τις κοινές αρχές, επειδή αυτές οι αρχές είναι θεμελιωδώς σχεδιασμένες για CPUs, όχι για GPUs και μοντέλα τεχνητής νοημοσύνης.

Έχετε δουλέψει σε μεγάλης κλίμακας εκπαιδευτικές διαδικασίες σε 4.000+ GPUs — τι ήταν κάποια από τα μεγαλύτερα μαθήματα που έμαθα από τη διαχείριση υπολογισμού σε αυτή την κλίμακα;

Ένα μεγάλο είναι ότι η αποτυχία του υλικού είναι πολύ πιο συχνή και πιο προβληματική από ό,τι θα μπορούσε κανείς να υποθέσει. Έχοντας περάσει πολύ χρόνο εργαζόμενος με παραδοσιακά προγράμματα και μεταγλωττιστές, γενικά, ένας υπολογιστής κάνει ακριβώς ό,τι του λέμε, και αν κάτι πάει λάθος, είναι σχεδόν πάντα το λάθος του ατόμου που έγραψε τον κώδικα. Με τις GPUs, από την άλλη πλευρά, η αποτυχία του υλικού είναι μια συχνή εμφάνιση, ιδιαίτερα σε κατανεμημένες εκπαιδευτικές διαδικασίες σε εξαιρετικά μεγάλες συστοιχίες. Πηγαίνοντας χέρι-χέρι με αυτό είναι το γεγονός ότι, αντίθετα με τους CPUs που γενικά συμπεριφέρονται με fairly deterministic και προβλέψιμο τρόπο, οι GPUs θα κάνουν μερικές φορές αιτίαlessly πράγματα όπως η μείωση της ταχύτητας ρολογιού για κανένα εμφανές λόγο, επιβραδύνοντας ολόκληρη τη διαδικασία εκπαίδευσης επειδή ένα μόνο chip τρέχει πιο αργά.

Η Y Combinator έχει υποστηρίξει μερικές από τις πιο μετασχηματιστικές εταιρείες υποδομής στην τεχνολογία. Πώς έχει διαμορφώσει αυτή η εμπειρία την προσέγγισή σας στην κλιμάκωση του προϊόντος και της όρασης της SF Tensor;

Πηγαίνοντας στην Y Combinator, σκέφτηκα ότι το στοίχημα που θέλαμε να κάνουμε τότε ήταν φιλόδοξο. Μετά από λίγες εβδομάδες, η έννοια του φιλόδοξου είχε αλλάξει δραματικά, καιเรา διπλασίασα το στοίχημα. Για άλλο, η αίσθηση της κοινότητας και της μάθησης που μπορώ να πάρω το τηλέφωνο ή να στείλω ένα email σε σχεδόν οποιαδήποτε εταιρεία ή άτομο εκεί έξω και να λάβω απάντηση και συμβουλή μέσα σε λίγες ώρες έως ημέρες, έχει αλλάξει τον τρόπο που σκεφτόμαστε για την αντιμετώπιση προβλημάτων και την υιοθέτηση μιας σημαντικά πιο συνεργατικής προσέγγισης.

Κοιτάζοντας μπροστά, έχετε εκφράσει ενδιαφέρον για μη-LLM μοντέλα, ρομποτική και συνθετικά δεδομένα. Πώς ταιριάζουν αυτές οι περιοχές στην μακροπρόθεσμη όραση της εταιρείας;

Τα LLM είναι απολύτως μια ενδιαφέρουσα τεχνολογία και θα έχουν einen ολοκληρωμένο ρόλο σε тому πώς θα φαίνεται ο κόσμος στο μέλλον, αλλά ο λόγος που είναι τόσο πιο προηγμένα από οποιαδήποτε άλλη περιοχή της τεχνητής νοημοσύνης οφείλεται κυρίως στο γεγονός ότι υπάρχει πολύ χρήμα που επενδύεται στην ανάπτυξή τους, και υπάρχουν αρκετοί άνθρωποι που συνεργάζονται στο πρόβλημα που έχουν λάβει assez optimisé. Αν μπορούμε να μειώσουμε το εμπόδιο εισόδου, επιτρέποντας στους ερευνητές σε όλη τη χώρα και τον πλανήτη, ακόμη και σε εκείνους με περιορισμένα μέσα και λίγη έως keine γνώση στις βελτιστοποιήσεις, να κάνουν την έρευνά τους όσο το δυνατόν φθηνότερα και αποτελεσματικότερα. Σε αυτή την περίπτωση, πιστεύω ότι θα δούμε μια ολόκληρη νέα γενιά μοντέλων που θα αντιμετωπίσουν προβλήματα που τα LLM δεν είναι κατάλληλα, είτε επειδή αλληλεπιδρούν με τον φυσικό κόσμο είτε επειδή είναι προβλήματα που δεν μπορούν να εκφραστούν σωστά στη γλώσσα.

Τι πιστεύετε ότι θα μοιάζει η υποδομή της τεχνητής νοημοσύνης πέντε χρόνια από τώρα — και πού βλέπετε τον ρόλο της SF Tensor μέσα σε αυτή;

Πέντε χρόνια από τώρα, ελπίζω ότι πολλές περισσότερες εταιρείες θα έχουν αναπτύξει και κυκλοφορήσει τις δικές τους εξειδικευμένες chips, και ότι οι ερευνητές θα μπορούν να αξιοποιήσουν και να χρησιμοποιήσουν αυτές τις chips χωρίς να χρειάζεται να γράψουν κώδικα ειδικά για αυτές, ιδανικά χωρίς να χρειάζεται καν να γνωρίζουν ότι υπάρχουν. Αυτό είναι το μέλλον που εργαζόμαστε προς και που πιστεύω ότι θα έχουμε einen σημαντικό ρόλο στη διαμόρφωση.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν SF Tensor.