Ben Koska, Ιδρυτής και Διευθύνων Σύμβουλος της SF Tensor – Σειρά Συνεντεύξεων

Ben Koska, Ιδρυτής και Διευθύνων Σύμβουλος της SF Tensor, είναι ερευνητής τεχνητής νοημοσύνης και συστημικός μηχανικός γνωστός για τη δουλειά του στις υψηλές επιδόσεις υπολογισμού, την βελτιστοποίηση του πυρήνα και την αποτελεσματική εκπαίδευση μοντέλων. Το υπόβαθρό του καλύπτει την ανάπτυξη υποδομής τεχνητής νοημοσύνης χαμηλού επιπέδου, τη βελτίωση της απόδοσης εκπαίδευσης και τον σχεδιασμό εργαλείων που καθιστούν την προηγμένη ανάπτυξη μοντέλων προσιτή χωρίς την υπερβολική επιβάρυνση μηχανικής. Εστιάζει στην κατασκευή συστημάτων που推 τις giới hạn ταχύτητας, φορητότητας και αξιοπιστίας σε ετερογενή υλικό.

SF Tensor είναι η εταιρεία που ηγείται για να μετατρέψει αυτή τη φιλοσοφία σε πρακτική πλατφόρμα. Παρουσιάζει ένα ενοποιημένο μοντέλο προγραμματισμού, einen βελτιστοποιητή πυρήνα και ένα επίπεδο διαχείρισης διανυσμάτων που σχεδιάζεται για να αφαιρέσει την πολυπλοκότητα των κατανεμημένων εργασιών τεχνητής νοημοσύνης. Η πλατφόρμα στοχεύει να δώσει στους μηχανικούς ένα καθαρό, υλικο-αγνό περιβάλλον όπου μπορούν να γράψουν μια φορά, να αναπτύξουν παντού και να επιτύχουν αυτόματα υψηλές επιδόσεις. Η αποστολή της SF Tensor είναι να κάνει την υπολογιστική τεχνητή νοημοσύνη δραματικά ταχύτερη, ευκολότερη στη διαχείριση και ελεύθερη από κλειδωμένες προμηθευτές.

Ιδρύσατε την SF Tensor σε ηλικία 19 ετών, μετά από την ηγεσία της μηχανικής σε πολλές startups. Τι σας έμπνευσε να αναλάβετε την πρόκληση της ανασχεδιασμού της υποδομής τεχνητής νοημοσύνης τόσο νωρίς στη σταδιοδρομία σας;

Το πρόβλημα που λύνουμε είναι ένα που με αφορά βαθιά, γιατί είναι ένα που αντιμετώπισα ο ίδιος. Όταν αναπτύξαμε το πυρήνα της SF Tensor, δεν δούλευα σε ένα εμπορικό έργο, αλλά σε ένα ακαδημαϊκό. Είχαμε λάβει μια χορηγία για να διεξαγάγουμε κάποια πολύ ενδιαφέροντα ερευνητικά έργα, αλλά περάσαμε το μεγαλύτερο μέρος του χρόνου μας στην αντιμετώπιση της υποδομής και των βελτιστοποιήσεων, αντί να κάνουμε έρευνα. Βρήκαμε ότι οι άνθρωποι ήταν καθολικά πιο ενδιαφερόμενοι για την τεχνολογία υποδομής μας, όχι για το ερευνητικό μας έργο.

Η SF Tensor αντιμετωπίζει ένα από τα πιο δύσκολα προβλήματα της τεχνητής νοημοσύνης — την απομάκρυνση από την κυριαρχία του CUDA της NVIDIA. Πώς προσεγγίσατε τον σχεδιασμό ενός συστήματος που θα μπορούσε να επιτύχει την πραγματική φορητότητα του υλικού χωρίς να επηρεάσει τις επιδόσεις;

Στο τέλος της ημέρας, όλη η τεχνητή νοημοσύνη καταλήγει σε απλή μαθηματική. Κάθε μοντέλο είναι ουσιαστικά ένα σύνολο μαθηματικών επιχειρήσεων που πρέπει να υπολογίσουμε τα αποτελέσματα. Αντιμετωπίζοντας το ως ένα μαθηματικό πρόβλημα και όχι ως ένα πρόβλημα επιστημών υπολογιστών, μπορούμε να αναγνωρίσουμε το μικρότερο σύνολο περιορισμών στις υπολογίσεις και στη συνέχεια να δημιουργήσουμε εκατομμύρια έως δισεκατομμύρια διαφορετικούς τρόπους για να μετατρέψουμε αυτές τις υπολογίσεις σε κώδικα μηχανής, βρίσκοντας τον ταχύτερο. Αυτό είναι πιο εύκολο να πει παρά να κάνει, επειδή δεν μπορούμε να τρέξουμε πραγματικά δισεκατομμύρια διαφορετικά προγράμματα για να βρούμε τον ταχύτερο, οπότε για να κοπεί ο χώρος αναζήτησής μας, πρέπει να δημιουργήσουμε ένα ακριβές μαθηματικό μοντέλο για να εκτιμήσουμε την ταχύτητα ενός δεδομένου προγράμματος για einen δεδομένο υλικό, το οποίο είναι μια από τις βασικές καινοτομίες που κάνουν το τι κάνουμε σήμερα δυνατό.

Το blog της εταιρείας σας υπογραμμίζει τις καινοτομίες γύρω από την βελτιστοποίηση του μεταγλωττιστή και τη διαχείριση διανυσμάτων. Μπορείτε να εξηγήσετε πώς η προσέγγιση της SF Tensor διαφέρει από τις υπάρχουσες πλατφόρμες όπως PyTorch ή JAX;

Δεν έχουμε γράψει ακόμη ένα τεχνικό blog γι’ αυτό, αλλά στην πραγματικότητα υποστηρίζουμε πλατφόρμες όπως PyTorch και JAX, επιτρέποντας στον κώδικα που γράφεται σε αυτές να βελτιστοποιείται από το στοίβασμά μας. Υπάρχουν beberapa αρχιτεκτονικές αποφάσεις που η JAX και η PyTorch έλαβαν που τις διαφοροποιούν από το στοίβασμά μας, αλλά η πιο σημαντική από αυτές είναι ότι αντιμετωπίζουμε ολόκληρο το μοντέλο ως μια seule υπολογισμό που πρέπει να λυθεί, αντί για ατομικά μέρη που πρέπει να βελτιστοποιηθούν ξεχωριστά και στη συνέχεια ομαδικά. Σε αυτό το μέτρο, αντί να εφαρμόσουμε παραδοσιακές τεχνικές βελτιστοποίησης του μεταγλωττιστή και να εφαρμόσουμε κάθε μεμονωμένη βελτιστοποίηση, δημιουργούμε ένα χώρο αναζήτησης εκατομμυρίων έως δισεκατομμυρίων πιθανών πυρήνων και κάνουμε την αξίωση ότι κανείς άνθρωπος δεν μπορεί να δημιουργήσει ένα σύνολο κανόνων για να μετατρέψει οποιοδήποτε κώδικα στο ταχύτερο, οπότε πρέπει να δημιουργήσουμε κάθε συνδυασμό και στη συνέχεια να αναγνωρίσουμε τον ταχύτερο.

Πολλές startups εστιάζουν στην αποτελεσματικότητα της εκπαίδευσης, αλλά εσείς έχουν τονίσει τον «φόρο υποδομής» — τον χρόνο που χάνουν οι ερευνητές διαχειριζόμενοι υπολογιστές αντί να καινοτομούν. Πώς αντιμετωπίζει η SF Tensor αυτή την ανισορροπία;

Πιστεύουμε ότι και τα δύο προβλήματα πρέπει να αντιμετωπιστούν, και πολλή από τη δουλειά μας πηγαίνει στην αντιμετώπιση της αποτελεσματικότητας της εκπαίδευσης, αλλά το πιο οξύ πρόβλημα που μπορούμε να λύσουμε τώρα χωρίς να βασιστούμε σε μελλοντικές καινοτομίες είναι ο φόρος υποδομής, καθώς είναι ένα πρόβλημα που ήδη λύσαμε για τον εαυτό μας.

Έχετε αναφέρει την επίτευξη μέχρι και 80% μειώσεις στο κόστος εκπαίδευσης. Ποίες συγκεκριμένες βελτιστοποιήσεις ή αρχιτεκτονικές καινοτομίες κάνουν αυτό δυνατό;

Ολόκληρη η λογιστική μας στοίβα βασίζεται στην ιδέα ότι ένας μεταγλωττιστής με βάση την αναζήτηση θα νικήσει πάντα τους κανόνες που έχουν δημιουργηθεί από τον άνθρωπο. Μέχρι τώρα, ο μεγαλύτερος περιορισμός σε αυτούς τους μεταγλωττιστές ήταν το γεγονός ότι δεν είναι δυνατό να δοκιμαστούν και να καταταγούν δισεκατομμύρια ή ακόμη και εκατομμύρια πυρήνες. Ήταν επομένως απαραίτητο για μας να δημιουργήσουμε ένα μαθηματικό μοντέλο υπολογισμού που θα μπορούσε να εκτιμήσει ακριβώς τον χρόνο που θα πάρει μια δεδομένη υπολογισμό ή σύνολο υπολογισμών σε ένα δεδομένο υλικό. Με αυτόν τον τρόπο, μπορούμε να επεκτείνουμε τον χώρο αναζήτησής μας και στη συνέχεια να τον κοπεί, το οποίο είναι απαραίτητο αν θέλουμε να βρούμε τους ταχύτερους πυρήνες συνεχώς.

Πώς η προηγούμενη σας εμπειρία στη δημιουργία της γλώσσας προγραμματισμού Emma επηρεάζει την αρχιτεκτονική και τη φιλοσοφία της SF Tensor προς τις επιδόσεις και την αφαίρεση;

Μην πείτε στους επενδυτές μου, αλλά στην καρδιά μου, είμαι ακόμη ένας μηχανικός μεταγλωττιστή. Έχω πάντα ενδιαφερθεί για το να βρω διαφορετικούς τρόπους για να κάνω τα πράγματα ακόμη και ελαφρώς ταχύτερα. Κατά την ανάπτυξη της Emma, ρίξαμε όλη τη μεταγλωττιστή 4 ή 5 φορές· ξεκινήσαμε από την αρχή, κάθε φορά επειδή συναντήσαμε μια βελτιστοποίηση που δεν μπορούσαμε να εφαρμόσουμε με τις τρέχουσες περιορισμοί, μας ανάγκασε να ξανασχεδιάσουμε το σύστημα για να είναι ακόμη πιο γενικό, ενώ ακόμη μας επέτρεψε να πέσουμε στο χαμηλότερο επίπεδο βελτιστοποίησης όταν ήταν απαραίτητο, συχνά αντιμετωπίζοντας τις κοινές αρχές σχεδιασμού μεταγλωττιστή και γλώσσας. Αυτές οι γνώσεις και η αντίστοιχη αρχιτεκτονική συνδυάστηκαν με σχεδόν δύο χρόνια από ό,τι φαινόταν σαν μικρές βελτιστοποιήσεις και λάθος στοιχήματα, έχει συνδυαστεί σε ένα σύστημα που μας επιτρέπει τώρα να.iterate ταχύτερα και να βελτιστοποιήσουμε καλύτερα από οποιοδήποτε από τα συστήματα που ακολούθησαν τις κοινές αρχές, επειδή αυτές οι αρχές είναι ουσιαστικά σχεδιασμένες για CPUs, όχι για GPUs και μοντέλα AI.

Έχετε δουλέψει σε μεγάλης κλίμακας εκπαιδευτικές εκτελέσεις σε 4.000+ GPUs — τι ήταν κάποια από τα μεγαλύτερα μαθήματα που μάθατε από τη διαχείριση υπολογιστών σε αυτή την κλίμακα;

Ένα μεγάλο είναι ότι η αποτυχία του υλικού είναι πολύ πιο συχνή και πιο προβληματική από ό,τι θα μπορούσε κανείς να υποθέσει. Έχοντας περάσει πολύ χρόνο εργαζόμενος με παραδοσιακά προγράμματα και μεταγλωττιστές, γενικά, ένας υπολογιστής κάνει ακριβώς ό,τι του λέμε, και αν κάτι πάει λάθος, είναι σχεδόν πάντα το λάθος του ανθρώπου που έγραψε τον κώδικα. Με τις GPUs, από την άλλη πλευρά, η αποτυχία του υλικού είναι μια κοινή περίπτωση, ιδιαίτερα σε κατανεμημένες εκπαιδευτικές εκτελέσεις σε εξαιρετικά μεγάλες κλώνους. Παράλληλα με αυτό είναι το γεγονός ότι, αντίθετα με τους CPUs που γενικά ενεργούν με έναν προβλέψιμο και προβλέψιμο τρόπο, οι GPUs θα κάνουν μερικές φορές αιτία να μειώσουν ταχύτητες ρολογιού για κανένα φανερό λόγο, επιβραδύνοντας ολόκληρη τη διαδικασία εκπαίδευσης επειδή ένα μόνο chip τρέχει πιο αργά.

Η Y Combinator έχει υποστηρίξει μερικές από τις πιο μετασχηματιστικές εταιρείες υποδομής στην τεχνολογία. Πώς έχει επηρεάσει αυτή η εμπειρία την προσέγγισή σας στην κλιμάκωση του προϊόντος και της οράσεως της SF Tensor;

Πηγαίνοντας στην Y Combinator, σκέφτηκα ότι το στοίχημα που θέλαμε να κάνουμε τότε ήταν φιλόδοξο. Μετά από λίγες εβδομάδες, η έννοια του φιλόδοξου είχε αλλάξει δραματικά, και διπλασίασα το στοίχημα. Για άλλο, η αίσθηση της κοινότητας και της μάθησης που μπορώ να πάρω το τηλέφωνο ή να στείλω ένα email σε σχεδόν οποιαδήποτε εταιρεία ή άτομο εκεί έξω και να λάβω απάντηση και συμβουλή μέσα σε λίγες ώρες έως ημέρες, έχει αλλάξει τον τρόπο που σκεφτόμαστε να αντιμετωπίσουμε προβλήματα και να ενστερνιστούμε μια σημαντικά πιο συνεργατική προσέγγιση.

Κοιτάζοντας μπροστά, έχετε εκφράσει ενδιαφέρον για μη-LLM μοντέλα, ρομποτική και συνθετικά δεδομένα. Πώς ταιριάζουν αυτές οι περιοχές στην μακροπρόθεσμη οράση της εταιρείας;

Τα LLM είναι απολύτως μια ενδιαφέρουσα τεχνολογία και θα έχουν一个 ολοκληρωμένο ρόλο σε πώς θα φαίνεται ο κόσμος στο μέλλον, αλλά ο λόγος που είναι τόσο πιο προηγμένα από οποιαδήποτε άλλη περιοχή της τεχνητής νοημοσύνης οφείλεται κυρίως στο γεγονός ότι υπάρχει πολύς χρήμα που επενδύεται στην ανάπτυξή τους, και υπάρχουν αρκετοί άνθρωποι που συνεργάζονται στο πρόβλημα που έχουν γίνει αρκετά βελτιστοποιημένα. Αν μπορούμε να μειώσουμε το εμπόδιο της εισόδου, επιτρέποντας στους ερευνητές σε όλη τη χώρα και τον πλανήτη, ακόμη και σε εκείνους με περιορισμένα μέσα και ελάχιστη ή καθόλου γνώση στις βελτιστοποιήσεις, να κάνουν την έρευνά τους όσο το δυνατόν φθηνότερα και αποτελεσματικά. Σε αυτή την περίπτωση, πιστεύω ότι θα δούμε μια ολόκληρη νέα γενιά μοντέλων που θα αντιμετωπίσουν προβλήματα που τα LLM δεν είναι κατάλληλα, είτε επειδή αλληλεπιδρούν με τον φυσικό κόσμο είτε επειδή είναι προβλήματα που δεν μπορούν να εκφραστούν σωστά στη γλώσσα.

Τι πιστεύετε ότι θα μοιάζει η στοίβα υποδομής τεχνητής νοημοσύνης σε πέντε χρόνια από τώρα — και πού βλέπετε τη SF Tensor να παίζει ένα ρόλο σε αυτή;

Πέντε χρόνια από τώρα, ελπίζω ότι πολλές περισσότερες εταιρείες θα έχουν αναπτύξει και κυκλοφορήσει τους δικούς τους εξειδικευμένους chíπς, και ότι οι ερευνητές θα μπορέσουν να αξιοποιήσουν και να utilize them without needing to write code specifically for them, ideally without even needing to know that they exist. That is the future that we are working towards and that I believe we will have a significant role in shaping. Thank you for the great interview, readers who wish to learn more should visit SF Tensor.