Λιν Τσιάο, Διευθύνων Σύμβουλος & Συνιδρυτής της Fireworks AI – Σειρά Συνεντεύξεων

Ο Λιν Τσιάο, ήταν πρώην επικεφαλής του PyTorch της Meta και είναι ο Συνιδρυτής και Διευθύνων Σύμβουλος της Fireworks AI. Fireworks AI είναι μια πλατφόρμα παραγωγής AI που έχει κατασκευαστεί για τους développers, η Fireworks συνεργάζεται με τους κορυφαίους ερευνητές γενετικών AI του κόσμου για να προσφέρει τα καλύτερα μοντέλα, με τις ταχύτερες ταχύτητες. Η Fireworks AI πρόσφατα raised ένα $25M Series A.

Τι σας έκανε να ενδιαφερθείτε για την επιστήμη των υπολογιστών;

Ο πατέρας μου ήταν ένας πολύ senior μηχανικός σε ένα ναυπηγείο, όπου κατασκεύαζε πλοία από το μηδέν. Από μικρή ηλικία, έμαθα να διαβάζω τις ακριβείς γωνίες και μετρήσεις των σχεδίων των πλοίων και μου άρεσε.

Ήμουν πολύ ενδιαφερμένος για τα STEM από το γυμνάσιο και μετά – όλα τα μαθηματικά, φυσική και χημεία τα καταβρόχθιζα. Một από τα σχολικά μου καθήκοντα ήταν να μάθω προγραμματισμό BASIC και έγραψα ένα παιχνίδι για μια φίδι που τρώει την ουρά του. Μετά από αυτό, ήξερα ότι η επιστήμη των υπολογιστών ήταν το μέλλον μου.

Κατά τη διάρκεια της θητείας σας στη Meta, ηγήθητε hơn 300 μηχανικών AI υψηλού επιπέδου σε πλατφόρμες και πλαισιά AI. Ποια ήταν κάποια από τα βασικά συμπεράσματα από αυτή την εμπειρία;

Οι μεγάλες εταιρείες τεχνολογίας όπως η Meta είναι πάντα πέντε ή περισσότερα χρόνια μπροστά από την καμπύλη. Όταν εντάχθηκα στη Meta το 2015, βρίσκαμε στην αρχή του ταξιδιού μας με την AI – κάνοντας την μετάβαση από τους CPU στους GPU. Έπρεπε να σχεδιάσουμε την υποδομή της AI από το μηδέν. Μοντέλα όπως το Caffe2 ήταν πρωτοποριακά όταν δημιουργήθηκαν, αλλά η AI εξελίχθηκε τόσο γρήγορα που γρήγορα έγιναν ξεπερασμένα. Αναπτύξαμε το PyTorch και όλο το σύστημα γύρω του ως λύση.

Το PyTorch είναι όπου έμαθα για τα μεγαλύτερα εμπόδια που αντιμετωπίζουν οι développers στην κατασκευή της AI. Η πρώτη πρόκληση είναι να βρουν σταθερή και αξιόπιστη αρχιτεκτονική μοντέλου που είναι χαμηλής καθυστέρησης και ευέλικτη, ώστε τα μοντέλα να μπορούν να κλιμακωθούν. Η δεύτερη πρόκληση είναι το συνολικό κόστος ιδιοκτησίας, ώστε οι εταιρείες να μην πτωχεύσουν προσπαθώντας να μεγαλώσουν τα μοντέλα τους.

Η θητεία μου στη Meta μου έδειξε πόσο σημαντικό είναι να διατηρήσουμε τα μοντέλα και τα πλαισιά όπως το PyTorch ανοιχτά. Ενθαρρύνει την καινοτομία. Δεν θα είχαμε μεγαλώσει τόσο όσο είχαμε στο PyTorch χωρίς τις ευκαιρίες ανοιχτού κώδικα για επανάληψη. Επίσης, είναι αδύνατο να μείνουμε ενημερωμένοι για όλες τις τελευταίες έρευνες χωρίς συνεργασία.

Μπορείτε να συζητήσετε τι σας οδήγησε να ξεκινήσετε την Fireworks AI;

Έχω εργαστεί στην τεχνολογική βιομηχανία για περισσότερα από 20 χρόνια και έχω δει κύματα μετά κύματα μεταβολών του κλάδου – από το cloud στα mobile apps. Nhưng αυτή η αλλαγή της AI είναι μια πλήρης τεκτονική ανακατανομή. Είδα πολλές εταιρείες που αγωνίζονταν με αυτή την αλλαγή. Όλοι ήθελαν να κινηθούν γρήγορα και να τοποθετήσουν την AI πρώτα, αλλά τους έλλειπαν η υποδομή, οι πόρων και το ταλέντο για να το κάνουν. Όσο μιλούσα με αυτές τις εταιρείες, τόσο περισσότερο συνειδητοποιούσα ότι θα μπορούσα να λύσω αυτό το κενό στην αγορά.

Ξεκίνησα την Fireworks AI και για να λύσω αυτό το πρόβλημα και ως επέκταση του απίστευτου έργου που επιτεύχθηκε στο PyTorch. Αυτό ακόμη ενέπνευσε το όνομά μας! Το PyTorch είναι το δαχτυλίδι που κρατά τη φωτιά – αλλά θέλουμε αυτή τη φωτιά να εξαπλωθεί παντού. Έτσι: Fireworks.

Έχω πάντα ήταν παθιασμένος με την δημοκρατικοποίηση της τεχνολογίας και την κάνωντας προσιτή και απλή για τους développers να καινοτομούν ανεξάρτητα από τους πόρους. Αυτός είναι ο λόγος που έχουμε μια τόσο φιλική προς τον χρήστη διεπαφή και ισχυρά συστήματα υποστήριξης για να ενδυναμώσουμε τους κατασκευαστές να φέρουν τις οραματικές τους ιδέες στη ζωή.

Μπορείτε να συζητήσετε τι είναι η developer-κεντρική AI και γιατί αυτή είναι τόσο σημαντική;

Είναι απλό: «developer-κεντρική» σημαίνει να προτεραιοποιούμε τις ανάγκες των développers AI. Για παράδειγμα: δημιουργώντας εργαλεία, κοινότητες και διαδικασίες που κάνουν τους développers πιο αποτελεσματικούς και αυτονομούς.

Οι developer-κεντρικές πλατφόρμες AI όπως η Fireworks πρέπει να ενταχθούν στις υπάρχουσες ροές εργασίας και τεχνολογικές στοίβες. Πρέπει να κάνουν εύκολη την πειραματική διερεύνηση, τα λάθη και τη βελτίωση της δουλειάς. Πρέπει να ενθαρρύνουν την ανατροφοδότηση, επειδή είναι οι développers οι ίδιοι που κατανοούν τι χρειάζονται για να είναι επιτυχημένοι. Τέλος, δεν είναι μόνο μια πλατφόρμα. Είναι μια κοινότητα – μια όπου οι développers μπορούν να συνεργαστούν για να推 τις δυνατότητες της AI.

Η πλατφόρμα GenAI που έχετε αναπτύξει είναι μια σημαντική πρόοδος για τους développers που εργάζονται με μεγάλες γλωσσικές μοντέλα (LLM). Μπορείτε να εξηγήσετε τις μοναδικές λειτουργίες και τα πλεονεκτήματα της πλατφόρμας σας, ιδιαίτερα σε σύγκριση με τις υπάρχουσες λύσεις;

Η ολόκληρη προσέγγισή μας ως πλατφόρμας παραγωγής AI είναι μοναδική, αλλά κάποιες από τις καλύτερες λειτουργίες μας είναι:

Ευificent inference – Έχουμε σχεδιάσει την Fireworks AI για αποτελεσματικότητα και ταχύτητα. Οι développers που χρησιμοποιούν την πλατφόρμα μας μπορούν να τρέχουν τις εφαρμογές LLM με την ελάχιστη δυνατή καθυστέρηση και κόστος. Αυτό το επιτύχουμε με τις τελευταίες τεχνικές βελτιστοποίησης μοντέλου και υπηρεσιών, συμπεριλαμβανομένης της προσωρινής αποθήκευσης, της προσαρμόσιμης σπάσματος, της κβαντοποίησης, της συνεχούς δόσης, της FireAttention, και πολλά άλλα.

Προσιτή υποστήριξη για LoRA-προσαρμοσμένα μοντέλα – Προσφέρουμε προσιτή υπηρεσία προσαρμοσμένων μοντέλων LoRA μέσω πολυ-ενοικίασης σε βασικά μοντέλα. Αυτό σημαίνει ότι οι développers μπορούν να πειραματιστούν με πολλές διαφορετικές περιπτώσεις χρήσης ή παραλλαγές του ίδιου μοντέλου χωρίς να σπάσουν την τράπεζα.

Απλές διεπαφές και API – Οι διεπαφές και τα API μας είναι απλά και εύκολες για τους développers να ενσωματώσουν στις εφαρμογές τους. Τα API μας είναι επίσης συμβατά με το OpenAI για εύκολη μετανάστευση.

Ετοιμάσια μοντέλα και προσαρμοσμένα μοντέλα – Προσφέρουμε περισσότερα από 100 προ-εκπαιδευμένα μοντέλα που οι développers μπορούν να χρησιμοποιήσουν out-of-the-box. Καλύπτουμε τα καλύτερα LLM, μοντέλα γεννήτριας εικόνων, μοντέλα εμβυθύσεων, κ.λπ. Nhưng οι développers μπορούν επίσης να επιλέξουν να φιλοξενήσουν και να εξυπηρετήσουν τα δικά τους προσαρμοσμένα μοντέλα. Επίσης, προσφέρουμε υπηρεσίες αυτο-προσαρμογής για να βοηθήσουμε τους développers να προσαρμόσουν αυτά τα προσαρμοσμένα μοντέλα με τα δικά τους ιδιόκτητα δεδομένα.

Συνεργασία της κοινότητας: Πιστεύουμε στην ανοιχτή φιλοσοφία της συνεργασίας της κοινότητας. Η πλατφόρμα μας ενθαρρύνει (αλλά δεν απαιτεί) τους développers να μοιράζονται τα προσαρμοσμένα μοντέλα τους και να συνεισφέρουν σε μια αυξανόμενη τράπεζα πόρων και γνώσεων AI. Όλοι ωφελούνται από την αύξηση της коллекτικής μας εμπειρίας.

Μπορείτε να συζητήσετε την υβριδική προσέγγιση που προσφέρεται μεταξύ μοντέλου παραλληλισμού και δεδομένων παραλληλισμού;

Ο παραλληλισμός των μοντέλων μηχανικής μάθησης βελτιώνει την αποτελεσματικότητα και την ταχύτητα της εκπαίδευσης του μοντέλου και βοηθά τους développers να χειριστούν μεγαλύτερα μοντέλα που δεν μπορούν να επεξεργαστούν από一个人 GPU.

Ο παραλληλισμός του μοντέλου περιλαμβάνει τη διαίρεση του μοντέλου σε πολλά μέρη και την εκπαίδευση κάθε μέρους σε ξεχωριστούς επεξεργαστές. Από την άλλη πλευρά, ο παραλληλισμός των δεδομένων διαιρεί τα δεδομένα σε υποσύνολα και εκπαιδεύει το μοντέλο σε κάθε υποσύνολο ταυτόχρονα σε ξεχωριστούς επεξεργαστές. Eine υβριδική προσέγγιση συνδυάζει αυτές τις δύο μεθόδους. Τα μοντέλα διαιρούνται σε ξεχωριστά μέρη, τα οποία εκπαιδεύονται σε διαφορετικά υποσύνολα δεδομένων, βελτιώνοντας την αποτελεσματικότητα, την κλιμάκωση και την ευελιξία.

Η Fireworks AI χρησιμοποιείται από περισσότερους από 20.000 développers και εξυπηρετεί περισσότερα από 60 δισεκατομμύρια tokens ημερησίως. Ποια ήταν τα προκλήματα που αντιμετωπίσατε κατά την κλιμάκωση των λειτουργιών σας σε αυτό το επίπεδο και πώς τα ξεπεράσατε;

Θα είμαι ειλικρινής, υπήρξαν πολλά ψηλά βουνά να διασχίσω από τότε που ιδρύθηκε η Fireworks AI το 2022.

Οι πελάτες μας ήρθαν πρώτα σε μας αναζητώντας πολύ χαμηλή καθυστέρηση υποστήριξης επειδή κατασκευάζουν εφαρμογές για καταναλωτές, prosumers ή άλλους développers – όλες οι ακροατές που χρειάζονται γρήγορες λύσεις. Στη συνέχεια, όταν οι εφαρμογές των πελατών μας άρχισαν να κλιμακώνονται γρήγορα, συνειδητοποίησαν ότι δεν μπορούσαν να αντέξουν τα τυπικά κόστη που συνδέονται με αυτή την κλίμακα. Τότε, μας ζήτησαν να τους βοηθήσουμε να μειώσουμε το συνολικό κόστος ιδιοκτησίας (TCO), το οποίο κάναμε. Στη συνέχεια, οι πελάτες μας ήθελαν να μετεγκαταστήσουν από το OpenAI στα μοντέλα OSS και μας ζήτησαν να προσφέρουμε ποιότητα ίση ή ακόμη καλύτερη από το OpenAI. Το κάναμε αυτό επίσης.

Κάθε βήμα στην εξέλιξη του προϊόντος μας ήταν ένα δύσκολο πρόβλημα να αντιμετωπίσουμε, αλλά αυτό σήμαινε ότι οι ανάγκες των πελατών μας σχήμασαν πραγματικά την Fireworks σε αυτό που είναι σήμερα: μια αστραπιαία ταχύτητα inference μηχανή με χαμηλό TCO. Επίσης, προσφέρουμε μια ποικιλία από υψηλής ποιότητας, out-of-the-box μοντέλα για να επιλέξουν, ή υπηρεσίες προσαρμογής για τους développers να δημιουργήσουν τα δικά τους.

Με τις ταχύτατες προόδους στην AI και την машинική μάθηση, οι ηθικές σκέψεις είναι πιο σημαντικές από ποτέ. Πώς αντιμετωπίζει η Fireworks AI τις ανησυχίες που σχετίζονται με την προκατάληψη, την ιδιωτικότητα και την ηθική χρήση της AI;

Έχω δύο έφηβες κόρες που χρησιμοποιούν εφαρμογές genAI όπως το ChatGPT συχνά. Ως μητέρα, ανησυχώ για το ότι θα βρουν παραπλανητικό ή ακατάλληλο περιεχόμενο, επειδή η βιομηχανία είναι ακόμη στην αρχή της αντιμετώπισης του κρίσιμου προβλήματος της ασφάλειας του περιεχομένου. Η Meta κάνει πολλά με το έργο Purple Llama, και το Stability AI’s νέο SD3 modes είναι εξαιρετικά. Και οι δύο εταιρείες εργάζονται σκληρά για να φέρουν ασφάλεια στα νέα μοντέλα Llama3 και SD3 με πολλαπλά στρώματα φίλτρων. Το μοντέλο ασφάλειας εισόδου-εξόδου, Llama Guard, χρησιμοποιείται αρκετά στην πλατφόρμα μας, αλλά η υιοθέτησή του δεν είναι ακόμη σε παρόμοιο επίπεδο με άλλα LLM. Η βιομηχανία ως σύνολο έχει ακόμη πολύ δρόμο να διανύσει για να φέρει ασφάλεια του περιεχομένου και ηθική AI στο προσκήνιο.

Εμείς στην Fireworks φροντίζουμε πολύ για την ιδιωτικότητα και την ασφάλεια. Είμαστε HIPAA και SOC2 συμμορφωμένοι, και προσφέρουμε ασφαλή VPC και VPN σύνδεση. Οι εταιρείες εμπιστεύονται την Fireworks με τα ιδιόκτητα δεδομένα και μοντέλα τους για να χτίσουν το business moat τους.

Τι είναι η ορασή σας για το πώς η AI θα εξελιχθεί;

Όπως το AlphaGo έδειξε αυτονομία ενώ μάθαινε να παίζει σκάκι από μόνο του, πιστεύω ότι θα δούμε εφαρμογές genAI να γίνονται όλο και πιο αυτονομικές. Οι εφαρμογές θα διευθύνουν αυτόματα τις αιτήσεις προς το σωστό agent ή API για επεξεργασία, και θα διορθώσουν μέχρι να λάβουν την σωστή έξοδο. Και αντί να有一 μοντέλο που καλεί функциών από άλλα ως controller, θα δούμε περισσότερους αυτοοργανωμένους, αυτο-συντονισμένους agents που εργάζονται σε συμφωνία για να λύσουν προβλήματα.

Η αστραπιαία ταχύτητα inference, τα μοντέλα καλέσματος λειτουργιών και η υπηρεσία προσαρμογής της Fireworks έχουν ανοίξει το δρόμο για αυτή την πραγματικότητα. Τώρα είναι lên τους καινοτόμους développers να το κάνουν να συμβεί.

Ευχαριστώ για την υπέροχη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Fireworks AI.