Lin Qiao, CEO & Co-Founder of Fireworks AI – Interview Series

Ο Lin Qiao, ήταν πρώην επικεφαλής του Meta’s PyTorch και είναι ο συνιδρυτής και CEO της Fireworks AI. Fireworks AI είναι μια πλατφόρμα παραγωγής AI που κατασκευάζεται για τους développers, η Fireworks συνεργάζεται με τους κορυφαίους ερευνητές γενετικών AI του κόσμου για να εξυπηρετήσει τα καλύτερα μοντέλα, με τις ταχύτερες ταχύτητες. Η Fireworks AI raised πρόσφατα ένα $25M Series A.

Τι σας έκανε να ενδιαφερθείτε αρχικά για την επιστήμη των υπολογιστών;

Ο πατέρας μου ήταν ένας πολύ ανώτερος μηχανολόγος μηχανικός σε ένα ναυπηγείο, όπου κατασκεύαζε πλοία μεταφοράς εμπορευμάτων από το μηδέν. Από νεαρή ηλικία, έμαθα να διαβάζω τις ακριβείς γωνίες και μετρήσεις των σχεδίων πλοίων και μου άρεσε.

Ήμουν πολύ ενθουσιασμένος με τα STEM από το γυμνάσιο και μετά – όλα τα μαθηματικά, φυσική και χημεία τα κατέβηκα. Một από τις εργασίες μου στο λύκειο ήταν να μάθω προγραμματισμό BASIC, και έγραψα ένα παιχνίδι για μια φίδη που τρώει την ουρά της. Μετά από αυτό, ήξερα ότι η επιστήμη των υπολογιστών ήταν το μέλλον μου.

Κατά τη διάρκεια της θητείας σας στη Meta, ηγήθηκατε 300+ κορυφαίων μηχανικών σε πλαισια AI & πλατφόρμες όπου κατασκευάσατε και αναπτύξατε το Caffe2, και αργότερα το PyTorch. Ποια ήταν κάποια από τα βασικά συμπεράσματα από αυτή την εμπειρία;

Οι μεγάλες εταιρείες τεχνολογίας όπως η Meta είναι πάντα πέντε ή περισσότερα χρόνια μπροστά από την καμπύλη. Όταν εντάχθηκα στη Meta το 2015, βρίσκαμε στην αρχή του ταξιδιού μας στο AI – κάνουμε την μετάβαση από τους CPU σε GPU. Έπρεπε να σχεδιάσουμε την υποδομή AI από το μηδέν. Μοντέλα όπως το Caffe2 ήταν πρωτοποριακά όταν δημιουργήθηκαν, αλλά το AI εξελίχθηκε τόσο γρήγορα που γρήγορα παλιάσαν. Αναπτύξαμε το PyTorch και όλο το σύστημα γύρω του ως λύση.

Το PyTorch είναι όπου έμαθα για τα μεγαλύτερα εμπόδια που αντιμετωπίζουν οι développers στην κατασκευή AI. Η πρώτη πρόκληση είναι η εύρεση σταθερής και αξιόπιστης αρχιτεκτονικής μοντέλου που είναι χαμηλής καθυστέρησης και ευέλικτης, ώστε τα μοντέλα να μπορούν να κλιμακωθούν. Η δεύτερη πρόκληση είναι το συνολικό κόστος ιδιοκτησίας, ώστε οι εταιρείες να μην πτωχεύσουν προσπαθώντας να μεγαλώσουν τα μοντέλα τους.

Η θητεία μου στη Meta μου έδειξε πόσο σημαντικό είναι να διατηρήσουμε τα μοντέλα και τα πλαισια όπως το PyTorch ανοιχτά. Ενθαρρύνει την καινοτομία. Δεν θα είχαμε μεγαλώσει τόσο πολύ όσο είχαμε στο PyTorch χωρίς τις ευκαιρίες ανοιχτού κώδικα για επανάληψη. Επίσης, είναι αδύνατο να μείνουμε ενημερωμένοι για όλες τις τελευταίες έρευνες χωρίς συνεργασία.

Μπορείτε να συζητήσετε τι σας οδήγησε στο λάνσινγκ της Fireworks AI;

Έχω passed περισσότερα από 20 χρόνια στην βιομηχανία τεχνολογίας, και έχω δει κύματα μετά κύματα βιομηχανικών μετατοπισμών – από το cloud στα mobile apps. Nhưng αυτό το AI shift είναι μια πλήρης τεκτονική ανακατανομή. Είδα πολλές εταιρείες που αγωνίζονται με αυτή τη μεταβολή. Όλοι ήθελαν να κινηθούν γρήγορα και να τοποθετήσουν το AI πρώτα, αλλά έλειπαν η υποδομή, οι πόρων και το ταλέντο για να το κάνουν. Όσο περισσότερο μιλούσα με αυτές τις εταιρείες, τόσο περισσότερο συνειδητοποιούσα ότι θα μπορούσα να λύσω αυτό το κενό στην αγορά.

Λάνσαρα την Fireworks AI και για να λύσω αυτό το πρόβλημα και ως επέκταση του απίστευτου έργου που επιτεύχθηκε στο PyTorch. Ακόμη και έδωσε έμπνευση στο όνομά μας! Το PyTorch είναι το δαχτυλίδι που κρατάει τη φωτιά – αλλά θέλουμε αυτή τη φωτιά να εξαπλωθεί παντού. Έτσι: Fireworks.

Έχω πάντα ήταν ενθουσιασμένος με την δημοκρατικοποίηση της τεχνολογίας, και κάνωντας την προσιτή και απλή για τους développers να καινοτομούν ανεξάρτητα από τους πόρους τους. Για αυτό το λόγο έχουμε μια τόσο φιλική προς τον χρήστη διεπαφή και ισχυρά συστήματα υποστήριξης για να ενδυναμώσουμε τους κατασκευαστές να φέρουν τις οπτικές τους σε ζωή.

Μπορείτε να συζητήσετε τι είναι η developer centric AI και γιατί αυτό είναι τόσο σημαντικό;

Είναι απλό: «developer-centric» σημαίνει προτεραιότητα στις ανάγκες των développers AI. Για παράδειγμα: δημιουργώντας εργαλεία, κοινότητες και διαδικασίες που κάνουν τους développers πιο αποτελεσματικούς και αυτονομούς.

Η developer-centric AI πλατφόρμες όπως η Fireworks πρέπει να ενσωματωθούν στις υφιστάμενες ροές εργασίας και τεχνολογικές στοίβες. Πρέπει να κάνουν εύκολη την πειραματική διεργασία, να κάνουν λάθη και να βελτιώσουν την εργασία τους. Πρέπει να ενθαρρύνουν τις ανατροφοδοτήσεις, γιατί είναι οι développers οι ίδιοι που κατανοούν τι χρειάζονται για να είναι επιτυχημένοι. Τέλος, είναι περισσότερο από ένα απλό platform. Είναι μια κοινότητα – μια όπου οι développers μπορούν να συνεργαστούν για να ωθήσουν τα όρια του τι είναι δυνατό με το AI.

Η GenAI Platform που έχετε αναπτύξει είναι μια σημαντική πρόοδος για τους développers που εργάζονται με μεγάλες γλωσσικές μοντέλα (LLMs). Μπορείτε να επεκταθείτε στα μοναδικά χαρακτηριστικά και τα οφέλη της πλατφόρμας σας, ιδιαίτερα σε σύγκριση με τις υφιστάμενες λύσεις;

Η ολόκληρη προσέγγισή μας ως πλατφόρμας παραγωγής AI είναι μοναδική, αλλά κάποια από τα καλύτερα χαρακτηριστικά μας είναι:

Αποτελεσματική inference – Σχεδιάσαμε την Fireworks AI για αποτελεσματικότητα και ταχύτητα. Οι développers που χρησιμοποιούν την πλατφόρμα μας μπορούν να εκτελέσουν τις εφαρμογές LLM τους στην ελάχιστη δυνατή καθυστέρηση και κόστος. Αυτό το επιτυγχάνουμε με τις τελευταίες τεχνικές βελτιστοποίησης μοντέλου και υπηρεσιών, συμπεριλαμβανομένων των prompt caching, adaptable sharding, quantization, συνεχούς batching, FireAttention, και πολλά άλλα.

Προσιτή υποστήριξη για LoRA-tuned μοντέλα – Προσφέρουμε προσιτή υπηρεσία προσαρμοσμένων μοντέλων LoRA μέσω multi-tenancy σε βασικά μοντέλα. Αυτό σημαίνει ότι οι développers μπορούν να πειραματιστούν με πολλές διαφορετικές περιπτώσεις χρήσης ή παραλλαγές του ίδιου μοντέλου χωρίς να σπάσουν την τράπεζα.

Απλές διεπαφές και APIs – Οι διεπαφές και APIs μας είναι απλές και εύκολες για τους développers να τις ενσωματώσουν στις εφαρμογές τους. Τα APIs μας είναι επίσης OpenAI συμβατά για ευκολία μετανάστευσης.

Εκ του εργοστασίου μοντέλα και fine-tuned μοντέλα – Προσφέρουμε περισσότερα από 100 προ-εκπαιδευμένα μοντέλα που οι développers μπορούν να χρησιμοποιήσουν out-of-the-box. Καλύπτουμε τα καλύτερα LLMs, μοντέλα γεννήσεων εικόνων, μοντέλα ενσωμάτωσης, κ.λπ. Αλλά οι développers μπορούν επίσης να επιλέξουν να φιλοξενήσουν και να εξυπηρετήσουν τα δικά τους προσαρμοσμένα μοντέλα. Επίσης, προσφέρουμε υπηρεσίες self-serve fine-tuning για να βοηθήσουμε τους développers να προσαρμόσουν αυτά τα προσαρμοσμένα μοντέλα με τα δικά τους ιδιόκτητα δεδομένα.

Συνεργασία της κοινότητας: Πιστεύουμε στην ανοιχτή πηγή της συνεργασίας της κοινότητας. Η πλατφόρμα μας ενθαρρύνει (αλλά δεν απαιτεί) τους développers να μοιράζονται τα fine-tuned μοντέλα τους και να συνεισφέρουν σε μια αυξανόμενη τράπεζα περιουσιακών στοιχείων AI και γνώσεων. Όλοι ωφελούμαστε από την αύξηση της συλλογικής μας εμπειρογνωσίας.

Μπορείτε να συζητήσετε την υβριδική προσέγγιση που προσφέρεται μεταξύ μοντέλου παραλληλισμού και δεδομένων παραλληλισμού;

Ο παραλληλισμός των μοντέλων μηχανικής μάθησης βελτιώνει την αποτελεσματικότητα και την ταχύτητα της εκπαίδευσης του μοντέλου και βοηθά τους développers να χειριστούν μεγαλύτερα μοντέλα που δεν μπορούν να επεξεργαστούν ένας seul GPU.

Ο παραλληλισμός μοντέλου περιλαμβάνει τη διαίρεση ενός μοντέλου σε πολλά μέρη και την εκπαίδευση κάθε μέρους σε ξεχωριστούς επεξεργαστές. Από την άλλη πλευρά, ο παραλληλισμός δεδομένων διαιρεί τα δεδομένα σε υποσύνολα και εκπαιδεύει ένα μοντέλο σε κάθε υποσύνολο ταυτόχρονα σε ξεχωριστούς επεξεργαστές. Μια υβριδική προσέγγιση συνδυάζει αυτές τις δύο μεθόδους. Τα μοντέλα διαιρούνται σε ξεχωριστά μέρη, τα οποία εκπαιδεύονται σε διαφορετικά υποσύνολα δεδομένων, βελτιώνοντας την αποτελεσματικότητα, την κλιμάκωση και την ευελιξία.

Η Fireworks AI χρησιμοποιείται από περισσότερους από 20.000 développers και εξυπηρετεί目前 πάνω από 60 δισεκατομμύρια tokens καθημερινά. Ποια είναι τα προκλήματα που αντιμετωπίζετε στο να κλιμακώσετε τις επιχειρήσεις σας σε αυτό το επίπεδο, και πώς τα έχουν υπερβεί;

Θα είμαι ειλικρινής, υπάρχουν πολλά ψηλά βουνά για να διασχίσω από τότε που ιδρύθηκε η Fireworks AI το 2022.

Οι πελάτες μας ήρθαν πρώτα σε εμάς ψάχνοντας για πολύ χαμηλή καθυστέρηση υποστήριξης γιατί χτίζουν εφαρμογές για καταναλωτές, prosumers ή άλλους développers – όλες οι ακροατές που χρειάζονται γρήγορες λύσεις. Τότε, όταν οι εφαρμογές των πελατών μας άρχισαν να κλιμακώνονται γρήγορα, συνειδητοποίησαν ότι δεν μπορούσαν να αντέξουν τα τυπικά κόστη που συνδέονται με αυτή τη κλίμακα. Τότε, οι πελάτες μας ζήτησαν να τους βοηθήσουμε να μειώσουμε το συνολικό κόστος ιδιοκτησίας (TCO), το οποίο κάναμε. Τότε, οι πελάτες μας ήθελαν να μετανάστευσουν από το OpenAI στα OSS μοντέλα, και μας ζήτησαν να παρέχουμε ανάλογη ή ακόμη και καλύτερη ποιότητα από το OpenAI. Το κάναμε αυτό επίσης.

Κάθε βήμα στην εξέλιξη του προϊόντος μας ήταν ένα προκλητικό πρόβλημα για να λυθεί, αλλά σήμαινε ότι οι ανάγκες των πελατών μας σχήμασαν πραγματικά την Fireworks σε αυτό που είναι σήμερα: ένας inference κινητήρας με χαμηλή καθυστέρηση και χαμηλό TCO. Επίσης, προσφέρουμε και μια ποικιλία από υψηλής ποιότητας, out-of-the-box μοντέλα για να επιλέξουν, ή υπηρεσίες fine-tuning για τους développers να δημιουργήσουν τα δικά τους.

Με τις ταχύτατες προόδους στο AI και την μηχανική μάθηση, οι ηθικές σκέψεις είναι πιο σημαντικές από ποτέ. Πώς η Fireworks AI αντιμετωπίζει τις ανησυχίες σχετικά με την προκατάληψη, την ιδιωτικότητα και την ηθική χρήση του AI;

Έχω δύο κόρες εφηβικές που χρησιμοποιούν εφαρμογές genAI όπως το ChatGPT συχνά. Jako μια μαμά, ανησυχώ για το αν θα βρουν παραπλανητικό ή ακατάλληλο περιεχόμενο, γιατί η βιομηχανία μόλις αρχίζει να αντιμετωπίζει το κρίσιμο πρόβλημα της ασφάλειας του περιεχομένου. Η Meta κάνει πολλά με το Purple Llama project, και τα νέα SD3 modes της Stability AI είναι υπέροχα. Και οι δύο εταιρείες εργάζονται σκληρά για να φέρουν ασφάλεια στα νέα Llama3 και SD3 μοντέλα με πολλαπλά στρώματα φίλτρων. Το μοντέλο ασφάλειας εισόδου-εξόδου, Llama Guard, λαμβάνει μια καλή ποσότητα χρήσης στην πλατφόρμα μας, αλλά η υιοθέτησή του δεν είναι στο ίδιο επίπεδο με άλλα LLMs ακόμη. Η βιομηχανία ως σύνολο έχει ακόμη πολύ δρόμο να διανύσει για να φέρει ασφάλεια περιεχομένου και ηθική AI στο προσκήνιο.

Εμείς στην Fireworks φροντίζουμε πολύ για την ιδιωτικότητα και την ασφάλεια. Είμαστε HIPAA και SOC2 συμβατοί, και προσφέρουμε ασφαλή VPC και VPN σύνδεση. Οι εταιρείες εμπιστεύονται την Fireworks με τα ιδιόκτητα δεδομένα και μοντέλα τους για να χτίσουν το business moat τους.

Τι είναι η όρασή σας για το πώς το AI θα εξελιχθεί;

Όπως το AlphaGo απέδειξε αυτονομία ενώ μάθαινε να παίζει σκάκι από μόνο του, νομίζω ότι θα δούμε εφαρμογές genAI να γίνονται όλο και πιο αυτονομικές. Οι εφαρμογές θα κατευθύνουν αυτόματα αιτήματα στο σωστό agent ή API για επεξεργασία, και θα διορθώσουν μέχρι να λάβουν την σωστή έξοδο. Και αντί να有一 μοντέλο που καλεί μια συνάρτηση από άλλα ως controller, θα δούμε περισσότερους αυτοοργανωμένους, αυτοσυντονισμένους agents που εργάζονται σε συμφωνία για να λύσουν προβλήματα.

Η αστραπιαία inference, τα μοντέλα κλήσης συναρτήσεων και η υπηρεσία fine-tuning της Fireworks έχουν ανοίξει το δρόμο για αυτή την πραγματικότητα. Τώρα είναι στο χέρι των καινοτόμων développers να το κάνουν να συμβεί.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν Fireworks AI.