Lin Qiao, PDG et co-fondateur de Fireworks AI – Série d'interviews

Lin Qiao, était auparavant directeur de PyTorch de Meta et est co-fondateur et PDG de Fireworks AI. IA de feux d'artifice est une plate-forme d'IA de production conçue pour les développeurs. Fireworks s'associe aux plus grands chercheurs mondiaux en IA générative pour proposer les meilleurs modèles, aux vitesses les plus rapides. Fireworks AI a récemment soulevé un 25 M $ Série A.

Qu'est-ce qui vous a d'abord attiré vers l'informatique ?

Mon père était un ingénieur mécanique très expérimenté dans un chantier naval, où il construisait des cargos à partir de zéro. Dès mon plus jeune âge, j'ai appris à lire les angles et les mesures précis des plans des navires, et j'ai adoré ça.

J'étais très passionné par les STEM dès le collège – tout ce que je dévorais en mathématiques, en physique et en chimie. L'un de mes devoirs au lycée consistait à apprendre la programmation BASIC et j'ai codé un jeu sur un serpent qui se mangeait la queue. Après cela, j’ai su que l’informatique était mon avenir.

Chez Meta, vous avez dirigé plus de 300 ingénieurs de classe mondiale dans les cadres et plates-formes d'IA où vous avez construit et déployé Caffe2, puis PyTorch. Quels ont été les principaux enseignements que vous avez tirés de cette expérience ?

Les grandes entreprises technologiques comme Meta ont toujours cinq ans ou plus d’avance. Lorsque j'ai rejoint Meta en 2015, nous étions au début de notre parcours vers l'IA : passer des CPU aux GPU. Nous avons dû concevoir l’infrastructure de l’IA à partir de zéro. Des modèles comme Caffe2 étaient révolutionnaires lors de leur création, mais l’IA a évolué si vite qu’ils sont rapidement devenus obsolètes. Nous avons développé PyTorch et l'ensemble du système qui l'entoure comme solution.

C'est avec PyTorch que j'ai découvert les plus grands obstacles auxquels les développeurs sont confrontés dans la course à la création de l'IA. Le premier défi consiste à trouver une architecture de modèle stable et fiable, à faible latence et flexible afin que les modèles puissent évoluer. Le deuxième défi est le coût total de possession, afin que les entreprises ne fassent pas faillite en essayant de développer leurs modèles.

Mon passage chez Meta m'a montré à quel point il est important de conserver des modèles et des frameworks comme PyTorch open source. Cela encourage l’innovation. Nous n'aurions pas grandi autant que chez PyTorch sans les opportunités d'itération open source. De plus, il est impossible de se tenir au courant de toutes les dernières recherches sans collaboration.

Pouvez-vous nous expliquer ce qui vous a amené à lancer Fireworks AI ?

Je travaille dans l'industrie technologique depuis plus de 20 ans et j'ai été témoin de vagues après vagues de changements au niveau de l'industrie, du cloud aux applications mobiles. Mais ce changement d’IA constitue un réalignement tectonique complet. J'ai vu de nombreuses entreprises aux prises avec ce changement. Tout le monde voulait aller vite et donner la priorité à l’IA, mais il leur manquait l’infrastructure, les ressources et le talent pour y parvenir. Plus je discutais avec ces entreprises, plus je réalisais que je pouvais combler cette lacune du marché.

J'ai lancé Fireworks AI à la fois pour résoudre ce problème et pour servir d'extension au travail incroyable que nous avons réalisé chez PyTorch. Cela a même inspiré notre nom ! PyTorch est le flambeau qui tient le feu, mais nous voulons que ce feu se propage partout. D'où : feux d'artifice.

J'ai toujours été passionné par la démocratisation de la technologie et par la nécessité de permettre aux développeurs d'innover à un prix abordable et simple, quelles que soient leurs ressources. C'est pourquoi nous disposons d'une interface si conviviale et de systèmes d'assistance solides pour permettre aux constructeurs de donner vie à leurs visions.

Pourriez-vous nous expliquer ce qu'est l'IA centrée sur les développeurs et pourquoi elle est si importante ?

C'est simple : « centré sur les développeurs » signifie donner la priorité aux besoins des développeurs d'IA. Par exemple : créer des outils, des communautés et des processus qui rendent les développeurs plus efficaces et autonomes.

Les plates-formes d'IA centrées sur les développeurs comme Fireworks devraient s'intégrer aux flux de travail et aux piles technologiques existants. Ils devraient permettre aux développeurs d’expérimenter, de commettre des erreurs et d’améliorer facilement leur travail. Ils devraient encourager les commentaires, car ce sont les développeurs eux-mêmes qui comprennent ce dont ils ont besoin pour réussir. Enfin, il ne s’agit pas simplement d’être une plateforme. Il s'agit d'être une communauté, une communauté où les développeurs collaborant peuvent repousser les limites de ce qui est possible avec l'IA.

La plateforme GenAI que vous avez développée constitue une avancée significative pour les développeurs travaillant avec des modèles de langage étendus (LLM). Pouvez-vous détailler les fonctionnalités et les avantages uniques de votre plateforme, notamment par rapport aux solutions existantes ?

L'ensemble de notre approche en tant que plate-forme de production d'IA est unique, mais certaines de nos meilleures fonctionnalités sont :

Inférence efficace – Nous avons conçu Fireworks AI pour plus d’efficacité et de rapidité. Les développeurs utilisant notre plateforme peuvent exécuter leurs applications LLM avec la latence et le coût les plus bas possibles. Nous y parvenons grâce aux dernières techniques d'optimisation des modèles et des services, notamment la mise en cache rapide, le partitionnement adaptable, la quantification, le traitement par lots continu, FireAttention, etc.

Prise en charge abordable des modèles optimisés par LoRA – Nous proposons un service abordable de modèles optimisés d'adaptation de bas rang (LoRA) via une multilocation sur les modèles de base. Cela signifie que les développeurs peuvent expérimenter de nombreux cas d'utilisation ou variantes différents sur le même modèle sans se ruiner.

Interfaces et API simples – Nos interfaces et API sont simples et faciles à intégrer pour les développeurs dans leurs applications. Nos API sont également compatibles OpenAI pour faciliter la migration.

Modèles prêts à l'emploi et modèles affinés – Nous proposons plus de 100 modèles pré-entraînés que les développeurs peuvent utiliser immédiatement. Nous couvrons les meilleurs LLM, modèles de génération d'images, modèles d'intégration, etc. Mais les développeurs peuvent également choisir d'héberger et de servir leurs propres modèles personnalisés. Nous proposons également des services de réglage fin en libre-service pour aider les développeurs à adapter ces modèles personnalisés avec leurs données propriétaires.

Collaboration communautaire : nous croyons en la philosophie open source de la collaboration communautaire. Notre plateforme encourage (mais n'oblige pas) les développeurs à partager leurs modèles affinés et à contribuer à une banque croissante d'actifs et de connaissances en matière d'IA. Tout le monde profite du développement de notre expertise collective.

Pourriez-vous discuter de l’approche hybride proposée entre le parallélisme des modèles et le parallélisme des données ?

La parallélisation des modèles d'apprentissage automatique améliore l'efficacité et la rapidité de la formation des modèles et aide les développeurs à gérer des modèles plus volumineux qu'un seul GPU ne peut pas traiter.

Le parallélisme des modèles implique de diviser un modèle en plusieurs parties et de former chaque partie sur des processeurs distincts. D'un autre côté, le parallélisme des données divise les ensembles de données en sous-ensembles et entraîne simultanément un modèle sur chaque sous-ensemble sur des processeurs distincts. Une approche hybride combine ces deux méthodes. Les modèles sont divisés en parties distinctes, chacune formée sur différents sous-ensembles de données, améliorant ainsi l'efficacité, l'évolutivité et la flexibilité.

Fireworks AI est utilisé par plus de 20,000 60 développeurs et gère actuellement plus de XNUMX milliards de jetons par jour. Quels défis avez-vous rencontrés pour porter vos opérations à ce niveau, et comment les avez-vous surmontés ?

Je vais être honnête, il y a eu de nombreuses hautes montagnes à traverser depuis que nous avons fondé Fireworks AI en 2022.

Nos clients nous ont d'abord contactés à la recherche d'un support à très faible latence, car ils créent des applications pour les consommateurs, les prosommateurs ou d'autres développeurs, tous des publics qui ont besoin de solutions rapides. Puis, lorsque les applications de nos clients ont commencé à évoluer rapidement, ils ont réalisé qu'ils ne pouvaient pas se permettre les coûts typiques associés à cette évolution. Ils nous ont ensuite demandé de les aider à réduire le coût total de possession (TCO), ce que nous avons fait. Ensuite, nos clients ont souhaité migrer d'OpenAI vers les modèles OSS, et ils nous ont demandé de fournir une qualité équivalente, voire supérieure, à celle d'OpenAI. Nous avons également réalisé cela.

Chaque étape de l'évolution de notre produit était un problème difficile à résoudre, mais cela signifiait que les besoins de nos clients ont véritablement façonné Fireworks pour devenir ce qu'il est aujourd'hui : un moteur d'inférence ultra-rapide avec un faible TCO. De plus, nous proposons à la fois un assortiment de modèles prêts à l'emploi de haute qualité parmi lesquels choisir, ou des services de réglage fin permettant aux développeurs de créer les leurs.

Avec les progrès rapides de l’IA et de l’apprentissage automatique, les considérations éthiques sont plus importantes que jamais. Comment Fireworks AI répond-il aux préoccupations liées aux préjugés, à la confidentialité et à l’utilisation éthique de l’IA ?

J'ai deux filles adolescentes qui utilisent souvent des applications genAI comme ChatGPT. En tant que mère, je crains qu'ils ne trouvent du contenu trompeur ou inapproprié, car l'industrie commence tout juste à s'attaquer au problème critique de la sécurité du contenu. Meta fait beaucoup avec le projet Purple Llama, et les nouveaux modes SD3 de Stability AI sont excellents. Les deux sociétés travaillent dur pour assurer la sécurité de leurs nouveaux modèles Llama3 et SD3 dotés de plusieurs couches de filtres. Le modèle de sauvegarde des entrées-sorties, Llama Guard, est largement utilisé sur notre plate-forme, mais son adoption n'est pas encore comparable à celle des autres LLM. L’industrie dans son ensemble a encore un long chemin à parcourir pour mettre la sécurité des contenus et l’éthique de l’IA au premier plan.

Chez Fireworks, nous nous soucions profondément de la confidentialité et de la sécurité. Nous sommes conformes aux normes HIPAA et SOC2 et proposons une connectivité VPC et VPN sécurisée. Les entreprises font confiance à Fireworks avec leurs données et modèles exclusifs pour construire leur avantage commercial.

Quelle est votre vision de l’évolution de l’IA ?

Tout comme AlphaGo a démontré son autonomie en apprenant à jouer aux échecs par lui-même, je pense que nous verrons les applications genAI devenir de plus en plus autonomes. Les applications achemineront et dirigeront automatiquement les demandes vers le bon agent ou l'API à traiter, et corrigeront le cours jusqu'à ce qu'elles récupèrent le bon résultat. Et au lieu d'un modèle d'appel de fonctions interrogeant les autres en tant que contrôleur, nous verrons davantage d'agents auto-organisés et auto-coordonnés travailler à l'unisson pour résoudre les problèmes.

L'inférence ultra-rapide, les modèles d'appel de fonctions et le service de réglage fin de Fireworks ont ouvert la voie à cette réalité. C'est désormais aux développeurs innovants de réaliser cet objectif.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter IA de feux d'artifice.