entrevistes
Lin Qiao, director general i cofundador de Fireworks AI – Entrevistes
Lin Qiao, abans era el cap de PyTorch de Meta i és el cofundador i CEO de Fireworks AI. IA de focs artificials és una plataforma d'IA de producció creada per a desenvolupadors, Fireworks s'associa amb els principals investigadors d'IA generativa del món per servir els millors models, a les velocitats més ràpides. Fireworks AI ha plantejat recentment a 25 milions de dòlars Sèrie A.
Què et va atraure inicialment de la informàtica?
El meu pare era un enginyer mecànic molt superior en una drassana, on va construir vaixells de càrrega des de zero. Des de petit, vaig aprendre a llegir els angles i les mesures precises dels plànols dels vaixells, i em va encantar.
Des de l'escola secundària m'agradava molt STEM, tot el que vaig devorar en matemàtiques, física i química. Una de les meves tasques de secundària era aprendre programació BÀSICA, i vaig codificar un joc sobre una serp que es menjava la cua. Després d'això, vaig saber que la informàtica estava en el meu futur.
Mentre vas a Meta, vas dirigir més de 300 enginyers de classe mundial en marcs i plataformes d'IA on vas crear i desplegar Caffe2, i més tard PyTorch. Quines van ser algunes de les teves principals conclusions d'aquesta experiència?
Les grans empreses tecnològiques com Meta sempre estan cinc anys o més per davant de la corba. Quan em vaig unir a Meta l'any 2015, estàvem al començament del nostre viatge en IA, fent el canvi de les CPU a les GPU. Vam haver de dissenyar una infraestructura d'IA des de zero. Models com Caffe2 van ser innovadors quan es van crear, però la IA va evolucionar tan ràpidament que ràpidament es va quedar obsolet. Hem desenvolupat PyTorch i tot el sistema que l'envolta com a solució.
PyTorch és on vaig conèixer els obstacles més importants als quals s'enfronten els desenvolupadors en la carrera per construir IA. El primer repte és trobar una arquitectura de model estable i fiable, de baixa latència i flexible perquè els models puguin escalar. El segon repte és el cost total de propietat, de manera que les empreses no es fan fallida intentant fer créixer els seus models.
El meu temps a Meta em va mostrar com d'important és mantenir models i marcs com PyTorch de codi obert. Fomenta la innovació. No hauríem crescut tant com teníem a PyTorch sense oportunitats de codi obert per a la iteració. A més, és impossible estar al dia de totes les darreres investigacions sense col·laboració.
Pots discutir què et va portar a llançar Fireworks AI?
Fa més de 20 anys que estic a la indústria de la tecnologia i he vist onades rere onades de canvis a nivell de la indústria, des del núvol a les aplicacions mòbils. Però aquest canvi de la IA és un reajustament tectònic complet. Vaig veure moltes empreses lluitant amb aquest canvi. Tothom volia avançar ràpidament i posar la IA en primer lloc, però no tenien la infraestructura, els recursos i el talent per fer-ho realitat. Com més parlava amb aquestes empreses, més em vaig adonar que podia resoldre aquest buit al mercat.
Vaig llançar Fireworks AI tant per resoldre aquest problema com per servir com a extensió de l'increïble treball que vam aconseguir a PyTorch. Fins i tot va inspirar el nostre nom! PyTorch és la torxa que aguanta el foc, però volem que el foc s'escampi per tot arreu. D'aquí: focs artificials.
Sempre m'ha apassionat democratitzar la tecnologia i fer que sigui assequible i senzill per als desenvolupadors per innovar independentment dels seus recursos. És per això que tenim una interfície tan fàcil d'utilitzar i sistemes de suport sòlids que permeten als constructors donar vida a les seves visions.
Podríeu discutir què és la IA centrada en el desenvolupador i per què és tan important?
És senzill: "cèntric en el desenvolupador" vol dir prioritzar les necessitats dels desenvolupadors d'IA. Per exemple: crear eines, comunitats i processos que facin que els desenvolupadors siguin més eficients i autònoms.
Les plataformes d'IA centrades en els desenvolupadors com Fireworks s'han d'integrar als fluxos de treball i a les piles tecnològiques existents. Haurien de facilitar que els desenvolupadors experimentin, cometin errors i millorin el seu treball. Haurien de fomentar els comentaris, perquè els seus propis desenvolupadors entenen el que necessiten per tenir èxit. Finalment, es tracta de més que ser una plataforma. Es tracta de ser una comunitat, una on els desenvolupadors col·laboradors poden superar els límits del que és possible amb la IA.
La plataforma GenAI que heu desenvolupat és un avenç significatiu per als desenvolupadors que treballen amb grans models de llenguatge (LLM). Pots detallar les característiques i els avantatges únics de la teva plataforma, especialment en comparació amb les solucions existents?
Tot el nostre enfocament com a plataforma de producció d'IA és únic, però algunes de les nostres millors característiques són:
Inferència eficient: hem dissenyat Fireworks AI per a l'eficiència i la velocitat. Els desenvolupadors que utilitzen la nostra plataforma poden executar les seves aplicacions LLM amb la latència i el cost més baixos possibles. Ho aconseguim amb les últimes tècniques d'optimització de models i serveis, com ara memòria cau ràpida, fragmentació adaptable, quantificació, lots continus, FireAttention i molt més.
Suport assequible per als models ajustats a LoRA: oferim un servei assequible de models ajustats d'adaptació de rang baix (LoRA) mitjançant l'arrendament múltiple en models bàsics. Això significa que els desenvolupadors poden experimentar amb molts casos d'ús o variacions diferents en el mateix model sense trencar el banc.
Interfícies i API simples: les nostres interfícies i API són senzilles i fàcils d'integrar per als desenvolupadors a les seves aplicacions. Les nostres API també són compatibles amb OpenAI per facilitar la migració.
Models comercials i models afinats: oferim més de 100 models pre-entrenats que els desenvolupadors poden utilitzar de manera immediata. Cobrim els millors LLM, models de generació d'imatges, models d'inserció, etc. Però els desenvolupadors també poden optar per allotjar i oferir els seus propis models personalitzats. També oferim serveis d'ajustament d'autoservei per ajudar els desenvolupadors a adaptar aquests models personalitzats amb les seves dades de propietat.
Col·laboració comunitària: creiem en l'ètica de codi obert de la col·laboració comunitària. La nostra plataforma anima (però no requereix) els desenvolupadors a compartir els seus models afinats i contribuir a un banc creixent d'actius i coneixements d'IA. Tothom es beneficia de fer créixer la nostra experiència col·lectiva.
Podríeu discutir l'enfocament híbrid que s'ofereix entre el paral·lelisme de models i el paral·lelisme de dades?
El paral·lelització dels models d'aprenentatge automàtic millora l'eficiència i la velocitat de la formació de models i ajuda els desenvolupadors a gestionar models més grans que una sola GPU no pot processar.
El paral·lelisme de models implica dividir un model en diverses parts i entrenar cada part en processadors separats. D'altra banda, el paral·lelisme de dades divideix conjunts de dades en subconjunts i entrena un model a cada subconjunt alhora a través de processadors separats. Un enfocament híbrid combina aquests dos mètodes. Els models es divideixen en parts separades, cadascuna entrenada en diferents subconjunts de dades, millorant l'eficiència, l'escalabilitat i la flexibilitat.
Fireworks AI és utilitzat per més de 20,000 desenvolupadors i actualment ofereix més de 60 mil milions de fitxes diaris. Quins reptes t'has enfrontat per escalar les teves operacions a aquest nivell i com els has superat?
Seré sincer, hi ha hagut moltes muntanyes altes per creuar des que vam fundar Fireworks AI el 2022.
Els nostres clients van venir a nosaltres per primera vegada buscant assistència amb una latència molt baixa perquè estan creant aplicacions per a consumidors, prosumidors o altres desenvolupadors, tots els públics que necessiten solucions ràpides. Aleshores, quan les aplicacions dels nostres clients van començar a escalar ràpidament, es van adonar que no es podien permetre els costos típics associats amb aquesta escala. Després ens van demanar que ajudéssim a reduir el cost total de propietat (TCO), cosa que vam fer. Aleshores, els nostres clients volien migrar d'OpenAI als models OSS i ens van demanar que proporcionéssim una qualitat igual o fins i tot millor que OpenAI. També ho hem fet possible.
Cada pas de l'evolució del nostre producte va ser un problema difícil d'abordar, però va significar que les necessitats dels nostres clients van donar forma realment a Fireworks en el que és avui: un motor d'inferència ràpid amb un baix TCO. A més, oferim tant un assortiment de models d'alta qualitat i d'alta qualitat per triar, com també serveis d'ajustament perquè els desenvolupadors creïn els seus.
Amb els ràpids avenços en IA i aprenentatge automàtic, les consideracions ètiques són més importants que mai. Com aborda Fireworks AI les preocupacions relacionades amb el biaix, la privadesa i l'ús ètic de la IA?
Tinc dues filles adolescents que utilitzen sovint aplicacions genAI com ChatGPT. Com a mare, em preocupa que trobin contingut enganyós o inadequat, perquè la indústria tot just comença a abordar el problema crític de la seguretat del contingut. Meta està fent molt amb el projecte Purple Llama i els nous modes SD3 de Stability AI són fantàstics. Ambdues empreses estan treballant dur per oferir seguretat als seus nous models Llama3 i SD3 amb múltiples capes de filtres. El model de salvaguarda d'entrada-sortida, Llama Guard, té una bona quantitat d'ús a la nostra plataforma, però la seva adopció encara no està a l'alçada d'altres LLM. La indústria en el seu conjunt encara té un llarg camí per recórrer per posar la seguretat del contingut i l'ètica de la IA al primer pla.
A Fireworks ens preocupem molt per la privadesa i la seguretat. Comptem amb HIPAA i SOC2 i oferim connectivitat VPC i VPN segura. Les empreses confien en Fireworks amb les seves dades i models propietaris per construir el seu foss comercial.
Quina és la teva visió de com evolucionarà la IA?
De la mateixa manera que AlphaGo va demostrar autonomia mentre aprenia a jugar als escacs per si mateix, crec que veurem que les aplicacions genAI es fan cada cop més autònomes. Les aplicacions encaminaran i dirigiran automàticament les sol·licituds a l'agent o a l'API adequats per processar-les i corregir el curs fins que recuperin la sortida correcta. I en comptes d'un model de trucada de funció que enquesti els altres com a controlador, veurem més agents autoorganitzats i autocoordinats treballant a l'uníson per resoldre problemes.
La inferència ràpida del llamp de Fireworks, els models de trucada de funcions i el servei d'ajustament fi han obrir el camí cap a aquesta realitat. Ara depèn dels desenvolupadors innovadors fer-ho realitat.
Gràcies per la gran entrevista, els lectors que vulguin aprendre més haurien de visitar IA de focs artificials.
