Lin Qiao, CEO & Co-Founder of Fireworks AI – Interviuri Seriale

Lin Qiao a fost anterior șef al Meta’s PyTorch și este co-fondator și CEO al Fireworks AI. Fireworks AI este o platformă de producție AI destinată dezvoltatorilor, Fireworks se asociază cu cei mai importanți cercetători de inteligență artificială generativă din lume pentru a oferi cele mai bune modele, la vitezele cele mai rapide. Fireworks AI a strâns recent o $25M Series A.

Ce v-a atras inițial spre știința calculatoarelor?

Tatăl meu a fost un inginer mecanic foarte senior la o șantier naval, unde a construit nave de marfă de la zero. De la o vârstă fragedă, am învățat să citesc unghiurile și măsurătorile precise ale planurilor de nave, și mi-a plăcut.

Am fost foarte interesat de științe, tehnologie, inginerie și matematică (STEM) din mijlocul școlii gimnaziale înainte – totul legat de matematică, fizică și chimie l-am devorat. Una dintre sarcinile mele de la școala generală a fost să învăț programarea în BASIC, și am codat un joc despre o șarpe care-și mânca coada. După aceea, știam că știința calculatoarelor va fi în viitorul meu.

În timp ce erai la Meta, ai condus peste 300 de ingineri de clasă mondială în cadrul AI frameworks & platforms, unde ai construit și implementat Caffe2, și mai târziu PyTorch. Care au fost câteva dintre principalele concluzii pe care le-ai tras din această experiență?

Companiile mari de tehnologie, cum ar fi Meta, sunt întotdeauna cu cinci sau mai mulți ani înainte de curbă. Când m-am alăturat Meta în 2015, eram la începutul călătoriei noastre cu AI – făcând trecerea de la procesoarele CPU la procesoarele GPU. Trebuia să proiectăm infrastructura de AI de la zero. Modele precum Caffe2 au fost revoluționare atunci când au fost create, dar AI a evoluat atât de repede încât au devenit rapid învechite. Am dezvoltat PyTorch și întregul sistem în jurul lui ca soluție.

PyTorch este locul unde am învățat despre cele mai mari obstacole cu care se confruntă dezvoltatorii în cursa de a construi AI. Prima provocare este găsirea unei arhitecturi de model stabil și fiabil care să fie cu latență scăzută și flexibilă, astfel încât modelele să poată scala. A doua provocare este costul total de proprietate, astfel încât companiile să nu falimenteze încercând să-și crească modelele.

Timpul meu la Meta mi-a arătat cât de important este să păstrăm modele și cadre precum PyTorch deschise. Încurajează inovarea. Nu am fi putut crește atât de mult la PyTorch fără oportunitățile deschise de iterare. În plus, este imposibil să ținem pasul cu toate cercetările recente fără colaborare.

Puteți discuta ce v-a condus la lansarea Fireworks AI?

Am fost în industria tehnologiei de peste 20 de ani și am văzut val după val de schimbări la nivel de industrie – de la cloud la aplicații mobile. Dar această schimbare a inteligenței artificiale este o realiniere tectonică completă. Am văzut multe companii care se luptă cu această schimbare. Toată lumea voia să se miște rapid și să pună AI-ul pe primul loc, dar le lipseau infrastructura, resursele și talentele pentru a face acest lucru. Cu cât vorbeam mai mult cu aceste companii, cu atât mai mult realizam că pot rezolva această lacună de pe piață.

Am lansat Fireworks AI atât pentru a rezolva această problemă, cât și pentru a fi o extensie a muncii incredibile pe care am realizat-o la PyTorch. A inspirat chiar și numele nostru! PyTorch este torța care ține focul – dar vrem ca acest foc să se răspândească peste tot. De aceea: Fireworks.

Am fost întotdeauna pasionat de democratizarea tehnologiei și de a face ca aceasta să fie accesibilă și simplă pentru dezvoltatori pentru a inova, indiferent de resursele lor. De aceea avem o interfață atât de prietenoasă și sisteme de suport puternice pentru a împuternici constructorii să-și aducă viziunile la viață.

Puteți discuta ce este inteligența artificială centrată pe dezvoltator și de ce este atât de importantă?

Este simplu: “centrată pe dezvoltator” înseamnă prioritizarea nevoilor dezvoltatorilor de AI. De exemplu: crearea de unelte, comunități și procese care fac dezvoltatorii mai eficienți și autonomi.

Platformele de inteligență artificială centrate pe dezvoltator, cum ar fi Fireworks, ar trebui să se integreze în fluxurile de lucru și stivele tehnologice existente. Ar trebui să facă simplu pentru dezvoltatori să experimenteze, să facă greșeli și să-și îmbunătățească munca. Ar trebui să încurajeze feedback-ul, deoarece sunt dezvoltatorii înșiși care înțeleg ce au nevoie pentru a fi de succes. În cele din urmă, este vorba despre mai mult decât doar o platformă. Este vorba despre a fi o comunitate – una în care dezvoltatorii care colaborează pot împinge limitele a ceea ce este posibil cu AI.

Platforma GenAI pe care ați dezvoltat-o este o avansare semnificativă pentru dezvoltatorii care lucrează cu modele de limbaj mare (LLM). Puteți discuta despre caracteristicile și beneficiile unice ale platformei dvs., în special în comparație cu soluțiile existente?

Abordarea noastră generală ca platformă de producție AI este unică, dar unele dintre cele mai bune caracteristici ale noastre sunt:

Inferență eficientă – Am proiectat Fireworks AI pentru eficiență și viteză. Dezvoltatorii care utilizează platforma noastră pot rula aplicațiile lor LLM la cea mai mică latență și cost posibil. Realizăm acest lucru cu cele mai recente tehnici de optimizare a modelului și a serviciului, inclusiv caching-ul prompt, sharding-ul adaptabil, cuantificarea, batch-urile continue, FireAttention și multe altele.

Suport accesibil pentru modele LoRA-tune – Oferta noastră include servicii de modele LoRA-tune (adaptare de rang mic) la prețuri accesibile prin multi-locare pe modele de bază. Acest lucru înseamnă că dezvoltatorii pot experimenta cu multe cazuri de utilizare diferite sau variații ale aceluiași model fără a ruina banca.

Interfețe și API-uri simple – Interfețele și API-urile noastre sunt straightforward și ușor de integrat în aplicațiile dezvoltatorilor. API-urile noastre sunt, de asemenea, compatibile cu OpenAI pentru a facilita migrarea.

Modele pre-antrenate și fine-tune – Oferta noastră include peste 100 de modele pre-antrenate pe care dezvoltatorii le pot utiliza direct. Acoperim cele mai bune LLM, modele de generare de imagini, modele de încorporare și multe altele. Dar dezvoltatorii pot alege, de asemenea, să găzduiască și să servească propriile modele personalizate. De asemenea, oferim servicii de fine-tuning auto pentru a ajuta dezvoltatorii să-și personalizeze aceste modele cu datele lor exclusive.

Colaborare comunitară: Credem în etosul deschis al colaborării comunitare. Platforma noastră încurajează (dar nu necesită) dezvoltatorii să-și partajeze modelele fine-tune și să contribuie la o bancă în creștere de active și cunoștințe AI. Toată lumea beneficiază de creșterea expertizei noastre colective.

Puteți discuta abordarea hibridă oferită între paralelismul modelului și paralelismul datelor?

Paralelizarea modelelor de învățare automată îmbunătățește eficiența și viteza antrenării modelului și ajută dezvoltatorii să gestioneze modele mai mari pe care un singur GPU nu le poate procesa.

Paralelismul modelului implică împărțirea unui model în mai multe părți și antrenarea fiecărei părți pe procesoare separate. Pe de altă parte, paralelismul datelor implică împărțirea seturilor de date în subseturi și antrenarea unui model pe fiecare subset în același timp, pe procesoare separate. O abordare hibridă combină aceste două metode. Modelele sunt împărțite în părți separate, care sunt antrenate pe subseturi diferite de date, îmbunătățind eficiența, scalabilitatea și flexibilitatea.

Fireworks AI este utilizat de peste 20.000 de dezvoltatori și deservește în prezent peste 60 de miliarde de tokeni zilnic. Care au fost provocările pe care le-ați întâmpinat în scalarea operațiunilor la acest nivel și cum le-ați depășit?

Sunt sincer, au fost multe munți înalți de traversat de când am fondat Fireworks AI în 2022.

Clienții noștri au venit inițial la noi în căutarea unui suport cu latență foarte scăzută, deoarece construiau aplicații pentru consumatori, prosumatori sau alți dezvoltatori – toate audiențele care au nevoie de soluții rapide. Apoi, când aplicațiile clienților noștri au început să se scaleze rapid, au realizat că nu-și pot permite costurile asociate cu această scală. Au cerut apoi să ne ajutăm la reducerea costului total de proprietate (TCO), ceea ce am și făcut. Apoi, clienții noștri au dorit să migreze de la OpenAI la modele OSS, și ne-au cerut să oferim calitate similară sau chiar mai bună decât OpenAI. Am și făcut acest lucru.

Fiecare pas în evoluția produsului nostru a fost o problemă dificilă de abordat, dar a însemnat că nevoile clienților noștri au modelat cu adevărat Fireworks în ceea ce este astăzi: un motor de inferență rapid cu TCO scăzut. În plus, oferim o gamă de modele de înaltă calitate, gata de utilizare, pentru a alege, sau servicii de fine-tuning pentru ca dezvoltatorii să-și creeze propriile modele.

Cu avansările rapide în AI și învățarea automată, considerațiile etice sunt mai importante ca niciodată. Cum abordează Fireworks AI preocupările legate de prejudecăți, confidențialitate și utilizarea etică a AI?

Am două fiice adolescente care folosesc aplicații genAI, cum ar fi ChatGPT, des. Ca mamă, mă îngrijorez că pot găsi conținut înșelător sau inadecvat, deoarece industria abia începe să abordeze problema critică a siguranței conținutului. Meta face multe lucruri cu proiectul Purple Llama, și noul mod SD3 de la Stability AI este minunat. Ambele companii lucrează din greu pentru a aduce siguranță noilor modele Llama3 și SD3, cu multiple straturi de filtre. Modelul de siguranță input-output, Llama Guard, primește o utilizare bună pe platforma noastră, dar adoptarea sa nu este la fel de mare ca cea a altor LLM. Industria în ansamblu are încă mult de muncă pentru a aduce siguranța conținutului și etica AI în prim-plan.

Noi, la Fireworks, ne pasă foarte mult de confidențialitate și securitate. Suntem conformi cu HIPAA și SOC2, și oferim conectivitate VPC și VPN securizată. Companiile ne încredințează datele și modelele lor exclusive pentru a-și construi avantajul competitiv.

Care este viziunea dvs. pentru evoluția inteligenței artificiale?

La fel cum AlphaGo a demonstrat autonomie în timp ce învăța să joace șah singur, cred că vom vedea aplicații genAI care devin din ce în ce mai autonome. Aplicațiile vor direcționa automat și vor redirecționa cererile către agentul sau API-ul potrivit pentru a procesa, și vor corecta cursul până vor obține output-ul corect. Și, în loc de un model care apelează funcții și sondează de la altele ca un controlor, vom vedea mai mulți agenți auto-organizați, auto-coordonati, lucrând în armonie pentru a rezolva probleme.

Fireworks’ inferență rapidă, modelele care apelează funcții și serviciul de fine-tuning au deschis calea pentru această realitate. Acum depinde de dezvoltatorii inovatori să facă acest lucru.

Mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe despre Fireworks AI ar trebui să viziteze Fireworks AI.