Lin Qiao, CEO & Co-Founder al Fireworks AI – Seria de interviuri

Lin Qiao, a fost anterior șef al PyTorch de la Meta și este co-fondator și CEO al Fireworks AI. Fireworks AI este o platformă de producție AI construită pentru dezvoltatori, Fireworks se asociază cu cei mai importanți cercetători de inteligență artificială generativă din lume pentru a oferi cele mai bune modele, la vitezele cele mai rapide. Fireworks AI a strâns recent o 25 de milioane de dolari Seria A.

Ce v-a atras inițial spre știința calculatoarelor?

Tatăl meu a fost un inginer mecanic foarte senior la o șantier naval, unde a construit nave de marfă de la zero. De la o vârstă fragedă, am învățat să citesc unghiurile și măsurătorile precise ale planurilor de nave, și mi-a plăcut.

Eram foarte interesat de STEM încă din școala gimnazială – toate materiile de matematică, fizică și chimie le-am devorat. Una dintre sarcinile mele de la școala liceală a fost să învăț programarea în BASIC, și am codat un joc despre o șarpe care-și mănâncă coada. După aceea, știam că știința calculatoarelor este în viitorul meu.

În timp ce erai la Meta, ai condus peste 300 de ingineri de clasă mondială în cadrul AI frameworks & platforms, unde ai construit și implementat Caffe2, și mai târziu PyTorch. Care au fost unele dintre principalele concluzii pe care le-ai tras din această experiență?

Companiile mari de tehnologie, cum ar fi Meta, sunt întotdeauna cu cinci sau mai mulți ani înainte de curbă. Când m-am alăturat Meta în 2015, eram la începutul călătoriei noastre cu AI – făcând trecerea de la procesoarele CPU la GPU. Trebuia să proiectăm infrastructura AI de la zero. Modele precum Caffe2 au fost revoluționare atunci când au fost create, dar AI a evoluat atât de repede încât au devenit rapid învechite. Am dezvoltat PyTorch și întregul sistem în jurul său ca soluție.

PyTorch este locul unde am învățat despre cele mai mari obstacole cu care se confruntă dezvoltatorii în cursa de a construi AI. Prima provocare este găsirea unei arhitecturi de model stabilă și fiabilă, care să fie cu latență scăzută și flexibilă, astfel încât modelele să poată fi scalate. A doua provocare este costul total de proprietate, astfel încât companiile să nu falimenteze în încercarea de a-și crește modelele.

Perioada mea la Meta mi-a arătat cât de important este să se mențină modelele și cadrele precum PyTorch deschise. Acest lucru încurajează inovarea. Nu am fi putut crește atât de mult la PyTorch fără oportunitățile deschise de a colabora. În plus, este imposibil să rămâi la curent cu toate cercetările recente fără colaborare.

Puteți discuta ce v-a determinat să lansați Fireworks AI?

Am fost în industria tehnologiei pentru mai mult de 20 de ani, și am văzut o valură după valură de schimbări la nivel de industrie – de la cloud la aplicații mobile. Dar această schimbare AI este o realiniere tectonică completă. Am văzut multe companii care luptă cu această schimbare. Toată lumea voia să se deplaseze rapid și să pună AI pe primul loc, dar le lipseau infrastructura, resursele și talentul pentru a face acest lucru. Cu cât vorbeam mai mult cu aceste companii, cu atât mai mult realizam că pot rezolva această lacună de pe piață.

Am lansat Fireworks AI atât pentru a rezolva această problemă, cât și pentru a fi o extensie a muncii incredibile pe care am realizat-o la PyTorch. A inspirat chiar și numele nostru! PyTorch este torța care ține focul, dar vrem ca acest foc să se răspândească peste tot. De aceea: Fireworks.

Am fost întotdeauna pasionat de democratizarea tehnologiei și de a o face accesibilă și simplă pentru dezvoltatori să inoveze, indiferent de resursele lor. De aceea, avem o interfață atât de prietenoasă și sisteme de suport puternice pentru a împuternici constructorii să-și aducă viziunile la viață.

Puteți discuta ce este AI centrat pe dezvoltatori și de ce este atât de important?

Este simplu: “centrat pe dezvoltatori” înseamnă a prioritiza nevoile dezvoltatorilor de AI. De exemplu, crearea de unelte, comunități și procese care fac dezvoltatorii mai eficienți și autonomi.

Platformele de AI centrate pe dezvoltatori, cum ar fi Fireworks, ar trebui să se integreze în fluxurile de lucru și stivele tehnice existente. Ar trebui să facă simplu pentru dezvoltatori să experimenteze, să facă greșeli și să-și îmbunătățească munca. Ar trebui să încurajeze feedback-ul, deoarece sunt dezvoltatorii înșiși care înțeleg ce au nevoie pentru a fi de succes. În cele din urmă, este vorba despre mai mult decât doar o platformă. Este vorba despre a fi o comunitate – una în care dezvoltatorii care colaborează pot împinge limitele a ceea ce este posibil cu AI.

Platforma GenAI pe care ați dezvoltat-o este o avansare semnificativă pentru dezvoltatorii care lucrează cu modele de limbaj mare (LLM). Puteți elabora asupra caracteristicilor și beneficiilor unice ale platformei dvs., în special în comparație cu soluțiile existente?

Abordarea noastră generală ca platformă de producție AI este unică, dar unele dintre cele mai bune caracteristici ale noastre sunt:

Inferență eficientă – Am proiectat Fireworks AI pentru eficiență și viteză. Dezvoltatorii care utilizează platforma noastră pot rula aplicațiile LLM la cea mai mică latență și cost posibil. Realizăm acest lucru cu cele mai recente tehnici de optimizare a modelului și a serviciului, inclusiv caching-ul prompt, sharding-ul adaptabil, cuantificarea, batch-ul continuu, FireAttention și multe altele.

Suport accesibil pentru modele LoRA-tune – Oferta noastră include servicii de tune pentru modele LoRA (low-rank adaptation) la prețuri accesibile, prin multi-locuire pe modele de bază. Acest lucru înseamnă că dezvoltatorii pot experimenta cu diverse cazuri de utilizare sau variații ale aceluiași model fără a ruina bugetul.

Interfețe și API simple – Interfețele și API-urile noastre sunt simple și ușor de integrat în aplicațiile dezvoltatorilor. API-urile noastre sunt, de asemenea, compatibile cu OpenAI pentru a facilita migrarea.

Modele și modele fine-tune – Oferta noastră include peste 100 de modele pre-antrenate pe care dezvoltatorii le pot utiliza direct. Acoperim cele mai bune LLM, modele de generare de imagini, modele de încorporare etc. Dar dezvoltatorii pot alege, de asemenea, să găzduiască și să servească propriile modele personalizate. De asemenea, oferim servicii de fine-tune auto pentru a ajuta dezvoltatorii să personalizeze aceste modele cu datele lor proprietare.

Colaborare comunitară: Credem în etosul deschis al colaborării comunitare. Platforma noastră încurajează (dar nu necesită) dezvoltatorii să împărtășească modelele lor fine-tune și să contribuie la o bancă în creștere de active și cunoștințe AI. Toată lumea beneficiază de creșterea expertizei noastre colective.

Puteți discuta abordarea hibridă oferită între paralelismul modelului și paralelismul datelor?

Paralelizarea modelelor de învățare a mașinilor îmbunătățește eficiența și viteza de antrenare a modelului și ajută dezvoltatorii să gestioneze modele mai mari decât cele pe care un singur GPU le poate procesa.

Paralelismul modelului implică împărțirea unui model în mai multe părți și antrenarea fiecărei părți pe procesoare separate. Pe de altă parte, paralelismul datelor implică împărțirea seturilor de date în subseturi și antrenarea unui model pe fiecare subset în același timp, pe procesoare separate. O abordare hibridă combină aceste două metode. Modelele sunt împărțite în părți separate, care sunt antrenate pe subseturi diferite de date, îmbunătățind eficiența, scalabilitatea și flexibilitatea.

Fireworks AI este utilizat de peste 20.000 de dezvoltatori și deservește în prezent peste 60 de miliarde de tokeni pe zi. Care au fost provocările pe care le-ați întâmpinat în scalarea operațiunilor la acest nivel și cum le-ați depășit?

Sunt sincer, au fost multe munți înalți de trecut de la înființarea Fireworks AI în 2022.

Clienții noștri au venit la noi inițial în căutarea unui suport cu latență foarte scăzută, deoarece construiau aplicații pentru consumatori, prosumatori sau alți dezvoltatori – toate publicurile care au nevoie de soluții rapide. Apoi, când aplicațiile clienților noștri au început să se scaleze rapid, au realizat că nu-și pot permite costurile asociate cu această scală. Au cerut apoi să ne ajutăm să reducem costul total de proprietate (TCO), ceea ce am și făcut. Apoi, clienții noștri au vrut să migreze de la OpenAI la modele OSS și ne-au cerut să oferim calitate similară sau chiar mai bună decât OpenAI. Am făcut și acest lucru.

Fiecare etapă a evoluției produsului nostru a fost o problemă dificilă de rezolvat, dar a însemnat că nevoile clienților noștri au modelat cu adevărat Fireworks în ceea ce este astăzi: un motor de inferență rapid cu un cost total de proprietate scăzut. În plus, oferim o gamă de modele de înaltă calitate, gata de utilizare, sau servicii de fine-tune pentru ca dezvoltatorii să-și creeze propriile modele.

Cu avansările rapide în AI și învățarea mașinilor, considerațiile etice sunt mai importante ca niciodată. Cum abordează Fireworks AI preocupările legate de prejudecăți, confidențialitate și utilizarea etică a AI?

Am două fiice adolescente care folosesc aplicații genAI, cum ar fi ChatGPT, destul de des. Ca mamă, mă îngrijorez că pot găsi conținut înșelător sau inadecvat, deoarece industria abia începe să abordeze problema critică a siguranței conținutului. Meta face multe cu proiectul Purple Llama, iar noile moduri SD3 de la Stability AI sunt excelente. Ambele companii lucrează din greu pentru a aduce siguranță la noile modele Llama3 și SD3, cu multiple straturi de filtre. Modelul de siguranță a intrării-ieșirii, Llama Guard, este utilizat într-o oarecare măsură pe platforma noastră, dar adoptarea sa nu este la fel de ridicată ca cea a altor LLM. Industria în ansamblu are încă un drum lung de parcurs pentru a aduce siguranța conținutului și etica AI în prim-plan.

Noi, la Fireworks, ne pasă profund de confidențialitate și securitate. Suntem conformi cu HIPAA și SOC2 și oferim conexiuni VPN și VPC securizate. Companiile ne încredințează Fireworks cu datele și modelele lor proprietare pentru a-și construi avansul comercial.

Care este viziunea dvs. asupra modului în care va evolua AI?

La fel cum AlphaGo a demonstrat autonomie în timp ce învăța să joace șah de unul singur, cred că vom vedea aplicații genAI care devin din ce în ce mai autonome. Aplicațiile vor direcționa automat și vor direcționa cererile către agentul sau API-ul potrivit pentru a procesa și vor corecta cursul până când vor obține ieșirea corectă. Și, în loc de un model care apelează funcții și sondează de la altele ca un controlor, vom vedea mai multe agenți auto-organizați, auto-coordonate care lucrează în armonie pentru a rezolva probleme.

Inferența rapidă a Fireworks, modelele care apelează funcții și serviciul de fine-tune au deschis calea pentru această realitate. Acum depinde de dezvoltatorii inovatori să o facă să se întâmple.

Mulțumim pentru acest interviu minunat. Citiitorii care doresc să afle mai multe ar trebui să viziteze Fireworks AI.