Lin Qiao, izvršni direktor i suosnivač Fireworks AI – serija intervjua

Lin Qiao, bivši je voditelj Meta's PyTorcha te je suosnivač i izvršni direktor Fireworks AI. Vatromet AI je proizvodna AI platforma koja je izgrađena za programere, Fireworks je partner s vodećim svjetskim generativnim AI istraživačima kako bi služio najboljim modelima, pri najvećim brzinama. Vatromet AI nedavno je pokrenuo Serija A od 25 milijuna dolara.

Što vas je na početku privuklo informatici?

Moj tata je bio viši strojarski inženjer u brodogradilištu, gdje je ispočetka gradio teretne brodove. Od malih nogu naučio sam čitati precizne kutove i mjere brodskih nacrta i to mi se svidjelo.

Bio sam jako zainteresiran za STEM od srednje škole nadalje – sve što sam gutao iz matematike, fizike i kemije. Jedan od mojih srednjoškolskih zadataka bio je naučiti BASIC programiranje i kodirao sam igru ​​o zmiji koja jede svoj rep. Nakon toga sam znao da je informatika u mojoj budućnosti.

Dok ste bili u Meti vodili ste više od 300 inženjera svjetske klase u AI okvirima i platformama gdje ste izgradili i implementirali Caffe2, a kasnije i PyTorch. Koji su neki od vaših ključnih zaključaka iz ovog iskustva?

Velike tehnološke tvrtke poput Mete uvijek su pet ili više godina ispred krivulje. Kad sam se pridružio tvrtki Meta 2015., bili smo na početku našeg AI putovanja – prešli smo s CPU-a na GPU. Morali smo dizajnirati AI infrastrukturu od temelja. Modeli poput Caffe2 bili su revolucionarni kada su stvoreni, ali umjetna inteligencija se toliko brzo razvila da je brzo zastarjela. Razvili smo PyTorch i cijeli sustav oko njega kao rješenje.

PyTorch je mjesto gdje sam naučio o najvećim preprekama s kojima se programeri suočavaju u utrci za izgradnju umjetne inteligencije. Prvi izazov je pronalaženje stabilne i pouzdane arhitekture modela koja je niske latencije i fleksibilna tako da se modeli mogu mjeriti. Drugi izazov je ukupni trošak vlasništva, kako tvrtke ne bi bankrotirale pokušavajući razviti svoje modele.

Vrijeme provedeno u Meti pokazalo mi je koliko je važno zadržati modele i okvire kao što je PyTorch otvorenim kodom. Potiče inovativnost. Ne bismo narasli onoliko koliko smo imali u PyTorchu bez mogućnosti otvorenog koda za iteraciju. Osim toga, nemoguće je biti u tijeku sa svim najnovijim istraživanjima bez suradnje.

Možete li opisati što vas je dovelo do pokretanja Fireworks AI?

U tehnološkoj sam industriji više od 20 godina i vidio sam val za valom promjena na razini industrije – od oblaka do mobilnih aplikacija. Ali ovaj pomak umjetne inteligencije potpuno je tektonsko prestrojavanje. Vidio sam da se mnoge tvrtke bore s ovom promjenom. Svi su htjeli ići brzo i staviti umjetnu inteligenciju na prvo mjesto, ali nedostajala im je infrastruktura, resursi i talent da to ostvare. Što sam više razgovarao s tim tvrtkama, to sam više shvaćao da mogu riješiti ovaj jaz na tržištu.

Pokrenuo sam Fireworks AI kako bih riješio ovaj problem i služio kao produžetak nevjerojatnog posla koji smo postigli u PyTorchu. Čak je inspirirao i naše ime! PyTorch je baklja koja drži vatru – ali mi želimo da se ta vatra proširi posvuda. Stoga: Vatromet.

Oduvijek sam bio strastven prema demokratizaciji tehnologije i omogućavanju pristupačne i jednostavne inovacije programerima bez obzira na njihove resurse. Zato imamo sučelje prilagođeno korisniku i snažne sustave podrške kako bismo graditeljima omogućili da ožive svoje vizije.

Možete li razgovarati o tome što je AI usmjeren na programere i zašto je to toliko važno?

Jednostavno je: "usmjereno na programere" znači davanje prioriteta potrebama AI programera. Na primjer: stvaranje alata, zajednica i procesa koji programere čine učinkovitijima i autonomnima.

AI platforme usmjerene na razvojne programere poput Fireworksa trebale bi se integrirati u postojeće tijekove rada i tehnološke skupove. Trebali bi programerima omogućiti jednostavno eksperimentiranje, griješenje i poboljšanje rada. Oni bi trebali poticati povratnu informaciju, jer sami njegovi programeri razumiju što im je potrebno da bi bili uspješni. Na kraju, radi se o više od puke platforme. Radi se o zajednici – zajednici u kojoj programeri koji surađuju mogu pomicati granice onoga što je moguće s AI.

Platforma GenAI koju ste razvili značajan je napredak za programere koji rade s velikim jezičnim modelima (LLM). Možete li razraditi jedinstvene značajke i prednosti vaše platforme, posebno u usporedbi s postojećim rješenjima?

Cijeli naš pristup kao proizvodne platforme umjetne inteligencije jedinstven je, ali neke od naših najboljih značajki su:

Učinkovito zaključivanje – osmislili smo Fireworks AI za učinkovitost i brzinu. Programeri koji koriste našu platformu mogu pokrenuti svoje LLM aplikacije uz najnižu moguću latenciju i cijenu. To postižemo najnovijim tehnikama optimizacije modela i usluga uključujući brzo predmemoriranje, prilagodljivo dijeljenje, kvantizaciju, kontinuirano skupljanje, FireAttention i još mnogo toga.

Pristupačna podrška za modele usklađene s LoRA-om – Nudimo pristupačnu uslugu fino podešenih modela niske razine prilagodbe (LoRA) putem višenamjenskih zakupa na osnovnim modelima. To znači da programeri mogu eksperimentirati s mnogo različitih slučajeva upotrebe ili varijacija na istom modelu, a da ne razbiju novac.

Jednostavna sučelja i API-ji – Naša su sučelja i API-ji jednostavni i programerima ih je lako integrirati u svoje aplikacije. Naši API-ji također su kompatibilni s OpenAI radi lakšeg prelaska.

Gotovi modeli i fino podešeni modeli – Nudimo više od 100 unaprijed obučenih modela koje programeri mogu koristiti odmah nakon izrade. Pokrivamo najbolje LLM-ove, modele za generiranje slika, modele za ugrađivanje itd. Ali programeri također mogu odlučiti hostirati i posluživati ​​vlastite prilagođene modele. Također nudimo samoposlužne usluge finog podešavanja kako bismo pomogli programerima da skroje ove prilagođene modele sa svojim vlasničkim podacima.

Suradnja zajednice: Vjerujemo u open-source etos suradnje zajednice. Naša platforma potiče (ali ne zahtijeva) programere da dijele svoje fino podešene modele i pridonesu rastućoj banci AI sredstava i znanja. Svi imaju koristi od povećanja naše zajedničke stručnosti.

Možete li raspravljati o hibridnom pristupu koji se nudi između paralelizma modela i paralelizma podataka?

Paraleliziranje modela strojnog učenja poboljšava učinkovitost i brzinu učenja modela i pomaže programerima u rukovanju većim modelima koje jedan GPU ne može obraditi.

Paralelizam modela uključuje podjelu modela na više dijelova i treniranje svakog dijela na zasebnim procesorima. S druge strane, paralelizam podataka dijeli skupove podataka u podskupove i trenira model na svakom podskupu u isto vrijeme preko zasebnih procesora. Hibridni pristup kombinira ove dvije metode. Modeli su podijeljeni u zasebne dijelove, od kojih se svaki trenira na različitim podskupovima podataka, poboljšavajući učinkovitost, skalabilnost i fleksibilnost.

Fireworks AI koristi više od 20,000 programera i trenutno opslužuje preko 60 milijardi tokena dnevno. S kojim izazovima ste se suočili u skaliranju svojih operacija na ovu razinu i kako ste ih prevladali?

Bit ću iskren, bilo je mnogo visokih planina za prijeći otkako smo osnovali Fireworks AI 2022.

Naši su nam se klijenti najprije obratili tražeći podršku s vrlo malom latencijom jer izrađuju aplikacije bilo za potrošače, profesionalne korisnike ili druge programere—svu publiku koja treba brza rješenja. Zatim, kada su se aplikacije naših korisnika počele brzo širiti, shvatili su da si ne mogu priuštiti tipične troškove povezane s tom ljestvicom. Zatim su nas zamolili da im pomognemo oko smanjenja ukupnog troška vlasništva (TCO), što smo i učinili. Zatim su naši klijenti željeli migrirati s OpenAI-ja na OSS modele i tražili su od nas da pružimo jednaku ili čak bolju kvalitetu od OpenAI-ja. I to smo učinili.

Svaki korak u evoluciji našeg proizvoda bio je izazovan problem za rješavanje, ali to je značilo da su potrebe naših kupaca uistinu oblikovale Fireworks u ono što je danas: munjevito brzi mehanizam za zaključivanje s niskim TCO-om. Osim toga, nudimo i asortiman visokokvalitetnih modela izvan okvira koje možete izabrati ili usluge finog podešavanja za razvojne programere da kreiraju svoje.

S brzim napretkom umjetne inteligencije i strojnog učenja, etička pitanja važnija su nego ikad. Kako Fireworks AI rješava probleme vezane uz pristranost, privatnost i etičku upotrebu umjetne inteligencije?

Imam dvije kćeri tinejdžerice koje često koriste genAI aplikacije poput ChatGPT-a. Kao mama, brinem se da će pronaći pogrešan ili neprikladan sadržaj, jer se industrija tek počinje baviti kritičnim problemom sigurnosti sadržaja. Meta čini puno s projektom Purple Llama, a Stability AI novi SD3 modovi su izvrsni. Obje tvrtke naporno rade na osiguranju sigurnosti svojih novih modela Llama3 i SD3 s višestrukim slojevima filtera. Ulazno-izlazni zaštitni model, Llama Guard, dosta se koristi na našoj platformi, ali njegovo usvajanje još nije na razini drugih LLM-ova. Industrija u cjelini još uvijek mora prijeći dug put kako bi sigurnost sadržaja i etiku umjetne inteligencije postavili u prvi plan.

Mi u Fireworksu jako brinemo o privatnosti i sigurnosti. Sukladni smo s HIPAA i SOC2 i nudimo sigurno VPC i VPN povezivanje. Tvrtke vjeruju Fireworksu sa svojim vlasničkim podacima i modelima za izgradnju svog poslovnog jarka.

Koja je vaša vizija o tome kako će se AI razvijati?

Kao što je AlphaGo pokazao autonomiju dok je sam učio igrati šah, mislim da ćemo vidjeti kako genAI aplikacije postaju sve autonomnije. Aplikacije će automatski usmjeravati i usmjeravati zahtjeve pravom agentu ili API-ju za obradu i ispravljanje tečaja dok ne dohvate pravi izlaz. I umjesto da jedan model pozivanja funkcija provjerava druge kao kontrolore, vidjet ćemo više samoorganiziranih, samokoordiniranih agenata koji rade unisono na rješavanju problema.

Fireworksovo munjevito zaključivanje, modeli pozivanja funkcija i usluga finog podešavanja utrli su put ovoj stvarnosti. Sada je na inovativnim programerima da to ostvare.

Hvala vam na sjajnom intervjuu, čitatelji koji žele saznati više neka ga posjete Vatromet AI.