Lin Qiao, izvršni direktor in soustanovitelj Fireworks AI – serija intervjujev

Lin Qiao je bil prej vodja Meta's PyTorch in je soustanovitelj in izvršni direktor Fireworks AI. Ognjemet AI je produkcijska platforma AI, ki je zgrajena za razvijalce, Fireworks sodeluje z vodilnimi svetovnimi generativnimi raziskovalci AI, da služi najboljšim modelom pri najhitrejših hitrostih. Fireworks AI je pred kratkim dvignil a 25 milijona dolarjev serije A.

Kaj vas je na začetku pritegnilo k računalništvu?

Moj oče je bil zelo visok strojni inženir v ladjedelnici, kjer je gradil tovorne ladje iz nič. Že od malih nog sem se učil brati natančne kote in mere ladijskih načrtov in to mi je bilo všeč.

Od srednje šole naprej sem bil zelo navdušen nad STEM – vse matematike, fizike in kemije sem požiral. Ena od mojih srednješolskih nalog je bila učenje OSNOVNEGA programiranja in kodiral sem igro o kači, ki je jedla svoj rep. Po tem sem vedel, da je računalništvo v moji prihodnosti.

V Meti ste vodili več kot 300 inženirjev svetovnega razreda v ogrodjih in platformah umetne inteligence, kjer ste zgradili in uvedli Caffe2 in kasneje PyTorch. Kateri so bili vaši ključni zaključki iz te izkušnje?

Velika tehnološka podjetja, kot je Meta, so vedno pet ali več let pred krivuljo. Ko sem se leta 2015 pridružil podjetju Meta, smo bili na začetku našega potovanja z umetno inteligenco – prehod s CPU na GPE. Infrastrukturo umetne inteligence smo morali načrtovati od začetka. Modeli, kot je Caffe2, so bili prelomni, ko so bili ustvarjeni, vendar se je umetna inteligenca razvijala tako hitro, da je hitro zastarela. Kot rešitev smo razvili PyTorch in celoten sistem okoli njega.

PyTorch je mesto, kjer sem izvedel za največje ovire, s katerimi se soočajo razvijalci v tekmi za izdelavo AI. Prvi izziv je najti stabilno in zanesljivo arhitekturo modela, ki ima nizko zakasnitev in je prilagodljiva, tako da se modeli lahko prilagajajo. Drugi izziv so skupni stroški lastništva, da podjetja ne bankrotirajo, ko poskušajo razširiti svoje modele.

Čas pri Meti mi je pokazal, kako pomembno je ohranjati odprtokodne modele in ogrodja, kot je PyTorch. Spodbuja inovativnost. Brez odprtokodnih priložnosti za iteracijo ne bi zrasli toliko kot pri PyTorchu. Poleg tega je nemogoče biti na tekočem z vsemi najnovejšimi raziskavami brez sodelovanja.

Lahko razpravljate o tem, kaj vas je pripeljalo do lansiranja Fireworks AI?

V tehnološki industriji sem že več kot 20 let in sem videl val za valom premikov na ravni industrije – od oblaka do mobilnih aplikacij. Toda ta premik AI je popolna tektonska preureditev. Videl sem veliko podjetij, ki se spopadajo s to spremembo. Vsi so želeli delovati hitro in postaviti umetno inteligenco na prvo mesto, vendar jim je manjkalo infrastrukture, virov in talenta, da bi to uresničili. Bolj ko sem se pogovarjal s temi podjetji, bolj sem spoznaval, da lahko odpravim to vrzel na trgu.

Zagnal sem Fireworks AI, da bi rešil to težavo in služil kot razširitev neverjetnega dela, ki smo ga dosegli pri PyTorchu. To je celo navdihnilo naše ime! PyTorch je bakla, ki drži ogenj – vendar želimo, da se ta ogenj razširi povsod. Zatorej: Ognjemet.

Vedno sem bil navdušen nad demokratizacijo tehnologije in omogočanjem cenovno dostopne in preproste inovacije za razvijalce, ne glede na njihove vire. Zato imamo tako uporabniku prijazen vmesnik in močne podporne sisteme, ki graditeljem omogočajo, da uresničijo svoje vizije.

Ali lahko razpravljate o tem, kaj je AI, osredotočen na razvijalce, in zakaj je to tako pomembno?

Preprosto je: »osredotočeno na razvijalce« pomeni dajanje prednosti potrebam razvijalcev umetne inteligence. Na primer: ustvarjanje orodij, skupnosti in procesov, ki razvijalce naredijo učinkovitejše in avtonomnejše.

Platforme AI, osredotočene na razvijalce, kot je Fireworks, bi se morale integrirati v obstoječe poteke dela in tehnološke nize. Razvijalcem morajo olajšati eksperimentiranje, delati napake in izboljšati svoje delo. Morali bi spodbujati povratne informacije, saj njeni razvijalci sami razumejo, kaj potrebujejo za uspeh. Nazadnje gre za več kot le platformo. Gre za to, da smo skupnost – skupnost, kjer lahko sodelujoči razvijalci premikajo meje tega, kar je mogoče z AI.

Platforma GenAI, ki ste jo razvili, je pomemben napredek za razvijalce, ki delajo z velikimi jezikovnimi modeli (LLM). Ali lahko podrobneje opišete edinstvene funkcije in prednosti vaše platforme, zlasti v primerjavi z obstoječimi rešitvami?

Naš celoten pristop kot proizvodne platforme AI je edinstven, vendar so nekatere izmed naših najboljših lastnosti:

Učinkovito sklepanje – Fireworks AI smo zasnovali za učinkovitost in hitrost. Razvijalci, ki uporabljajo našo platformo, lahko izvajajo svoje LLM aplikacije z najnižjo možno zakasnitvijo in stroški. To dosegamo z najnovejšimi tehnikami optimizacije modelov in storitev, vključno s hitrim predpomnjenjem, prilagodljivim razčlenjevanjem, kvantizacijo, neprekinjenim šarženjem, FireAttention in več.

Cenovno ugodna podpora za modele, prilagojene LoRA – Ponujamo cenovno ugodno storitev natančno prilagojenih modelov z nizko stopnjo prilagoditve (LoRA) prek večnajemniškega razmerja na osnovnih modelih. To pomeni, da lahko razvijalci eksperimentirajo s številnimi različnimi primeri uporabe ali različicami na istem modelu, ne da bi pri tem izgubili denar.

Preprosti vmesniki in API-ji – Naši vmesniki in API-ji so preprosti in jih razvijalci preprosto vključijo v svoje aplikacije. Naši API-ji so tudi združljivi z OpenAI za lažjo selitev.

Standardni modeli in natančno nastavljeni modeli – nudimo več kot 100 vnaprej pripravljenih modelov, ki jih razvijalci lahko uporabljajo takoj, ko so pripravljeni. Pokrivamo najboljše LLM-je, modele za generiranje slik, modele za vdelavo itd. Toda razvijalci se lahko odločijo tudi za gostovanje in streženje lastnih modelov po meri. Ponujamo tudi samopostrežne storitve natančnega prilagajanja, ki razvijalcem pomagajo pri prilagajanju teh modelov po meri z njihovimi lastniškimi podatki.

Sodelovanje skupnosti: verjamemo v odprtokodni etos sodelovanja skupnosti. Naša platforma spodbuja (vendar ne zahteva) razvijalce, da delijo svoje natančno nastavljene modele in prispevajo k rastoči banki sredstev in znanja AI. Vsi imajo koristi od rasti našega skupnega strokovnega znanja.

Ali lahko razpravljate o hibridnem pristopu, ki je na voljo med vzporednostjo modela in vzporednostjo podatkov?

Paralelizacija modelov strojnega učenja izboljša učinkovitost in hitrost usposabljanja modelov ter pomaga razvijalcem pri obvladovanju večjih modelov, ki jih en sam GPE ne more obdelati.

Paralelizem modela vključuje razdelitev modela na več delov in usposabljanje vsakega dela na ločenih procesorjih. Po drugi strani vzporednost podatkov razdeli nabore podatkov v podnabore in uri model na vsakem podnaboru hkrati prek ločenih procesorjev. Hibridni pristop združuje ti dve metodi. Modeli so razdeljeni na ločene dele, od katerih se vsak uri na različnih podmnožicah podatkov, kar izboljšuje učinkovitost, razširljivost in prilagodljivost.

Fireworks AI uporablja več kot 20,000 razvijalcev in trenutno služi več kot 60 milijard žetonov dnevno. S kakšnimi izzivi ste se soočili pri povečanju svojih dejavnosti na to raven in kako ste jih premagali?

Iskreno povedano, odkar smo leta 2022 ustanovili Fireworks AI, je bilo treba prečkati veliko visokih gora.

Naše stranke so najprej prišle k nam in iskale podporo z zelo nizko zakasnitvijo, ker gradijo aplikacije bodisi za potrošnike, profesionalne uporabnike ali druge razvijalce – vse ciljne skupine, ki potrebujejo hitre rešitve. Potem, ko so se aplikacije naših strank začele hitro širiti, so ugotovile, da si ne morejo privoščiti tipičnih stroškov, povezanih s tem obsegom. Nato so nas prosili za pomoč pri znižanju skupnih stroškov lastništva (TCO), kar smo tudi storili. Nato so naše stranke želele migrirati z OpenAI na modele OSS in so nas prosile, da zagotovimo enako ali celo boljšo kakovost kot OpenAI. Tudi to smo poskrbeli.

Vsak korak v razvoju našega izdelka je bil zahteven problem, ki se ga je bilo treba lotiti, vendar je to pomenilo, da so potrebe naših strank resnično oblikovale Fireworks v to, kar je danes: bliskovito hiter inferenčni mehanizem z nizkimi TCO. Poleg tega ponujamo izbor visokokakovostnih modelov, ki so že pripravljeni, med katerimi lahko izbirate, ali storitve natančnega prilagajanja, da lahko razvijalci ustvarijo svoje.

Zaradi hitrega napredka umetne inteligence in strojnega učenja so etični vidiki pomembnejši kot kdaj koli prej. Kako Fireworks AI obravnava pomisleke v zvezi s pristranskostjo, zasebnostjo in etično uporabo AI?

Imam dve hčerki najstnici, ki pogosto uporabljata aplikacije genAI, kot je ChatGPT. Kot mamo me skrbi, da bodo našli zavajajočo ali neprimerno vsebino, saj se industrija šele začenja spopadati s kritičnim problemom varnosti vsebine. Meta dela veliko s projektom Purple Llama in novi načini SD3 Stability AI so odlični. Obe podjetji si močno prizadevata zagotoviti varnost svojih novih modelov Llama3 in SD3 z več plastmi filtrov. Vhodno-izhodni zaščitni model, Llama Guard, se sicer precej uporablja na naši platformi, vendar njegovo sprejetje še ni primerljivo z drugimi LLM-ji. Industrija kot celota mora še veliko narediti, da bo varnost vsebine in etiko umetne inteligence postavila v ospredje.

V podjetju Fireworks zelo skrbimo za zasebnost in varnost. Smo skladni s HIPAA in SOC2 ter nudimo varno povezljivost VPC in VPN. Podjetja zaupajo podjetju Fireworks svoje lastniške podatke in modele za izgradnjo svojega poslovnega jarka.

Kakšna je vaša vizija razvoja AI?

Tako kot je AlphaGo pokazal avtonomijo, medtem ko se je sam učil igrati šah, mislim, da bomo videli, da bodo aplikacije genAI vedno bolj avtonomne. Aplikacije bodo samodejno usmerile in usmerile zahteve k pravemu agentu ali API-ju za obdelavo in popravljanje smeri, dokler ne pridobijo pravega rezultata. In namesto enega modela za klicanje funkcij, ki bi kot krmilnik glasoval od drugih, bomo videli več samoorganiziranih, samousklajenih agentov, ki bodo sodelovali pri reševanju problemov.

Bliskovito hitro sklepanje Fireworks, modeli za klicanje funkcij in storitev natančnega prilagajanja so utrli pot tej resničnosti. Zdaj je na inovativnih razvijalcih, da to uresničijo.

Hvala za odličen intervju, bralci, ki želite izvedeti več, naj ga obiščejo Ognjemet AI.