Lin Qiao, Fireworks AI izpilddirektors un līdzdibinātājs — interviju sērija

Lin Qiao, agrāk bija Meta's PyTorch vadītājs un ir Fireworks AI līdzdibinātājs un izpilddirektors. Uguņošanas AI ir ražošanas mākslīgā intelekta platforma, kas ir paredzēta izstrādātājiem, Fireworks partneriem ar pasaules vadošajiem ģeneratīvajiem AI pētniekiem, lai nodrošinātu labākos modeļus visātrākajā ātrumā. Fireworks AI nesen izvirzīja a 25 miljoni USD A sērija.

Kas jūs sākotnēji piesaistīja datorzinātnēs?

Mans tētis bija ļoti vecāks mehāniķis kuģu būvētavā, kur viņš būvēja kravas kuģus no nulles. Kopš bērnības es iemācījos lasīt precīzus kuģu rasējumu leņķus un izmērus, un man tas patika.

Kopš vidusskolas man ļoti patika STEM — viss, ko es patērēju matemātiku, fiziku un ķīmiju. Viens no maniem vidusskolas uzdevumiem bija apgūt BASIC programmēšanu, un es iekodēju spēli par čūsku, kas ēd asti. Pēc tam es zināju, ka datorzinātnes ir manā nākotnē.

Atrodoties Meta, jūs vadījāt 300+ pasaules līmeņa inženierus mākslīgā intelekta sistēmās un platformās, kurās izveidojāt un izvietojāt Caffe2 un vēlāk PyTorch. Kādas bija jūsu galvenās šīs pieredzes atziņas?

Lielie tehnoloģiju uzņēmumi, piemēram, Meta, vienmēr ir piecus vai vairāk gadus priekšā līknei. Kad pievienojos Meta 2015. gadā, mēs bijām sava AI ceļojuma sākumā — mainījāmies no CPU uz GPU. Mums bija jāizstrādā AI infrastruktūra no paša sākuma. Tādi modeļi kā Caffe2 bija revolucionāri, kad tie tika radīti, taču AI attīstījās tik ātri, ka ātri novecoja. Mēs izstrādājām PyTorch un visu ap to esošo sistēmu kā risinājumu.

PyTorch ir vieta, kur es uzzināju par lielākajiem šķēršļiem, ar kuriem izstrādātāji saskaras, sacenšoties par AI izveidi. Pirmais izaicinājums ir atrast stabilu un uzticamu modeļu arhitektūru, kurai ir zems latentums un elastīga, lai modeļus varētu mērogot. Otrs izaicinājums ir kopējās īpašumtiesību izmaksas, lai uzņēmumi nebankrotē, cenšoties attīstīt savus modeļus.

Mans laiks Meta parādīja, cik svarīgi ir saglabāt atvērtā koda modeļus un sistēmas, piemēram, PyTorch. Tas veicina inovācijas. Mēs nebūtu auguši tik daudz kā PyTorch bez atvērtā pirmkoda iterācijas iespējām. Turklāt bez sadarbības nav iespējams būt informētam par visiem jaunākajiem pētījumiem.

Vai varat apspriest, kas lika jums uzsākt Fireworks AI?

Esmu tehnoloģiju nozarē strādājis vairāk nekā 20 gadus, un esmu redzējis, ka nozares līmenī notiek pārmaiņas pēc viļņa — no mākoņa uz mobilajām lietotnēm. Bet šī AI maiņa ir pilnīga tektoniskā pārkārtošanās. Es redzēju, ka daudzi uzņēmumi cīnās ar šīm izmaiņām. Ikviens gribēja rīkoties ātri un izvirzīt AI pirmajā vietā, taču viņiem trūka infrastruktūras, resursu un talanta, lai tas notiktu. Jo vairāk es runāju ar šiem uzņēmumiem, jo ​​vairāk es sapratu, ka varu atrisināt šo plaisu tirgū.

Es palaižu Fireworks AI, lai atrisinātu šo problēmu un kalpotu kā paplašinājums neticamajam darbam, ko paveicām PyTorch. Tas pat iedvesmoja mūsu vārdu! PyTorch ir lāpa, kas tur uguni, taču mēs vēlamies, lai šī uguns izplatītos visur. Tātad: uguņošana.

Mani vienmēr ir kaislījis tehnoloģiju demokratizēšana un to, lai izstrādātājiem būtu pieejamas un vienkāršas inovācijas neatkarīgi no viņu resursiem. Tāpēc mums ir tik lietotājam draudzīgs interfeiss un spēcīgas atbalsta sistēmas, kas ļauj celtniekiem īstenot savas vīzijas.

Vai jūs varētu apspriest, kas ir uz izstrādātāju orientēts AI un kāpēc tas ir tik svarīgi?

Tas ir vienkārši: “centrēts uz izstrādātāju” nozīmē AI izstrādātāju vajadzību prioritāti. Piemēram: rīku, kopienu un procesu izveide, kas padara izstrādātājus efektīvākus un autonomākus.

Uz izstrādātājiem orientētām mākslīgā intelekta platformām, piemēram, Fireworks, vajadzētu integrēties esošajās darbplūsmās un tehnoloģiju komplektos. Tiem vajadzētu atvieglot izstrādātājiem eksperimentēt, kļūdīties un uzlabot savu darbu. Viņiem vajadzētu veicināt atgriezenisko saiti, jo paši tās izstrādātāji saprot, kas viņiem ir nepieciešams, lai gūtu panākumus. Visbeidzot, tas ir vairāk nekā tikai platforma. Tas nozīmē būt kopienai — tādai, kurā izstrādātāji, kas sadarbojas, var paplašināt AI iespējamās robežas.

Jūsu izstrādātā GenAI platforma ir nozīmīgs sasniegums izstrādātājiem, kuri strādā ar lieliem valodu modeļiem (LLM). Vai varat sīkāk pastāstīt par savas platformas unikālajām funkcijām un priekšrocībām, īpaši salīdzinājumā ar esošajiem risinājumiem?

Visa mūsu pieeja kā AI ražošanas platformai ir unikāla, taču dažas no mūsu labākajām funkcijām ir:

Efektīvs secinājums — mēs izstrādājām Fireworks AI, lai nodrošinātu efektivitāti un ātrumu. Izstrādātāji, kas izmanto mūsu platformu, var palaist savas LLM lietojumprogrammas ar viszemāko iespējamo latentumu un izmaksām. Mēs to panākam ar jaunākajām modeļa un pakalpojumu optimizācijas metodēm, tostarp tūlītēju kešatmiņu, pielāgojamu sadalīšanu, kvantēšanu, nepārtrauktu pakešu komplektēšanu, FireAttention un daudz ko citu.

Pieejams atbalsts LoRA pielāgotiem modeļiem — mēs piedāvājam pieejamu pakalpojumu zemas pakāpes adaptācijas (LoRA) precīzi noregulētiem modeļiem, izmantojot vairākus bāzes modeļus. Tas nozīmē, ka izstrādātāji var eksperimentēt ar daudziem dažādiem lietošanas gadījumiem vai tā paša modeļa variantiem, nepārkāpjot banku.

Vienkāršas saskarnes un API — mūsu saskarnes un API ir vienkāršas un izstrādātājiem viegli integrējamas savās lietojumprogrammās. Mūsu API ir arī saderīgas ar OpenAI, lai atvieglotu migrāciju.

Izgatavoti modeļi un precīzi pielāgoti modeļi — mēs piedāvājam vairāk nekā 100 iepriekš apmācītu modeļu, kurus izstrādātāji var izmantot jau sākotnēji. Mēs piedāvājam labākos LLM, attēlu ģenerēšanas modeļus, iegulšanas modeļus utt. Taču izstrādātāji var arī izvēlēties mitināt un apkalpot savus pielāgotos modeļus. Mēs piedāvājam arī pašapkalpošanās precizēšanas pakalpojumus, lai palīdzētu izstrādātājiem pielāgot šos pielāgotos modeļus ar viņu patentētajiem datiem.

Kopienas sadarbība: mēs ticam kopienas sadarbības atvērtā koda ētiskam. Mūsu platforma mudina (bet neprasa) izstrādātājus dalīties ar saviem precīzi pielāgotajiem modeļiem un dot ieguldījumu augošā AI līdzekļu un zināšanu bankā. Ikviens gūst labumu no mūsu kolektīvās pieredzes palielināšanas.

Vai jūs varētu apspriest hibrīda pieeju, kas tiek piedāvāta starp modeļa paralēlismu un datu paralēlismu?

Paralēli mašīnmācīšanās modeļi uzlabo modeļu apmācības efektivitāti un ātrumu un palīdz izstrādātājiem apstrādāt lielākus modeļus, kurus nevar apstrādāt viens GPU.

Modeļa paralēlisms ietver modeļa sadalīšanu vairākās daļās un katras daļas apmācību atsevišķos procesoros. No otras puses, datu paralēlisms sadala datu kopas apakškopās un vienlaikus apmāca modeli katrā apakškopā atsevišķos procesoros. Hibrīda pieeja apvieno šīs divas metodes. Modeļi ir sadalīti atsevišķās daļās, no kurām katra ir apmācīta dažādās datu apakškopās, uzlabojot efektivitāti, mērogojamību un elastību.

Fireworks AI izmanto vairāk nekā 20,000 60 izstrādātāju, un pašlaik tas katru dienu apkalpo vairāk nekā XNUMX miljardus marķieru. Ar kādiem izaicinājumiem esat saskārušies, mērogojot savas darbības līdz šim līmenim, un kā esat tās pārvarējis?

Teikšu godīgi, kopš Fireworks AI dibināšanas 2022. gadā ir bijis jāšķērso daudzi augsti kalni.

Mūsu klienti vispirms vērsās pie mums, meklējot ļoti zema latentuma atbalstu, jo viņi veido lietojumprogrammas patērētājiem, ražotājiem vai citiem izstrādātājiem — visām auditorijām, kurām nepieciešami ātri risinājumi. Kad mūsu klientu lietojumprogrammas sāka strauji palielināties, viņi saprata, ka nevar atļauties ar šo apjomu saistītās tipiskās izmaksas. Pēc tam viņi lūdza mūs palīdzēt samazināt kopējās īpašuma izmaksas (TCO), ko mēs arī izdarījām. Pēc tam mūsu klienti vēlējās migrēt no OpenAI uz OSS modeļiem, un viņi lūdza nodrošināt līdzvērtīgu vai pat labāku kvalitāti nekā OpenAI. Mēs arī to panācām.

Katrs mūsu produkta evolūcijas solis bija sarežģīta problēma, kas jāatrisina, taču tas nozīmēja, ka mūsu klientu vajadzības patiešām pārveidoja Fireworks to, kas tas ir šodien: zibens ātru secinājumu dzinēju ar zemu TCO. Turklāt mēs piedāvājam gan augstas kvalitātes, jau gatavu modeļu sortimentu, no kuriem izvēlēties, gan precizēšanas pakalpojumus, lai izstrādātāji varētu izveidot savus.

Tā kā mākslīgais intelekts un mašīnmācīšanās strauji attīstās, ētiskie apsvērumi ir svarīgāki nekā jebkad agrāk. Kā Fireworks AI risina bažas, kas saistītas ar aizspriedumiem, privātumu un ētisku AI izmantošanu?

Man ir divas pusaugu meitas, kuras bieži izmanto tādas genAI lietotnes kā ChatGPT. Kā mamma es uztraucos par to, ka viņi var atrast maldinošu vai nepiemērotu saturu, jo nozare tikai sāk risināt kritisko satura drošības problēmu. Meta daudz dara ar Purple Llama projektu, un Stabilitātes AI jaunie SD3 režīmi ir lieliski. Abi uzņēmumi smagi strādā, lai nodrošinātu drošību saviem jaunajiem Llama3 un SD3 modeļiem ar vairākiem filtru slāņiem. Ievades-izejas aizsardzības modelis Llama Guard mūsu platformā tiek plaši izmantots, taču tā pieņemšana vēl nav līdzvērtīga citiem LLM. Nozarei kopumā vēl ir tāls ceļš ejams, lai satura drošību un AI ētiku izvirzītu priekšplānā.

Mums uzņēmumā Fireworks ļoti rūp privātums un drošība. Mēs esam saderīgi ar HIPAA un SOC2 un piedāvājam drošu VPC un VPN savienojumu. Uzņēmumi uztic Fireworks saviem patentētajiem datiem un modeļiem, lai izveidotu savu biznesa grāvi.

Kāds ir jūsu redzējums par to, kā AI attīstīsies?

Tāpat kā AlphaGo demonstrēja autonomiju, mācoties spēlēt šahu, es domāju, ka mēs redzēsim, ka genAI lietojumprogrammas kļūs arvien autonomākas. Lietojumprogrammas automātiski novirzīs un novirzīs pieprasījumus pareizajam aģentam vai API, lai tas apstrādātu un labotu kursu, līdz izgūs pareizo izvadi. Un tā vietā, lai viens funkciju izsaukšanas modelis aptaujātu no citiem kā kontrolieris, mēs redzēsim vairāk pašorganizētu, paškoordinētu aģentu, kas strādās unisonā, lai atrisinātu problēmas.

Fireworks zibenīgie secinājumi, funkciju izsaukšanas modeļi un precizēšanas pakalpojums ir pavēruši ceļu šai realitātei. Tagad tas ir atkarīgs no novatoriskajiem izstrādātājiem, lai to īstenotu.

Paldies par lielisko interviju, lasītājiem, kuri vēlas uzzināt vairāk, vajadzētu apmeklēt Uguņošanas AI.