Lin Qiao, „Fireworks AI“ interviu serijos generalinis direktorius ir vienas iš įkūrėjų

Lin Qiao, anksčiau buvo „Meta's PyTorch“ vadovas ir yra „Fireworks AI“ įkūrėjas ir generalinis direktorius. Fejerverkų AI yra gamybinė AI platforma, sukurta kūrėjams, fejerverkų partneriams su pirmaujančiais pasaulyje generuojančiais dirbtinio intelekto tyrėjais, kad jie galėtų aptarnauti geriausius modelius ir didžiausiu greičiu. Fejerverkų AI neseniai iškėlė a 25 mln. USD A serija.

Kuo jus iš pradžių patraukė informatika?

Mano tėtis buvo labai vyresnysis mechanikas laivų statykloje, kur nuo nulio statė krovininius laivus. Nuo mažens išmokau skaityti tikslius laivų brėžinių kampus ir matmenis, ir man tai patiko.

Nuo vidurinės mokyklos man labai patiko STEM – viskas, ką valgiau matematiką, fiziką ir chemiją. Viena iš mano vidurinės mokyklos užduočių buvo išmokti BASIC programavimo ir aš užkodavau žaidimą apie gyvatę, ėdančią uodegą. Po to žinojau, kad informatika yra mano ateitis.

Būdami „Meta“ vadovavote 300 ir daugiau pasaulinio lygio inžinierių dirbtinio intelekto sistemose ir platformose, kuriose sukūrėte ir įdiegėte „Caffe2“, o vėliau „PyTorch“. Kokie buvo pagrindiniai jūsų įspūdžiai iš šios patirties?

Didelės technologijų įmonės, tokios kaip „Meta“, visada yra penkeriais ar daugiau metų priekyje. Kai prisijungiau prie „Meta“ 2015 m., buvome savo AI kelionės pradžioje – perėjome nuo procesorių prie GPU. Turėjome kurti AI infrastruktūrą nuo pat pradžių. Tokie modeliai kaip Caffe2 buvo novatoriški, kai buvo sukurti, tačiau dirbtinis intelektas vystėsi taip greitai, kad greitai paseno. Sukūrėme PyTorch ir visą aplink ją esančią sistemą kaip sprendimą.

„PyTorch“ yra vieta, kur sužinojau apie didžiausias kliūtis, su kuriomis susiduria kūrėjai, lenktyniaudami kuriant AI. Pirmasis iššūkis yra rasti stabilią ir patikimą modelio architektūrą, kuri būtų mažai delsiama ir lanksti, kad modeliai galėtų keistis. Antrasis iššūkis yra bendros nuosavybės išlaidos, todėl įmonės nebankrutuoja bandydamos plėsti savo modelius.

Mano laikas „Meta“ parodė, kaip svarbu išlaikyti atvirojo kodo modelius ir sistemas, tokias kaip „PyTorch“. Tai skatina naujoves. Be atvirojo kodo iteracijos galimybių nebūtume išaugę tiek daug, kiek turėjome „PyTorch“. Be to, be bendradarbiavimo neįmanoma neatsilikti nuo naujausių tyrimų.

Ar galite aptarti, kas paskatino jus pradėti fejerverkų AI?

Technologijų pramonėje dirbu daugiau nei 20 metų ir mačiau bangą po bangos permainų pramonės lygiu – nuo ​​debesies iki mobiliųjų programų. Tačiau šis AI poslinkis yra visiškas tektoninis pertvarkymas. Mačiau daug įmonių, kurios kovoja su šiuo pokyčiu. Visi norėjo judėti greitai ir pirmenybę teikti AI, tačiau jiems trūko infrastruktūros, išteklių ir talento, kad tai įvyktų. Kuo daugiau kalbėjausi su šiomis įmonėmis, tuo labiau supratau, kad galiu išspręsti šią rinkos spragą.

Paleidau fejerverkų AI, kad išspręsčiau šią problemą ir pratęsčiau neįtikėtiną darbą, kurį pasiekėme PyTorch. Tai netgi įkvėpė mūsų vardą! PyTorch yra deglas, laikantis ugnį, bet mes norime, kad ugnis pasklistų visur. Taigi: fejerverkai.

Man visada buvo aistringa technologijų demokratizacija ir tai, kad kūrėjams būtų prieinamos ir paprastos naujovės, nepaisant jų išteklių. Štai kodėl turime tokią patogią vartotojo sąsają ir stiprias palaikymo sistemas, kurios leidžia statybininkams įgyvendinti savo vizijas.

Ar galėtumėte aptarti, kas yra į kūrėją orientuotas AI ir kodėl tai taip svarbu?

Tai paprasta: „į kūrėją orientuotas“ reiškia, kad pirmenybė teikiama AI kūrėjų poreikiams. Pavyzdžiui: įrankių, bendruomenių ir procesų kūrimas, kurie daro kūrėjus efektyvesnius ir savarankiškesnius.

Į kūrėjus orientuotos AI platformos, pvz., „Fireworks“, turėtų būti integruotos į esamas darbo eigas ir technologijų rinkinius. Jie turėtų padėti kūrėjams eksperimentuoti, daryti klaidas ir tobulinti savo darbą. Jie turėtų skatinti grįžtamąjį ryšį, nes patys jų kūrėjai supranta, ko jiems reikia, kad būtų sėkmingi. Galiausiai, tai daugiau nei vien tik platforma. Tai yra bendruomenė, kurioje bendradarbiaujantys kūrėjai gali peržengti AI galimybes.

Jūsų sukurta GenAI platforma yra didelė pažanga kūrėjams, dirbantiems su dideliais kalbų modeliais (LLM). Ar galite plačiau papasakoti apie unikalias savo platformos savybes ir privalumus, ypač palyginti su esamais sprendimais?

Visas mūsų, kaip AI gamybos platformos, požiūris yra unikalus, tačiau kai kurios iš geriausių mūsų savybių yra šios:

Veiksmingos išvados – sukūrėme fejerverkų AI siekdami efektyvumo ir greičio. Kūrėjai, naudojantys mūsų platformą, gali paleisti savo LLM programas už mažiausią galimą delsą ir kainą. Tai pasiekiame naudodami naujausius modelių ir paslaugų optimizavimo metodus, įskaitant greitą talpyklą, pritaikomą skaidymą, kvantavimą, nuolatinį paketų tvarkymą, „FireAttention“ ir kt.

Įperkamas LoRA suderintų modelių palaikymas – siūlome įperkamą žemo rango pritaikymo (LoRA) tiksliai suderintų modelių paslaugą, taikant daugialypę bazinių modelių nuomą. Tai reiškia, kad kūrėjai gali eksperimentuoti su daugybe skirtingų naudojimo atvejų ar to paties modelio variantų nepažeisdami banko.

Paprastos sąsajos ir API – mūsų sąsajos ir API yra paprastos ir kūrėjams lengvai integruojamos į savo programas. Mūsų API taip pat yra suderinamos su OpenAI, kad būtų lengviau perkelti.

Parduodami modeliai ir sureguliuoti modeliai – siūlome daugiau nei 100 iš anksto paruoštų modelių, kuriuos kūrėjai gali naudoti jau paruošti. Aptariame geriausius LLM, vaizdų generavimo modelius, įterpimo modelius ir kt. Tačiau kūrėjai taip pat gali pasirinkti priglobti ir aptarnauti savo pasirinktinius modelius. Taip pat siūlome savitarnos koregavimo paslaugas, kad padėtume kūrėjams pritaikyti šiuos tinkintus modelius pagal jų patentuotus duomenis.

Bendradarbiavimas bendruomenėje: tikime atvirojo kodo bendruomenės bendradarbiavimo etosu. Mūsų platforma skatina (bet nereikalauja) kūrėjus dalytis savo tiksliais modeliais ir prisidėti prie augančio AI turto ir žinių banko. Visiems naudinga plėsti mūsų kolektyvinę patirtį.

Ar galėtumėte aptarti hibridinį metodą, kuris siūlomas tarp modelio paralelizmo ir duomenų paralelizmo?

Mašininio mokymosi modelių lygiagrečiai padidina modelių mokymo efektyvumą ir greitį bei padeda kūrėjams valdyti didesnius modelius, kurių negali apdoroti vienas GPU.

Modelio lygiagretumas apima modelio padalijimą į kelias dalis ir kiekvienos dalies mokymą atskiruose procesoriuose. Kita vertus, duomenų lygiagretumas padalija duomenų rinkinius į poaibius ir kiekviename poaibyje modeliuoja tuo pačiu metu atskiruose procesoriuose. Mišrus metodas sujungia šiuos du metodus. Modeliai yra suskirstyti į atskiras dalis, kurių kiekviena apmokoma naudojant skirtingus duomenų pogrupius, pagerinant efektyvumą, mastelį ir lankstumą.

Fejerverkų AI naudoja daugiau nei 20,000 60 kūrėjų ir šiuo metu kasdien aptarnaujama daugiau nei XNUMX milijardų žetonų. Su kokiais iššūkiais susidūrėte padidindami savo veiklą iki tokio lygio ir kaip juos įveikėte?

Būsiu atviras, nuo tada, kai 2022 m. įkūrėme Fireworks AI, teko įveikti daug aukštų kalnų.

Mūsų klientai pirmiausia kreipėsi į mus ieškodami labai mažo delsos palaikymo, nes jie kuria programas vartotojams, gamintojams ar kitiems kūrėjams – visoms auditorijoms, kurioms reikia greitų sprendimų. Tada, kai mūsų klientų programos pradėjo sparčiai didėti, jie suprato, kad negali sau leisti įprastų išlaidų, susijusių su tuo mastu. Tada jie paprašė mūsų padėti sumažinti bendrąsias nuosavybės išlaidas (TCO), ką mes padarėme. Tada mūsų klientai norėjo pereiti nuo „OpenAI“ prie OSS modelių ir paprašė mūsų teikti tokią pat ar net geresnę kokybę nei „OpenAI“. Mes taip pat padarėme tai.

Kiekvienas mūsų gaminio evoliucijos žingsnis buvo sudėtinga problema, kurią reikia išspręsti, tačiau tai reiškė, kad mūsų klientų poreikiai iš tikrųjų pavertė fejerverkais tokiais, kokie jie yra šiandien: žaibišką išvadų variklį su mažu TCO. Be to, siūlome tiek aukštos kokybės, jau paruoštų modelių asortimentą, iš kurių galima rinktis, tiek tobulinimo paslaugas, kurias kūrėjai gali sukurti patys.

Sparčiai tobulėjant dirbtiniam intelektui ir mašininiam mokymuisi, etiniai sumetimai yra svarbesni nei bet kada anksčiau. Kaip Fireworks AI sprendžia problemas, susijusias su šališkumu, privatumu ir etišku AI naudojimu?

Turiu dvi paaugles dukras, kurios dažnai naudoja tokias genAI programas kaip ChatGPT. Kaip mama, nerimauju, kad jie randa klaidinančio ar netinkamo turinio, nes pramonė tik pradeda spręsti kritinę turinio saugos problemą. „Meta“ daug dirba su „Purple Llama“ projektu, o nauji „Stability AI“ SD3 režimai yra puikūs. Abi bendrovės sunkiai dirba, siekdamos užtikrinti saugumą savo naujiems Llama3 ir SD3 modeliams su keliais sluoksniais filtrais. Įvesties-išvesties apsaugos modelis „Llama Guard“ mūsų platformoje yra plačiai naudojamas, tačiau jo pritaikymas dar neprilygsta kitiems LLM. Visa pramonė dar turi nuveikti ilgą kelią, kad turinio saugumas ir AI etika būtų svarbiausia.

Mums, Fireworks, labai rūpi privatumas ir saugumas. Esame suderinami su HIPAA ir SOC2 ir siūlome saugų VPC ir VPN ryšį. Įmonės pasitiki fejerverkais savo patentuotais duomenimis ir modeliais, kad sukurtų savo verslo griovį.

Kokia jūsų vizija, kaip vystysis AI?

Lygiai taip pat, kaip AlphaGo pademonstravo savarankiškumą mokydamasis žaisti šachmatais pats, manau, pamatysime, kad genAI programos taps vis savarankiškesnės. Programos automatiškai nukreips ir nukreips užklausas į tinkamą agentą arba API, kad būtų galima apdoroti ir taisyti kursą, kol gaus reikiamą išvestį. Ir vietoj vieno funkcijų iškvietimo modelio, kuris apklaustų iš kitų, kaip valdiklis, pamatysime daugiau savarankiškai organizuotų, savarankiškai koordinuojančių agentų, kurie vieningai spręs problemas.

Fejerverkų žaibiškos išvados, funkcijų iškvietimo modeliai ir koregavimo paslauga atvėrė kelią šiai realybei. Dabar novatoriški kūrėjai turi tai padaryti.

Dėkojame už puikų interviu, skaitytojai, norintys sužinoti daugiau, turėtų apsilankyti Fejerverkų AI.