Lin Qiao, Fireworks AI -haastattelusarjan toimitusjohtaja ja toinen perustaja

Lin Qiao oli aiemmin Metan PyTorchin johtaja ja on Fireworks AI:n toinen perustaja ja toimitusjohtaja. Ilotulitus AI on tuotantotekoälyalusta, joka on rakennettu kehittäjille, Fireworks-yhteistyökumppaneille maailman johtavien generatiivisten AI-tutkijoiden kanssa palvelemaan parhaita malleja nopeimmilla nopeuksilla. Fireworks AI nosti äskettäin a 25 miljoonan dollarin sarja A.

Mikä alun perin houkutteli sinua tietojenkäsittelytieteeseen?

Isäni oli hyvin vanhempi koneinsinööri telakalla, jossa hän rakensi rahtilaivoja tyhjästä. Opin nuoresta asti lukemaan laivan piirustusten tarkkoja kulmia ja mittoja, ja pidin siitä.

Tykkäsin kovasti STEM:stä yläasteesta lähtien – kaiken matematiikan, fysiikan ja kemian, mitä söin. Yksi lukion tehtävistäni oli opetella PERUSohjelmointia, ja koodasin pelin käärmeestä, joka syö häntäänsä. Sen jälkeen tiesin tietojenkäsittelytieteen olevan tulevaisuuteni.

Metassa johti yli 300 maailmanluokan insinööriä tekoälykehyksissä ja -alustoissa, joissa rakensit ja otit käyttöön Caffe2:n ja myöhemmin PyTorchin. Mitkä olivat tärkeimpiä poimintojasi tästä kokemuksesta?

Suuret teknologiayritykset, kuten Meta, ovat aina viisi tai enemmän vuotta edellä käyrää. Kun liityin Metaan vuonna 2015, olimme tekoälymatkamme alussa – siirryimme prosessoreista GPU:ihin. Meidän piti suunnitella AI-infrastruktuuri alusta alkaen. Caffe2:n kaltaiset mallit olivat uraauurtavia luodessaan, mutta tekoäly kehittyi niin nopeasti, että ne vanhentuivat nopeasti. Kehitimme PyTorchin ja koko sen ympärillä olevan järjestelmän ratkaisuksi.

PyTorch on paikka, jossa sain tietää suurimmista tiesulkuista, joita kehittäjät kohtaavat kilpaileessaan tekoälyn rakentamiseksi. Ensimmäinen haaste on löytää vakaa ja luotettava malliarkkitehtuuri, joka on pieni latenssi ja joustava, jotta mallit voivat skaalata. Toinen haaste on kokonaisomistuskustannukset, jotta yritykset eivät mene konkurssiin yrittäessään kasvattaa mallejaan.

Aikani Metassa osoitti minulle, kuinka tärkeää on pitää PyTorchin kaltaiset mallit ja puitteet avoimessa lähdekoodissa. Se kannustaa innovaatioihin. Emme olisi kasvaneet yhtä paljon kuin PyTorchissa ilman avoimen lähdekoodin iterointimahdollisuuksia. Lisäksi on mahdotonta pysyä ajan tasalla kaikista uusimmista tutkimuksista ilman yhteistyötä.

Voitko keskustella siitä, mikä sai sinut käynnistämään Fireworks AI:n?

Olen työskennellyt teknologia-alalla yli 20 vuotta, ja olen nähnyt alan tason muutoksia aallon toisensa jälkeen – pilvestä mobiilisovelluksiin. Mutta tämä AI-muutos on täydellinen tektoninen uudelleensuuntaus. Näin monien yritysten kamppailevan tämän muutoksen kanssa. Kaikki halusivat edetä nopeasti ja asettaa tekoäly etusijalle, mutta heiltä puuttui infrastruktuuri, resurssit ja lahjakkuus sen toteuttamiseksi. Mitä enemmän keskustelin näiden yritysten kanssa, sitä enemmän tajusin, että voisin ratkaista tämän markkinoiden aukon.

Aloitin Fireworks AI:n ratkaisemaan tämän ongelman ja jatkamaan PyTorchissa tekemäämme uskomatonta työtä. Se jopa inspiroi nimeämme! PyTorch on soihtu, joka pitää tulta – mutta haluamme sen leviävän kaikkialle. Siksi: ilotulitus.

Olen aina ollut intohimoinen teknologian demokratisoimisesta ja siitä, että kehittäjille on edullista ja helppoa innovoida resursseistaan ​​riippumatta. Siksi meillä on niin käyttäjäystävällinen käyttöliittymä ja vahvat tukijärjestelmät, jotka antavat rakentajille mahdollisuuden toteuttaa visionsa.

Voisitko keskustella siitä, mikä on kehittäjäkeskeinen tekoäly ja miksi se on niin tärkeää?

Se on yksinkertaista: "kehittäjäkeskeisyys" tarkoittaa tekoälykehittäjien tarpeiden priorisointia. Esimerkiksi: luoda työkaluja, yhteisöjä ja prosesseja, jotka tekevät kehittäjistä tehokkaampia ja itsenäisempiä.

Kehittäjäkeskeisten tekoälyalustojen, kuten Fireworksin, tulisi integroitua olemassa oleviin työnkulkuihin ja teknologiapinoihin. Niiden pitäisi tehdä kehittäjille helppoa kokeilla, tehdä virheitä ja parantaa työtään. Heidän tulisi kannustaa palautetta, koska sen kehittäjät itse ymmärtävät, mitä he tarvitsevat menestyäkseen. Lopuksi, kyse on enemmän kuin vain alustana olemisesta. Kyse on yhteisöstä – yhteisöstä, jossa yhteistyössä toimivat kehittäjät voivat ylittää tekoälyn mahdollisuuksien rajoja.

Kehittämäsi GenAI-alusta on merkittävä edistysaskel suurten kielimallien (LLM) kanssa työskenteleville kehittäjille. Voitko tarkentaa alustasi ainutlaatuisia ominaisuuksia ja etuja, erityisesti verrattuna olemassa oleviin ratkaisuihin?

Koko lähestymistapamme tekoälyn tuotantoalustana on ainutlaatuinen, mutta joitain parhaista ominaisuuksistamme ovat:

Tehokas johtopäätös – Suunnittelimme Fireworks AI:n tehokkuutta ja nopeutta varten. Alustamme käyttävät kehittäjät voivat käyttää LLM-sovelluksiaan mahdollisimman pienellä viiveellä ja kustannuksilla. Saavutamme tämän uusimpien mallien ja palvelun optimointitekniikoiden avulla, kuten nopean välimuistin, mukautuvan sirpaloinnin, kvantisoinnin, jatkuvan eräajon, FireAttentionin ja paljon muuta.

Edullinen tuki LoRA-viritetyille malleille – Tarjoamme edullista palvelua Low-rank adaptation (LoRA) -hienoviritetyille malleille monivuokrauksen kautta perusmalleissa. Tämä tarkoittaa, että kehittäjät voivat kokeilla useita erilaisia ​​käyttötapauksia tai muunnelmia samasta mallista tinkimättä.

Yksinkertaiset käyttöliittymät ja sovellusliittymät – Käyttöliittymämme ja API:mme ovat yksinkertaisia ​​ja kehittäjien on helppo integroida sovelluksiinsa. Sovellusliittymämme ovat myös OpenAI-yhteensopivia siirron helpottamiseksi.

Valmiit mallit ja hienosäädetyt mallit – Tarjoamme yli 100 esikoulutettua mallia, joita kehittäjät voivat käyttää heti valmiina. Katamme parhaat LLM:t, kuvan luontimallit, upotusmallit jne. Mutta kehittäjät voivat myös halutessaan isännöidä ja palvella omia mukautettuja mallejaan. Tarjoamme myös itsepalveluita hienosäätöpalveluita, joiden avulla kehittäjät voivat räätälöidä nämä mukautetut mallit omilla tietoillaan.

Yhteisöllinen yhteistyö: Uskomme avoimen lähdekoodin yhteisöyhteistyön eetokseen. Alustamme rohkaisee (mutta ei vaadi) kehittäjiä jakamaan hienosäädetyt mallinsa ja osallistumaan kasvavaan tekoälyresurssien ja -tietopankkiin. Kaikki hyötyvät kollektiivisen osaamisemme kasvattamisesta.

Voitko keskustella hybridilähestymistavasta, jota tarjotaan mallin rinnakkaisuuden ja datan rinnakkaisuuden välillä?

Koneoppimismallien rinnastaminen parantaa mallien koulutuksen tehokkuutta ja nopeutta ja auttaa kehittäjiä käsittelemään suurempia malleja, joita yksi grafiikkasuoritin ei pysty käsittelemään.

Mallin rinnakkaisuus sisältää mallin jakamisen useisiin osiin ja kunkin osan harjoittamisen erillisillä prosessoreilla. Toisaalta datan rinnakkaisuus jakaa tietojoukot osajoukkoihin ja kouluttaa mallin jokaiselle osajoukolle samanaikaisesti eri prosessorien kesken. Hybridilähestymistapa yhdistää nämä kaksi menetelmää. Mallit on jaettu erillisiin osiin, joista jokainen on koulutettu erilaisiin datan osajoukkoon, mikä parantaa tehokkuutta, skaalautuvuutta ja joustavuutta.

Fireworks AI:ta käyttää yli 20,000 60 kehittäjää, ja se palvelee tällä hetkellä yli XNUMX miljardia tokenia päivittäin. Mitä haasteita olet kohdannut skaalataessasi toimintaasi tälle tasolle, ja miten olet niistä selvinnyt?

Olen rehellinen, monia korkeita vuoria on ylitettävä sen jälkeen, kun perustimme Fireworks AI:n vuonna 2022.

Asiakkaamme tulivat luoksemme ensin etsiessään erittäin alhaisen viiveen tukea, koska he rakentavat sovelluksia joko kuluttajille, prokuluttajille tai muille kehittäjille – kaikille yleisöille, jotka tarvitsevat nopeita ratkaisuja. Sitten, kun asiakkaidemme sovellukset alkoivat skaalata nopeasti, he huomasivat, ettei heillä ollut varaa tähän mittakaavaan liittyviin tyypillisiin kustannuksiin. Sitten he pyysivät meitä auttamaan kokonaiskustannusten (TCO) alentamisessa, minkä teimme. Sitten asiakkaamme halusivat siirtyä OpenAI:sta OSS-malleihin, ja he pyysivät meitä tarjoamaan OpenAI:ta vastaavaa tai jopa parempaa laatua. Saimme myös sen tapahtua.

Jokainen vaihe tuotteemme kehityksessä oli haastava ratkaistava ongelma, mutta se tarkoitti, että asiakkaidemme tarpeet todella muovasivat ilotulituksen nykyiseksi: salamannopean päättelymoottorin alhaisella TCO:lla. Lisäksi tarjoamme sekä valikoiman korkealaatuisia, valmiita malleja, joista valita, tai hienosäätöpalveluita kehittäjille, jotka voivat luoda omia.

Tekoälyn ja koneoppimisen nopean kehityksen myötä eettiset näkökohdat ovat tärkeämpiä kuin koskaan. Miten Fireworks AI käsittelee ennakkoluuloja, yksityisyyttä ja tekoälyn eettistä käyttöä koskevia huolenaiheita?

Minulla on kaksi teini-ikäistä tytärtä, jotka käyttävät usein genAI-sovelluksia, kuten ChatGPT:tä. Äitinä olen huolissani siitä, että he löytävät harhaanjohtavaa tai sopimatonta sisältöä, koska ala on vasta alkamassa puuttua sisällön turvallisuuden kriittiseen ongelmaan. Meta tekee paljon Purple Llama -projektin kanssa, ja Stability AI:n uudet SD3-tilat ovat mahtavia. Molemmat yritykset tekevät lujasti töitä tuodakseen turvallisuutta uusiin Llama3- ja SD3-malleihinsa, joissa on useita suodatinkerroksia. Syöttö-lähtö-suojausmalli, Llama Guard, saa paljon käyttöä alustallamme, mutta sen käyttöönotto ei ole vielä yhtä suuri kuin muiden LLM:ien. Koko toimialalla on vielä pitkä matka sisältöturvallisuuden ja tekoälyn etiikan nostamiseen etualalle.

Me Fireworksilla välitämme syvästi yksityisyydestä ja turvallisuudesta. Olemme HIPAA- ja SOC2-yhteensopivia ja tarjoamme turvalliset VPC- ja VPN-yhteydet. Yritykset luottavat Fireworksiin heidän omat tietonsa ja mallinsa rakentaakseen liiketoimintansa.

Mikä on visiosi siitä, miten tekoäly tulee kehittymään?

Aivan kuten AlphaGo osoitti autonomiaa oppiessaan pelaamaan shakkia yksin, uskon, että genAI-sovellukset tulevat yhä autonomisemmiksi. Sovellukset reitittävät ja ohjaavat pyynnöt automaattisesti oikealle agentille tai API:lle prosessoitavaksi ja korjaavat kurssin, kunnes ne hakevat oikean tulosteen. Ja sen sijaan, että yksi toimintokutsumalli kysyisi muilta ohjaimena, näemme enemmän itseorganisoituneita, itse koordinoituja agentteja työskentelemässä yhdessä ongelmien ratkaisemiseksi.

Ilotulitteiden salamannopeat päättelyt, toimintokutsumallit ja hienosäätöpalvelu ovat tasoittaneet tietä tälle todellisuudelle. Nyt se on innovatiivisten kehittäjien tehtävä.

Kiitos upeasta haastattelusta, lukijoiden, jotka haluavat tietää lisää, kannattaa käydä Ilotulitus AI.